智東西(公眾號(hào):zhidxcom)
作者 | 王涵
編輯 | 云鵬

智東西11月13日?qǐng)?bào)道,今天,李飛飛團(tuán)隊(duì)的3D世界生成模型Marble向全體用戶開(kāi)放。

9月17日,李飛飛創(chuàng)業(yè)公司W(wǎng)orld Labs發(fā)布推文公布了其空間智能模型Marble。該模型生成的3D世界能夠永久存在,用戶可隨心所欲地在這個(gè)模擬的世界中自主導(dǎo)航。

(智東西此前報(bào)道:炸場(chǎng)!李飛飛發(fā)了個(gè)「永久世界」,谷歌Genie 3瞬間不香了?

收費(fèi)方面,Marble一共有四種套餐,免費(fèi)模式有7000個(gè)功能使用額度,可以生成約4個(gè)世界,標(biāo)準(zhǔn)版每月20美元(約合人民幣142.3元)、Pro版每月35美元(約合人民幣248.9元)、Max版每月95美元(約合人民幣675.7元),其中Pro版首月優(yōu)惠只要1美元(約合人民幣7.1元)。

李飛飛3D世界模型免費(fèi)開(kāi)放!實(shí)測(cè)一鍵生成逼真《瘋狂動(dòng)物城》

智東西第一時(shí)間上手體驗(yàn),體驗(yàn)主要圍繞復(fù)雜室外概念場(chǎng)景、現(xiàn)實(shí)室外場(chǎng)景、復(fù)雜室內(nèi)場(chǎng)景三種不同類型進(jìn)行。

首先是室外概念場(chǎng)景,我上傳了一張迪士尼動(dòng)畫(huà)電影《瘋狂動(dòng)物城》中的熱帶雨林區(qū)域的截圖,并且輸入指令如下:

畫(huà)面描繪了一個(gè)生機(jī)勃勃、生物多樣的城市景觀,先進(jìn)科技與茂密的熱帶雨林環(huán)境無(wú)縫融合。建筑依偎在巨大的樹(shù)木周圍和之中,由編織的木材、活的藤蔓和拋光的石材構(gòu)成。一套復(fù)雜的多層交通系統(tǒng)清晰可見(jiàn)。環(huán)境霧氣氤氳,空氣濕潤(rùn),陽(yáng)光從上方茂密的樹(shù)冠縫隙中穿透下來(lái)。色調(diào)以深邃的翡翠綠、鮮艷的花朵色彩以及真菌和集成照明發(fā)出的柔和生物熒光為主。

李飛飛3D世界模型免費(fèi)開(kāi)放!實(shí)測(cè)一鍵生成逼真《瘋狂動(dòng)物城》

不到一分鐘,Marble就生成了一個(gè)可以前后左右移動(dòng),并且自由切換視角的3D世界,用戶不僅能看到輸入視圖中可見(jiàn)的內(nèi)容,還可以查看其背后及視野之外的部分,但背后視角的畫(huà)面結(jié)構(gòu)還不夠清晰。

再試試現(xiàn)實(shí)室外場(chǎng)景,我上傳了一張Taylor Swift的求婚照片,沒(méi)有輸入任何指令。

李飛飛3D世界模型免費(fèi)開(kāi)放!實(shí)測(cè)一鍵生成逼真《瘋狂動(dòng)物城》

Marble會(huì)先根據(jù)原圖自主生成一段場(chǎng)景描述,再基于這段描述構(gòu)建完整世界。生成的世界不僅剔除了原圖中的人物,還補(bǔ)充了四周的花卉、灌木與石板路,用戶甚至能沿著石板路向外探索。

其畫(huà)面的質(zhì)感與光影效果極具真實(shí)感,具備很豐富的幾何復(fù)雜度。但美中不足的是,生成的虛擬世界和圖片中的場(chǎng)景還是有一些差距。

接著是復(fù)雜室內(nèi)場(chǎng)景,我上傳了一張中國(guó)古代宮殿的圖片,同樣沒(méi)有輸入任何指令。

李飛飛3D世界模型免費(fèi)開(kāi)放!實(shí)測(cè)一鍵生成逼真《瘋狂動(dòng)物城》

基于Marble的風(fēng)格連貫性和幾何一致性,其生成的世界在短距離內(nèi)移動(dòng)的光影符合現(xiàn)實(shí),并且還補(bǔ)充了室外場(chǎng)景,但大范圍移動(dòng)還是會(huì)出現(xiàn)畸變現(xiàn)象。

在World Labs推文評(píng)論區(qū)中好評(píng)如潮,更有不少網(wǎng)友已經(jīng)把Marble玩出花了。

例如得克薩斯大學(xué)達(dá)拉斯分校助理教授Yu Xiang,向Marble中上傳了一張隨手拍的實(shí)驗(yàn)室照片,Marble就生出了一個(gè)完整的虛擬實(shí)驗(yàn)室,效果十分逼真。

還有一位建筑設(shè)計(jì)師,將自己的設(shè)計(jì)的深圳清華大學(xué)研究院新大樓圖片上傳給Marble,模型直接生成了一個(gè)可以在建筑物中穿梭的虛擬世界。該網(wǎng)友非常激動(dòng):“歡迎AI終于來(lái)到我的世界——那個(gè)屬于空間的世界?。?!”

評(píng)論區(qū)網(wǎng)友說(shuō):“感覺(jué)Marble會(huì)給用無(wú)人機(jī)制作3Dmap的行業(yè)造成沖擊?!?/p>

李飛飛3D世界模型免費(fèi)開(kāi)放!實(shí)測(cè)一鍵生成逼真《瘋狂動(dòng)物城》

《Token流寫(xiě)作》作者、智能體工程師Dan Mac在Marble中生成了一個(gè)“大語(yǔ)言模型世界”,用戶可以穿梭在不同的模型層級(jí)當(dāng)中。他在視頻中驚嘆:“你完全可以想象這項(xiàng)技術(shù)將為科學(xué)、教育及科技領(lǐng)域帶來(lái)的革命性應(yīng)用!”

結(jié)語(yǔ):生成式AI正大步邁向3D空間智能時(shí)代

體驗(yàn)下來(lái),Marble在處理真實(shí)室外場(chǎng)景時(shí)展現(xiàn)出的內(nèi)容理解、智能修補(bǔ)和光影還原能力令人印象深刻,且“永久世界”的概念為未來(lái)的社交、娛樂(lè)應(yīng)用提供了巨大想象空間。

但模型在面對(duì)高度依賴想象力的概念圖和結(jié)構(gòu)復(fù)雜的室內(nèi)空間時(shí),仍會(huì)出現(xiàn)細(xì)節(jié)模糊、結(jié)構(gòu)畸變等問(wèn)題,這也揭示了當(dāng)前3D生成模型在全局3D一致性和復(fù)雜幾何推理方面的普遍技術(shù)難點(diǎn)。

生成式AI正從2D圖像和視頻,大步邁向3D空間智能時(shí)代。