智東西(公眾號:zhidxcom)
作者 | 程茜 ZeR0
編輯 | 心緣

智東西9月26日報道,北京時間今日凌晨1點15分,年度“MR圈春晚”Meta Connect 2024大會正式拉開帷幕。

Meta CEO馬克·扎克伯格穿著黑色T恤登臺,緊鑼密鼓發(fā)布MR頭顯Quest 3S、Llama 3.2大模型、雷朋智能眼鏡、全息AR眼鏡等新品。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

扎克伯格亮出的首個硬件新品是Quest 3S,驚爆價299.99美元(折合約2110人民幣)。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

雖說性能比Meta首款消費(fèi)級MR一體機(jī)Quest 3略遜一籌,但起售價直降200美元,約等于蘋果Vision Pro的1/11,妥妥的性價比機(jī)皇?。?!

大模型也重磅上新!Meta多模態(tài)模型Llama 3.2發(fā)布,包括90B和11B參數(shù)的視覺大語言模型,以及1B和3B參數(shù)的輕量級純文本模型。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

借助Llama 3.2,Meta AI推出全新多模態(tài)功能,能支持語音交互了,有多種音色選項(包括一些名人的聲音)。扎克伯格現(xiàn)場演示與Meta AI語音聊天,非常絲滑。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

還有被Meta稱作有史以來最先進(jìn)的AR眼鏡——全息AR眼鏡“Orion”。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

英偉達(dá)創(chuàng)始人兼CEO黃仁勛已經(jīng)嘗鮮。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

一、Quest 3S:親民廉價版,售價300美刀,性能比Quest 3幾乎無異

首先,平價版的Quest設(shè)備來了!

Meta直接將Quest 3S價格砍掉200美元(折合約1406人民幣),還幾乎做到了性能與Quest 3相差無幾。

Meta?Quest 3S 128GB版售價為299.99美元(折合約2110人民幣),256GB版售價為399.99美元(折合約2813人民幣)。而512GB的Quest 3為499.99美元(折合約3516人民幣)。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

兩款頭顯采用的處理器一致,均為高通驍龍XR2 Gen 2芯片。價格大幅下降的關(guān)鍵就是Quest 3S將Pancake鏡頭更換成了Infinite透鏡。

從現(xiàn)場演示來看,擁有4K顯示屏的Quest 3S顯示十分清晰,還支持杜比全景聲(Dolby Atmos)環(huán)繞。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta重建了Horizon OS以實現(xiàn)空間計算,可以更好支持用戶使用YouTube、Facebook和Instagram等基本2D應(yīng)用。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta添加了空間音頻,并改進(jìn)了Passthrough(透視)的對比度和顏色,都使得其畫面演示能更加逼真和身臨其境。

扎克伯格宣布Meta正與微軟合作,用Windows 11 PC來實現(xiàn)無縫虛擬桌面體驗。

Meta已提供多屏幕支持,并且能夠直接與顯示器上正在發(fā)生的事情進(jìn)行交互。例如,用戶可以直接拖拽筆記本中的界面到Quest設(shè)備中。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

為了創(chuàng)建更加逼真的元宇宙環(huán)境,Meta推出了Hyperscape,用戶只需用手機(jī)掃描自己所在的房間,然后隨時戴上頭顯都能“重現(xiàn)”這一房間。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

這一頭顯設(shè)備能讓你坐在前排座位觀看音樂會、坐在家庭影院觀看高清大片、進(jìn)行健身等。

此外,Quest 3S還兼容Meta的數(shù)千款應(yīng)用和完整游戲庫,以及即將推出的Quest 3和3S獨家游戲,如《蝙蝠俠:阿卡姆暗影》。

對于那些剛接觸XR或者一直在等待Quest和Quest 2設(shè)備降價的用戶而言,Quest 3S可能是更好的選擇。

二、Llama 3.2:視覺模型趕超GPT-4o mini,1B端側(cè)模型媲美Gemma

開源AI方面,Meta發(fā)布了全新多模態(tài)大模型Llama 3.2

Llama 3.2有90B和11B兩種參數(shù)規(guī)格的視覺大語言模型,還有能在設(shè)備端本地運(yùn)行的1B和3B輕量級純文本模型,包括預(yù)訓(xùn)練和指令調(diào)整版。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

下載地址:https://www.llama.com/

1B和3B模型支持128K tokens上下文,適配高通和聯(lián)發(fā)科硬件,并針對Arm處理器做了優(yōu)化。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

3B模型在遵循指令、總結(jié)、快速重寫和工具使用等任務(wù)上的表現(xiàn)優(yōu)于Gemma 2 2.6B、Phi 3.5-mini模型。1B模型的表現(xiàn)媲美Gemma。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

90B和11B視覺模型是其相應(yīng)文本模型的直接替代品,同時在圖像理解任務(wù)上的表現(xiàn)優(yōu)于封閉模型,如Claude 3 Haiku、GPT-4o mini。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

比如問企業(yè)去年哪個月的銷售額最高,Llama 3.2可根據(jù)可用圖表進(jìn)行推理并快速提供答案。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

它還能使用地圖進(jìn)行推理并幫助回答問題,例如地圖上標(biāo)記的特定路徑的距離。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

視覺模型也能通過從圖像中提取細(xì)節(jié)、理解場景,然后制作一兩句話作為圖像字幕來幫助講述故事。

與其他開放多模態(tài)模型不同,預(yù)訓(xùn)練和對齊模型都可以使用torchtune針對自定義應(yīng)用程序進(jìn)行微調(diào),并使用torchchat在本地部署。

11B和90B參數(shù)的多模態(tài)模型需要支持圖像推理的全新模型架構(gòu)。

Meta的訓(xùn)練流程由多個階段組成,從預(yù)訓(xùn)練的Llama 3.1文本模型開始,首先添加圖像適配器和編碼器,然后通過大規(guī)模噪聲對數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,接下來在中等規(guī)模的高質(zhì)量領(lǐng)域內(nèi)和知識增強(qiáng)的數(shù)據(jù)上進(jìn)行訓(xùn)練。

在后期訓(xùn)練中,Meta使用與文本模型類似的方法,在監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化方面進(jìn)行多輪對齊。最終得到這一組可以同時接收圖像和文本提示并深入理解和推理兩者組合的模型。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

對于1B和3B參數(shù)的輕量級模型,Meta使用了利用強(qiáng)大的教師模型來創(chuàng)建性能更佳的小型模型的方法,使得其成為首批能夠高效適應(yīng)設(shè)備的高性能輕量級Llama模型。

Meta通過縮小Llama現(xiàn)有模型的大小,同時盡可能多地恢復(fù)知識和性能,其采用了從Llama 3.1 8B中一次性使用結(jié)構(gòu)化修剪的方法。

在后期訓(xùn)練中,研究人員使用與Llama 3.1類似的方法,通過在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行幾輪對齊來生成最終的聊天模型。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta正在分享首個官方Llama Stack發(fā)行版,將極大簡化開發(fā)人員在單節(jié)點、本地、云和設(shè)備端等不同環(huán)境中使用Llama模型的方式,從而實現(xiàn)檢索增強(qiáng)生成(RAG)和集成安全性的工具支持應(yīng)用程序的交鑰匙部署。

三、Meta AI:多種名人聲音任意選,P圖、實時翻譯更方便

借助Llama 3.2,Meta AI有聲音了。

現(xiàn)在,使用語音與Meta AI對話,可以讓它回答你的問題或者講笑話逗你開心。Meta在語音中還添加了很多熟悉的AI聲音。如英國女演員Judi Dench等的聲音。

扎克伯格現(xiàn)場對話了AI版數(shù)字AR/XR視覺藝術(shù)家唐·艾倫·史蒂文森三世(Don Allen Stevenson III),他對小扎提到的恭喜新書發(fā)表、創(chuàng)作感想等內(nèi)容對答如流。

當(dāng)被問到一個與史蒂文森三世本人毫無相關(guān)的農(nóng)業(yè)問題時,AI版藝術(shù)家的回應(yīng)也很符合人設(shè),他稱自己擅長設(shè)計和技術(shù)而非農(nóng)業(yè)相關(guān)。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta AI還能直接看懂照片,用戶可以直接在聊天界面中上傳圖片,AI就可以幫你解答你旅行中遇到的花是什么花、如何制作圖片中這道菜等等。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

編輯照片也不在話下,無需打開其它編輯工具,僅在Meta AI的對話框就能解決。用戶可以直接告訴AI想在上傳的照片中添加、刪除或者更改什么內(nèi)容,例如替換服裝、更換背景等。

??全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

同時,當(dāng)用戶想分享照片到Instagram Story等社交平臺上時,Meta AI還會根據(jù)照片的內(nèi)容生成相應(yīng)的背景圖。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

扎克伯格說,Meta正在測試一款翻譯工具。該工具可以自動翻譯短視頻應(yīng)用Reels中的音頻,通過自動配音和口型同步,不僅能模擬說話者的聲音來翻譯,連口型都能對上。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

這一功能首先將在Instagram和Facebook上進(jìn)行小規(guī)模測試,將來自拉丁美洲和美國的創(chuàng)作者的視頻翻譯成英語和西班牙語,未來將會擴(kuò)展到更多創(chuàng)作者和語言中。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta AI的圖像生成功能還能幫用戶在Facebook等平臺上為自己“立人設(shè)”,如將自己的個人資料圖片更換為超級英雄或者其他角色,還能為故事推薦標(biāo)題。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

面向企業(yè),Meta正在將其AI工具擴(kuò)展到數(shù)千家使用WhatsApp和Messenger英文版點擊消息廣告的企業(yè)。

上個月已經(jīng)有超過100萬個廣告客戶使用Meta的廣告生成工具,并利用這些工具制作了1500萬條廣告。數(shù)據(jù)顯示,平均而言,與未使用這些功能的廣告系列相比,使用Meta生成式AI 廣告功能的廣告系列點擊率高出11%,轉(zhuǎn)化率高出7.6%。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

四、雷朋智能眼鏡:能記事,會觀察,打破語言障礙

雷朋智能眼鏡一直非常受歡迎,具備視頻通話、流式傳輸內(nèi)容、拍攝,抑或是聽音樂、有聲讀物等功能。

這次雷朋眼鏡重點升級了多項AI功能。

首先是對話變得更自然。用戶只用在對話開始時說提示詞“Hey Meta”,后面就可以直接連續(xù)提問,不用重復(fù)說很多次“Hey Meta”。

還有一個功能是幫用戶記住事情。比如當(dāng)用戶飛到某個地方,詢問在哪兒停車,眼鏡會幫用戶記住停車的位置。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

用戶也可以用語音設(shè)置提醒,3小時安全著陸時給媽媽發(fā)短信報平安。

它還能用來打電話、掃碼。當(dāng)雙手不方便操作手機(jī)時,用戶可以用Meta AI在WhatsApp和Messenger上錄制和發(fā)送語音消息,同時保持在線狀態(tài)。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

此外,Meta AI能通過結(jié)合攝像頭,為用戶提供持續(xù)幫助。

比如當(dāng)用戶探索一個新城市,可以讓Meta AI根據(jù)攝像頭捕捉的信息詢問用戶在行走時看到的地標(biāo)或獲取下一步要看什么的想法。

它也能提供服裝搭配建議,并實時掌握你的周圍環(huán)境,比如建議用戶考慮“剛才路過的那條珍珠項鏈”、“右邊的黑色連衣裙”。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

或者在一個雜貨店并試圖計劃一頓飯時,用戶可以讓Meta AI根據(jù)自己在過道上行走時看到的東西來幫忙弄清楚要做什么,以及手里的醬料是否與它剛剛建議的食譜搭配得很好。

現(xiàn)場還演示了流暢的實時語音翻譯功能,戴著眼鏡就能打破語言障礙,實現(xiàn)跨語種交流。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta將繼續(xù)添加更多語言。

雷朋智能眼鏡可使用“be my eyes”應(yīng)用,將視力有缺陷的人與視力正常的志愿者相連,以便志愿者能借助眼鏡和POV視頻通話,輕松看到視力殘障人士的視角并告知周圍環(huán)境,或者在日常任務(wù)中提供實時、免提的幫助,例如調(diào)節(jié)恒溫器或分類和閱讀郵件。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta正推進(jìn)與Spotify和Amazon Music的整合,并與Audible iHeart建立新合作伙伴關(guān)系,使用戶能隨時隨地使用語音搜索、發(fā)現(xiàn)和播放內(nèi)容。

此外,Meta還發(fā)布了一款限量版Shiny Transparent Wayfarer透明鏡框,并將EssilorLuxottica的全新UltraTransitions GEN S鏡片系列引入雷朋眼鏡系列,能快速適應(yīng)所有光線條件。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

五、Orion:迄今最先進(jìn)AR眼鏡,全息顯示屏,手腕神經(jīng)接口

最后,扎克伯格現(xiàn)場開箱,拿出Meta眼中的“迄今最先進(jìn)的AR眼鏡”——Orion

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

AR眼鏡兼具便捷、即時性、大顯示屏、高帶寬輸入、情景化AI等優(yōu)勢。它不受手機(jī)屏幕限制,能借助大型全息顯示屏,將物理世界當(dāng)成畫布。

盡管雷朋智能眼鏡開創(chuàng)了AI無顯示屏眼鏡類別,但XR行業(yè)還在翹首以盼真正的AR眼鏡——一款將大型全息顯示屏和個性化AI輔助優(yōu)勢結(jié)合到舒適、全天候可佩戴的產(chǎn)品。

Orion正為此而生。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

經(jīng)過數(shù)十項創(chuàng)新,Orion的組件被壓縮到幾分之一毫米

扎克伯格稱它是“世界上從未有過的高端眼鏡”,“技術(shù)上很瘋狂”,在不同照明條件下,大到能顯示一個電影屏幕或多個顯示屏幕,覆蓋物理世界全息圖。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

它擁有迄今為止最小AR眼鏡中最大的視野,支持從多任務(wù)窗口、大屏幕娛樂到真人大小的人物全息圖,所有數(shù)字內(nèi)容都能與物理世界視野無縫融合。

Meta AI智能助手可在Orion上運(yùn)行,理解用戶在現(xiàn)實世界上看到的東西。

比如用戶可以把攝像頭對準(zhǔn)冰箱,讓Meta AI根據(jù)里面的東西提供食譜建議,或者邊洗碗邊調(diào)整數(shù)字家庭日歷,邊給朋友打視頻電話。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

也可以進(jìn)行免提視頻通話,實時與朋友和家人保持聯(lián)系,還可以通過WhatsApp和Messenger查看和發(fā)送消息。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

以前需進(jìn)行的拿出手機(jī)、解鎖、找到合適的應(yīng)用程序、讓朋友知道用戶快吃晚飯了這一系列繁瑣步驟,現(xiàn)在一副眼鏡就能輕松完成所有操作。

如果想和遠(yuǎn)方的人相見,他們的虛擬影像會被即刻傳送。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

由于配有透明鏡片,人們戴上AR眼鏡,依然能看到彼此的面容和神情,或者進(jìn)行眼神交流。

為了制作這種顯示屏,眼鏡腿上的投影儀將內(nèi)容投射到納米印刷鏡片上,使它們不僅能夠在2D空間投射圖像,還能在3D空間投射圖像。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Orion支持手勢追蹤眼動追蹤,基于手腕的神經(jīng)接口可理解用戶與設(shè)備交互的手勢。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

手勢操控時,你可能不想在公共場合手舞足蹈招一堆人圍觀,而操作Orion的動作非常輕微,不會影響到周圍的人。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta已經(jīng)向少數(shù)人展示了它,這些人評價說這是他們見過的最瘋狂的技術(shù)。

全息AR眼鏡來了!扎克伯格現(xiàn)場開箱,黃仁勛首批體驗,還有Llama 3.2大模型上新

Meta將Orion稱作其開發(fā)過的“最精致的產(chǎn)品原型之一”,但它暫時不會進(jìn)入消費(fèi)者手中。其團(tuán)隊決定先專注于內(nèi)部開發(fā),繼續(xù)快速構(gòu)建并繼續(xù)突破技術(shù)界限,以開發(fā)出更好的消費(fèi)產(chǎn)品。

Meta向自家員工選定的外部用戶提供Orion的訪問權(quán)限,以便其團(tuán)隊可以學(xué)習(xí)、迭代和構(gòu)建消費(fèi)者AR眼鏡產(chǎn)品線,計劃不久后開始出貨。

目前Meta主要關(guān)注三件事:1)調(diào)整AR顯示質(zhì)量,使視覺效果更加清晰;2)盡可能優(yōu)化,讓外形尺寸變得更小;3)規(guī)模化,使其可負(fù)擔(dān)。

結(jié)語:不卷高端,卷起性價比

“元宇宙”概念降溫了,但用智能硬件打開虛實融合之門的產(chǎn)業(yè)探索才剛剛起步。

便宜、便攜、舒適,智能,成為今年MR/VR/AR新品的共識,這在今天的Meta Connect大會上再度得到印證。

尤其是便宜。連坐擁大批死忠“果粉”的蘋果,其Vision Pro都因昂貴的售價栽了跟頭。

知名市場研究機(jī)構(gòu)IDC預(yù)計第三季度美國本土的Vision Pro銷量將比第二季度大幅下滑75%,全年全球銷量難破50萬臺大關(guān)。知名分析師郭明錤也認(rèn)為,高昂的價格阻礙了消費(fèi)者。

蘋果研發(fā)平價版頭顯的消息已頻頻傳出。Meta也被曝取消高端頭顯“La Jolla”的開發(fā)計劃,原因是未能將產(chǎn)品成本控制在1000美元內(nèi)。

國內(nèi)MR/VR/AR硬件同樣在快速更新迭代,沒有盲目復(fù)制蘋果Vision Pro卷向高端,而是從技術(shù)路線和應(yīng)用場景上構(gòu)筑差異化競爭力。

字節(jié)跳動旗下PICO上個月推出其首款MR一體機(jī)PICO 4 Ultra,相較前代產(chǎn)品PICO 4/4 Pro全面升級,起售價4299元。

深圳仙瞬科技開發(fā)了超微型化的全球首款具備隱形顯示功能的智能眼鏡,體積小到能輕松集成至普通眼鏡框架內(nèi),使現(xiàn)有設(shè)備能更好融入AI。

IDC預(yù)測2024全年中國AR/VR預(yù)計出貨60.2萬臺,同比下滑17.1%;從今年年底開始,將會有更多手機(jī)廠商入局MR領(lǐng)域,并將于2025年集中推出首款產(chǎn)品。