智東西（公眾號：zhidxcom）
作者 | 程茜 陳駿達(dá)
作者 | 心緣
智東西5月21日報道，今日凌晨，在一年一度的谷歌I/O開發(fā)者大會上，谷歌的AI大戲連番上演！
時長不到2小時的主題演講上，谷歌CEO桑達(dá)爾·皮查伊攜一眾谷歌高管總共提到95次“Gemini”、92次“AI”。
模型升級方面：Gemini 2.5 Pro新支持原生音頻輸出、Project Mariner的計算機(jī)使用功能、深度思考、高安全防護(hù)；視頻模型Veo 2新增原生音頻生成功能、Gemini 2.5 Flash在推理、編程和長上下文等關(guān)鍵指標(biāo)上升級。全新發(fā)布模型包括：擴(kuò)散語言模型Gemini Diffusion、視頻生成模型Veo 3、圖像生成模型Imagen 4。
谷歌還推出全新Gemini訂閱計劃：AI Pro用戶月付19.99美元（折合人民幣約144元），可使用Veo 2、Gemini 2.5 Pro等入門級產(chǎn)品；AI Ultra用戶月付249.99美元（折合人民幣約1804元），可擁有Veo 3的無限訪問權(quán)限、使用Gemini 2.5 Pro深度思考模式等。
這都指向一個目標(biāo)：構(gòu)建通用AI助手。谷歌DeepMind創(chuàng)始人兼CEO戴密斯·哈薩比斯（Demis?Hassabis）稱，他們將Gemini打造成一個世界模型，是開發(fā)一種新型、更通用、更有用的AI助手的關(guān)鍵一步。
谷歌展示了其通用AI助手的最新研究原型。在自行車維修場景中，Gemini可以幫助用戶查詢維修手冊、滾動到特定頁面、搜索視頻教程、主動提供實(shí)用信息，還可以撥打電話，查詢零件庫存情況，并幫助用戶下單。
其余更新包括顛覆用戶搜索體驗(yàn)的AI Mode：根據(jù)用戶需求動態(tài)調(diào)整包含圖表、店鋪列表等的答案生成界面，在購物場景，AI Mode可根據(jù)用戶購買意圖定制購物界面，提供虛擬試穿、追蹤用戶預(yù)期價位、代理結(jié)賬功能，其還集成了視覺搜索，用戶可以通過手機(jī)攝像頭實(shí)時拍照搜索提問。AI Mode現(xiàn)已經(jīng)面向所有美國用戶推出。
同時，谷歌此前三大研究項目獲得重大進(jìn)展：Project Starline引入全新3D視頻通訊體驗(yàn)、Project Astra能利用Gemini和攝像頭來解決問題、Project Marina支持多任務(wù)處理。
大會尾聲，谷歌還現(xiàn)場演示了重量級安卓XR智能眼鏡，并官宣與XREAL共同打造第二款安卓XR設(shè)備Project Aura。
翻譯能力是這款眼鏡的亮點(diǎn)之一，不過測試時，可以明顯感覺到工作人員減慢了語速，谷歌安卓XR智能眼鏡僅正確翻譯了對話中的前半部分，之后出現(xiàn)了無法識別的問題。
皮查伊透露，Gemini應(yīng)用目前已經(jīng)擁有超過4億月活用戶，超過700萬名開發(fā)者通過Gemini API進(jìn)行開發(fā)。
谷歌今天放出的諸多AI大招，智東西帶你一文看盡。
一、Gemini系列模型屠榜，谷歌產(chǎn)品每月處理token數(shù)一年增長50倍
Gemini時代，谷歌的模型和產(chǎn)品發(fā)布速度都比以往更快。上屆I/O大會至今，谷歌已經(jīng)宣布10余款模型重大突破、20余款重大AI產(chǎn)品。
自第一代Gemini模型發(fā)布以來，Gemini模型的Elo分?jǐn)?shù)已提升300多分。編程方面，Gemini 2.5 Pro成為編程平臺Cursor上年度增長最快的模型，每分鐘產(chǎn)出數(shù)十萬行被采納的代碼。
在LMArena排行榜中，Gemini系列模型包攬了每秒生成輸出token數(shù)最高的前三名，并且模型價格也在下降。
全棧基礎(chǔ)設(shè)施方面，谷歌第七代TPU?Ironwood是首款專為大規(guī)模AI思考和推理工作負(fù)載而設(shè)計的TPU，其性能是上一代的10倍，每個Pod的計算能力達(dá)到42.5 exaFLOPS。
皮查伊提到谷歌大模型相關(guān)的幾組數(shù)據(jù)：
去年同期谷歌每月通過產(chǎn)品和API處理的token數(shù)量為9.7萬億，目前其每月處理的token數(shù)達(dá)到480萬億，一年內(nèi)增長了約50倍；
超過700萬名開發(fā)者通過Gemini API進(jìn)行開發(fā)，涵蓋谷歌AI Studio和Vertex AI兩大平臺，同比增長超過五倍，同時Vertex AI平臺上的Gemini使用率較去年增長40倍；
Gemini應(yīng)用目前擁有超過4億月活用戶，在Gemini應(yīng)用中使用2.5 Pro版本的用戶使用量增長了45%；
在搜索方面，AI概覽功能的每月用戶超15億。皮查伊認(rèn)為AI Mode是搜索領(lǐng)域的下一個重大進(jìn)展，我們正處在AI平臺轉(zhuǎn)型的新階段。
皮查伊還提到，Gemini已經(jīng)通關(guān)精靈寶可夢，集齊8枚徽章獲得冠軍，“距離人工寶可夢智能更進(jìn)一步”。
二、Gemini編程、語音、深度思考迎升級，DeepMind CEO揭秘終極愿景
哈薩比斯提到，Gemini 2.5 Pro是谷歌迄今為止最智能的模型，也是全球最強(qiáng)大的基礎(chǔ)模型。兩周前，谷歌發(fā)布了Gemini 2.5 Pro的預(yù)覽版，開發(fā)者們用它實(shí)現(xiàn)了諸多創(chuàng)意：比如將草圖轉(zhuǎn)化為交互應(yīng)用、模擬完整3D城市等。
新版的Gemini 2.5 Pro在WebDev Arena編程排行榜登頂。谷歌還將他們?nèi)ツ臧l(fā)布的LearnLM（專為學(xué)習(xí)場景微調(diào)的模型）接入Gemini 2.5 Pro模型，這讓后者在解題等學(xué)習(xí)場景的能力進(jìn)一步提升。
今天谷歌推出了輕量級模型Gemini 2.5 Flash的升級版。這款模型在推理、編程和長上下文等關(guān)鍵指標(biāo)上實(shí)現(xiàn)提升，在大模型競技場的排名僅次于Gemini 2.5 Pro。升級版模型將于6月初全面開放，Pro版本隨后跟進(jìn)，目前開發(fā)者已經(jīng)可以在AI Studio搶先體驗(yàn)。
Gemini還引入了更多的功能。增強(qiáng)版安全防護(hù)的可抵御間接提示注入攻擊；思維摘要功能將模型思考過程可視化，便于調(diào)試；Gemini 2.5 Pro即將新增“思考預(yù)算”控件，開發(fā)者可控制模型思考的長度，從而平衡質(zhì)量與成本。
Gemini 2.5 Pro和Gemini 2.5 Flash的文本轉(zhuǎn)語音功能支持多角色對話，能實(shí)現(xiàn)語氣微妙變化、切換耳語模式、跨24種語言切換。
谷歌Gemini產(chǎn)品負(fù)責(zé)人Tulsee Doshi展示了Gemini 2.5 Pro的編程能力。現(xiàn)場，Gemini 2.5 Pro僅參照一張草圖就生成了完整的3D交互網(wǎng)頁，用時37秒就在原網(wǎng)頁代碼上完成修改。
Gemini 2.5 Pro現(xiàn)已在多款A(yù)I IDE平臺（如Cursor等）中可用。谷歌昨日開啟公測的編程助手Jules也接入了Gemini 2.5 Pro，能獨(dú)立處理GitHub代碼庫的復(fù)雜任務(wù)，將原本耗時數(shù)小時的工作縮短至分鐘級。
▲谷歌Jules用戶界面
在模型架構(gòu)創(chuàng)新方面，谷歌將擴(kuò)散模型技術(shù)應(yīng)用于文本生成。全新的Gemini Diffusion實(shí)驗(yàn)?zāi)Ｐ停〝U(kuò)散語言模型）的生成速度比Gemini 2.5 Flash快5倍。這款模型不僅僅能按順序從左到右生成內(nèi)容，還可以生成過程中快速迭代解決方案，并在生成過程中進(jìn)行錯誤糾正。
谷歌打造了Gemini 2.5的“深度思考（Deep Think）”模式，運(yùn)用類AlphaGo的并行推理技術(shù)。這一模式已經(jīng)在美國數(shù)學(xué)奧林匹克2025測試和Live Codebench編程測試取得不錯的效果，但由于需要額外安全評估，谷歌將先向可信測試者開放API。
哈薩比斯稱，谷歌未來的重點(diǎn)是將Gemini模型擴(kuò)展為一個“世界模型”。模型對物理世界的理解能力，不僅對視頻、3D生成至關(guān)重要，也是機(jī)器人技術(shù)突破的關(guān)鍵。為此，谷歌還專門微調(diào)了Gemini Robotics模型，能讓機(jī)器人學(xué)習(xí)抓取物體、遵循指令等任務(wù)，并能夠即時適應(yīng)新任務(wù)。
谷歌的終極愿景是將Gemini打造成真正的通用AI助手（Universal AI Assistant），具備個性化、主動性和強(qiáng)大能力。
三、Veo 3一次性生成超真實(shí)有聲視頻，每月花1800元才能體驗(yàn)
多模態(tài)模型方面，谷歌發(fā)布了最新圖像生成模型Imagen 4。Imagen 4可以逼真地刻畫出復(fù)雜的織物、水滴和動物毛皮等物體。這款模型最高支持2K分辨率，圖片縱橫比和自由定制，其文字生成和排版能力也有明顯提升，給海報制作、PPT制作等生產(chǎn)級應(yīng)用提供了更好的支持。
谷歌視頻生成模型Veo 2新增了視頻參考、相機(jī)控制、對象添加與刪除等功能，而最新發(fā)布的Veo 3實(shí)現(xiàn)了有聲視頻的直接生成，能直接給城市街道場景的視頻配上自然的噪音，或是直接生成人物之間的對話。此外，Veo 3在文本和圖像提示、現(xiàn)實(shí)世界物理和口型同步方面都表現(xiàn)出色。
谷歌為Veo打造了配套的AI電影制作工具Flow，這一工具集成了Veo、Imagen和Gemini三款模型，可用于電影片段、場景和故事的創(chuàng)作。
音樂生成方面，谷歌進(jìn)一步擴(kuò)大了配套的音樂創(chuàng)作平臺Music AI Sandbox的訪問權(quán)限，由Lyria 2音樂生成模型提供技術(shù)支持。谷歌還打造了交互式音樂生成模型Lyria Realtime，允許用戶實(shí)時交互地創(chuàng)建、控制音樂。
在大量AI生成內(nèi)容出現(xiàn)之后，此類內(nèi)容的識別也成為關(guān)鍵挑戰(zhàn)。谷歌于2023年推出了SynthID水印，迄今為止已為100億份AI生成的圖像、視頻、音頻和文本內(nèi)容添加水印。今天，谷歌進(jìn)一步發(fā)布了SynthID檢測器，這一驗(yàn)證門戶能幫助人們更方便地識別AI生成內(nèi)容。
Gemini將推出Canvas功能，支持互動性的用戶協(xié)作。用戶描述需求后，Canvas可自動生成可分享的交互式內(nèi)容，其他用戶也可以對這一內(nèi)容進(jìn)行修改。
谷歌還推出了Gemini in Chrome，這是一款Chrome瀏覽器中內(nèi)嵌的個性化助手，實(shí)時理解當(dāng)前網(wǎng)頁內(nèi)容與用戶所處的上下文。例如，在購物場景中，Gemini in Chrome可以幫助用戶快速對比商品評論、輔助決策。這一功能將于本周面向美國用戶開放。
Gemini App中將內(nèi)置上述一系列谷歌的媒體內(nèi)容生成模型。
四、聯(lián)手三星、高通共建安卓XR，現(xiàn)場演示智能眼鏡回消息、搜圖片
谷歌副總裁、安卓XR主管沙赫拉姆·伊扎迪（Shahram Izadi）稱，安卓平臺現(xiàn)在正發(fā)生許多令人興奮的變化。上周，谷歌已經(jīng)發(fā)布了安卓16和Wear OS 6兩大新一代操作系統(tǒng)，而今天發(fā)布的許多Gemini最新進(jìn)展將很快登上安卓平臺，不僅限于手機(jī)，還包括手表、汽車和智能電視。
而谷歌的安卓XR是Gemini時代的首個安卓平臺，將支持從頭顯到智能眼鏡等多種設(shè)備類型，滿足不同使用場景的需求，如沉浸式觀影、游戲和工作等。
目前，谷歌正與三星合作共建安卓XR，并與高通合作針對驍龍平臺進(jìn)行優(yōu)化。自去年發(fā)布開發(fā)者預(yù)覽版以來，已有數(shù)百名開發(fā)者為該平臺構(gòu)建應(yīng)用。
谷歌認(rèn)為，智能眼鏡是AI的理想載體?，F(xiàn)場，谷歌工作人員和NBA球星“字母哥”一同展示了谷歌眼鏡原型機(jī)的使用體驗(yàn)。
天氣、時間、圖像和消息等信息能以彩色形式顯示在谷歌眼鏡上，用戶可以直接通過語音指令讓安卓XR智能眼鏡完成消息回復(fù)、開啟勿擾模式、圖像檢索等操作。
這款眼鏡還具備一定的上下文記憶能力。在演示人員登上臺后，谷歌眼鏡能回憶起剛才在后臺看到的咖啡究竟是什么品牌的。
谷歌稱，他們與三星的合作關(guān)系將會提升至新的高度，從頭顯拓展至智能眼鏡領(lǐng)域，雙方已經(jīng)在合作開發(fā)軟件和參考硬件平臺。
繼與三星合作的XR頭顯Project Moohan后，谷歌官宣了第二款安卓XR設(shè)備——來自XREAL的Project Aura。這款智能眼鏡使用了安卓XR的軟件堆棧和高通驍龍XR芯片，配備光學(xué)透視（OST）和虛擬透視（VST）顯示技術(shù)，擁有70度的視野，不過仍然采用了有線的設(shè)計。
五、AI Mode支持上傳全身照虛擬試穿，跟蹤低價代理結(jié)賬
自去年在I/O大會上推出以來，谷歌搜索的AI Overviews月活用戶已達(dá)15億，在200多個國家和地區(qū)可用。
AI Overviews是Google Lens視覺搜索增長的驅(qū)動力之一。Google Lens搜索次數(shù)的年增長率為65%，今年已經(jīng)完成超過1000億次視覺搜索。
為提供更沉浸式的AI搜索體驗(yàn)，谷歌推出了全新的“AI Mode”。AI Mode以新標(biāo)簽頁形式出現(xiàn)在搜索界面中，其底座是谷歌基于Gemini 2.5定制的模型版本。
這一模式下，其會針對用戶需求對答案進(jìn)行整合并提供方便閱讀的答案形式，如附帶評分的飯店信息、包含地圖概覽的答案等，同時，用戶還可以通過對話形式進(jìn)行后續(xù)追問。這項功能今天開始在美國推出。
AI Mode背后的關(guān)鍵技術(shù)是“查詢扇出（query fan-out）”，可跨子主題和多個數(shù)據(jù)源同時發(fā)出多個相關(guān)搜索，然后將這些結(jié)果匯總在一起，提供易于理解的響應(yīng)。
在個性化搜索能力方面，AI Mode允許用戶引入更多偏好信息，幫助用戶預(yù)定座位、進(jìn)行所在地活動推薦等。對于用戶需要獲得更為詳盡答案的問題，AI Mode能代表用戶發(fā)起數(shù)十次甚至數(shù)百次搜索，幾分鐘內(nèi)生成一份專業(yè)級報告。
AI Mode在體育數(shù)據(jù)、金融分析中的深度應(yīng)用會于今年夏天推出。如讓其展示本賽季和上賽季使用魚類球棒球員的打擊率和上壘率，這個問題包含不同賽季、使用特定球棒的球員、打擊率、上壘率等多個要素。其會動態(tài)為用戶生成如圖表等適應(yīng)用戶觀看的界面。
AI Mode還重塑了用戶的購物體驗(yàn)，幫助用戶定制瀏覽界面、虛擬試穿以及結(jié)賬。
AI Mode將Gemini與購物圖譜相結(jié)合，擁有超過500億個產(chǎn)品，并附有評論、價格、顏色選項和可用性等詳細(xì)信息，同時會根據(jù)用戶特定需求定制產(chǎn)品瀏覽面板。
基于AI Mode，用戶選中衣服點(diǎn)擊“試穿”圖標(biāo)、上傳全身照，就能進(jìn)行虛擬試穿。這一效果由時尚定制圖像生成模型提供支持，該模型能夠理解人體結(jié)構(gòu)和服裝的細(xì)微差別，例如不同面料在不同人體上的折疊、拉伸和懸垂效果。
同時，用戶在商品詳情上點(diǎn)擊“跟蹤價格”，然后設(shè)置合適的尺碼、顏色以及期望的支付金額，AI Mode就會自動在不同網(wǎng)站監(jiān)控降價信息，并向用戶發(fā)送降價通知，將商品添加到用戶購物車并通過Google Pay完成結(jié)賬。這項視覺購物、結(jié)賬功能將在未來幾個月內(nèi)陸續(xù)推出。
六、三大研究項目突破：3D視頻通訊、視頻通話搜索、為Agent引入多任務(wù)處理能力
皮查伊重點(diǎn)提到了目前正改變谷歌產(chǎn)品的三個例子：
第一個項目是在Project Starline之上，谷歌推出一個以AI為核心的全新視頻通話平臺Google Beam，該平臺采用新一代視頻模型將2D視頻流轉(zhuǎn)換為3D體驗(yàn)，通過6臺攝像機(jī)組成的陣列捕捉用戶動作，借助AI將這些視頻流進(jìn)行合并，實(shí)時處理呈現(xiàn)用戶影像，精度達(dá)毫米級，每秒60幀。谷歌與惠普合作的首批Google Beam設(shè)備將于今年晚些時候向其測試用戶推出。
此外，谷歌致力于將Project Starline的底層技術(shù)引入Google Meet視頻會議平臺，包括實(shí)時語音翻譯功能。今天谷歌將直接在Google Meet中推出實(shí)時語音翻譯功能，訂閱用戶可以使用英語和西班牙語，未來幾周之內(nèi)將會支持更多語言，今年晚些時候面向企業(yè)用戶推出。
第二個項目是實(shí)時、多模態(tài)的AI助手項目Project Astra，如今Gemini Live已具備Project Astra的攝像頭和屏幕共享功能，讓用戶可以暢聊所見的一切。
去年，Project Astra展示的實(shí)時視覺、屏幕共享和記憶功能已逐步集成至Gemini中，今天谷歌新增了更自然的原生語音交互和計算機(jī)控制功能。
Gemini Live API現(xiàn)已推出音頻視頻輸入和本地音頻輸出的預(yù)覽版本，開發(fā)者可以控制其語調(diào)、口音和說話風(fēng)格。
Project Astra還可用于視障人士的輔助。谷歌演示了Project Astra如何幫助一名盲人音樂家完成現(xiàn)場演出。
第三個項目是Project Marina，這是一個能夠與網(wǎng)絡(luò)交互并且完成任務(wù)的Agent，谷歌將Agent視為結(jié)合了先進(jìn)AI模型智能與工具訪問能力的系統(tǒng)。
其中，計算機(jī)使用是一項使Agent能與瀏覽器和其他軟件進(jìn)行交互和操作的重要能力。谷歌引入了多任務(wù)處理能力，Project Marina可以同時監(jiān)管十項任務(wù)，用戶展示一次任務(wù)，Agent還可以學(xué)會為未來類似的任務(wù)去制定相應(yīng)的計劃。
谷歌將通過Gemini API將Project Marina的計算機(jī)使用能力帶給開發(fā)者，今年夏天會面向更廣泛用戶開放。
Gemini SDK現(xiàn)在兼容MCP工具，谷歌會逐步將整體功能引入到谷歌搜索以及Gemini應(yīng)用。
結(jié)語：谷歌全面重塑搜索、瀏覽器體驗(yàn)，劍指通用AI助手
這也是其最新在年度開發(fā)者大會上宣布諸多更新的技術(shù)底座。谷歌在升級Gemini模型的同時，將更多的AI能力融入到搜索、Gmail和瀏覽器之中。同時，谷歌還預(yù)告了未來的重大舉措，包括改進(jìn)視頻通話功能、打造更具感知力和對話能力的助手，以及合作開發(fā)智能眼鏡。
這些都彰顯出谷歌作為科技巨頭雄厚的技術(shù)實(shí)力和廣泛的應(yīng)用市場，并且在I/O大會上，谷歌也提到將在基礎(chǔ)研究上加倍投入，真正構(gòu)建更個性化、更主動、更強(qiáng)大的AI。未來實(shí)現(xiàn)通用人工智能（AGI）的下一個突破性技術(shù)或許將會更快到來。
