智東西（公眾號：zhidxcom）
作者 |? 陳駿達
編輯 |? 云鵬
智東西12月8日報道，上周，“豆包手機助手”一躍成為AI圈與手機圈的年度熱點，熱度與爭議齊飛。我們搶在首批樣機售罄前，自費入手了一臺搭載豆包手機助手的努比亞M153工程機，進行了3天的沉浸式體驗，對這其中的爭議和真實使用體驗有了更深的感受。
豆包手機助手確實能“替我操作手機”，如點外賣、開空調、改設置、記賬等，極大地便利了生活；但我們也能感覺到，它很容易卡在權限或App的限制上，能力受外部生態(tài)的制約很大。
如果把這款AI手機與當下所有主流智能手機相比，其最大的區(qū)別就是，M153中的AI不再是一個附著在系統(tǒng)里的“AI功能”，而像是試圖接管整個交互入口的“系統(tǒng)級智能”，與AI交互過程中，App本身已經(jīng)隱于后臺，點開App幾乎成為可選項。
而過去一周的爭議，也正集中在這一點。以微信（現(xiàn)已恢復登錄，不可用AI操作）、支付寶（無法登錄）、美團（不可用AI操作）為代表的幾個頭部App陸續(xù)限制在該機型上的登錄與操作，關于權限、安全、生態(tài)秩序的討論層出不窮。錘子手機創(chuàng)始人羅永浩直呼這是場攔不住的“技術革命”，360創(chuàng)始人兼CEO則形容豆包“搶走所有手機的靈魂”。
字節(jié)連發(fā)多封公開信，一方面自行限制了豆包手機助手的部分能力，另一方面呼吁應用廠商避免用一刀切的方式否定用戶合理使用AI的權利。
那么，在真實使用中，它到底能做到哪些事？又在哪些環(huán)節(jié)面臨阻力？在體驗結束后，我們最終歸納出五個關鍵要點：
1、豆包可能真的要成“操作系統(tǒng)”了：無論是手機背部的“POWERED BY DOUBAO”字樣，還是還是系統(tǒng)內隨處可見的豆包深度嵌入式入口，都讓人感覺它已不再是傳統(tǒng)意義上的手機助手，而是在向“AI主導的手機操作系統(tǒng)”形態(tài)邁進。
2、“操作手機Pro”模式是豆包手機助手的差異化優(yōu)勢：在該模式下，豆包手機助手不僅能模擬點擊操作手機，還能使用全部本地數(shù)據(jù)，并主動進行深度推理、多輪搜索和工具調用，可完成長耗時、高復雜度的任務。
3、影響豆包手機助手能力的，不只是技術本身：雖然豆包手機助手已獲得用戶和手機廠商（努比亞）的授權，但隨著體驗的深入，我們見證了其能力遭到各大App的風險管控的限制。從某種意義上來說，應用廠商對豆包手機助手的接納程度，可能是比豆包本身技術能力還要大的挑戰(zhàn)。
4、豆包手機助手的“大腦”，有時也會成為累贅：在某些簡單任務上手機控制任務上，豆包手機助手可能會過度思考，將簡單的任務復雜化。
5、現(xiàn)階段，這款手機確實不是面向普通消費者的：字節(jié)已經(jīng)多次強調這是一個技術預覽版產品，豆包手機助手仍有部分功能尚未開放，與各大應用廠商的合作仍在洽談中，系統(tǒng)本身仍有不完善之處。
一、搭載“豆包智能”，系統(tǒng)錘子味兒明顯
在購買界面中的背部外觀圖上，我們能看到M153相機Deco右下角有一串模糊的英文單詞。當我們拿到M153真機后，能清晰地看到這些字樣的內容：“POWERED BY DOUBAO?！?/p>
▲M153真機實拍（圖源：智東西）
這讓人不禁聯(lián)想起鴻蒙設備上的類似字樣：“POWERED BY HARMONY OS?！?/p>
M153搭載的系統(tǒng)是Obric UI，而不是努比亞的星云OS。此前，數(shù)碼博主“wuxianlin”在Obric UI的系統(tǒng)包內部發(fā)現(xiàn)了許多錘子科技的遺留字樣，比如smartisan、smartisanos等。我們也看到，豆包手機內置了“米店”、“被禁忌的游戲”等鈴聲，而這些鈴聲都是錘子手機的經(jīng)典鈴聲。
▲Obric UI的系統(tǒng)包內部發(fā)現(xiàn)了許多錘子科技的遺留字樣（來源：微博用戶wuxianlin）
系統(tǒng)的UI也有很明顯的“錘子味兒”，下圖左側是錘子手機的UI，右側是M153的UI，系統(tǒng)自帶的電話、瀏覽器的logo幾乎像素級復刻。
系統(tǒng)設置中，AI相關功能的設置入口被稱為“豆包智能”。在豆包智能中，用戶可以自定義手機左側AI喚醒按鍵的功能，比如打開對話框、觸發(fā)豆包視頻通話等等。
豆包設置則提供了豐富的自定義選項，用戶可以在該頁面錄制聲紋，錄制后豆包就會“認得”你的聲音，其他人都無法喚醒它。
一個特別實用的功能是“靠近直說”，開啟后，用戶只要把手機拿近一些，無需喊出“豆包豆包”，就能直接觸發(fā)手機助手。
為了讓豆包更懂用戶，我們還可以選擇性地開啟“全局記憶”功能。開啟后，豆包手機助手會主動記憶用戶的相關信息，包括證件、人際關系、地址、紀念日、個人信息、選擇偏好、中長期個人目標等等。
這些記憶主要是由用戶觸發(fā)的，在任意界面換出助手，說出“記一下……”就可以。在特定場景，豆包手機助手還會自動記憶，比如當用戶收藏特定內容時。
豆包手機助手默認安裝了豆包App，不過這和目前其他用戶能從應用商店下載的豆包App不一樣，而這臺工程樣機也不支持安裝市面上的豆包App。
這個App可以理解為豆包智能的超級入口，打開后，可以看到輸入框上方提供了海量AI功能，包括操作手機、復雜任務、深度思考、打電話、AI創(chuàng)作、視頻通話、錄音紀要、AI播客等。其中，操作手機、復雜任務等高級功能是公版豆包App中沒有的。
其實，M153搭載的系統(tǒng)和系統(tǒng)應用還有許多缺失和有待完善的功能，比如沒有夜間模式，用戶無法在相冊里選中多張圖片進行拼圖，相機的拍照效果也有待優(yōu)化。不過，作為一個豆包手機助手的技術預覽版，這些都是可以理解的。
二、具備兩檔“操作手機”能力，Pro版本幫你一次規(guī)劃完整行程
豆包手機助手的最大亮點，就是其直接操作設備的能力。豆包手機助手將這一能力分為兩檔，“操作手機”與“操作手機Pro”。
“操作手機”可以使用模擬點擊的方式來幫你操作手機上的各類應用，完成任務。
比如，我們可以讓豆包手機助手打開汽車充電App，查看充電記錄， 并告知用戶。
也可以讓豆包手機助手幫我們把空調給打開。
這一功能的觸發(fā)是通過語義實現(xiàn)的，也就是說，這里還涉及一個豆包自主判斷的過程。有時當我們說出一些指令時，豆包并不一定能反應過來需要操作手機。但如果用戶明確說出“幫我操作手機”，則會100%通過操作手機完成任務。
豆包手機助手操作應用時，會在頂部狀態(tài)欄膠囊中顯示，點擊后可以切換到AI正在操作的虛擬屏。屏幕邊緣會有粉紅色光暈，用戶手動接管操作后，屏幕邊緣光暈消失，但屏幕邊緣仍有邊框，代表AI任務還在進行中，只是臨時被接管。
操作過程中，用戶可以通過補充按鈕輸入更多信息，也可以直接選擇接管，進行特定操作，然后再把主動權還給它。
當遇到問題或者需要用戶確認、選擇或者給予特定權限時，豆包手機助手會主動提示用戶接管。比如，當用它點外賣時，它會在閱讀菜單后詢問用戶具體要哪個餐。最后，我們選擇接管，因為擔心豆包操作支付寶導致封號。
▲用豆包手機助手點外賣，經(jīng)6倍速處理（圖源：智東西）
“操作手機Pro”功能則在使用手機應用的基礎上，加入了更多工具、使用聯(lián)網(wǎng)搜索等，獲得最新信息和用戶的個人數(shù)據(jù)，從而完成更為復雜的任務?！安僮魇謾CPro”的耗時較長，往往能達到五六分鐘。
要進入這一功能，用戶需要在助手底部的快捷按鈕上找到操作手機按鈕，然后手動切換到Pro模式。
由于“操作手機Pro”的功能往往涉及多個應用，且目前用豆包操作這些應用可能會導致封號等問題，保險起見，我們暫時未對“操作手機Pro”的功能進行實測。
不過，豆包手機助手使用指南里提供了一些真實案例，可以讓我們感受一下這些能力。
例如，豆包手機助手可以幫用戶進行本地生活規(guī)劃，自己下載購票軟件買電影票，查詢場次，查詢打車記錄，記錄打車價格，然后給用戶匯報這趟行程預計的總花費是多少。
▲畫面經(jīng)8倍速處理
此外，豆包手機助手也可以憑借“操作手機Pro”能力進行多平臺比價、幫用戶退貨并發(fā)送取件碼、把本周花銷記錄到備忘錄里等操作。
從我們這兩天的實際體驗來看，豆包手機助手操作手機的能力要超過目前市面上大部分手機助手。豆包的這些能力一部分來自模型自身的GUI能力，但也與其更高的權限分不開干系——操作手機時，它本質上就是用戶授意的全權代表。
不過，這一能力也意味著豆包手機助手可以直接以用戶的權限完成一些高風險任務，而大部分用戶在給予手機助手權限時，可能并未完全理解背后的安全風險。
如何確保豆包手機助手不會越界，并向各大應用廠商和用戶證明這一點，贏取信任，可能是豆包手機助手未來需要持續(xù)思考的問題。
三、支持主流手機控制功能，AI錄音、識屏、修圖、搜索全都配齊
拋開手機操作之外，要成為一款合格的手機助手，豆包手機助手也需要完成一些基礎的手機控制功能。豆包手機助手的使用指南里列出了其目前支持的所有手機控制功能：
我們在實測中發(fā)現(xiàn)，用豆包手機助手完成上述操作的速度很快，基本和其他手機助手體驗一致。不過，由于有了AI大模型作為大腦，再加上操作手機的能力，豆包還可以完成一些更為復雜的操作。
比如，當我們提出想要開啟手機的所有震動時（包括虛擬按鍵、輸入法、來電提醒和應用內震動），大多數(shù)手機助手通常只能開啟系統(tǒng)設置中的震動選項，而對于其他部分往往無能為力。
但豆包手機助手可以在聽懂整體需求后，一次性幫全部搞定。它的操作邏輯其實和用戶其實是一致的——打開設置，靠“閱讀”屏幕信息一個一個尋找震動相關選項，即便沒有“震動”二字，而是以“觸感反饋”等字樣描述的功能，它也可以精準定位并開啟。
▲豆包手機助手連續(xù)開啟多個震動選項（圖源：智東西）
雖然操作速度就像開了慢動作，但其實在日常使用過程中，這一速度其實并不會過多地影響用戶體驗。豆包手機助手對設備的所有操作都是隱藏在后臺的，如果不是為了錄制操作過程用于演示，完全可以在交代任務后去刷刷社交媒體，看看視頻，而任務會在后臺自動完成，近乎無感。
但我們也發(fā)現(xiàn)，對于一些比較簡單的任務，豆包手機助手并不是總能快速通過安卓系統(tǒng)的頁面內跳轉協(xié)議URL Scheme完成，而是需要在系統(tǒng)內反復摸索，就像第一次上手使用的用戶一樣。
目前，大部分智能手機也都能提供一些基礎的AI服務，豆包手機助手和Obric UI在這方面基本覆蓋了現(xiàn)有的主流功能。
屏幕問答功能支持手動添加屏幕截圖和語義問答，可以直接按住AI鍵直接向豆包手機助手提問與畫面相關的問題。
AI修圖功能也可以直接通過激活AI助手實現(xiàn)，激活后選中AI修圖按鍵就能把原圖添加到豆包手機助手，然后用自然語言完成AI修圖。目前，這一功能使用的是最新的Seedream 4.5模型。
智能錄音功能則支持將通話過程、錄音音頻內容和部分應用內的語音內容轉為文字，并形成摘要。應用錄音目前支持飛書、微信、qq、釘釘、騰訊會議、企業(yè)微信。
這一功能可以默認開啟，自動錄音，對于經(jīng)常需要工作留痕的用戶來說還是比較實用的。
▲智能錄音功能（圖源：智東西）
豆包手機助手可以用來進行本地數(shù)據(jù)的搜索和問答，范圍包括聯(lián)系人、短信、通話記錄、相冊照片、便簽、錄音、日歷等等，用戶的全局記憶也可以被搜索到。
▲官方本地數(shù)據(jù)搜索問答案例
不過，我們在實測中發(fā)現(xiàn)這一功能不是特別穩(wěn)定，并不總能準確地找到對應信息。
四、發(fā)布隱私白皮書，端云AI協(xié)作提供安全保障
豆包手機助手背后，到底使用了什么模型、哪些技術，更重要的時，安全究竟靠什么保障？字節(jié)跳動在《?包?機助?隱私安全白皮書》里其實透露了不少細節(jié)。
豆包手機助手采用了端云AI安全防護體系為架構基礎，結合字節(jié)的自研大模型，以實現(xiàn)智能AI業(yè)務。
對于本地模型，豆包手機助手采取了基于TEE（可信執(zhí)行環(huán)境）和硬件加密的方案，從預置、分發(fā)到存儲，模型始終處于加密狀態(tài)，密鑰由TEE保護。
在系統(tǒng)完整性得到確認后，模型才被解密加載，防止特權攻擊導致的數(shù)據(jù)泄露。在處理處理高敏感數(shù)據(jù)時，豆包手機助手主要依賴本地AI模型，如OCR、文本向量化、命名實體識別等模型，實現(xiàn)了“數(shù)據(jù)不離端”。
豆包手機助手在云端AI隱私安全方面實現(xiàn)了嚴格的數(shù)據(jù)隔離，用戶敏感數(shù)據(jù)不會用于模型訓練，并遵循最小權限原則進行精細的權限管控。
所有數(shù)據(jù)在傳輸、存儲及日志環(huán)節(jié)均實施全鏈路加密或脫敏，更引入機密計算容器實現(xiàn)內存級明文數(shù)據(jù)隔離，屬于云端數(shù)據(jù)保護的頂級實踐。同時，平臺還部署了專用的模型安全防護服務，主動防范提示詞攻擊、數(shù)據(jù)泄露等大模型新型風險。
至于AI應用的安全性，豆包手機助手的思路就是“找用戶確認”。豆包手機助手規(guī)定了六類必須需要找用戶二次確認才能接入并執(zhí)行的任務，分別為權限與隱私管理、?融與交易操作、系統(tǒng)與設備控制、法律與合規(guī)要求相關操作、??險不可逆操作、健康與醫(yī)療數(shù)據(jù)處理。
結語：模型玩家入局AI手機，或成一大市場變量
字節(jié)此次聯(lián)合努比亞推出豆包手機助手技術預覽版，展示了模型玩家賦能手機廠商的潛力。豆包系列模型在國內的性能處于前列，性價比優(yōu)勢明顯，又有豆包等國民級AI應用的驗證，其入局標志著AI手機生態(tài)，從純粹由手機廠商主導向模型廠商深度參與的未來邁出的一步。
未來，手機廠商與AI模型商之間的競合關系或許會越發(fā)復雜，而字節(jié)作為重要的“變量”，或將為市場帶來新的技術路徑、合作模式與差異化體驗，攪動AI手機這一市場，也加速AI手機的實現(xiàn)和落地。模型能力、生態(tài)整合與用戶體驗，有望共同定義下一代智能終端。
