智東西（公眾號：zhidxcom）
作者 | 云鵬
編輯 | 漠影
2024年無疑是端側(cè)AI爆發(fā)的一年，因此產(chǎn)業(yè)也通常將今年看作是“端側(cè)AI元年”。
當(dāng)下，AI大模型在終端細分賽道展現(xiàn)出的強大生命力，各類AI產(chǎn)品幾乎無處不在，AI手機、AI PC、AI眼鏡，以及AIoT領(lǐng)域的各類AI智能終端設(shè)備成為當(dāng)下數(shù)碼和科技圈廣為熱議的關(guān)鍵詞。
根據(jù)Gartner預(yù)測，2025年AI PC全球出貨量將超過1.14億臺，同比增長165.5%。另一邊，AI手機也在快速普及，根據(jù)Canalys預(yù)測，2025年AI手機的滲透率可能會接近三分之一，出貨量近4億臺。
與此同時，具身智能機器人賽道火爆，智能汽車領(lǐng)域的AI應(yīng)用落地更是“卷”得飛起。
端側(cè)AI的加速落地，讓消費者感受到了不一樣的AI體驗：AI真的更“懂你”了，AI功能更加“個性化”，AI能力也更加深入系統(tǒng)級。端側(cè)AI的價值愈發(fā)凸顯。
根據(jù)研究人員統(tǒng)計預(yù)測，端側(cè)AI市場規(guī)模將在8年后沖向1436億美元（約合人民幣10400億元），10年增長10倍。
▲2022年至2032年按終端用戶劃分的端側(cè)AI全球市場規(guī)模（單位：十億美元）
在國內(nèi)AI市場，AI的發(fā)展更加百花齊放，據(jù)艾瑞咨詢測算，2023年國內(nèi)AI產(chǎn)業(yè)規(guī)模已經(jīng)超過了2100億元，端側(cè)和邊緣AI芯片的比重也有望持續(xù)增漲。大模型帶來的底層技術(shù)革新無疑會給端側(cè)AI產(chǎn)業(yè)規(guī)模增長帶來更多存量擴張與增量空間。
▲來源：艾瑞咨詢
在這樣的行業(yè)背景下，國內(nèi)AI領(lǐng)域的玩家是走得最積極的一批，在技術(shù)落地方面推進得更加踴躍。從底層的芯片IP、芯片設(shè)計、制造到操作系統(tǒng)、大模型研發(fā)、終端，再到上層AI應(yīng)用和服務(wù)落地，國內(nèi)AI發(fā)展有著完整的全產(chǎn)業(yè)鏈條，本土AI新勢力無疑有著充足的施展空間和機會。
扛起本土AI底層生態(tài)建設(shè)大旗，需要國內(nèi)廠商在端側(cè)AI領(lǐng)域協(xié)同發(fā)力、抱團取暖。
作為產(chǎn)業(yè)鏈最上游芯片IP領(lǐng)域核心玩家的安謀科技，剛剛在上海舉辦了一場端側(cè)AI生態(tài)研討會，聚集了從芯片、大模型到終端，從硬件、軟件、算法到生態(tài)的各路行業(yè)頭部企業(yè)，分享最新行業(yè)趨勢，輸出前沿觀點。
安謀科技銷售及商務(wù)執(zhí)行副總裁徐亞濤提到，AI未來的發(fā)展必然是多樣性的，每一類產(chǎn)品都面臨著AI化的挑戰(zhàn)，整個產(chǎn)業(yè)都在被AI重塑。AI不是單打獨斗可以搞定的，跨行業(yè)的深度合作將成為必然。
▲安謀科技銷售及商務(wù)執(zhí)行副總裁徐亞濤
一、端側(cè)AI落地，一場模型與算力的“雙向奔赴”，本土AI新勢力走向前臺
就在昨天凌晨，OpenAI正式發(fā)布了Sora視頻大模型，AI大模型的迭代再進一步，從文本到圖像、從多模態(tài)到視頻，大模型的發(fā)展快得令人不敢眨眼。一個不留神，可能就會掉隊。
隨著超大規(guī)模的基座大語言模型不再持續(xù)狂飆，大模型向著邊緣和端側(cè)下沉的趨勢日益明顯，AI OS、AI智能體等概念逐漸成為行業(yè)共識，產(chǎn)業(yè)的關(guān)注焦點已經(jīng)轉(zhuǎn)向了真正賦能行業(yè)、實現(xiàn)落地。
大家不再單純地看TOPS（算力），而是更關(guān)注FPS（幀數(shù)性能）和tokens（生詞速度），也就是更關(guān)注實際在應(yīng)用場景中的表現(xiàn)。
智源人工智能研究院副院長、總工程師林詠華提到，大模型的技術(shù)發(fā)展如今更加聚焦模態(tài)的多樣性、模型結(jié)構(gòu)算法的多樣性以及生產(chǎn)部署的優(yōu)化，大模型發(fā)展呈現(xiàn)出“兩極分化”的態(tài)勢：更強更大和更小更精。
據(jù)統(tǒng)計，數(shù)百億級以上的強大稠密模型，或10B以下的小模型更受歡迎，越來越多的小模型被發(fā)布和下載，而端側(cè)AI的發(fā)展，顯然更側(cè)重于“更小更精”。
與此同時，一個突出的特點就是國內(nèi)AI企業(yè)在AI大模型這波浪潮中一直走在全球AI產(chǎn)業(yè)的前列，熱門大模型中本土公司開發(fā)的模型占比很高。
尤其是結(jié)合國內(nèi)AI市場潛在規(guī)模，本土AI企業(yè)的發(fā)展?jié)摿Ω蔷薮蟮摹?/strong>
安謀科技市場及生態(tài)副總裁梁泉也談到了類似的觀點，在端側(cè)AI領(lǐng)域，模型與算力正在“雙向奔赴”，小參數(shù)、多模態(tài)模型的能力快速提升，而旗艦設(shè)備的算力也已經(jīng)達到50-100 TOPS。
▲安謀科技市場及生態(tài)副總裁梁泉
在端側(cè)AI的元年，雖然沒人能確切地說出端側(cè)AI的殺手級應(yīng)用會是什么，但本土AI新勢力發(fā)展端側(cè)AI已經(jīng)實打?qū)嵉貜募夹g(shù)軍備競賽走向場景化落地應(yīng)用。
二、本土企業(yè)領(lǐng)跑端側(cè)AI落地，技術(shù)創(chuàng)新加速涌現(xiàn)，生態(tài)大一統(tǒng)走向必然
端側(cè)AI的發(fā)展無疑正迎來一個新的“黃金時期”，從芯片、框架、大模型到終端，整個產(chǎn)業(yè)鏈的各個環(huán)節(jié)都在深度參與，快速適應(yīng)，不斷迭代產(chǎn)品和技術(shù)。與此同時，統(tǒng)一生態(tài)的重要性愈發(fā)凸顯，端側(cè)AI的高效落地，必然需要彌合碎片化的生態(tài)，需要產(chǎn)業(yè)鏈各方的共同努力。
1、從手機、PC到汽車，芯片創(chuàng)新為端側(cè)AI落地提供底層基礎(chǔ)
在端側(cè)AI落地過程中，AI手機無疑沖在了最前面，蘋果安卓兩大生態(tài)分庭抗禮，安卓生態(tài)端，聯(lián)發(fā)科、展銳等手機芯片巨頭的AI手機芯片無一例外都是基于Arm架構(gòu)打造。
紫光展銳執(zhí)行副總裁兼市場部部長黃宇寧談道，端側(cè)AI如今正涌現(xiàn)出更多成果，包括硬件、軟件、端側(cè)大模型、端云協(xié)同與安全技術(shù)等領(lǐng)域的諸多新技術(shù)的成熟都加速著AI手機的發(fā)展。
▲紫光展銳執(zhí)行副總裁兼市場部部長黃宇寧
從手機AI到真正的AI手機，一個能夠自動執(zhí)行復(fù)雜任務(wù)、真正懂我們的智能設(shè)備，AI手機的發(fā)展正邁入AI OS、AI智能體時代。在AI落地手機的過程中，很多廠商都明確提出了“端云協(xié)同”的混合AI模式。
簡言之，混合AI就是將云端的強算力與端側(cè)的個性化、低時延、高數(shù)據(jù)安全性等特點相結(jié)合，真正實現(xiàn)優(yōu)秀的端側(cè)AI體驗。
據(jù)黃宇寧介紹，目前紫光展銳的芯片已經(jīng)在三個AI典型場景中應(yīng)用：全場景通用AI算力（端側(cè)AI智能體）、多媒體專用AI算力和低功耗輕量AI算力。
基于Arm架構(gòu)和生態(tài)，紫光展銳可以提供CPU、GPU、NPU以及整合的SoC這些底層算力平臺，而整個生態(tài)的構(gòu)建則需要產(chǎn)業(yè)合作伙伴的共同努力。
黃宇寧特別提到，在端側(cè)AI落地過程中，統(tǒng)一生態(tài)是非常重要的，其最直接受益的就是開發(fā)者，而開發(fā)者則可以利用統(tǒng)一生態(tài)，把最新的算法、模型在芯片上快速實現(xiàn)落地，讓用戶最終享受到好的服務(wù)。
除了AI手機，另一個端側(cè)AI落地的重要領(lǐng)域就是AI PC。
此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰提到，生成式AI正在推動PC產(chǎn)業(yè)的第三次革命，AI給PC產(chǎn)業(yè)注入了新的活力，包括異構(gòu)AI算力、內(nèi)存、SLMs（小模型）、智能體化，國內(nèi)廠商都在積極擁抱端側(cè)AI。
▲此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰
已經(jīng)發(fā)布的“此芯P1”芯片是一個高能效異構(gòu)處理器，異構(gòu)集成了Arm架構(gòu)CPU、GPU以及安謀科技自研的“周易”NPU，此芯科技要用異構(gòu)算力去賦能多場景端側(cè)AI，將不同的計算模塊應(yīng)用在不同應(yīng)用負(fù)載中。
現(xiàn)場周杰還劇透了他們的AI PC開發(fā)套件新品Radxa Orion 06，這個開發(fā)套件搭載了“此芯P1”高能效Armv9處理器，可以基于異構(gòu)算力支持主流端側(cè)生成式AI大模型和傳統(tǒng)CNN模型。
顯然，AI PC的發(fā)展會助力Arm架構(gòu)在PC市場的崛起，Arm架構(gòu)在AI PC生態(tài)有先發(fā)優(yōu)勢，是手機生態(tài)的自然延伸。
同樣基于Arm架構(gòu)打造AI處理器的還有愛芯元智，在愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉看來，AI是穩(wěn)定可靠的智能輸出基建，是一場成本驅(qū)動型的生產(chǎn)力革命。
▲愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉
AI的發(fā)展，帶來了新的程序范式，因此需要真正按照原生AI處理思路設(shè)計的AI處理器，為此，愛芯元智將算子指令集與數(shù)據(jù)流DSA微架構(gòu)相結(jié)合開發(fā)了相關(guān)AI處理器，可以兼顧靈活性和低能耗。
他特別提到，AI處理器的設(shè)計要軟硬件聯(lián)合設(shè)計，讓軟件編程的負(fù)擔(dān)越來越低。
2、從云到端，模型變得“更小更強”，統(tǒng)一生態(tài)加速技術(shù)創(chuàng)新涌現(xiàn)
在大模型研究方面，智源人工智能研究院、面壁智能和vivo都是各自領(lǐng)域的領(lǐng)跑者。端側(cè)AI的落地，離不開大模型側(cè)的技術(shù)突破和優(yōu)化迭代。
在智源人工智能研究院副院長、總工程師林詠華看來，未來10年，大模型必然會牽引AI走向美好的星辰大海，而在這個過程中，多元異構(gòu)AI算力軟硬件生態(tài)面臨著巨大的技術(shù)挑戰(zhàn)。
▲智源人工智能研究院副院長、總工程師林詠華
芯片層面軟件生態(tài)割裂、遷移成本高，而各種異構(gòu)算力、多地域算力整合面臨異構(gòu)算力軟件各異、軟硬件穩(wěn)定性差等難題。各個廠商私有的、碎片化的軟件生態(tài)已經(jīng)成為用戶嘗試其他AI硬件時的最大障礙。
為多元異構(gòu)AI芯片打造統(tǒng)一、開放、協(xié)作的軟件生態(tài)系統(tǒng)就顯得尤為重要，這也是智源人工智能研究院基于開源的Triton語言打造統(tǒng)一的軟件層、打造面向國產(chǎn)AI芯片的軟硬件生態(tài)系統(tǒng)的目的所在。
Triton編譯器可以支持Arm生態(tài)芯片，基于Triton算子庫及編譯器可以獲得開發(fā)效率、性能效率上的雙重優(yōu)勢。
林詠華特別強調(diào)了統(tǒng)一生態(tài)的重要性，當(dāng)上層有統(tǒng)一生態(tài)的時候，就會有更多軟件技術(shù)層面的突破涌現(xiàn)，這對于整個產(chǎn)業(yè)都有重要的積極意義。
面壁智能聯(lián)合創(chuàng)始人&CTO曾國洋重點分享了自家面壁小鋼炮系列大模型的最新進展，其“以小博大、高效低成本”的特點剛好印證了林詠華對于大模型趨勢的判斷。
▲面壁智能聯(lián)合創(chuàng)始人&CTO曾國洋
MiniCPM 3.0一個4B大模型，可以獲得ChatGPT級基礎(chǔ)性能，量化后內(nèi)存占用僅有2GB，最新端側(cè)多模態(tài)大模型 MiniCPM-V 2.6 8B模型則可以單圖、多圖、實時視頻全維度超越GPT-4V。
未來，大模型知識密度會隨時間呈指數(shù)級增長，而端側(cè)算力目前總量巨大亟待激活，存量手機終端算力總規(guī)模超過7100 EOPS，端側(cè)AI市場勢能強勁，“把大模型放到離用戶更近的地方”，就是面壁智能未來核心要做的事情。
同樣把大模型做得“小而美”的還有vivo。
作為手機終端巨頭，vivo在自研大模型方面一直跑在行業(yè)前列，今年其自研的藍心端側(cè)大模型BlueLM-3B，已經(jīng)在性能、功耗方面超越了原來的7B大模型，甚至可以達到云端70B大模型80%以上的效果。
▲vivo AI規(guī)劃高級總監(jiān)孟祥育
系統(tǒng)級總結(jié)摘要、全局書寫工具、多模態(tài)理解、vivo手機智能體PhoneGPT（自主拆解需求、主動規(guī)劃路徑、實時環(huán)境識別、動態(tài)反饋決策）這些端側(cè)AI能力都落地在了vivo的旗艦手機中。
目前手機端側(cè)大模型發(fā)展面臨的主要挑戰(zhàn)，是內(nèi)存、性能、功耗與模型效果之間的平衡，在vivo看來，3B大模型是端側(cè)模型的黃金尺寸。未來如何更高效地更充分地利用芯片算力，在小參數(shù)模型上實現(xiàn)更好的端側(cè)AI體驗，是手機廠商們努力的方向。
3、MNN提升大模型部署效率，ODM大廠重點布局軟件做好“連接”
在芯片和大模型之間，推理框架層面的技術(shù)迭代也十分關(guān)鍵，可以說起到了大模型在端側(cè)落地的“催化劑”作用。
阿里巴巴端側(cè)AI技術(shù)專家邢世穩(wěn)重點分享了其在MNN開源框架端側(cè)大模型部署方面的探索。
▲阿里巴巴端側(cè)AI技術(shù)專家邢世穩(wěn)
簡單來說，MNN是輕量級深度學(xué)習(xí)推理引擎，涵蓋了AI模型圖優(yōu)化、轉(zhuǎn)換、高效運行，其核心要解決的就是模型在各類設(shè)備上高效部署運行的問題，尤其是移動設(shè)備。
同樣在“連接”方面具有獨特價值的是作為ODM大廠的六聯(lián)智能，其產(chǎn)品中心副總經(jīng)理&產(chǎn)品總監(jiān)張曉軍提到，六聯(lián)智能的目標(biāo)是提供端側(cè)AI全場景硬件解決方案，他們最近成立了專門的軟件團隊，連接處理器廠商和算法廠商，做更好的集成，打通“最后一公里”。
▲六聯(lián)智能產(chǎn)品中心副總經(jīng)理&產(chǎn)品總監(jiān)張曉軍
目前，從個人10B到家庭/小企業(yè)10-100B，再到中大型企業(yè)100B+，六聯(lián)智能都有全場景端側(cè)AI解決方案，包括AI PC、AI工作站和服務(wù)器。
4、立足自研NPU，異構(gòu)計算+混合AI成為行業(yè)最優(yōu)解
可以看到，端側(cè)AI已經(jīng)成為整個AI產(chǎn)業(yè)都在重點布局的領(lǐng)域，而安謀科技在扛旗推動AI生態(tài)建設(shè)的同時，也基于自身的本土創(chuàng)新能力，推出了“周易”自研NPU，并從異構(gòu)計算的角度進一步加速端側(cè)AI的落地，給行業(yè)提供新的解法。
安謀科技NPU產(chǎn)品總監(jiān)鮑敏祺在會上提到，手機、平板、PC國際大廠紛紛發(fā)布各種應(yīng)用，但當(dāng)前以實際AI模型使用體驗來說仍然不理想，國內(nèi)AI算法模型應(yīng)用生態(tài)仍然沒有規(guī)模的商業(yè)落地。
▲安謀科技NPU產(chǎn)品總監(jiān)鮑敏祺
端側(cè)AI的迭代非常快，從高頻度的算法更新、計算模式優(yōu)化、容量需求提升到算力要求提升，算力需求隨著大模型多模態(tài)應(yīng)用而持續(xù)增加，而大模型對NPU IP硬件也提出了新的需求。
針對這些需求和挑戰(zhàn)，安謀科技新一代“周易”NPU專門對transformer進行了優(yōu)化，其涵蓋了軟硬件方案以及深入的系統(tǒng)考量，在功耗、面積、性能方面形成優(yōu)勢，可以說是基于軟硬協(xié)同來應(yīng)對未來應(yīng)用場景。
正如前文所說，在端側(cè)AI的發(fā)展過程中，算力和模型呈現(xiàn)雙向奔赴的趨勢，而在這個過程中，挑戰(zhàn)也很多，異構(gòu)計算與混合AI的方式，可以更充分地利用端側(cè)算力，已經(jīng)成為業(yè)內(nèi)公認(rèn)的最優(yōu)解。
三、既懂技術(shù)又懂市場，本土AI生態(tài)圈的“扛把子”不是一天煉成的
可以看到，從手機、PC、汽車到整個物聯(lián)網(wǎng)AIoT，包括智慧家庭、無人機、智慧工廠、機器人、智慧監(jiān)控、智能零售、智能穿戴，幾乎各個產(chǎn)業(yè)都可以為AI所賦能。
芯片企業(yè)、大模型企業(yè)、終端巨頭，產(chǎn)業(yè)鏈上下游各方也都在積極行動，探索合作共建的端側(cè)AI生態(tài)之道。在這一確定的方向上，安謀科技的產(chǎn)業(yè)價值不言自明。
一方面，安謀科技在NPU、軟件、異構(gòu)計算平臺等方面做好了解決方案級的技術(shù)布局，另一邊其成為聯(lián)合國內(nèi)本土客戶構(gòu)建端側(cè)AI生態(tài)的最核心推手。
就在今天的研討會上，“AIPC和EdgeAI聯(lián)合實驗室”正式揭牌，這是一個由安謀科技牽頭發(fā)起，聯(lián)合產(chǎn)業(yè)多方共同搭建的AI平臺，核心就是要做本土的AI生態(tài)建設(shè)、社區(qū)發(fā)展和技術(shù)運營，進而給端側(cè)AI的落地添柴。
實驗室會聚焦PC與Edge領(lǐng)域，探索AI生態(tài)和應(yīng)用場景，跟產(chǎn)業(yè)鏈合作伙伴一起去構(gòu)建本土的技術(shù)生態(tài)。當(dāng)然，這也是國內(nèi)廠商對接Arm全球生態(tài)的一個關(guān)鍵平臺。
其實，通過現(xiàn)場與會者的發(fā)言，在筆者看來安謀科技牽頭來組這場端側(cè)AI的交流分享局的立足點可以用以下幾個關(guān)鍵詞概括：
一是“連接”。一邊是完整的自研業(yè)務(wù)產(chǎn)品和本土市場服務(wù)能力，一邊是Arm成熟技術(shù)標(biāo)準(zhǔn)和生態(tài)體系，從Arm通用IP到自研產(chǎn)品，讓其可以通過更靈活的產(chǎn)品組合和形式去對接、賦能產(chǎn)業(yè)。
二是“上游”。作為本土AI產(chǎn)業(yè)鏈上游的獨特視角是其有別于其他端側(cè)AI組局者的另一個核心標(biāo)簽，可以站得更高看得更遠，對技術(shù)趨勢的判斷也更加前瞻和精準(zhǔn)。
三是“本土”。作為一家本土企業(yè)，對于本土AI市場的實際需求、關(guān)鍵痛點都有著更精準(zhǔn)的把握，所進行的本土技術(shù)創(chuàng)新也更有針對性。
這些都是安謀科技在今天國內(nèi)AI產(chǎn)業(yè)中的不可替代之處。
正如安謀科技市場及生態(tài)副總裁梁泉所說，在端側(cè)AI的落地過程中，很多問題往往需要既懂模型、又懂底層軟硬件的人才能解決，這對于廠商來說挑戰(zhàn)很大。
但同時這些問題又有著共性，建立一套統(tǒng)一的軟件生態(tài)，意義十分重大，安謀科技的一系列動作恰恰就是要幫助企業(yè)解決這些挑戰(zhàn)。
據(jù)了解，目前已有智源人工智能研究院、紫光展銳、愛芯元智、六聯(lián)智能、系微軟件、此芯科技、億道數(shù)碼、輝羲智能、面壁智能、零一萬物、中科加禾、瑞莎計算機等十幾家正式加入AIPC和EdgeAI聯(lián)合實驗室，上海漕河涇開發(fā)區(qū)則為該實驗室提供相關(guān)產(chǎn)業(yè)支撐。
安謀科技在推動端側(cè)AI生態(tài)建設(shè)方面，無疑又邁出了關(guān)鍵一步。
結(jié)語：瞄準(zhǔn)未來萬億市場，本土AI產(chǎn)業(yè)有望持續(xù)引領(lǐng)
從2018年成立至今，從承接Arm技術(shù)和生態(tài)賦能產(chǎn)業(yè)，到多條自研產(chǎn)品線的持續(xù)迭代。通過一手連接Arm生態(tài)，一手耕耘國內(nèi)市場的獨特站位，安謀科技持續(xù)致力于給本土AI發(fā)展提供更具針對性的軟硬生態(tài)協(xié)同的一體化解決方案。
而伴隨著Arm計算平臺面對AI時代的穩(wěn)步深耕，Arm架構(gòu)成為未來AI計算的基礎(chǔ)，已經(jīng)成為必然趨勢。我們也期待看到在本土端側(cè)AI產(chǎn)業(yè)鏈上下游玩家們的通力協(xié)作下，本土AI產(chǎn)業(yè)在產(chǎn)品研發(fā)、技術(shù)創(chuàng)新和市場培育上多元發(fā)力，以更加迅猛的加速度，朝著萬億規(guī)模持續(xù)進發(fā)。
