智東西（公眾號(hào)：zhidxcom）
作者｜云鵬
編輯｜漠影
DeepSeek的火爆給全球AI產(chǎn)業(yè)發(fā)展帶來(lái)的核心價(jià)值之一，就是極大加快了AI應(yīng)用的普及，尤其在國(guó)內(nèi)市場(chǎng)，幾乎各類產(chǎn)品都在增加與AI能力的融合。
這意味著AI大語(yǔ)言模型將不再只是在天上飛（局限于云端），更是可以真正落地在我們身邊生活中的設(shè)備上，走向邊緣和端側(cè)，而IoT市場(chǎng)作為邊緣智能的代表性領(lǐng)域，成為這波邊緣AI的最大關(guān)注點(diǎn)之一。
今天，隨著AI技術(shù)的快速發(fā)展，IoT等邊緣AI領(lǐng)域也逐漸涉及更復(fù)雜的算法，且涌現(xiàn)出了更多的邊緣AI推理需求。這樣一來(lái)，應(yīng)用對(duì)計(jì)算性能以及算效比的需求越來(lái)越高，與此同時(shí)，數(shù)據(jù)安全問(wèn)題也愈發(fā)凸顯。
從智慧城市、智慧工業(yè)、智能家居、智能穿戴到新零售，AI技術(shù)的廣泛應(yīng)用帶來(lái)了AI計(jì)算需求和安全性方面的新挑戰(zhàn)。面對(duì)這些新的需求，行業(yè)正呼喚新的解法。
就在昨天，Arm發(fā)布了全球首個(gè)專為物聯(lián)網(wǎng)優(yōu)化，以全新的Cortex-A320 CPU和Arm Ethos-U85 NPU為核心的Armv9邊緣AI計(jì)算平臺(tái)。它不是CPU和AI加速器的簡(jiǎn)單堆疊，而是實(shí)現(xiàn)了CPU和NPU深度融合、相得益彰的解決方案。
這是Armv9架構(gòu)諸多優(yōu)勢(shì)特性首次在IoT市場(chǎng)落地，其在效率、性能和安全方面的升級(jí)直指當(dāng)下邊緣AI新需求。與此同時(shí)，Arm還將軟件層的KleidiAI拓展到了IoT領(lǐng)域，使邊緣AI開(kāi)發(fā)進(jìn)一步簡(jiǎn)化。
Cortex-A320如何解決以IoT為代表的邊緣AI領(lǐng)域行業(yè)需求痛點(diǎn)、Armv9帶來(lái)了哪些關(guān)鍵技術(shù)升級(jí)？軟件層面的新進(jìn)展又如何加速I(mǎi)oT領(lǐng)域的技術(shù)創(chuàng)新、應(yīng)用落地？我們將嘗試找到答案。
一、邊緣AI風(fēng)暴來(lái)襲，算力和安全成兩大IoT突出難題
近年來(lái)，隨著AI技術(shù)的發(fā)展和廣泛應(yīng)用、計(jì)算需求快速增長(zhǎng)，越來(lái)越多AI工作負(fù)載從數(shù)據(jù)中心和云端轉(zhuǎn)向邊緣側(cè)進(jìn)行處理，這給人們的生產(chǎn)和生活帶來(lái)了切實(shí)的益處，但同時(shí)也帶來(lái)計(jì)算性能瓶頸、安全挑戰(zhàn)等問(wèn)題。
比如在工業(yè)質(zhì)檢領(lǐng)域，AI視覺(jué)質(zhì)檢系統(tǒng)每帶來(lái)1%的產(chǎn)線漏檢率降低，可能意味著千萬(wàn)級(jí)的成本節(jié)約，但在復(fù)雜的工廠條件下實(shí)現(xiàn)這1% 的小目標(biāo)，從技術(shù)上來(lái)講絕非易事；汽車行業(yè)，自動(dòng)駕駛與駕駛員的生命安全息息相關(guān)，它的成功應(yīng)用需要激光雷達(dá)、攝像頭等傳感器的數(shù)據(jù)需要在100ms內(nèi)融合并被模型處理。
智慧醫(yī)療領(lǐng)域，邊緣AI系統(tǒng)通過(guò)實(shí)時(shí)分析監(jiān)護(hù)儀數(shù)據(jù)，預(yù)警相關(guān)病癥的早期癥狀，這一過(guò)程的高效與精準(zhǔn)，高度依賴于底層芯片的性能表現(xiàn)，算力不足導(dǎo)致的預(yù)警延遲以及預(yù)測(cè)準(zhǔn)確率下降，都會(huì)極大影響到病人的健康。
未來(lái)隨著AI高清視頻實(shí)時(shí)分析、AI工業(yè)設(shè)備故障檢測(cè)等復(fù)雜任務(wù)需求越來(lái)越多，邊緣AI計(jì)算能力的重要性愈發(fā)凸顯。IoT領(lǐng)域正呼喚從芯片架構(gòu)到算法層的全面革新，進(jìn)而真正釋放AI帶來(lái)的革命性潛力。
在計(jì)算性能、效率之外，邊緣AI的發(fā)展同樣帶來(lái)了數(shù)據(jù)安全層面的風(fēng)險(xiǎn)。在邊緣計(jì)算中，隨著越來(lái)越多的邊緣AI設(shè)備接入網(wǎng)絡(luò)，數(shù)據(jù)在邊緣設(shè)備和云端或者其他邊緣設(shè)備之間傳輸，容易受到網(wǎng)絡(luò)攻擊。
因此面對(duì)邊緣AI迅猛發(fā)展，邊緣設(shè)備必須具備更強(qiáng)的推理能力、更安全的計(jì)算架構(gòu)。
從行業(yè)視角來(lái)看，傳統(tǒng)邊緣側(cè)設(shè)備所使用的芯片以無(wú)法滿足越來(lái)越多的實(shí)時(shí)AI處理、計(jì)算密集型推理任務(wù)。
在昨日的Arm新品發(fā)布會(huì)上，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健提到，在她近期與許多合作伙伴針對(duì)邊緣AI的交流中，大家一致的反饋是，AI將使他們重新定義產(chǎn)品設(shè)計(jì)——把具有Transformer這種加速功能的 AI 加速器加進(jìn)去，或者采用能夠更好支持AI的CPU。
▲Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健
IoT產(chǎn)業(yè)對(duì)于在邊緣側(cè)也能擁有更高性能的Cortex-A級(jí)別的計(jì)算能力以及升級(jí)至Armv9架構(gòu)的需求十分突出，Arm的邊緣AI平臺(tái)新品，可以說(shuō)是直指痛點(diǎn)。
二、10倍AI計(jì)算性能，異構(gòu)計(jì)算擴(kuò)展場(chǎng)景適應(yīng)力，支持Armv9 四大安全特性
基于這樣的行業(yè)背景，Arm此次推出了首款基于Armv9架構(gòu)、專為邊緣AI設(shè)計(jì)的 Cortex-A CPU——Cortex-A320，以及結(jié)合了Cortex-A320和Ethos-U85的邊緣AI計(jì)算平臺(tái)。
在AI計(jì)算性能和能效提升方面，Cortex-A320相比Cortex-A35最高有著10倍的AI計(jì)算性能提升，相比Cortex-A53也有6倍以上的提升，這對(duì)于增強(qiáng)邊緣設(shè)備的推理能力十分關(guān)鍵。
相較Cortex-A520，Cortex-A320的能效提升可以達(dá)到50%，在相同芯片面積下，Cortex-A320較Cortex-A53有著15%的性能提升，相較Cortex-A35有30%左右的性能提升。
這樣的性能和能效提升反應(yīng)在產(chǎn)業(yè)落地端，究竟能夠帶來(lái)怎樣的改變？
以一個(gè)貼近日常的例子來(lái)說(shuō)，相較于Cortex-M系列，Cortex-A320在內(nèi)存尋址能力、整體性能以及安全防護(hù)上均實(shí)現(xiàn)了顯著提升，這使得它能夠游刃有余地支撐起多種人機(jī)交互場(chǎng)景，特別是對(duì)視頻流等視覺(jué)交互應(yīng)用有著出色的支持。
設(shè)想一下，在某個(gè)重要的展覽會(huì)上，你偶遇了一位熟人，卻一時(shí)想不起他的名字，這時(shí)，你的智能眼鏡就能即刻為你識(shí)別并提供對(duì)方的信息，甚至還能貼心地在你的視線中嵌入演講要點(diǎn)，助你實(shí)現(xiàn)“即興”發(fā)言。
隨著技術(shù)的不斷進(jìn)步，智能眼鏡這類邊緣設(shè)備正逐步成為我們生活中的得力助手，讓我們得以釋放雙手，去專注于更多想要完成的事情。
Arm Cortex-A320帶來(lái)的不僅是技術(shù)參數(shù)的變化，在部分領(lǐng)域甚至可以帶來(lái)商業(yè)模式升級(jí)重構(gòu)。邊緣AI的算力躍遷，本質(zhì)是在重構(gòu)人、機(jī)器與物理世界的交互范式。
除了性能和能效的提升，異構(gòu)計(jì)算的特性支持也同樣重要。
這次Arm的Cortex-A320與Ethos-U85 NPU一起組成了CPU+NPU協(xié)同計(jì)算架構(gòu)，形成完整的異構(gòu)計(jì)算平臺(tái)。要知道，Ethos-U85是Arm Ethos-U產(chǎn)品線中的第三代NPU，也是迄今為止性能和能效最強(qiáng)的Ethos NPU，與上一代產(chǎn)品相比，其性能提升了4倍，能效提高了20%。
基于異構(gòu)計(jì)算能力，任何開(kāi)發(fā)者們不希望在Ethos-U85上運(yùn)行的AI操作，都可以回退到Cortex-A320上，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。
這樣一來(lái)，智能物聯(lián)網(wǎng)與消費(fèi)類電子生態(tài)系統(tǒng)能夠在正確的時(shí)間、合適的地方運(yùn)行最適合的工作負(fù)載。
CPU與NPU的深度融合之下，新的AI計(jì)算平臺(tái)可以覆蓋更多應(yīng)用場(chǎng)景，實(shí)現(xiàn)包括視覺(jué)和自然語(yǔ)言在內(nèi)的多模態(tài)的環(huán)境感知與理解，進(jìn)而運(yùn)行AI智能體、自主規(guī)劃、執(zhí)行復(fù)雜任務(wù)。
8倍的機(jī)器學(xué)習(xí)計(jì)算性能提升，令其可以賦能邊緣AI設(shè)備本地運(yùn)行超過(guò)10億參數(shù)的大模型，讓基于大模型的生成式AI更好地在物聯(lián)網(wǎng)領(lǐng)域落地。
值得一提的是，在當(dāng)下AI大模型需求較高的內(nèi)存訪問(wèn)性能方面，Cortex-A320支持更大的可尋址內(nèi)存空間，能更靈活地管理多層次內(nèi)存訪問(wèn)延遲。同時(shí)Cortex-A320還能運(yùn)行功能更豐富的操作系統(tǒng)，讓設(shè)備管理更靈活。
最后在安全性方面，Armv9支持MTE（內(nèi)存標(biāo)記擴(kuò)展）、PAC（指針認(rèn)證）、BTI（分支目標(biāo)識(shí)別）以及S-EL2虛擬化，可以給邊緣設(shè)備提供端到端的安全防護(hù)。
整體來(lái)看，在硬件層面，Arm的Cortex-A320與Ethos-U85異構(gòu)計(jì)算平臺(tái)是實(shí)實(shí)在在地幫助企業(yè)解決了性能、能效和安全方面的邊緣AI新需求。Armv9架構(gòu)層面的諸多優(yōu)勢(shì)特性，開(kāi)始給IoT領(lǐng)域企業(yè)帶來(lái)AI創(chuàng)新和應(yīng)用落地的加速。
據(jù)悉，這次Arm發(fā)布的邊緣AI計(jì)算平臺(tái)已經(jīng)獲得亞馬遜云科技、西門(mén)子、瑞薩電子、研華科技等廠商的支持。
三、Arm軟件大招落地IoT，邊緣AI規(guī)?；瘧?yīng)用提速
當(dāng)然，Arm的完整解決方案不止于此。硬件是基礎(chǔ)，軟件是加速器，軟硬件組合拳才能更高效地解決邊緣AI痛點(diǎn)，此次Arm還同步將KleidiAI引入IoT領(lǐng)域，加速AI應(yīng)用在邊緣落地。
縱觀行業(yè)發(fā)展，完善的軟件生態(tài)可以降低開(kāi)發(fā)者門(mén)檻，而軟件也一直是Arm計(jì)算平臺(tái)不可或缺的一部分。
正如前文所提到的，邊緣設(shè)備種類繁多，硬件性能和功能差異大，在這一場(chǎng)景中，出色軟件技術(shù)可以優(yōu)化算法和模型，使AI模型能在各種邊緣設(shè)備上高效運(yùn)行。
對(duì)于邊緣設(shè)備有限的計(jì)算資源，軟件技術(shù)可通過(guò)模型壓縮、量化、優(yōu)化算法等手段，在保證AI性能的前提下，降低模型對(duì)計(jì)算資源的需求，進(jìn)而提高計(jì)算效率。
KleidiAI是一套專為AI框架開(kāi)發(fā)者設(shè)計(jì)的計(jì)算內(nèi)核，讓開(kāi)發(fā)者可以無(wú)縫地在Arm CPU上獲取最佳性能，適用于各類設(shè)備。
從去年初次面向終端市場(chǎng)亮相、隨后擴(kuò)展至基礎(chǔ)設(shè)施領(lǐng)域，KleidiAI如今進(jìn)一步覆蓋IoT領(lǐng)域，給各個(gè)領(lǐng)域的開(kāi)發(fā)者提供所需的性能、工具和軟件庫(kù)支持。
簡(jiǎn)單來(lái)說(shuō)，Arm Kleidi軟件庫(kù)最核心的作用就是幫助開(kāi)發(fā)者讓AI應(yīng)用得到Arm CPU加速，因?yàn)槟壳叭虼蠖鄶?shù)AI推理工作負(fù)載都在Arm CPU上運(yùn)行。開(kāi)發(fā)者不需要額外學(xué)習(xí)新工具和技能、無(wú)需復(fù)雜的集成工作，IoT應(yīng)用開(kāi)發(fā)門(mén)檻和成本大幅降低。
在出色的軟件生態(tài)和豐富開(kāi)發(fā)工具的支持下，Arm AI計(jì)算平臺(tái)的靈活性得到了極大釋放。
這次Arm的Cortex-A320兼容Linux、Zephyr、RTOS等多種操作系統(tǒng)，依托Arm Kleidi，可以適配Llama.cpp、ExecuTorch、MediaPipe等主流AI框架，實(shí)現(xiàn)70%性能提升，這對(duì)于AI應(yīng)用在邊緣落地是非常關(guān)鍵的。
馬健在發(fā)布會(huì)上特別提到，這一優(yōu)勢(shì)讓Cortex-A320在多個(gè)市場(chǎng)領(lǐng)域、應(yīng)用場(chǎng)景和操作系統(tǒng)之間都具有更好的靈活性，對(duì)于合作伙伴來(lái)說(shuō)，選擇空間極大擴(kuò)展，規(guī)劃產(chǎn)品路線時(shí)也可以更好地適配不同場(chǎng)景需求。
此次Arm Kleidi擴(kuò)展至物聯(lián)網(wǎng)領(lǐng)域，進(jìn)一步加強(qiáng)了Arm在IoT AI領(lǐng)域的技術(shù)優(yōu)勢(shì)，吸引更多開(kāi)發(fā)者和企業(yè)基于Arm架構(gòu)開(kāi)發(fā)IoT應(yīng)用，促進(jìn)上下游產(chǎn)業(yè)的合作與創(chuàng)新。
展望未來(lái)，Arm的邊緣AI計(jì)算平臺(tái)必然將在IoT生態(tài)系統(tǒng)中扮演至關(guān)重要的角色，各個(gè)細(xì)分市場(chǎng)都將從Cortex-A320中受益，Arm無(wú)疑給IoT行業(yè)帶來(lái)了更多可能性，為IoT市場(chǎng)的產(chǎn)品和應(yīng)用創(chuàng)新打好了新的基礎(chǔ)。
結(jié)語(yǔ)：IoT邊緣AI提速，Arm軟硬兩手抓
近年來(lái)，Arm持續(xù)進(jìn)行平臺(tái)化轉(zhuǎn)型，此次Arm發(fā)布首個(gè)面向IoT的Armv9處理器Cortex-A320、以及以Cortex-A320和Ethos-U85為核心的邊緣AI計(jì)算平臺(tái)，并擴(kuò)展KleidiAI到物聯(lián)網(wǎng)領(lǐng)域，無(wú)疑是通過(guò)軟硬件協(xié)同，為邊緣AI的加速發(fā)展、應(yīng)用落地增添助力，也是Arm近年積極扮演賦能AI在各領(lǐng)域落地的有力展現(xiàn)。
放眼未來(lái)，AI計(jì)算正加速?gòu)脑贫俗呦蜻吘?，未?lái)邊緣AI計(jì)算需求必然將持續(xù)增長(zhǎng)，就像會(huì)中馬健說(shuō)道的，“AI的未來(lái)在邊緣，而邊緣AI的未來(lái)屬于Arm?！?/strong>我們拭目以待。
