智東西（公眾號(hào)：zhidxcom）
作者 | 云鵬
編輯 | 漠影
當(dāng)前，隨著AI技術(shù)與各類設(shè)備的加速融合，AI早已不再局限于云端，而正在向邊緣和端側(cè)加速落地。據(jù)SHD Group預(yù)測(cè)數(shù)據(jù)，到2030年，邊緣AI SoC市場(chǎng)營(yíng)收或達(dá)千億美元規(guī)模。
從應(yīng)用層面來(lái)看，邊緣AI能帶來(lái)時(shí)延、安全、能效、成本和穩(wěn)定性等多方面優(yōu)勢(shì)，但也在技術(shù)和生態(tài)層面帶來(lái)諸多挑戰(zhàn)。
舉例來(lái)說(shuō)，智能攝像頭正通過(guò)本地運(yùn)行更復(fù)雜的計(jì)算機(jī)視覺(jué)算法，工業(yè)傳感器也更多在本地處理更復(fù)雜的AI模型，這類設(shè)備的本地運(yùn)行模式，確實(shí)能帶來(lái)更低時(shí)延與成本；但隨著設(shè)備側(cè)數(shù)據(jù)量持續(xù)攀升，工作負(fù)載達(dá)到新量級(jí)，數(shù)據(jù)安全的重要性也被提升到了空前高度。
在這樣的背景之下，物聯(lián)網(wǎng)廠商迫切需要新的AI算力底座幫助他們進(jìn)行快速創(chuàng)新和擴(kuò)展，行業(yè)正呼喚技術(shù)層面更高效、生態(tài)層面更完善的新解法。
近年來(lái)，作為計(jì)算平臺(tái)領(lǐng)域重要玩家之一的Arm，對(duì)AI的發(fā)展一直保持著敏銳嗅覺(jué)，其諸多重要策略均直指AI給各領(lǐng)域帶來(lái)算力挑戰(zhàn)。從數(shù)據(jù)中心、汽車、手機(jī)、PC到IoT，基于Arm生態(tài)的AI計(jì)算平臺(tái)已經(jīng)無(wú)處不在。
聚焦邊緣AI領(lǐng)域，Arm于今年二月發(fā)布了全球首個(gè)專為物聯(lián)網(wǎng)及邊緣AI工作負(fù)載優(yōu)化的Armv9邊緣AI計(jì)算平臺(tái)，推動(dòng)物聯(lián)網(wǎng)行業(yè)加速邁入AI時(shí)代。如今，該計(jì)算平臺(tái)將正式通過(guò)Arm技術(shù)授權(quán)訂閱模式中的Arm Flexible Access模式開(kāi)放獲取，為邊緣AI產(chǎn)業(yè)發(fā)展進(jìn)一步注入新動(dòng)力。
一、底層架構(gòu)創(chuàng)新下放，Arm新平臺(tái)直指物聯(lián)網(wǎng)AI融合痛點(diǎn)
縱觀當(dāng)前AI技術(shù)的發(fā)展，AI大模型“小型化”趨勢(shì)突出，越來(lái)越多的優(yōu)秀小模型開(kāi)始擁有更為出色的AI性能；與此同時(shí)，Agent智能體浪潮涌起，Agent成為各類垂類專業(yè)模型的“大管家”，調(diào)度各類設(shè)備、統(tǒng)籌各類邊緣和端側(cè)數(shù)據(jù)，高效處理復(fù)雜的現(xiàn)實(shí)任務(wù)。
物聯(lián)網(wǎng)設(shè)備的AI化已經(jīng)成為一種必然，正如Arm所指出的，下一波AI計(jì)算創(chuàng)新浪潮將在邊緣側(cè)展開(kāi)，在那些讓智能更貼近數(shù)據(jù)產(chǎn)生源頭的設(shè)備、接口與系統(tǒng)中蓬勃發(fā)展。
在這樣的確定性之下，如何讓物聯(lián)網(wǎng)設(shè)備可以更好地在邊緣側(cè)落地AI，已成為十分迫切的問(wèn)題。整體來(lái)看，Armv9在物聯(lián)網(wǎng)領(lǐng)域的下放，提供了智能邊緣設(shè)備大規(guī)模部署所需的高性能與高能效，其內(nèi)置的安全機(jī)制還能兼顧數(shù)據(jù)安全，而架構(gòu)本身的靈活性與可擴(kuò)展性，更為后續(xù)發(fā)展預(yù)留了充足空間。
首先，AI時(shí)代最核心的是AI性能。Arm最新的邊緣AI計(jì)算平臺(tái)將性能拉滿——通過(guò)集成增強(qiáng)的Armv9的Neon和SVE2向量處理技術(shù)，在ML性能方面，Cortex-A320相較于前代超高效CPU（Cortex-A35）提升了高達(dá)10倍的ML計(jì)算能力，標(biāo)量性能提升了30%；相較于去年推出的基于Cortex-M85的平臺(tái)，新平臺(tái)的ML性能提高了8倍之多。目前新邊緣AI計(jì)算平臺(tái)已經(jīng)可以支持參數(shù)量超10億的端側(cè)AI模型。
Arm物聯(lián)網(wǎng)事業(yè)部硬件產(chǎn)品管理高級(jí)總監(jiān)Lionel Belnet在與智東西等媒體的交流中提到，Arm在邊緣AI的Armv9產(chǎn)品矩陣可從超高能效的Cortex-A320一路展開(kāi)到最新發(fā)布的超高性能C1-Ultra，達(dá)到邊緣AI全場(chǎng)景的覆蓋。
能效方面，Arm架構(gòu)本身以低功耗著稱，而Armv9邊緣AI計(jì)算平臺(tái)中包含了Armv9架構(gòu)的超高能效CPU——Arm Cortex-A320，它的能效比相較Cortex-A520（Arm的高效Armv9.2 CPU）提升了50%，進(jìn)一步降低了功耗。
需要指出的是，能效對(duì)應(yīng)的是企業(yè)成本，這對(duì)物聯(lián)網(wǎng)這種對(duì)功耗要求嚴(yán)苛的行業(yè)至關(guān)重要，這也是Arm架構(gòu)在該領(lǐng)域廣受歡迎的原因。
另外一個(gè)至關(guān)重要的點(diǎn)是安全性。為了應(yīng)對(duì)大量數(shù)據(jù)在邊緣側(cè)的采集、計(jì)算帶來(lái)的數(shù)據(jù)隱私安全的風(fēng)險(xiǎn)，Arm將Armv9的一系列先進(jìn)安全技術(shù)下放到邊緣AI市場(chǎng)，如指針驗(yàn)證（PAC）、分支目標(biāo)識(shí)別（BTI）和內(nèi)存標(biāo)記擴(kuò)展（MTE），給邊緣側(cè)的關(guān)鍵應(yīng)用與數(shù)據(jù)安全提供了扎實(shí)的防護(hù)。
值得一提的是，在出色AI能力、高安全性的基礎(chǔ)上，Armv9架構(gòu)的高擴(kuò)展性、靈活性同樣給物聯(lián)網(wǎng)廠商們帶來(lái)了開(kāi)發(fā)層面的極大便利。
此外，邊緣AI普及面臨的最主要障礙之一就是軟件開(kāi)發(fā)和部署的復(fù)雜性，這正是Armv9邊緣AI計(jì)算平臺(tái)軟件生態(tài)系統(tǒng)發(fā)揮優(yōu)勢(shì)的關(guān)鍵所在。
今年初Arm將開(kāi)源AI庫(kù)Arm KleidiAI擴(kuò)展到了物聯(lián)網(wǎng)領(lǐng)域，迄今已與幾乎所有主流物聯(lián)網(wǎng)AI框架進(jìn)行集成。簡(jiǎn)單來(lái)說(shuō)，Arm KleidiAI可以讓開(kāi)發(fā)者無(wú)縫地利用到Armv9架構(gòu)的先進(jìn)功能和靈活性，簡(jiǎn)化邊緣AI開(kāi)發(fā)流程。
根據(jù)官方數(shù)據(jù)，在Llama.cpp上運(yùn)行微軟Tiny Stories數(shù)據(jù)集，KleidiAI的集成給新的Cortex-A320可以帶來(lái)70%的性能提升，同時(shí)KleidiAI兼容Linux、Zephyr等操作系統(tǒng)，靈活性大幅提升。
可以說(shuō)，從性能、能效、安全到開(kāi)發(fā)生態(tài)，新的Armv9邊緣AI計(jì)算平臺(tái)給物聯(lián)網(wǎng)擁抱AI提供了新解法，讓物聯(lián)網(wǎng)賽道的廠商和開(kāi)發(fā)者們能夠更快抓住AI新機(jī)遇，加速邊緣AI的落地。
二、進(jìn)一步降低技術(shù)落地門(mén)檻，Arm生態(tài)“朋友圈”加速擴(kuò)容
做好了物聯(lián)網(wǎng)邊緣AI落地一攬子解決方案還不夠，Arm還進(jìn)一步降低先進(jìn)技術(shù)獲取門(mén)檻，直接將Armv9邊緣AI計(jì)算平臺(tái)，Cortex-A320與Ethos-U85，正式引入Arm技術(shù)授權(quán)訂閱模式中的Arm Flexible Access方案之中。
直觀來(lái)看，Arm從市場(chǎng)切入路徑、成本結(jié)構(gòu)、創(chuàng)新效率等方面給廠商帶來(lái)價(jià)值，讓技術(shù)更好地“落到實(shí)處”，讓所有中小企業(yè)能更好獲益，加速實(shí)現(xiàn)AI普惠。
憑借這一模式，Synaptics、樹(shù)莓派、Weeteq、Hailo及SiMa.ai等合作伙伴已成功打造出具有開(kāi)創(chuàng)性的邊緣AI技術(shù)，在物聯(lián)網(wǎng)諸多細(xì)分領(lǐng)域加速落地。
根據(jù)官方數(shù)據(jù)，目前基于Arm Flexible Access方案的合作伙伴已經(jīng)實(shí)現(xiàn)超400次成功流片，活躍成員數(shù)量超過(guò)300家。在落地中國(guó)后，已有超過(guò)70家國(guó)內(nèi)客戶采用了該技術(shù)授權(quán)模式，進(jìn)行產(chǎn)品創(chuàng)新開(kāi)發(fā)。
結(jié)語(yǔ)：邊緣AI風(fēng)暴狂涌，Arm技術(shù)生態(tài)迸發(fā)巨大潛力
當(dāng)前，邊緣AI的發(fā)展，促使行業(yè)對(duì)硬件和軟件異構(gòu)性、順暢開(kāi)發(fā)和規(guī)?；踩匀矫娴男枨竺蜐q，邊緣AI計(jì)算創(chuàng)新勢(shì)在必行。
Armv9架構(gòu)的諸多特性、出色的AI能力基礎(chǔ)、完善的軟件和生態(tài)支撐，都給行業(yè)各路玩家?guī)?lái)了新的可能性，新的Arm邊緣AI計(jì)算平臺(tái)無(wú)疑會(huì)成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。
展望未來(lái)，AI向邊緣、端側(cè)的轉(zhuǎn)移已經(jīng)成為行業(yè)確定趨勢(shì)，邊緣AI正在加快各種技術(shù)設(shè)備的數(shù)字化轉(zhuǎn)型。在這一未來(lái)趨勢(shì)下，Arm依靠硬核技術(shù)創(chuàng)新底色、靈活的技術(shù)獲取模式以及深厚的開(kāi)放軟件生態(tài)系統(tǒng)，無(wú)疑展現(xiàn)出巨大潛力，成為物聯(lián)網(wǎng)玩家在AI時(shí)代搏浪的堅(jiān)實(shí)基座。
