芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
芯東西10月28日報道，昨夜，高通發(fā)布面向數(shù)據(jù)中心的下一代AI推理優(yōu)化解決方案，包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及機架。
兩款芯片均采用高通Hexagon NPU，預(yù)計將分別于2026年和2027年實現(xiàn)商用。
高通稱，憑借該公司在NPU技術(shù)方面的優(yōu)勢，這些解決方案可提供機架級性能和出色的內(nèi)存容量，以高性價比實現(xiàn)快速的生成式AI推理，有助于實現(xiàn)可擴展、高效且靈活的生成式AI。
沙特支持的AI創(chuàng)企Humain將從2026年開始部署200兆瓦的高通新型AI機架。
受此消息影響，高通股價飆升11%。
Qualcomm AI200推出一款專用機架級AI推理解決方案，旨在為大語言模型和多模態(tài)模型（LLM、LMM）推理及其他AI工作負(fù)載提供更高的內(nèi)存容量、更低的總擁有成本（TCO）和優(yōu)化的性能，支持每卡768GB LPDDR。
Qualcomm AI250解決方案將首次采用基于近存計算的創(chuàng)新內(nèi)存架構(gòu)，通過提供超過10倍的有效內(nèi)存帶寬和更低的功耗，不僅支持分解式AI推理，還能高效利用硬件資源，同時滿足客戶對性能和成本的要求。
兩種機架解決方案均采用直接液冷以提高熱效率，采用PCIe進(jìn)行縱向擴展，采用以太網(wǎng)進(jìn)行橫向擴展，采用機密計算以確保安全的AI工作負(fù)載，機架級功耗為160kW。
這些解決方案都具有豐富的軟件棧和與AI框架的無縫兼容性，使企業(yè)和開發(fā)人員能夠跨數(shù)據(jù)中心部署安全、可擴展的生成式AI。
其AI軟件棧端到端覆蓋從應(yīng)用層到系統(tǒng)軟件層，并針對AI推理進(jìn)行了優(yōu)化。開發(fā)者可通過高通的Efficient Transformers Library和高通AI推理套件，獲得無縫模型導(dǎo)入和Hugging Face模型的一鍵部署。
高通高級副總裁兼技術(shù)規(guī)劃、邊緣解決方案和數(shù)據(jù)中心總經(jīng)理Durga Malladi稱，憑借Qualcomm AI200和AI250，高通正在重新定義機架級AI推理的可能性。
Malladi還透露，高通將單獨出售其AI芯片和其他部件，尤其是針對那些喜歡自行設(shè)計機架的超大規(guī)模數(shù)據(jù)中心客戶。其他AI芯片公司也可能成為高通部分?jǐn)?shù)據(jù)中心部件（如CPU）的客戶。
高通數(shù)據(jù)中心路線圖每年更新一次，聚焦實現(xiàn)業(yè)界領(lǐng)先的AI推理性能、能效和業(yè)界領(lǐng)先的TCO。
近年來，高通努力擺脫對智能手機市場的依賴，將業(yè)務(wù)拓展至PC和汽車市場，如今又向廣闊的數(shù)據(jù)中心市場發(fā)起進(jìn)攻。
