芯東西(公眾號:aichip001)
作者 | ?ZeR0
編輯 | ?漠影

芯東西1月29日報道,今日,阿里巴巴集團全資半導體芯片業(yè)務(wù)主體平頭哥官網(wǎng)上線高端AI訓推一體芯片真武810E

剛剛,阿里AI芯片“真武810E”來了!已實現(xiàn)多個萬卡集群部署

這就是此前被央視《新聞聯(lián)播》曝光的阿里自研芯片PPU。據(jù)悉,“真武”PPU已在阿里云實現(xiàn)多個萬卡集群部署,服務(wù)了國家電網(wǎng)、中科院、小鵬汽車、新浪微博400多家客戶。(阿里自研AI芯片曝光!

至此,由通義實驗室、阿里云、平頭哥組成的阿里巴巴AI黃金三角“通云哥”首次浮出水面。

平頭哥成立于2018年11月,注冊地址在上海,已推出AI推理芯片含光800、訓推一體AI加速芯片真武810E、Arm服務(wù)器CPU倚天710高性能SSD主控芯片鎮(zhèn)岳510、超高頻RFID電子標簽芯片羽陣611羽陣600等芯片,并不斷豐富產(chǎn)品線。

剛剛,阿里AI芯片“真武810E”來了!已實現(xiàn)多個萬卡集群部署

真武810E采用自研并行計算架構(gòu)ICN片間互聯(lián)技術(shù),單卡采用96GB HBM2e內(nèi)存,支持7個獨立ICN鏈路,片間互聯(lián)帶寬達到700GB/s,可靈活配置多卡組合,應用于AI訓練、AI推理和自動駕駛,已在阿里云實現(xiàn)多個萬卡集群部署。

剛剛,阿里AI芯片“真武810E”來了!已實現(xiàn)多個萬卡集群部署

阿里巴巴已將“真武”PPU大規(guī)模用于千問大模型的訓練和推理,并結(jié)合阿里云完整的AI軟件棧進行深度優(yōu)化,為客戶提供一體化產(chǎn)品和服務(wù)。

據(jù)業(yè)內(nèi)人士透露,對比關(guān)鍵參數(shù),“真武”PPU的整體性能超過英偉達A800和主流國產(chǎn)GPU,與英偉達H20相當

另據(jù)外媒最新報道,升級版“真武”PPU的性能強于英偉達A100。

多位行業(yè)從業(yè)者稱,“真武”PPU性能具有優(yōu)異穩(wěn)定、性價比突出等特點,在業(yè)內(nèi)口碑良好。

阿里巴巴正在將“通云哥”打造成一臺AI超級計算機,它同時擁有全棧自研芯片的平頭哥、亞太第一的阿里云,以及在全球享有盛譽的開源模型“千問”,可在芯片架構(gòu)、云平臺架構(gòu)和模型架構(gòu)上協(xié)同創(chuàng)新,從而實現(xiàn)在阿里云上訓練和調(diào)用大模型時達到最高效率。

平頭哥官網(wǎng)列出了真武810E的六大優(yōu)勢:全自研、高性能、強互聯(lián)、高易用、規(guī)模驗證、芯云一體。

剛剛,阿里AI芯片“真武810E”來了!已實現(xiàn)多個萬卡集群部署

ICN(Inter-Chip-Network)是平頭哥自研的片間互聯(lián)技術(shù),具有高性能、高帶寬、低延遲優(yōu)勢,適用于大模型訓練和推理應用。

每顆真武810E芯片配備7個ICN片間互聯(lián)端口,配合平頭哥自研互聯(lián)加速庫,實現(xiàn)多卡協(xié)同工作,從而高效支持大模型訓練及推理需求。

平頭哥自主研發(fā)的AI產(chǎn)品軟件棧,具備完備的軟件生態(tài)及工具鏈,擁有獨立知識產(chǎn)權(quán),具備統(tǒng)一的編程接口,可端到端支持用戶自主業(yè)務(wù)落地和擴展,向上支持開發(fā)者和業(yè)務(wù)快速展開,向下兼容底層硬件和優(yōu)化性能,實現(xiàn)軟硬件高效協(xié)同。

(1)高效性:通過軟件棧提供的API,用戶可以基于SDK直接開發(fā)真武應用程序,支持自研生態(tài);

(2)高兼容性:沿用當今主流編程環(huán)境,開發(fā)者可調(diào)用軟件棧中統(tǒng)一的API,支持主流AI生態(tài),無需修改應用代碼。

官網(wǎng)列出了真武910E的四大應用場景

(1)自動駕駛:經(jīng)過驗證兼容超過50個自動駕駛常見模型,在感知、預測和端到端等多種模型架構(gòu)下,全面支持智駕模型訓推,并已形成多個萬卡級別集群的部署應用。

(2)AI訓練:原生支持多種框架,具有高速片間互聯(lián)和優(yōu)異的集群線性加速比,兼容主流AI生態(tài),提供高性能、高易用的訓練算力。

(3)AI推理:原生支持主流推理引擎,并提供平頭哥自研專用推理框架和算子庫,結(jié)合大容量內(nèi)存,為大模型推理提供針對性優(yōu)化。

(4)多模態(tài)模型:在文生視頻、圖文生視頻、圖文生文等場景的推理和訓練實測中均表現(xiàn)出不俗的性能,為基于多模態(tài)模型的應用場景提供高性價比算力。

阿里巴巴2009年創(chuàng)建阿里云,2018年成立平頭哥芯片公司,2019年啟動大模型研究,經(jīng)過長達17年的戰(zhàn)略投入和垂直整合,實現(xiàn)“通云哥”全棧AI的完整布局。

官網(wǎng)顯示,平頭哥致力于AI時代的芯片基礎(chǔ)設(shè)施創(chuàng)新,打造數(shù)據(jù)中心算力、存力、網(wǎng)力芯片和IoT芯片, 通過端云一體全棧產(chǎn)品系列為數(shù)字化、智能化時代提供無處不在的普惠算力。

該公司重點布局高性能、高性價比的自研數(shù)據(jù)中心芯片,提升數(shù)據(jù)中心能力和效率,通過軟硬一體解決方案,加速新一代數(shù)據(jù)中心的規(guī)?;渴?,促進AI從數(shù)字世界向物理世界的滲透。