芯東西(公眾號(hào):aichip001)
作者 | ?ZeR0
編輯 | ?漠影

芯東西2月12日?qǐng)?bào)道,今日,摩爾線程發(fā)文宣布旗艦級(jí)AI訓(xùn)推一體全功能GPU MTT S5000率先完成對(duì)GLM-5大模型的適配,并首次曝光MTT S5000的硬件參數(shù)。

MTT S5000支持FP8FP64的全精度計(jì)算,F(xiàn)P8精度下單卡AI算力最高可達(dá)1000TFLOPS,配備80GB顯存,顯存帶寬達(dá)1.6TB/s,卡間互聯(lián)帶寬達(dá)784GB/s。

根據(jù)業(yè)內(nèi)人士消息,MTT S5000實(shí)測(cè)性能對(duì)標(biāo)H100,在多模態(tài)大模型微調(diào)任務(wù)中,部分性能甚至超越H100。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

MTT S5000由摩爾線程在2024年推出,專為大模型訓(xùn)練、推理及高性能計(jì)算而設(shè)計(jì)。

據(jù)接近測(cè)試項(xiàng)目的行業(yè)人士透露,S5000在產(chǎn)品精度上已超越H100,更接近英偉達(dá)Blackwell架構(gòu)。

在近期一次數(shù)千億參數(shù)模型的全流程訓(xùn)練驗(yàn)證中,該卡表現(xiàn)出了與H100集群極高的結(jié)果一致性,最終模型關(guān)鍵指標(biāo)誤差僅維持在千分之幾的范圍內(nèi),整體訓(xùn)練效果甚至實(shí)現(xiàn)小幅超越

另據(jù)來自互聯(lián)網(wǎng)廠商場(chǎng)景的實(shí)測(cè)信息反饋,S5000在典型端到端推理及訓(xùn)練任務(wù)中,性能可達(dá)競(jìng)品H20的2.5倍左右。

摩爾線程官網(wǎng)也已上線MTT S5000的詳情頁面。

產(chǎn)品形態(tài)上,S5000遵循OAM標(biāo)準(zhǔn)設(shè)計(jì),提供兩種計(jì)算模組形態(tài):

  • 液冷版:專為高密度綠色數(shù)據(jù)中心打造,釋放極致算力密度的同時(shí),顯著降低PUE與能耗;
  • 風(fēng)冷版:適配標(biāo)準(zhǔn)通用服務(wù)器,部署靈活便捷,有效降低運(yùn)維門檻與長(zhǎng)期持有成本。

同時(shí),摩爾線程推出面向AI和高性能計(jì)算的MGX 8-GPU模塊化平臺(tái):8顆MTT S5000 OAM計(jì)算模組通過MTLink高速互聯(lián),可為大模型訓(xùn)練、推理及科學(xué)計(jì)算等應(yīng)用場(chǎng)景提供超大規(guī)模算力。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

MCCX D800 X2服務(wù)器是搭載8顆MTT S5000 OAM計(jì)算模組的一體化AI服務(wù)器,提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的高端配置,可支撐千億、萬億參數(shù)大模型高效運(yùn)行。

該服務(wù)器在散熱、供電、I/O 擴(kuò)展性等方面充分優(yōu)化,支持風(fēng)冷和液冷兩種機(jī)型,可預(yù)裝優(yōu)化訓(xùn)練、推理軟件棧,實(shí)現(xiàn)軟硬件一體化交付,開箱即用。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

一、基于第四代MUSA架構(gòu),原生支持FP8精度,訓(xùn)練性能提升30%

在大模型參數(shù)持續(xù)擴(kuò)張的趨勢(shì)下,F(xiàn)P8計(jì)算精度的支持已成為訓(xùn)練與推理的核心精度標(biāo)準(zhǔn)。相比傳統(tǒng)的BF16/FP16,F(xiàn)P8可將數(shù)據(jù)位寬減半,顯存帶寬壓力降低50%,理論計(jì)算吞吐量翻倍。

MTT S5000是國(guó)內(nèi)最早一批原生支持FP8精度的訓(xùn)練GPU,配置了硬件級(jí)FP8 Tensor Core加速單元。其FP8引擎全面支持DeepSeek、Qwen等前沿架構(gòu),在實(shí)測(cè)中可提升30%以上訓(xùn)練性能。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

S5000采用第四代MUSA架構(gòu)“平湖”,專為大規(guī)模AI訓(xùn)練優(yōu)化,依托MUSA全棧軟件平臺(tái),原生適配PyTorch、Megatron-LM、vLLM及 SGLang等主流框架,讓用戶能夠以“零成本”完成代碼遷移,兼容國(guó)際主流CUDA生態(tài)。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

這款A(yù)I計(jì)算卡深度優(yōu)化了Prefill階段的處理效率,在超長(zhǎng)序列輸入場(chǎng)景下,能顯著加速Prompt預(yù)處理過程,提供更快的上下文理解與首Token響應(yīng)速度,有效解決大規(guī)模知識(shí)庫(kù)檢索及長(zhǎng)文檔分析中的延遲瓶頸。

在16k長(zhǎng)序列輸入測(cè)試中,S5000單卡Prefill吞吐量是H20的2.5倍。這意味著在處理長(zhǎng)文本Prompt時(shí),國(guó)產(chǎn)算力具備更快的上下文理解速度。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

這主要得益于其高達(dá)1000TFLOPS的單卡算力。在絕大多數(shù)計(jì)算密集型場(chǎng)景中,該卡不僅能提供更強(qiáng)勁的算力輸出,也在整體性價(jià)比上展現(xiàn)出顯著優(yōu)勢(shì)。

基于FSDP2框架,MTT S5000已率先完成Wan2.1視頻生成全模型訓(xùn)練驗(yàn)證,2節(jié)點(diǎn)16卡配置下訓(xùn)練吞吐量達(dá)61.83samples/s,模型算力利用率(MFU)達(dá)51%,生成效果在視頻邏輯、畫質(zhì)細(xì)膩度、動(dòng)態(tài)一致性上均對(duì)齊行業(yè)基準(zhǔn)。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

二、10EFLOPS萬卡集群已落地,下游任務(wù)評(píng)測(cè)得分優(yōu)于H100

基于S5000構(gòu)建的夸娥萬卡集群已經(jīng)落地,其浮點(diǎn)運(yùn)算能力達(dá)到10EFLOPS,在Dense模型訓(xùn)練中MFU達(dá)60%,在MoE模型中維持在40%左右,有效訓(xùn)練時(shí)間占比超過90%,訓(xùn)練線性擴(kuò)展效率達(dá)95%

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

依托原生FP8能力,它能夠完整復(fù)現(xiàn)頂尖大模型的訓(xùn)練流程,其中Flash Attention算力利用率超過95%,多項(xiàng)關(guān)鍵指標(biāo)均達(dá)到國(guó)際主流水平。

在集群通信層面,S5000采用獨(dú)創(chuàng)的ACE技術(shù),將復(fù)雜通信任務(wù)從計(jì)算核心卸載,實(shí)現(xiàn)計(jì)算與通信的零沖突并行,大幅提升MFU。

實(shí)測(cè)顯示,從64卡擴(kuò)展至1024卡,其系統(tǒng)保持90%以上的線性擴(kuò)展效率,訓(xùn)練速度隨算力增加幾乎同步倍增。

第三方驗(yàn)證方面,2026年1月,智源研究院基于S5000千卡集群,完成了前沿具身大腦模型RoboBrain 2.5的端到端訓(xùn)練與對(duì)齊驗(yàn)證。

結(jié)果顯示,與英偉達(dá)H100集群的訓(xùn)練結(jié)果高度重合,訓(xùn)練損失值(loss)差異僅為0.62%。

根據(jù)摩爾線程官網(wǎng),在S5000集群上訓(xùn)練DeepSeek-236B,前3萬步訓(xùn)練過程中,Loss曲線與H100集群的相對(duì)精度誤差僅為0.6%。同等數(shù)據(jù)量下,其下游任務(wù)評(píng)測(cè)得分優(yōu)于H100,驗(yàn)證了萬卡集群的高精度。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

GPU集群的可靠性、可用性和可維護(hù)性(RAS)是支撐大規(guī)模AI訓(xùn)練任務(wù)持續(xù)穩(wěn)定運(yùn)行的核心基礎(chǔ)設(shè)施能力。

S5000從芯片級(jí)到系統(tǒng)級(jí)構(gòu)建了完整的RAS體系,支持故障感知、上報(bào)與錯(cuò)誤隔離,可快速定位并替換故障節(jié)點(diǎn)、慢節(jié)點(diǎn)及靜默數(shù)據(jù)損壞節(jié)點(diǎn),并具備主動(dòng)檢測(cè)與修復(fù)功能,長(zhǎng)期守護(hù)集群健康,確保性能穩(wěn)定與結(jié)果正確。

三、刷新國(guó)產(chǎn)GPU大模型推理紀(jì)錄,科學(xué)計(jì)算性能完勝H100

S5000在推理場(chǎng)景同樣表現(xiàn)優(yōu)異。2025年12月,摩爾線程聯(lián)合硅基流動(dòng),基于S5000完成對(duì)DeepSeek-V3 671B滿血版的深度適配與性能測(cè)試,實(shí)測(cè)單卡Prefill吞吐超4000tokens/s,Decode吞吐超1000tokens/s,刷新了國(guó)產(chǎn)GPU的推理紀(jì)錄。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

針對(duì)Agent間的高頻通訊與復(fù)雜代碼塊的瞬時(shí)生成需求,S5000在DeepSeek等前沿模型的推理實(shí)測(cè)中,實(shí)現(xiàn)了遠(yuǎn)超行業(yè)基準(zhǔn)的token生成速率。

S5000針對(duì)文生視頻模型進(jìn)行了深度優(yōu)化,基于原生FP8硬件加速能力,在大幅提升推理速度的同時(shí),確保生成內(nèi)容精度無損,單機(jī)性能達(dá)到H100的64%-79%,兼顧高性能輸出與高投入產(chǎn)出比(ROI)。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

同時(shí),S5000憑借原生FP64雙精度計(jì)算能力,通過與國(guó)家級(jí)實(shí)驗(yàn)室的深度合作與調(diào)優(yōu),在關(guān)鍵科學(xué)計(jì)算領(lǐng)域?qū)崿F(xiàn)性能提升。在SPONGE模擬引擎中,其性能達(dá)到H100的1.7倍;在分子對(duì)接工具DSDP的實(shí)測(cè)中,其計(jì)算效能展現(xiàn)出壓倒性優(yōu)勢(shì),性能達(dá)到H100的8.1倍。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

此外,作為一款全功能GPU,S5000集成了高性能的多媒體編解碼引擎,硬件原生支持H264、H265、VP9、AV1、AVS2、AVS+、VP8等格式。

單卡突破1000TFLOPS!摩爾線程旗艦GPU參數(shù)首曝光:對(duì)標(biāo)H100,訓(xùn)練性能大漲30%

結(jié)語:國(guó)產(chǎn)GPU已經(jīng)扛起大模型訓(xùn)練的重任

根據(jù)摩爾線程官網(wǎng)披露信息,無論是構(gòu)建萬卡級(jí)超大規(guī)模訓(xùn)練集群,還是部署高并發(fā)、低延遲的在線推理服務(wù),MTT S5000均展現(xiàn)出對(duì)標(biāo)國(guó)際主流旗艦產(chǎn)品的卓越性能與穩(wěn)定性。

作為目前國(guó)內(nèi)少數(shù)具備完整大模型訓(xùn)練能力的AI計(jì)算卡之一,MTT S5000提供了一套可行的國(guó)產(chǎn)算力替代方案,從FP8精度支持、單卡1000EFLOPS算力等參數(shù)到經(jīng)過萬卡集群實(shí)訓(xùn)、第三方機(jī)構(gòu)驗(yàn)證的實(shí)戰(zhàn)成績(jī),都證明了國(guó)產(chǎn)GPU不僅能做好推理,而且已經(jīng)能支撐起大規(guī)模模型訓(xùn)練的計(jì)算需求。