智東西(公眾號:zhidxcom)
作者 | ZeR0
編輯 | 漠影

智東西圣何塞3月18日報道,在擴(kuò)展AI基礎(chǔ)設(shè)施版圖這件事上,英偉達(dá)已經(jīng)是Next Level了。

一年一度的“AI界春晚”英偉達(dá)GTC大會本周盛大開幕,今日,面向AI時代的新型基礎(chǔ)設(shè)施,英偉達(dá)發(fā)布兩款新品,一款聚焦網(wǎng)絡(luò),推光電一體化封裝網(wǎng)絡(luò)交換機(jī),為更大規(guī)模的AI工廠鋪路,一款聚焦企業(yè)存儲,構(gòu)建AI數(shù)據(jù)平臺,旨在提高AI智能體工作流程的性能和準(zhǔn)確性。

英偉達(dá)將超大規(guī)模新型數(shù)據(jù)中心定義為AI工廠。隨著AI工廠規(guī)模持續(xù)擴(kuò)大,AI網(wǎng)絡(luò)基礎(chǔ)設(shè)施也需要迭代升級,而將硅光直接集成到交換機(jī)中是一項行之有效的策略。

數(shù)據(jù)是AI時代的原材料。英偉達(dá)通過與全球領(lǐng)先的存儲企業(yè)合作,打造在混合數(shù)據(jù)中心部署和擴(kuò)展AI智能體所需的新型企業(yè)基礎(chǔ)設(shè)施,來更高效地挖掘存儲在企業(yè)系統(tǒng)中的數(shù)據(jù)價值。

一、光交換機(jī)最快今年上市,將AI工廠擴(kuò)展至數(shù)百萬GPU

英偉達(dá)今日宣布推出光電一體化封裝網(wǎng)絡(luò)交換機(jī)NVIDIA Spectrum-X Photonics和Quantum-X,使AI工廠能夠跨區(qū)域連接數(shù)百萬GPU級別,同時大幅降低能耗和運(yùn)營成本。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

每端口1.6Tb/s的英偉達(dá)硅光交換機(jī),創(chuàng)新地集成了光器件,激光器數(shù)量減少至1/4,與傳統(tǒng)方法相比,能源效率提高到3.5倍,信號完整性提高到63倍,大規(guī)模組網(wǎng)可靠性提高到10倍,部署速度提高到1.3倍。

NVIDIA Quantum-X Photonics InfiniBand交換機(jī)預(yù)計將在今年晚些時候上市,領(lǐng)先的基礎(chǔ)設(shè)施和系統(tǒng)供應(yīng)商將在2026年推出Spectrum-X Photonics以太網(wǎng)交換機(jī)。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

與傳統(tǒng)以太網(wǎng)相比,Spectrum-X以太網(wǎng)網(wǎng)絡(luò)平臺可為多租戶、超大規(guī)模AI工廠提供卓越的性能和1.6倍的帶寬密度。

Spectrum-X光交換機(jī)具有多種配置,包括128個800Gb/s端口或512個200Gb/s端口,總帶寬可達(dá)到100Tb/s,以及512個800Gb/s或2048個200Gb/s 端口,總吞吐量可達(dá)400Tb/s。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

NVIDIA Quantum-X光交換機(jī)提供144個基于200Gb/s SerDes的800Gb/s InfiniBand端口,并采用液冷設(shè)計對板載硅光器件進(jìn)行高效散熱。其AI計算網(wǎng)的速度是上一代產(chǎn)品的2倍,擴(kuò)展性是上一代產(chǎn)品的5倍。

在英偉達(dá)創(chuàng)始人兼CEO黃仁勛GTC主題演講期間播放的視頻中,Quantum-X光交換機(jī)的帶寬達(dá)到115.2Tb/s。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

內(nèi)置有交換機(jī)管理模塊,采用液冷散熱。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

Quantum-X光學(xué)封裝里有Quantum-X800 ASIC芯片、6個光學(xué)子組件和18個硅光引擎。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

Quantum-X800 ASIC的總吞吐量達(dá)到28.8Tb/s,采用臺積電4N工藝,擁有1070億顆晶體管,網(wǎng)絡(luò)內(nèi)自帶3.6 TFLOPS FP8 SHARP算力。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

324個光學(xué)連接器串聯(lián)起這一系統(tǒng),總計有36個激光輸入和288個數(shù)據(jù)連接,內(nèi)置光纖管理功能。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

其中,光子組件是可拆卸的,每個組件擁有3個硅光引擎,總吞吐量為4.8Tb/s。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

每個硅光芯片引擎擁有200GB/s的微光調(diào)制器,總吞吐量為1.6Tb/s,可實現(xiàn)3.5倍節(jié)能。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

硅光引擎采用臺積電N6工藝,擁有2.2億顆晶體管、1000個集成的光學(xué)器件。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

這一系統(tǒng)還擁有多平面數(shù)據(jù)連接器,擁有1152個單模光纖。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

外置光源有8個集成激光系統(tǒng),具備自動溫度檢測和波長、能耗穩(wěn)定功能。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

上述部件的總和,便是下圖這一擁有4460億顆晶體管的龐大系統(tǒng),吞吐量達(dá)到115Tb/s。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

英偉達(dá)的硅光生態(tài)系統(tǒng)伙伴包括臺積電、富士康、Browave、Coherent、Corning Incorporated、Fabrinet、Lumentum、SENKO、SPIL、Sumitomo Electric Industries、TFC Communication,共同發(fā)明與合作,打造集成硅、光工藝和供應(yīng)鏈。

臺積電董事長兼CEO魏哲家分享說,臺積電的硅光解決方案結(jié)合了其先進(jìn)的芯片工藝和臺積電SoIC 3D芯片封裝的優(yōu)勢,幫助英偉達(dá)充分發(fā)揮AI工廠的能力,助力AI工廠擴(kuò)展到100萬塊GPU甚至更多。

英偉達(dá)光技術(shù)將推動新一代先進(jìn)AI工廠的大規(guī)模增長,并和Coherent、Eoptolink、Fabrinet、Innolight等業(yè)界領(lǐng)先企業(yè)的可插拔光模塊技術(shù)共同推動這一發(fā)展。

二、助建存儲基礎(chǔ)設(shè)施,讓AI智能體提供更準(zhǔn)響應(yīng)

英偉達(dá)今日還推出了NVIDIA AI數(shù)據(jù)平臺,這是一項可自定義的參考設(shè)計,可被存儲提供商用于構(gòu)建搭載專用AI查詢智能體的全新AI基礎(chǔ)設(shè)施,滿足AI推理工作負(fù)載的嚴(yán)苛要求。

這些AI智能體利用英偉達(dá)加速計算、網(wǎng)絡(luò)、軟件,針對復(fù)雜查詢進(jìn)行推理并快速生成準(zhǔn)確響應(yīng),可助力企業(yè)應(yīng)用NVIDIA AI Enterprise軟件平臺(包括全新英偉達(dá)Llama Nemotron推理模型的NVIDIA NIM微服務(wù))以及全新的NVIDIA AI-Q藍(lán)圖,近乎實時地生成數(shù)據(jù)洞察。

AI數(shù)據(jù)平臺存儲基礎(chǔ)設(shè)施利用英偉達(dá)AI-Q藍(lán)圖開發(fā),可進(jìn)行推理并連接企業(yè)數(shù)據(jù)的AI智能體系統(tǒng),能夠?qū)S衅髽I(yè)知識(包括內(nèi)部文檔、客戶記錄、特定領(lǐng)域的信息)無縫集成到AI工作流中,提供更準(zhǔn)確、更貼合情景的響應(yīng)。

它可以快速訪問海量數(shù)據(jù)并處理各類數(shù)據(jù),包括有多個來源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),包括文本、PDF、圖像、視頻。

AI-Q藍(lán)圖利用NVIDIA NeMo Retriever微服務(wù),可將英偉達(dá)GPU上的數(shù)據(jù)提取和檢索速度加快高達(dá)15倍。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

AI數(shù)據(jù)平臺的核心功能是相當(dāng)于一個智能AI路由器,通過高速、低延遲網(wǎng)絡(luò)進(jìn)行負(fù)載平衡和交換提示和鍵值(KV)緩存,以提高推理速度和準(zhǔn)確性。

存儲提供商可借助英偉達(dá)Blackwell GPU、BlueField DPU、Spectrum-X網(wǎng)絡(luò)、 NVIDIA Dynamo開源推理庫,來優(yōu)化基礎(chǔ)設(shè)施,為AI查詢智能體提供強(qiáng)勁支持。

AI數(shù)據(jù)平臺優(yōu)化了GPU、節(jié)點和大語言模型內(nèi)存管理之間的AI工作負(fù)載分配,利用智能路由、負(fù)載平衡、高級緩存來加速數(shù)據(jù)處理,并實現(xiàn)可擴(kuò)展的復(fù)雜AI工作流程,因此AI智能體可以更高效、更低延遲地分析和處理大量業(yè)務(wù)知識。

英偉達(dá)Blackwell GPU、BlueField DPU、Spectrum-X網(wǎng)絡(luò)組合在一起提供了一款加速引擎,可加快AI查詢智能體訪問存儲在企業(yè)系統(tǒng)中的數(shù)據(jù)。

BlueField DPU的性能比基于CPU的存儲性能提升最高可達(dá)1.6倍,而功耗又比其降低可達(dá) 50%,每瓦性能提高3倍以上。與傳統(tǒng)以太網(wǎng)相比,Spectrum-X通過采用動態(tài)路由和優(yōu)化的擁塞控制,可將AI存儲流量提速最高達(dá)48%。

英偉達(dá)猛攻AI基建:新光交換機(jī)劍指數(shù)百萬GPU,聯(lián)手存儲龍頭讓AI智能體響應(yīng)變準(zhǔn)

DDN、戴爾、HPE、日立、IBM、NetApp、Nutanix、Pure Storage、VAST Data、WEKA等領(lǐng)先數(shù)據(jù)平臺和存儲提供商均選擇與英偉達(dá)合作,打造可定制化的AI數(shù)據(jù)平臺,充分運(yùn)用企業(yè)數(shù)據(jù)進(jìn)行推理并響應(yīng)復(fù)雜查詢。

英偉達(dá)認(rèn)證的存儲合作伙伴正與英偉達(dá)共同打造定制化AI數(shù)據(jù)平臺。經(jīng)英偉達(dá)認(rèn)證的存儲提供商計劃從本月開始提供使用NVIDIA AI數(shù)據(jù)平臺構(gòu)建的解決方案。

結(jié)語:AI基礎(chǔ)設(shè)施多點布局,英偉達(dá)正不斷擴(kuò)大優(yōu)勢

從面向網(wǎng)絡(luò)和存儲的兩項發(fā)布,可以看出英偉達(dá)對AI基礎(chǔ)設(shè)施趨勢的多點布局和精準(zhǔn)卡位。英偉達(dá)多年打磨的豐富網(wǎng)絡(luò)產(chǎn)品組合,使其在加速AI智能體連接數(shù)據(jù)的生態(tài)中占據(jù)中心位。

對共封裝光學(xué)技術(shù)的布局則更是意在長遠(yuǎn),理論上大規(guī)模實現(xiàn)硅光通信的融合在節(jié)省能耗和成本方面的優(yōu)勢顯著,不過這項前沿技術(shù)在實際落地中的成熟度還有待驗證,業(yè)界也仍在探索如何以更低成本和更高可靠性制造相應(yīng)的光學(xué)器件。

如今提升AI性能和效率的關(guān)鍵因素已遠(yuǎn)遠(yuǎn)超出算力范疇。英偉達(dá)的前瞻布局正使之不斷擴(kuò)大在AI基礎(chǔ)設(shè)施的領(lǐng)先優(yōu)勢,與垂直行業(yè)龍頭企業(yè)的合作又進(jìn)一步加深了其護(hù)城河。