智東西（公眾號(hào)：zhidxcom）
作者 | 陳駿達(dá)
編輯 | 漠影
AI時(shí)代，存儲(chǔ)不僅是數(shù)據(jù)的棲息之地，更是AI模型訓(xùn)練、落地過(guò)程中的堅(jiān)實(shí)底座。
在AI開(kāi)啟的存儲(chǔ)行業(yè)新周期中，眾多廠商已將帶寬等性能指標(biāo)卷至新的高度。然而，這種追求似乎將AI這一復(fù)雜應(yīng)用場(chǎng)景簡(jiǎn)單地“存儲(chǔ)化”了。
實(shí)際上，AI對(duì)存儲(chǔ)的需求遠(yuǎn)不止于性能這一維度本身，更需要讓存儲(chǔ)“AI化”，關(guān)注整體存儲(chǔ)解決方案與AI應(yīng)用場(chǎng)景的契合度。這一點(diǎn)，也是全球唯一的AI/ML存儲(chǔ)基準(zhǔn)測(cè)試——MLPerf所關(guān)注的本質(zhì)。
MLPerf存儲(chǔ)基準(zhǔn)測(cè)試面向AI/ML用戶的痛點(diǎn)，即存儲(chǔ)和計(jì)算的平衡及兩者的有效利用。然而測(cè)試中存儲(chǔ)架構(gòu)的多樣與存算節(jié)點(diǎn)的非標(biāo)準(zhǔn)化，導(dǎo)致性能數(shù)據(jù)本身的參考價(jià)值有所下降。
在性能數(shù)據(jù)之外，有無(wú)另一指標(biāo)可以更為準(zhǔn)確地反映存儲(chǔ)系統(tǒng)在AI場(chǎng)景的表現(xiàn)呢？MLPerf存儲(chǔ)基準(zhǔn)測(cè)試要求加速器利用率需達(dá)到90%或70%，在這一區(qū)間內(nèi)考核節(jié)點(diǎn)所能支持的最大加速卡數(shù)，測(cè)試其能否盡可能跑滿每個(gè)客戶端的理論帶寬，以實(shí)現(xiàn)最佳存儲(chǔ)性能。
在MLPerf存儲(chǔ)基準(zhǔn)測(cè)試中，由于理論帶寬是統(tǒng)一的，因此所有廠商的解決方案均可歸一化到網(wǎng)絡(luò)利用率這一指標(biāo)上，進(jìn)行相對(duì)客觀的評(píng)估。網(wǎng)絡(luò)利用率的提高意味著成本的降低，算力潛能的更充分釋放，存儲(chǔ)與AI應(yīng)用場(chǎng)景的契合度也越高。
今年9月，新一輪MLPerf存儲(chǔ)基準(zhǔn)測(cè)試成績(jī)發(fā)布，其中，中國(guó)企業(yè)浪潮信息的分布式存儲(chǔ)平臺(tái)AS13000G7，在圖像分割模型3D-UNet和天文學(xué)模型CosmoFlow共計(jì)8項(xiàng)測(cè)試中斬獲5項(xiàng)最佳成績(jī)。這一平臺(tái)在網(wǎng)絡(luò)利用率上展現(xiàn)出20%左右的優(yōu)勢(shì)，斷層領(lǐng)先。
值得一提的是，本次MLPerf存儲(chǔ)基準(zhǔn)測(cè)試已升級(jí)至1.0版本，這一升級(jí)提出了哪些新的要求，浪潮信息又是如何憑借其技術(shù)積淀與整體解決方案，獲得新版測(cè)試中的多項(xiàng)最佳成績(jī)的呢？
一、MLPerf測(cè)試迎升級(jí)，存儲(chǔ)助力AI算天文分圖像
2018年，圖靈獎(jiǎng)得主大衛(wèi)·帕特森（David Patterson）聯(lián)合斯坦福、哈佛等頂尖學(xué)術(shù)機(jī)構(gòu)和谷歌、百度等AI行業(yè)頭部企業(yè)，共同發(fā)起了MLCommons協(xié)會(huì)，同年推出首款測(cè)試套件MLPerf，目前，該測(cè)試是影響力最廣的國(guó)際AI性能基準(zhǔn)評(píng)測(cè)之一。
▲圖靈獎(jiǎng)得主大衛(wèi)·帕特森（圖源：ACM）
MLPerf系列測(cè)試套件得到學(xué)界和產(chǎn)業(yè)界的廣泛認(rèn)可。其中，MLPerf存儲(chǔ)基準(zhǔn)測(cè)試是專門(mén)用于AI復(fù)雜負(fù)載下存儲(chǔ)系統(tǒng)性能的測(cè)試套件，最大程度地模擬了AI任務(wù)的真實(shí)負(fù)載，數(shù)據(jù)訪問(wèn)的pipeline、架構(gòu)、軟件棧均與實(shí)際訓(xùn)練程序無(wú)異，已成為AI/ML模型開(kāi)發(fā)者選擇存儲(chǔ)解決方案的權(quán)威參考依據(jù)。
▲浪潮信息是MLCommons的創(chuàng)始成員之一（圖源：MLCommons官網(wǎng)）
本次MLPerf存儲(chǔ)基準(zhǔn)測(cè)試1.0版本測(cè)試吸引了全球13家領(lǐng)先存儲(chǔ)廠商和研究機(jī)構(gòu)的參與，測(cè)試內(nèi)容也迎來(lái)重大升級(jí)，回應(yīng)了當(dāng)下復(fù)雜AI應(yīng)用場(chǎng)景對(duì)存儲(chǔ)提出的新需求。
一方面，存儲(chǔ)系統(tǒng)的帶寬峰值處理能力迎來(lái)新的挑戰(zhàn)，測(cè)試特別關(guān)注了在高性能GPU達(dá)到一定使用率的情況下，存儲(chǔ)系統(tǒng)能為AI集群提供的整體帶寬和單個(gè)節(jié)點(diǎn)的帶寬。
另一方面，測(cè)試還強(qiáng)化了對(duì)分布式訓(xùn)練的考察，特別關(guān)注每個(gè)存儲(chǔ)節(jié)點(diǎn)能夠支持的GPU數(shù)量，以此來(lái)衡量用戶在AI存儲(chǔ)方面的投資效益。
在本次測(cè)試中，浪潮信息使用3臺(tái)AS13000G7平臺(tái)搭建分布式存儲(chǔ)集群，并配備ICFS自研分布式文件系統(tǒng)，參與了3D-UNet和CosmoFlow兩個(gè)單項(xiàng)的測(cè)試。
作為圖像分割領(lǐng)域最具影響力的AI模型，3D-UNet模型的測(cè)試中使用了海量的圖像類非結(jié)構(gòu)化數(shù)據(jù)，要求存儲(chǔ)平臺(tái)具備高帶寬、低時(shí)延的特點(diǎn)，才能保證GPU的高效利用。CosmoFlow宇宙學(xué)分析模型參數(shù)量?jī)H有10萬(wàn)-20萬(wàn)，如此之小的模型對(duì)時(shí)延提出了更高的要求。二者都是典型的數(shù)據(jù)密集型應(yīng)用。
在3D-UNet多客戶端2評(píng)測(cè)任務(wù)中，浪潮信息的存儲(chǔ)平臺(tái)服務(wù)于10個(gè)客戶端264個(gè)加速器，集群聚合帶寬達(dá)到360GB/s，單個(gè)存儲(chǔ)節(jié)點(diǎn)的帶寬高達(dá)120GB/s。
在宇宙學(xué)分析CosmoFlow單客戶端2和多客戶端2評(píng)測(cè)任務(wù)中，浪潮信息的存儲(chǔ)平臺(tái)分別提供了18 GB/s和52 GB/s的帶寬最佳成績(jī)。
二、契合AI使用場(chǎng)景，兼顧性能、效率、韌性
浪潮信息多項(xiàng)最佳成績(jī)的背后，是其面向AI時(shí)代，提升存儲(chǔ)平臺(tái)性能、效率和韌性的努力。
性能層面，浪潮自研分布式軟件棧中的全新數(shù)控分離架構(gòu)解決了分布式存儲(chǔ)數(shù)據(jù)流在節(jié)點(diǎn)間流轉(zhuǎn)的轉(zhuǎn)發(fā)問(wèn)題，減少東西向（節(jié)點(diǎn)間）數(shù)據(jù)轉(zhuǎn)發(fā)量80%。這一性能的提升能幫助客戶節(jié)省大量的存儲(chǔ)成本，系統(tǒng)性價(jià)比也相應(yīng)改善。
效率層面，浪潮信息通過(guò)多協(xié)議數(shù)據(jù)融合技術(shù)，解決了AI應(yīng)用場(chǎng)景使用多種數(shù)據(jù)接入?yún)f(xié)議造成的存儲(chǔ)效率問(wèn)題，最高可節(jié)省50%的數(shù)據(jù)存儲(chǔ)空間。
韌性層面，為滿足AI業(yè)務(wù)對(duì)持續(xù)性的要求，浪潮信息的可靠性主動(dòng)管理技術(shù)、AIOps系統(tǒng)故障預(yù)測(cè)算法和勒索軟件檢測(cè)技術(shù)，有效預(yù)防了設(shè)備故障和數(shù)據(jù)安全問(wèn)題的出現(xiàn)。相關(guān)技術(shù)對(duì)硬盤(pán)故障的預(yù)測(cè)準(zhǔn)確率達(dá)到98%，對(duì)勒索軟件的檢測(cè)漏報(bào)率僅有0.029%。
如何將技術(shù)整合落地，將技術(shù)指標(biāo)轉(zhuǎn)化為實(shí)際效果，最終形成完整且適配AI場(chǎng)景的解決方案，則是真正造福AI行業(yè)客戶的關(guān)鍵。
浪潮信息與AI場(chǎng)景緊密契合，憑借其產(chǎn)品場(chǎng)景化定制能力與成熟的AI場(chǎng)景解決方案能力，打造出了真正貼合AI需求的存儲(chǔ)產(chǎn)品，為AI場(chǎng)景構(gòu)建堅(jiān)實(shí)的數(shù)據(jù)支撐平臺(tái)。
以本次測(cè)試中3D-UNet加速器H多客戶端下的測(cè)試結(jié)果為例，浪潮信息的多路并發(fā)透?jìng)骷夹g(shù)有效減少了I/O操作中頻繁的上下文切換，降低單次I/O時(shí)延50%。本次測(cè)試的3D-UNet場(chǎng)景中，3節(jié)點(diǎn)存儲(chǔ)支撐了1430個(gè)高并發(fā)讀線程，計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)利用率達(dá)到了72%。
網(wǎng)絡(luò)利用率的提高有效降低了網(wǎng)絡(luò)資源的浪費(fèi)。在客戶端配置雙網(wǎng)卡情況下，部分參賽解決方案僅有50%的網(wǎng)絡(luò)利用率，意味著整套方案實(shí)質(zhì)上浪費(fèi)了近乎一整張網(wǎng)卡資源，大大增加了總體成本。
若在大模型訓(xùn)練的萬(wàn)卡集群下，低網(wǎng)絡(luò)利用率造成的網(wǎng)卡資源的浪費(fèi)可能高達(dá)數(shù)千萬(wàn)級(jí)別，更不必說(shuō)設(shè)備擴(kuò)容所引發(fā)的算力利用率下降、連接線增加、運(yùn)維復(fù)雜度提升等連鎖成本效應(yīng)。
對(duì)于本就成本高昂的AI基礎(chǔ)設(shè)施而言，任何可以削減的開(kāi)支都顯得尤為關(guān)鍵。浪潮信息存儲(chǔ)解決方案在網(wǎng)絡(luò)利用率上的明顯優(yōu)勢(shì)，證明了相關(guān)方案對(duì)AI場(chǎng)景的高度適配。
在實(shí)踐中，浪潮信息的存儲(chǔ)解決方案已經(jīng)在互聯(lián)網(wǎng)企業(yè)大模型訓(xùn)練推理場(chǎng)景、大型AI算力中心與某國(guó)家重點(diǎn)實(shí)驗(yàn)室中落地。
例如，在大模型場(chǎng)景訓(xùn)練中，浪潮信息通過(guò)增加全閃存儲(chǔ)幫助客戶實(shí)現(xiàn)效率提升，將斷電續(xù)訓(xùn)時(shí)間降低到分鐘級(jí)別。新增20臺(tái)全閃存儲(chǔ)提升的效率，相當(dāng)于新增了10多臺(tái)GPU服務(wù)器，從投資角度上來(lái)看，每100萬(wàn)存儲(chǔ)投資相當(dāng)于300萬(wàn)的GPU服務(wù)器投資。
而針對(duì)大模型推理場(chǎng)景中多文件協(xié)議特點(diǎn)，浪潮信息的融合存儲(chǔ)方案讓客戶節(jié)省了協(xié)議轉(zhuǎn)化的時(shí)間，使得數(shù)據(jù)匯集準(zhǔn)備時(shí)間節(jié)省30%，存儲(chǔ)空間也大幅節(jié)省。
結(jié)語(yǔ)：生成式AI步入下半場(chǎng)，存儲(chǔ)成AI向?qū)嶊P(guān)鍵
據(jù)工信部測(cè)算，到2035年，中國(guó)生成式AI的市場(chǎng)規(guī)模將突破30萬(wàn)億元，制造業(yè)、醫(yī)療健康、電信行業(yè)和零售業(yè)對(duì)生成式AI技術(shù)的采用率迎來(lái)較快增長(zhǎng)。
2024年，生成式AI正以前所未有的速度走入千行百業(yè)。AI行業(yè)已經(jīng)由百模大戰(zhàn)時(shí)期的“卷模型”，轉(zhuǎn)變?yōu)椤熬韴?chǎng)景、卷應(yīng)用”，或?qū)⒂瓉?lái)下半場(chǎng)的角逐。
在AI向?qū)嵃l(fā)展的進(jìn)程中，數(shù)據(jù)是連接物理世界與數(shù)字世界的重要橋梁，而存儲(chǔ)作為數(shù)據(jù)的載體，持續(xù)在AI落地的實(shí)踐中發(fā)揮關(guān)鍵作用。
