智東西(公眾號:zhidxcom)
作者 | ZeR0
編輯 | 漠影

智東西8月15日報道,今日,在戴爾科技峰會(DTF)期間,戴爾科技正式發(fā)布專為AI推理設(shè)計的“掌上AI超算”Dell Pro Max with GB10。

這是Dell Pro Max全新產(chǎn)品線旗下的一款重要AI工作站新品,搭載NVIDIA GB10 Grace Blackwell 超級芯片,首次將數(shù)據(jù)中心級架構(gòu)下放至桌面,專為AI開發(fā)者設(shè)計,在FP4精度下可提供高達(dá)1000TOPS的AI性能。

戴爾推出掌上AI超算!字典大小,1000TOPS峰值算力,能跑2000億參數(shù)模型

▲戴爾科技集團(tuán)大中華區(qū)客戶端銷售系統(tǒng)工程總監(jiān)喻智娟現(xiàn)場展示Dell Pro Max with GB10

傳統(tǒng)電腦通常應(yīng)用于游戲開發(fā)、軟件開發(fā)、媒體制作、醫(yī)療、金融等行業(yè),而Dell Pro Max with GB10聚焦于AI領(lǐng)域的研發(fā)和應(yīng)用,專注滿足AI計算的需求,能無縫擴(kuò)展至更大規(guī)模數(shù)據(jù)集或生產(chǎn)環(huán)境,大幅降低復(fù)雜項目的實現(xiàn)成本與難度,適用于AI原型研發(fā)、邊緣AI計算、數(shù)據(jù)科學(xué)、AI開發(fā)、大模型推理、教育等領(lǐng)域。

戴爾科技集團(tuán)大中華區(qū)客戶端解決方案事業(yè)部工作站資深產(chǎn)品經(jīng)理汪志軍在一場媒體溝通會上對這款新品進(jìn)行了詳盡分享。

他打了個形象的比喻:Dell Pro Max with GB10就像一個裝修完畢、設(shè)備齊全的智能廚房,所有的硬件配置合理、軟件環(huán)境完整、開發(fā)框架預(yù)設(shè)完畢,連“菜單”——也就是常用的開發(fā)路徑、運(yùn)行環(huán)境——都打包好了。用戶只需要把“食材”——數(shù)據(jù)、模型、算法——放進(jìn)去,按流程調(diào)用,就能快速生成用戶的AI應(yīng)用。無論是企業(yè)級的部署還是某個垂直行業(yè)的落地應(yīng)用,都能高效啟動,并且具備很強(qiáng)的可擴(kuò)展性與可持續(xù)性。

一、小到能塞進(jìn)包里的掌上AI超算,單機(jī)能跑2000億參數(shù)模型

從外形來看,Dell Pro Max with GB10非常小巧,只有1.2升,類似于一本字典,小到能塞進(jìn)包里。

這款A(yù)I設(shè)備是戴爾首次與NVIDIA在Grace Blackwell架構(gòu)上的深度合作,基于NVIDIA Grace Blackwell 平臺,配備128GB LPDDR5x統(tǒng)一內(nèi)存,通過 NVIDIA NVLink C2C 連接,CPU和GPU可共享訪問所有系統(tǒng)內(nèi)存。相比之下,一個標(biāo)準(zhǔn)顯卡通常只有十幾GB的顯存。

Dell Pro Max with GB10單機(jī)最多能支持高效構(gòu)建、優(yōu)化和部署2000億參數(shù)的AI推理模型,微調(diào)最多可達(dá)700億參數(shù)的模型。

如果開發(fā)者希望進(jìn)行模型開發(fā)、訓(xùn)練或微調(diào),這臺機(jī)器也具備足夠的精度能力,支持最高達(dá)700億參數(shù)級別的模型訓(xùn)練任務(wù)。

通過NVIDIA ConnectX-7網(wǎng)絡(luò)連接技術(shù)和200G x 2 QSFP 接口,這臺機(jī)器可實現(xiàn)雙機(jī)高速互聯(lián),組成一個更高性能的AI算力節(jié)點,內(nèi)存擴(kuò)展至256GB,支持最多4050億參數(shù)的模型,滿足大型AI模型的運(yùn)行需求。

Dell Pro Max with GB10采用全金屬機(jī)身,配備了一款240瓦電源,并對散熱系統(tǒng)進(jìn)行了優(yōu)化設(shè)計,以確保設(shè)備能夠在高負(fù)載下保持穩(wěn)定運(yùn)行。

其硬盤提供2TB和4TB兩種容量,網(wǎng)絡(luò)接口還配備了常規(guī)的10Gb網(wǎng)絡(luò)接口,無線連接支持Wi-Fi 7和藍(lán)牙5.1,I/O接口包括多種Type-C接口。

二、預(yù)裝NVIDIA AI相關(guān)組件,涵蓋模型部署、調(diào)優(yōu)、推理全流程

Dell Pro Max with GB10具備出色的軟件生態(tài)。

該產(chǎn)品出廠預(yù)裝了基于Ubuntu深度開發(fā)的DGX OS 7定制化操作系統(tǒng),包含針對本機(jī)的優(yōu)化配置、設(shè)定及額外驅(qū)動程序,同時集成了NVIDIA提供的豐富開發(fā)容器、套件及AI框架,實現(xiàn)硬件與軟件的深度適配,確保開發(fā)者在桌面、NVIDIA DGX Cloud平臺與戴爾數(shù)據(jù)中心之間遷移AI模型時無需修改代碼,提升工作連續(xù)性。

例如,預(yù)裝的NVIDIA DGX系統(tǒng)及AI Enterprise軟件套件,可幫助用戶實現(xiàn)開箱即用,支持快速部署,幾分鐘內(nèi)即可投入實際開發(fā)與生產(chǎn)環(huán)境。提供的NVIDIA Blueprints等參考工作流工具,可加速生成式AI和代理式AI的開發(fā)效率,兼顧本地開發(fā)的隱私安全與成本優(yōu)勢。

使用傳統(tǒng)AI開發(fā)主機(jī)時,用戶往往需要花費(fèi)大量時間自行組裝硬件、安裝操作系統(tǒng)及配置各類軟件環(huán)境。而Dell Pro Max with GB10提供了高度集成的一體化平臺,大大降低了部署門檻,顯著提升了效率與易用性。

在AI應(yīng)用方面,Dell Pro Max with GB10更多地支持輕量級的微調(diào),或主要用于推理任務(wù)。

汪志軍解釋說,戴爾與很多AI軟件廠商都有合作,但不會要求設(shè)備出廠時就預(yù)裝某些特定的軟件,更傾向于通過認(rèn)證和測試來確保兼容性和穩(wěn)定性,更關(guān)注的是確保整體系統(tǒng)的穩(wěn)定性。

三、既能用作獨(dú)立電腦,又能直連現(xiàn)有筆記本、工作站

Dell Pro Max with GB10可以直接連接現(xiàn)有筆記本、臺式機(jī)、工作站使用,作為一個用于AI開發(fā)與推理的算力盒。

有高數(shù)據(jù)安全要求、希望本地完成AI大模型推理的開發(fā)者,可通過將自己的電腦外接Dell Pro Max with GB10來實現(xiàn)本地高效運(yùn)行AI模型的需求。

就像現(xiàn)在有些筆記本在GPU性能不足時外掛顯卡,Dell Pro Max with GB10也可以作為一個外接的AI算力模塊,為主機(jī)設(shè)備提供強(qiáng)大的AI推理性能支持。

Dell Pro Max with GB10也可以作為一臺獨(dú)立電腦來使用,能像普通PC一樣接上鍵盤、鼠標(biāo)、顯示器。開發(fā)者可以將它用作開發(fā)主力機(jī),學(xué)校機(jī)房也可以成批部署,用于AI 教學(xué)、日常開發(fā)、模型訓(xùn)練、原型研究等。

此外,這臺機(jī)器還能作為“邊緣大腦”,在工業(yè)自動化、機(jī)器人、自動駕駛等領(lǐng)域的邊緣部署或嵌入工業(yè)設(shè)備、醫(yī)療設(shè)備等設(shè)備中,承擔(dān)邊緣AI計算任務(wù)。

在擴(kuò)展性方面,Dell Pro Max with GB10是固定配置。

結(jié)語:商用PC中工作站需求增長,戴爾已為不同模型推理提供差異方案

汪志軍分享說,大模型廠商對硬件資源的需求正在轉(zhuǎn)變,從選擇數(shù)據(jù)中心級硬件轉(zhuǎn)向更加垂直、落地的應(yīng)用場景與更符合私有化部署需求的領(lǐng)域,這些行業(yè)往往難以直接使用傳統(tǒng)的大模型來滿足需求,需要自主開發(fā)或與解決方案供應(yīng)商合作,進(jìn)行定制化部署,這時能部署在桌面端或邊緣終端的AI工作站成為理想選擇。

據(jù)IDC預(yù)測,到2030年,企業(yè)采購的商用PC中,每10臺就有1臺是工作站,市場份額將從5%增長至10%。

不同模型適用于不同工作站產(chǎn)品。例如對于FP4計算,參數(shù)規(guī)模在2000億以下的模型,Dell Pro Max with GB10適用于推理任務(wù)。當(dāng)推理需求更高,比如參數(shù)規(guī)模達(dá)到4050億的模型,可通過兩個Dell Pro Max with GB10組合成一個方案來滿足其計算需求,實現(xiàn)高效推理。

Dell Pro Max with GB10提供三到五年的企業(yè)級售后支持。汪志軍談道,戴爾不僅是推出一款產(chǎn)品,更是在構(gòu)建一個完整、協(xié)同的AI PC解決方案生態(tài)。