智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西11月4日報道，集成高算力與大模型的AI一體機，憑借開箱即用、降低使用門檻、減少試錯成本、無數(shù)據(jù)泄露風(fēng)險等優(yōu)勢，正成為越來越多企業(yè)實現(xiàn)大模型輕量化落地的“新寵”。
圍繞惠普與星環(huán)科技在今年5月合作推出的一系列一站式“開箱即用”的Z系列AI一體機，近日，惠普個人信息產(chǎn)品部高級計算與解決方案產(chǎn)品部總經(jīng)理徐鳴、星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁朱珺辰與智東西等少數(shù)媒體進行了深入交流。
惠普Z系列大模型服務(wù)平臺AI一體機基于惠普Z系列AI工作站，適配并搭載了星環(huán)的Sophon LLMops大模型開發(fā)管理平臺，可提供主流大模型的一鍵上架和高性能部署推理，還能預(yù)裝標準的大模型場景應(yīng)用，實現(xiàn)開箱即用，并通過在企業(yè)內(nèi)部私有化部署，能夠保證企業(yè)隱私數(shù)據(jù)安全。企業(yè)可以根據(jù)自身訓(xùn)練或推理需求，自由選配芯片及內(nèi)存，快速體驗高效便捷的大模型開發(fā)和應(yīng)用全流程能力。
朱珺辰談道，星環(huán)科技正將定位從數(shù)據(jù)基礎(chǔ)設(shè)施（Data Infra）延伸到AI基礎(chǔ)設(shè)施（AI Infra），在與中小企業(yè)合作過程中，發(fā)現(xiàn)較多企業(yè)在意投入產(chǎn)出比，需要一個有價值的大模型應(yīng)用、一個整體的解決方案，例如底層有惠普AI工作站、上層有將大模型與數(shù)據(jù)庫結(jié)合的能力。
雙方合力打造的AI一體機，不僅有硬件、軟件，還有針對用戶應(yīng)用場景提供的相應(yīng)方案，無論客戶的業(yè)務(wù)問題是什么，惠普和星環(huán)都有對應(yīng)的咨詢、調(diào)優(yōu)等相關(guān)服務(wù)來幫助解決。
一、AI一體機：靈活配置算力與算法，針對性解決業(yè)務(wù)問題
對于企業(yè)來說，惠普和星環(huán)科技合作打造的大模型服務(wù)平臺一體機具備如下優(yōu)勢：
一是可根據(jù)行業(yè)和客戶需求，提供一些定制化配置。徐鳴談道，當(dāng)前不可能用一個通用大模型覆蓋所有行業(yè)的需求，很多企業(yè)需要一個輕量化、低延時、沒有斷網(wǎng)問題、安全自主可控、可本地管理、規(guī)模較小的垂類大模型。星環(huán)的產(chǎn)品有很多客制化模塊和算法，惠普的產(chǎn)品線覆蓋臺式PC、移動PC等不同類型，從而能夠向客戶提供充分的選項來匹配相應(yīng)的算力和算法。
二是提供便捷高效的大模型開發(fā)與應(yīng)用工具。惠普提供的高規(guī)格、高性能AI算力平臺，結(jié)合星環(huán)大模型開發(fā)管理平臺Sophon LLMOps的產(chǎn)品能力，該一體機可提供包括語料知識精細化處理入庫、提示詞開發(fā)、語料數(shù)據(jù)標注、大模型微調(diào)訓(xùn)練、大模型評估部署到大模型應(yīng)用構(gòu)建和應(yīng)用部署上線的全鏈路工具能力。
三是保障數(shù)據(jù)安全穩(wěn)定。一體機支持在企業(yè)內(nèi)部的私有化部署，確保將企業(yè)機密數(shù)據(jù)留在本地?；萜語系列嚴選企業(yè)級部件經(jīng)過360,000小時嚴苛測驗，能確保平臺在長時間連續(xù)高負載運算環(huán)境下的整機兼容性和穩(wěn)定性，為企業(yè)的數(shù)據(jù)安全和研發(fā)工作保駕護航。
四是降低成本。據(jù)朱珺辰分享，從持續(xù)投入的角度來衡量，選擇云上大模型的綜合成本相對較高，需要自己找對應(yīng)的服務(wù)廠商、做投入和調(diào)優(yōu)，投入產(chǎn)出不對等。徐鳴補充道，無論是提升每個員工的生產(chǎn)效率，還是減少企業(yè)要投入的成本，都有助于企業(yè)降本增效。
朱珺辰解釋說，不同客戶的需求不同。一些客戶看重投入產(chǎn)出比，會考量預(yù)算、數(shù)據(jù)安全性等問題，需要能解決具體業(yè)務(wù)問題的大模型。
比如在企業(yè)合同審核應(yīng)用中，企業(yè)可以通過自己控制數(shù)據(jù)、結(jié)合大模型應(yīng)用來替代以前的人工手段，使用開箱即用的工作站，將審核流程智能化，通過參考直觀的投入產(chǎn)出評估，更快更好地做出決策，大幅提升企業(yè)經(jīng)營效果。
除了大模型外，企業(yè)內(nèi)部數(shù)據(jù)知識庫的構(gòu)建是必要的。企業(yè)關(guān)注安全性和準確性，不可能將所有數(shù)據(jù)都用于訓(xùn)練模型，因此還需要RAG技術(shù)來外置一個單獨的存儲系統(tǒng)、對企業(yè)中的私密數(shù)據(jù)做知識庫構(gòu)建。這正是星環(huán)所擅長的，星環(huán)的很多技術(shù)可將部分信息有效地自動化處理和構(gòu)建，再結(jié)合大模型技術(shù)，使回答有據(jù)可依、更加準確。
二、籌備兩年，共同驗證，幫客戶繞過軟硬件試錯階段
據(jù)徐鳴分享，工作站是PC（個人計算機）的一個變種，可以理解成一個性能強勁的PC，具有高度客戶定制化屬性，根據(jù)需求會進行不同配置的排列組合，內(nèi)存能做到1TB、2TB乃至更高。業(yè)內(nèi)第一款真正意義上的工作站就是惠普做的。
與普通PC不同的是，工作站必須與行業(yè)軟件適配，做大量的ISV（獨立軟件開發(fā)商）認證。惠普Z系列工作站通過了21000+ ISV軟硬件組合認證。徐鳴說，基于這些經(jīng)驗和知識的積累，惠普了解什么行業(yè)的客戶在某個場景中更適合使用什么樣的配置、怎樣獲得最優(yōu)性價比。
惠普提出“AI即服務(wù)（AI as a Service）”，與星環(huán)科技一起在了解客戶需求后，通過共同驗證和適配軟硬件組合、迭代優(yōu)化算法，結(jié)合用戶的業(yè)務(wù)使用場景，做出一個客制化的產(chǎn)品。
朱珺辰說，星環(huán)科技的定位在基礎(chǔ)軟件領(lǐng)域，有超過1500家終端客戶，很多客戶都在思考如何將大模型技術(shù)運用到經(jīng)營業(yè)務(wù)中。
徐鳴談道，惠普之所以與星環(huán)科技達成合作，既是因為雙方有相近的B端企業(yè)客戶群體，而且客戶都存在AI轉(zhuǎn)型的想法和動機，又是因為惠普的產(chǎn)品硬件和算力能與星環(huán)的算法形成強強聯(lián)合，給客戶和行業(yè)帶來不一樣的化學(xué)反應(yīng)。
據(jù)他回顧，在今年5月正式發(fā)布AI一體機前，惠普與星環(huán)的合作籌備時間長達兩年?；萜罩髫撠?zé)硬件設(shè)計，星環(huán)則充分參與了適配調(diào)優(yōu)，并會提供諸如某個產(chǎn)品線所需硬件配置之類的建議。雙方在方案審核、產(chǎn)品審核、開拓客戶等方面做了很多共創(chuàng)的事，不斷有項目進入落地階段。
他分享說，惠普根植中國超過40年，秉承著“在中國，為中國”的理念，希望和星環(huán)等領(lǐng)先的合作伙伴攜手提供好的方案和服務(wù)，幫中國行業(yè)客戶解決實際需要解決的問題。
在中國，惠普建立了完整的服務(wù)體系，第一步幫助客戶評估和判斷需要什么樣的模型、多少資金和時間，以及評估預(yù)計效果，還會考量后期維護成本、哪些企業(yè)能做模型進一步訓(xùn)練、如何規(guī)劃產(chǎn)品迭代等，此時星環(huán)的優(yōu)勢就體現(xiàn)出來。
據(jù)透露，雙方最近跟一家央企共同簽約了戰(zhàn)略合作協(xié)議，成為其IT合作伙伴。這家央企想建一個自有知識庫，希望將自家數(shù)據(jù)進行深度學(xué)習(xí)后，能更好地解讀歷史經(jīng)營數(shù)據(jù)?；萜蘸托黔h(huán)一起討論做方案，為其選擇合適的模型、硬件配置、部署方式及成效時間。
在中后端，惠普和星環(huán)會在模型維護、企業(yè)內(nèi)部人員培訓(xùn)等方面做好配合，幫助客戶繞過軟硬件試錯階段，直接服務(wù)于客戶需求。
在徐鳴看來，用好AI很具有挑戰(zhàn)性。首先需要輔導(dǎo)客戶如何把AI知識庫匹配，把數(shù)據(jù)向量化地導(dǎo)入模型后訓(xùn)練；還要告訴用戶AI怎么用的效果是最好的。如何做好問題的銜接，慢慢導(dǎo)入用戶想要的結(jié)果，也是對AI另一種程度上的訓(xùn)練。
如果發(fā)現(xiàn)一直達不到預(yù)期效果，或者結(jié)果精度跟期待的需求是有差別，惠普和星環(huán)科技會幫客戶做整體優(yōu)化。
三、模型不是越大越好，垂類大模型才能有效解決業(yè)務(wù)問題
AI浪潮正推動工作站的算力越來越強、產(chǎn)品配置不斷升級和趨于多元化，給用戶更多的選擇。相應(yīng)的使用場景也在愈發(fā)豐富。
徐鳴提到AI PC發(fā)展至今，業(yè)界對移動化、輕量化的需求逐漸擴大。星環(huán)科技還做了很多努力，比如在原來基于塔式工作站的幾千TOPS產(chǎn)品上做一些預(yù)訓(xùn)練大模型，針對惠普移動工作站能做到300TOPS，通過NPU做到45TOPS左右。
在朱珺辰看來，模型不是越大越好，而是用合適方式解決問題。
通用大模型不是針對行業(yè)或應(yīng)用場景特征來專門做訓(xùn)練，當(dāng)前還無法做到行行專精，需要基于一些特定數(shù)據(jù)對大模型做調(diào)整，包括通過將大小模型結(jié)合，來達到一些業(yè)務(wù)效果。
將垂類大模型結(jié)合企業(yè)內(nèi)部核心數(shù)據(jù)知識庫，可能是企業(yè)把大模型技術(shù)快速應(yīng)用到實際業(yè)務(wù)中的一種有效落地方式。
面向To B市場，星環(huán)提供領(lǐng)域大模型，結(jié)合企業(yè)各種數(shù)據(jù)處理能力，包括企業(yè)內(nèi)部的一些核心數(shù)據(jù)、對模型的優(yōu)化、與小模型結(jié)合，能幫企業(yè)快速構(gòu)建一個大模型應(yīng)用的場景或能力。
惠普與星環(huán)還做了一些封裝完大概只有7GB、8GB的本地端小模型，將原來可能將客戶限定在辦公桌前的大模型應(yīng)用變成了能在任何地方使用的高效工具。
結(jié)語：軟硬一體化，為企業(yè)搭建高效的AI大模型生產(chǎn)力平臺
算力是企業(yè)數(shù)智化轉(zhuǎn)型升級過程中的核心要素?；萜語系列工作站用高性能AI算力硬件平臺來滿足企業(yè)對高效處理數(shù)據(jù)和開發(fā)大模型的需求，在此之上部署的星環(huán)科技平臺，則通過提供全流程工具，幫助企業(yè)更好地解決實際業(yè)務(wù)問題。這也成為了惠普將創(chuàng)新AI產(chǎn)品與本土生態(tài)融合的又一個樣本。
據(jù)徐鳴分享，惠普內(nèi)部在用一套星環(huán)的私有化部署的大模型，搭配一臺比較高配的工作站，灌入了惠普整個產(chǎn)品庫中的白皮書數(shù)據(jù)。有了這樣一個模型，惠普銷售人員只要進入內(nèi)網(wǎng)，就能用星環(huán)大模型獲得產(chǎn)品相關(guān)問題的答案?；萜找矊⒆陨韺嶋H使用中的一些感受和看到的問題，第一時間向星環(huán)做反饋，共同優(yōu)化。
朱珺辰相信，AI跟硬件的結(jié)合會帶來很多根本性的改變，如今星環(huán)軟件與惠普硬件一體化的方式只是其中一個很小的部分，基于AI技術(shù)的機器人預(yù)計將在五年內(nèi)取得較顯著的發(fā)展。他希望通過對一體機持續(xù)迭代，不斷降低開箱即用的門檻，提升對數(shù)據(jù)處理的能力，使大模型應(yīng)用能夠更好地回答客戶的問題。
