智東西（公眾號(hào)：zhidxcom）
作者 | 三北
編輯 | 漠影
智東西8月16日?qǐng)?bào)道，過去半年，越來越多的行業(yè)已經(jīng)接入了大模型。
如果將大模型比作一道“佳肴大餐”，那么大模型平臺(tái)就是供大廚烹飪的“廚房”。菜好不好吃，廚房的作用至關(guān)重要。當(dāng)下，越來越多的“xx行業(yè)首個(gè)大模型”誕生，大模型行業(yè)落地進(jìn)入效果驗(yàn)證的深水區(qū)，對(duì)大模型平臺(tái)也提出了更高要求。
在與上百家客戶磨合調(diào)研之后，百度智能云千帆大模型平臺(tái)近期迎來了最新升級(jí)，在模型庫(kù)、提示詞庫(kù)等方面實(shí)現(xiàn)迭代。
千帆大模型平臺(tái)是一個(gè)覆蓋從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練、評(píng)估優(yōu)化、測(cè)試服務(wù)、落地部署等全流程的企業(yè)級(jí)一站式開發(fā)環(huán)境和工具鏈，據(jù)稱已有超15萬企業(yè)申請(qǐng)?jiān)囉?，上百家企業(yè)與之深度接觸。
隨著千帆大模型平臺(tái)擴(kuò)大開放范圍，智東西第一時(shí)間對(duì)其進(jìn)行了試用體驗(yàn)，并通過對(duì)話百度智能云千帆大模型平臺(tái)的相關(guān)專家，對(duì)其最新功能迭代，以及迭代背后的思路和產(chǎn)業(yè)洞察進(jìn)行了深入探討。
一、引入Llama 2等33個(gè)大模型，模型推理成本最多可降50%
在很多人的印象中，千帆大模型平臺(tái)主要是支持百度文心大模型的調(diào)用和部署。但登入千帆大模型平臺(tái)的操作臺(tái)，我們發(fā)現(xiàn)，“模型倉(cāng)庫(kù)”中有很多可選項(xiàng)，多個(gè)第三方模型可以進(jìn)行直接調(diào)用、部署，無需等待申請(qǐng)。
▲千帆大模型平臺(tái)支持直接調(diào)用第三方大模型
千帆的工程師稱，目前，千帆大模型平臺(tái)除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個(gè)大模型，成為國(guó)內(nèi)擁有大模型最多的平臺(tái)。接入的模型經(jīng)過千帆平臺(tái)二次性能增強(qiáng)，模型推理成本可降低50%。
企業(yè)和開發(fā)者調(diào)用第三方模型時(shí)為什么要使用千帆平臺(tái)？這位工程師告訴智東西，接入是簡(jiǎn)單的動(dòng)作，企業(yè)通過Llama 2等模型的官網(wǎng)就可以實(shí)現(xiàn)，但接入不是目的，關(guān)鍵是千帆平臺(tái)能為用戶帶來更多的價(jià)值。
據(jù)稱，千帆大模型平臺(tái)上納管的模型均經(jīng)過平臺(tái)優(yōu)選，充分考慮可商用、模型效果和模型安全性。在此基礎(chǔ)上，團(tuán)隊(duì)還對(duì)第三方模型做了一系列增強(qiáng)，比如通過全套工具鏈適配實(shí)現(xiàn)性能增強(qiáng)，通過SFT（全量參數(shù)微調(diào)）及強(qiáng)化學(xué)習(xí)等調(diào)優(yōu)方式實(shí)現(xiàn)效果增強(qiáng)、安全性增強(qiáng)，從而為企業(yè)降本增效。
▲千帆大模型平臺(tái)支持多種方法模型調(diào)優(yōu)
同樣是為了效果增強(qiáng)，千帆大模型平臺(tái)本次還帶來了應(yīng)用支持方面的更新。
在“Prompt（提示詞）模板”選項(xiàng)中可以看到，103款Prompt模板已經(jīng)上線，包含對(duì)話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場(chǎng)景。據(jù)稱其中大部分是基于百度智能云在產(chǎn)業(yè)實(shí)踐中的積累。
▲103款Prompt模板已經(jīng)上線千帆大模型平臺(tái)
Prompt是指通過自然語言向大模型提出問題，問題的好壞直接影響大模型的內(nèi)容輸出質(zhì)量。在實(shí)際應(yīng)用中，大模型往往因?yàn)镻rompt缺乏針對(duì)性、描述不清晰等原因影響到內(nèi)容準(zhǔn)確性。
用不同Prompt給某對(duì)話機(jī)器人提問，會(huì)得到不同的效果。比如當(dāng)Prompt輸入：“《長(zhǎng)安三萬里》好看嗎？”，機(jī)器人會(huì)輸出一個(gè)比較簡(jiǎn)單的結(jié)果：
“《長(zhǎng)安三萬里》是一部非常出色的動(dòng)畫電影，它以唐朝為背景，通過展現(xiàn)那個(gè)時(shí)代的文化繁榮和詩(shī)歌藝術(shù)的精髓，讓觀眾能夠深入感受到唐朝的歷史和文化氛圍。
電影在畫面、故事、演員表現(xiàn)和制作質(zhì)量等方面都表現(xiàn)出了極高的水平，讓觀眾能夠沉浸其中，感受到角色的內(nèi)心世界和情感糾葛。同時(shí)，電影還將傳統(tǒng)的唐樂和現(xiàn)代音樂相融合，為電影增添了一種獨(dú)特的氣息。
雖然電影也有一些缺點(diǎn)，例如某些情節(jié)可能過于緊湊，某些角色的發(fā)展可能不夠充分，但是這些缺點(diǎn)并不影響電影的整體質(zhì)量?？偟膩碚f，《長(zhǎng)安三萬里》是一部非常值得觀看的動(dòng)畫電影，如果你對(duì)歷史和文化有濃厚興趣，那么這部電影一定不容錯(cuò)過?！?/span>
對(duì)比來看，使用Prompt模板+原始Prompt：“我希望你充當(dāng)一個(gè)電影評(píng)論家。你將編寫一篇引人入勝和有創(chuàng)意的影評(píng)。你可以涵蓋諸如情節(jié)、主題和基調(diào)、演技和角色、方向、配樂、電影攝影、制作設(shè)計(jì)、特效、剪輯、節(jié)奏、對(duì)話等主題。但最重要的方面是強(qiáng)調(diào)電影給你的感覺。什么是真正引起你的共鳴。你也可以對(duì)電影進(jìn)行批評(píng)。請(qǐng)避免劇透。電影名稱是《長(zhǎng)安三萬里》”。因Prompt更詳細(xì)具體，對(duì)話機(jī)器人回復(fù)了更符合預(yù)期的答案：
“《長(zhǎng)安三萬里》是一部極具創(chuàng)意和想象力的動(dòng)畫電影，帶領(lǐng)觀眾穿越到繁華輝煌的唐朝，展現(xiàn)出那個(gè)時(shí)代的文化氣息和詩(shī)歌藝術(shù)的精髓。這部電影在情節(jié)、主題、演技、制作等方面都表現(xiàn)出了極高的水平，但最令人難忘的是它給觀眾帶來的那種沉浸式的感受。
電影以李白和高適的友情為主線，將歷史上的文人墨客融入其中，讓觀眾在欣賞美輪美奐的畫面和感受情感糾葛的同時(shí)，也能領(lǐng)略到唐詩(shī)的魅力。情節(jié)緊湊跌宕，人物形象生動(dòng)鮮明，使得觀眾能夠深入感受到角色的內(nèi)心世界。
在演技方面，主要演員的表演非常出色，將角色的個(gè)性和情感表現(xiàn)得淋漓盡致。他們的表演為電影增色不少，讓觀眾更加深入地融入到故事情節(jié)中。
電影的制作質(zhì)量也非常高，從鏡頭到音效到配樂，都展現(xiàn)出了精細(xì)的制作和精美的設(shè)計(jì)。特別是電影的配樂，將傳統(tǒng)的唐樂和現(xiàn)代音樂相融合，為電影增添了一種獨(dú)特的的氣息。
當(dāng)然，電影也有一些缺點(diǎn)。例如，有些情節(jié)可能過于緊湊，讓人有些無法消化;某些角色的發(fā)展可能不夠充分。讓人難以完全理解他們的內(nèi)心世界。但是，這些缺點(diǎn)并不影響電影的整體質(zhì)量，仍然是一部值得觀看的電影。
總的來說，《長(zhǎng)安三萬里》是一部非常出色的動(dòng)畫電影，它帶給觀眾的不僅是視覺上的享受，更是精神上的震撼。如果你對(duì)歷史和文化有濃厚的興趣，那么這部電影一定不容錯(cuò)過。”
Prompt模板的更新標(biāo)志著千帆大模型平臺(tái)的邊界進(jìn)一步拓展，向用戶的應(yīng)用效果靠近，從而大大降低了大模型的使用門檻。
而不斷降低使用門檻，也是千帆大模型整條工具鏈平均每?jī)芍芤坏囊粋€(gè)重要指導(dǎo)思路。
千帆的工程師說，千帆大模型平臺(tái)包含了海量數(shù)據(jù)處理標(biāo)注、再訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)、評(píng)估、高效壓縮、自動(dòng)化Prompt工程、快速應(yīng)用編排等工具。通過這一系列工具鏈，千帆的核心是服務(wù)于企業(yè)核心的需求痛點(diǎn)，從而增強(qiáng)終端的大模型應(yīng)用效果。
▲千帆大模型平臺(tái)提供大模型全流程工具鏈
二、“煉?！甭冯y關(guān)多，幾百家客戶摸著“千帆”過河
千帆大模型平臺(tái)迭代背后，是百度智能云團(tuán)隊(duì)與數(shù)百家企業(yè)的磨合和深度調(diào)研。
千帆的工程師談道，自千帆大模型平臺(tái)于3月27日正式上線以來，團(tuán)隊(duì)每周都會(huì)對(duì)接大量客戶，了解他們的平臺(tái)使用情況、大模型應(yīng)用的效果。目前千帆大模型平臺(tái)已有超15萬企業(yè)申請(qǐng)，內(nèi)部深度跟進(jìn)的就有上百家。本次功能的迭代，正是從和當(dāng)前深度接觸的客戶的場(chǎng)景實(shí)踐中來。
▲千帆大模型平臺(tái)全景
團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)下大模型需求可以歸結(jié)為兩類：
一是企業(yè)希望通過大模型改善它終端應(yīng)用的效果，并且很多企業(yè)在孵化很多創(chuàng)新的應(yīng)用，這些企業(yè)核心關(guān)注需要的就是大模型的效果保障，包括它的推理SFT的工具鏈，以及Prompt工程。
二是有很多行業(yè)企業(yè)，包括像金融、能源、教育，這些企業(yè)的訴求是希望能夠結(jié)合自己的行業(yè)已有的知識(shí)經(jīng)驗(yàn)和豐富場(chǎng)景數(shù)據(jù)積累，去構(gòu)建行業(yè)大模型，或者服務(wù)它的行業(yè)上下游企業(yè)。
從調(diào)研結(jié)果來看，90%以上的客戶最關(guān)心的還是模型效果，這是所有企業(yè)最關(guān)注的“Top1痛點(diǎn)”。比如在大模型輸入輸出方面，企業(yè)不僅關(guān)注推理速度、輸出信息準(zhǔn)確度等客觀指標(biāo)，還會(huì)有一些主觀評(píng)判。其次企業(yè)和開發(fā)者關(guān)注性能的提升，在資源消耗等方面尋求更高的性價(jià)比。
隨著實(shí)踐深入，客戶的要求在不斷變高。比如很多客戶對(duì)內(nèi)容生成速度上有要求，有的用戶會(huì)提出將首個(gè)Token上線時(shí)間從7~8秒優(yōu)化到1秒以內(nèi)。此外，一些手機(jī)、車載廠商希望模型能放到本地，消除通信帶來的延遲并增強(qiáng)用戶隱私保護(hù)，這就需要平臺(tái)配備滿足更多樣化需求的模型。
正是這些客戶不斷提出更高的要求，倒逼千帆去從工具鏈和模型角度做更多的性能優(yōu)化。
實(shí)際上，在“煉模”的全過程中，企業(yè)在數(shù)據(jù)管理、模型訓(xùn)練、評(píng)估/優(yōu)化、預(yù)測(cè)服務(wù)和Prompt工程和插件服務(wù)等各個(gè)環(huán)節(jié)都面臨著不確定性及痛點(diǎn)，這也讓專業(yè)的一站式的大模型平臺(tái)需求更加迫切。
千帆大模型平臺(tái)或許是國(guó)內(nèi)經(jīng)歷客戶真實(shí)場(chǎng)景測(cè)試最多的企業(yè)級(jí)一站式大模型平臺(tái)。千帆的工程師談道，在對(duì)客戶的陪伴式服務(wù)過程中，團(tuán)隊(duì)收到了很多客戶對(duì)千帆大模型平臺(tái)的好評(píng)：
比如某政務(wù)場(chǎng)景客戶，基于千帆平臺(tái)構(gòu)建了一個(gè)政務(wù)AI助手應(yīng)用，在落地過程中發(fā)現(xiàn)對(duì)政策文件的解讀不夠精準(zhǔn)詳實(shí)，于是基于千帆SFT調(diào)優(yōu)工具在幾天時(shí)間內(nèi)實(shí)現(xiàn)迭代，滿意度直線提升；
某醫(yī)療客戶，結(jié)合千帆平臺(tái)做診前診中醫(yī)療輔助，通過提示詞模版和域內(nèi)知識(shí)檢索結(jié)合，助大模型給出更好的輔助判斷；
某電商客戶，基于千帆提示詞模板庫(kù)將電商導(dǎo)購(gòu)類的Prompt導(dǎo)入，在不到一周的時(shí)間里搭建了導(dǎo)購(gòu)應(yīng)用。
當(dāng)下，隨著“百模大戰(zhàn)”進(jìn)入深水區(qū)，更多的企業(yè)開始更關(guān)注模型效果調(diào)優(yōu)、實(shí)際應(yīng)用部署等過程中更細(xì)的問題。這些問題的解決依靠經(jīng)驗(yàn)和工具的支撐，眾多企業(yè)選擇摸著“千帆”過河，這也客觀上為千帆大模型平臺(tái)的進(jìn)一步迭代提供了源泉。
三、行業(yè)一線試練5個(gè)月，千帆大模型平臺(tái)尋求“破繭時(shí)刻”
縱觀全球科技圈，隨著科技巨頭掀起AI大模型競(jìng)賽，大模型平臺(tái)成為兵家必爭(zhēng)之地。
3月27日，千帆平臺(tái)發(fā)布，百度在模型研發(fā)和產(chǎn)業(yè)應(yīng)用上都做多工作，可以說百度是目前整個(gè)市場(chǎng)上接觸開發(fā)者最多的大模型廠商。
千帆大模型平臺(tái)正尋求新的“破繭時(shí)刻”，向更易用、更全面、更高效、更開放、更安全方向發(fā)展。
更易用：降低門檻，開箱即用。千帆希望通過把整個(gè)工具鏈做可視化界面封裝，實(shí)現(xiàn)開箱即用。體現(xiàn)在產(chǎn)品的方案和框架，非專業(yè)人士5分鐘也能很快理解和上手。
更全面：覆蓋大模型全生命周期。應(yīng)用大模型的行業(yè)和場(chǎng)景分散，對(duì)工具鏈的豐富性提出更高要求，為此千帆提供數(shù)據(jù)標(biāo)注、模型訓(xùn)練與評(píng)估，推理服務(wù)與應(yīng)用集成的全面功能服務(wù)。
更高效：訓(xùn)練與推理性能大幅提升。當(dāng)下超大規(guī)模參數(shù)模型十分耗費(fèi)算力，對(duì)其進(jìn)行性能優(yōu)化是復(fù)雜的工程，需要通過IaaS、PaaS、MaaS等多層服務(wù)優(yōu)化服務(wù)鏈路。據(jù)稱，團(tuán)隊(duì)在MLPerf榜單訓(xùn)練性能世界領(lǐng)先，千億模型分布式并行訓(xùn)練加速能力和算力利用率大幅提升。
更開放：預(yù)置百度文心大模型與第三方大模型，助力大模型多場(chǎng)景落地應(yīng)用。千帆從上線的第一天起就強(qiáng)調(diào)會(huì)預(yù)置第三方大模型，希望讓客戶通過多個(gè)模型測(cè)試后做出最優(yōu)選擇。
更安全：千帆對(duì)所有接入的第三方模型均做了模型安全增強(qiáng)，不僅保障文心大模型的內(nèi)容安全，還保障了第三方大模型的安全輸出。千帆提供完善的鑒權(quán)與流控安全機(jī)制，自帶敏感詞過濾功能。
千帆的工程師談道，百度是端到端的四層技術(shù)架構(gòu)的踐行者。從底層的昆侖芯到飛槳深度學(xué)習(xí)框架，到大模型再到上層應(yīng)用，每一層都有領(lǐng)先的技術(shù)和產(chǎn)品。千帆大模型平臺(tái)基于四層架構(gòu)，在大模型開發(fā)和應(yīng)用的全生命周期過程中做了端到端優(yōu)化，從而讓客戶感受到系統(tǒng)的提升，最后達(dá)到應(yīng)用效果的提升。
結(jié)語：AIGC應(yīng)用的孵化地上，企業(yè)摸著“千帆”過河
隨著“百模大戰(zhàn)”打響數(shù)月，眾多行業(yè)大模型已經(jīng)推出，產(chǎn)業(yè)接下來面對(duì)的是在真實(shí)應(yīng)用場(chǎng)景中的模型價(jià)值驗(yàn)證。應(yīng)用價(jià)值的實(shí)現(xiàn)不僅取決于模型算法本身，還與數(shù)據(jù)、調(diào)優(yōu)方法、應(yīng)用部署等各個(gè)環(huán)節(jié)的操作相關(guān)，這都需要稱手的大模型平臺(tái)來為開發(fā)者提供支持。
百度智能云千帆大模型平臺(tái)深度參與了國(guó)內(nèi)大模型落地的進(jìn)程，也正將洞察和經(jīng)驗(yàn)沉淀為功能組件，從而為更多企業(yè)應(yīng)用大模型提供重要的橋梁和工具。不過，當(dāng)下國(guó)內(nèi)外的大模型平臺(tái)也都處于探索落地期，要真正讓平臺(tái)生態(tài)形成正向循環(huán)支持產(chǎn)業(yè)發(fā)展，依然有很遠(yuǎn)的路要走。
