智東西（公眾號：zhidxcom）
編譯 | Vendii
編輯 | 漠影
智東西8月27日消息，據(jù)VentureBeat報(bào)道，德國AI創(chuàng)企Aleph Alpha今日發(fā)布了兩個大語言模型（LLM）。這兩個模型各擁有70億個參數(shù)，可以在多種歐洲語言中提供簡潔、長度可控的響應(yīng)，并已開源。該公司宣稱，其模型的性能可以與其他在70億到80億參數(shù)量級的頂尖開源模型相媲美。
除了新發(fā)布的模型，Aleph Alpha之前還開發(fā)了擁有700億參數(shù)（大約是GPT-3的2/5）的預(yù)訓(xùn)練模型Luminous，并在其基礎(chǔ)上訓(xùn)練了聊天機(jī)器人Lumi。該公司成立于2019年，通常被視為歐洲在AI領(lǐng)域的重要參與者之一。2023年11月7日，該公司宣布獲得超過5億美元（折合約36億人民幣）B輪融資，由博世風(fēng)投、施瓦茨集團(tuán)、SAP、惠普等知名財(cái)團(tuán)參投。
下載地址：Aleph-Alpha/Pharia-1-LLM-7B-control at main (huggingface.co)
一、與Mistral、Llama能力相近，且更安全透明
Aleph Alpha發(fā)布了兩個版本的模型：標(biāo)準(zhǔn)版（Pharia-1-LLM-7B-control）和“對齊”版（Pharia-1-LLM-7B-control-aligned）。其中，“對齊”版模型經(jīng)過了進(jìn)一步的訓(xùn)練，目的是降低模型輸出中的有害內(nèi)容和偏見，從而提高模型的安全性和可靠性。
這兩個模型都在多語言基礎(chǔ)語料庫上訓(xùn)練，并針對德語、法語和西班牙語進(jìn)行了文化和語言優(yōu)化，能提供簡明扼要、長度可控的回答。該公司在官網(wǎng)上發(fā)布了模型在AlpacaEval（由來自斯坦福的團(tuán)隊(duì)開發(fā)的大語言模型評測系統(tǒng)）上的評測結(jié)果：
標(biāo)準(zhǔn)版Pharia在德語、法語和西班牙語上的表現(xiàn)和法國的模型Mistral、美國的模型Llama相差不大，但在英語上的表現(xiàn)則不如兩者?！皩R“版Pharia則大體上比標(biāo)準(zhǔn)版Pharia表現(xiàn)略差一點(diǎn)。
▲Pharia與Mistral、Llama的分?jǐn)?shù)比較。其中，WR指勝率，LC指長度控制勝率（即較短的完成結(jié)果優(yōu)先于較長的）。（圖源：Aleph Alpha發(fā)布在Hugging Face上的Model card）
據(jù)Aleph Alpha官網(wǎng)介紹，模型的訓(xùn)練數(shù)據(jù)經(jīng)過嚴(yán)格篩選，確保符合歐盟及相關(guān)國家法規(guī)中的版權(quán)和數(shù)據(jù)隱私法律。相比之下，許多大語言模型則依賴于大量網(wǎng)絡(luò)抓取的數(shù)據(jù)。除了版權(quán)和隱私問題之外，網(wǎng)絡(luò)抓取的數(shù)據(jù)還可能包含錯誤、過時(shí)或不準(zhǔn)確的信息，包含偏見和歧視，甚至可能含有對安全造成威脅的惡意內(nèi)容。
該公司還開源了其訓(xùn)練代碼庫“Scaling”，這不僅讓研究人員能夠使用模型，還讓他們能夠理解并改進(jìn)模型的訓(xùn)練過程本身。
此外，該模型引入了創(chuàng)新的技術(shù)，使用了一種稱為“分組查詢注意力”（Group Query Attention，GQA）的技術(shù)。Aleph Alpha聲稱這提高了推理速度，且?guī)缀鯖]有犧牲質(zhì)量。模型還采用了“旋轉(zhuǎn)式位置編碼”（Rotary Position Embedding，RoPE）的方法，使模型能夠更好地理解句子中單詞的相對位置。
二、注重模型合規(guī)性的歐洲AI：可審計(jì)模型在受監(jiān)管行業(yè)中或有獨(dú)特優(yōu)勢
隨著AI技術(shù)的飛速發(fā)展，其在金融、醫(yī)療等高度受監(jiān)管行業(yè)中的應(yīng)用日益增多。這些行業(yè)對AI系統(tǒng)的透明度和問責(zé)性有著嚴(yán)格要求。歐盟即將實(shí)施的AI法案進(jìn)一步強(qiáng)調(diào)了這些要求，預(yù)計(jì)將于2026年生效。
在這樣的背景下，Aleph Alpha的模型發(fā)布策略與歐盟AI法案的監(jiān)管方向保持一致，顯示出該公司對監(jiān)管適應(yīng)性的高度重視。通過開源模型，Aleph Alpha將自己定位為符合歐盟標(biāo)準(zhǔn)的AI開發(fā)先鋒。這一開源策略有利于應(yīng)對日漸增長的行業(yè)監(jiān)管壓力和公眾對AI倫理的要求。
企業(yè)客戶越來越需要能夠確保合規(guī)性和倫理性的AI解決方案。隨著對AI解決方案在特定監(jiān)管環(huán)境下審核和定制的需求增加，Aleph Alpha的開放方法使其在這些市場中具有潛在的競爭優(yōu)勢。特別是在監(jiān)管合規(guī)性越來越重要的歐洲市場，Aleph Alpha的戰(zhàn)略與“可解釋AI”趨勢一致，可能為企業(yè)AI解決方案中的透明度設(shè)定新的標(biāo)準(zhǔn)。
結(jié)語：AI霸權(quán)的競賽中，開源模型該如何取勝？
通過倡導(dǎo)開放性、堅(jiān)守合規(guī)性以及不斷推動技術(shù)創(chuàng)新，Aleph Alpha正在挑戰(zhàn)目前由科技巨頭主導(dǎo)的封閉和不透明的AI開發(fā)模式。該公司開放了Pharia模型及其訓(xùn)練代碼，這一行動有助于緩解公眾對于AI系統(tǒng)”黑箱”特性的擔(dān)憂，增強(qiáng)對AI技術(shù)的信任，這種透明度對于建立公眾信任至關(guān)重要。
然而，從長遠(yuǎn)來看，這種開源方法是否能夠與科技巨頭形成有效競爭，仍然有待觀察。雖然開放性有助于激發(fā)創(chuàng)新并吸引開發(fā)者社區(qū)，但它也需要大量的資源來持續(xù)推動并圍繞這些模型構(gòu)建一個繁榮的生態(tài)系統(tǒng)。Aleph Alpha需要在促進(jìn)社區(qū)參與和實(shí)現(xiàn)戰(zhàn)略發(fā)展之間找到合適的平衡點(diǎn)，以保持在迅速演變的AI行業(yè)中的競爭力。
來源：VentureBeat、Aleph Alpha官網(wǎng)、Hugging Face
