▲頭圖由AI生成
智東西（公眾號(hào)：zhidxcom）
編輯 | ZeR0
智東西10月30日?qǐng)?bào)道，今日，昆侖萬(wàn)維正式發(fā)布國(guó)內(nèi)首個(gè)全面開(kāi)源百億級(jí)大語(yǔ)言模型「天工」Skywork-13B系列，600GB、150B Tokens的高質(zhì)量中文開(kāi)源數(shù)據(jù)集，并全面開(kāi)放商用。
也就是說(shuō)，開(kāi)發(fā)者無(wú)需額外申請(qǐng)，即可將大模型進(jìn)行商業(yè)用途，而且開(kāi)源得足夠徹底，沒(méi)有對(duì)行業(yè)、公司規(guī)模、用戶等方面的任何限制。
2008年成立、從游戲起家的昆侖萬(wàn)維，近年已逐漸構(gòu)建了AGI與AIGC、海外信息分發(fā)與元宇宙、投資三大業(yè)務(wù)板塊，業(yè)務(wù)覆蓋全球一百多個(gè)國(guó)家和地區(qū)，全球平均月活躍用戶近4億。
昆侖萬(wàn)維「天工」Skywork-13B系列擁有130億參數(shù)，包含Skywork-13B-Base、Skywork-13B-Math兩個(gè)大模型，在CEVAL、GSM8K等多個(gè)權(quán)威評(píng)測(cè)與基準(zhǔn)測(cè)試上都展現(xiàn)了同等規(guī)模模型的最佳效果，在中文科技、金融、政務(wù)等領(lǐng)域表現(xiàn)均高于其他開(kāi)源模型。
除模型開(kāi)源外，Skywork-13B系列大模型還將開(kāi)源600GB、150B Tokens的高質(zhì)量中文語(yǔ)料數(shù)據(jù)集Skypile/Chinese-Web-Text-150B，這是目前最大的中文開(kāi)源數(shù)據(jù)集之一。
Skywork-13B下載地址：
https://modelscope.cn/organization/skywork
https://github.com/SkyworkAI/Skywork
一、130億參數(shù)、兩大模型、150B中文數(shù)據(jù)集，全面開(kāi)放商用！
昆侖萬(wàn)維「天工」Skywork-13B系列包括兩大模型及150B高質(zhì)量中文數(shù)據(jù)集。
其中，Skywork-13B-Base模型是基礎(chǔ)模型，由3.2萬(wàn)億個(gè)多語(yǔ)言高質(zhì)量數(shù)據(jù)訓(xùn)練而成，在CEVAL、CMMLU、MMLU、GSM8K等評(píng)測(cè)與基準(zhǔn)測(cè)試上都展現(xiàn)了同等規(guī)模模型的最佳效果。
Skywork-13B-Math模型，顧名思義，經(jīng)過(guò)專門的數(shù)學(xué)能力強(qiáng)化訓(xùn)練，在GSM8K等數(shù)據(jù)集上取得了同等規(guī)模模型的最佳效果。
Skypile/Chinese-Web-Text-150B數(shù)據(jù)集，是根據(jù)昆侖萬(wàn)維經(jīng)過(guò)精心過(guò)濾的數(shù)據(jù)處理流程從中文網(wǎng)頁(yè)中篩選出的高質(zhì)量數(shù)據(jù)。本次開(kāi)源數(shù)據(jù)集大小約為600GB，包含約1500億個(gè)token，是目前最大的開(kāi)源中文數(shù)據(jù)集之一。
除此之外，Skywork-13B系列還公開(kāi)了模型中使用的評(píng)估方法、數(shù)據(jù)配比研究和訓(xùn)練基礎(chǔ)設(shè)施調(diào)優(yōu)方案等。
為了更加精細(xì)化利用數(shù)據(jù)，Skywork-13B系列采用兩階段訓(xùn)練方法，第一階段使用通用語(yǔ)料進(jìn)行模型通用能力學(xué)習(xí)，第二部分加入STEM（科學(xué)，技術(shù)，工程，數(shù)學(xué)）相關(guān)數(shù)據(jù)進(jìn)一步增強(qiáng)模型的推理能力、數(shù)學(xué)能力、問(wèn)題解決能力。
昆侖萬(wàn)維希望這些開(kāi)源內(nèi)容能夠進(jìn)一步啟發(fā)社區(qū)對(duì)于大型模型預(yù)訓(xùn)練的認(rèn)知，并推動(dòng)人工智能通用智能（AGI）的實(shí)現(xiàn)。
二、五大特點(diǎn)：評(píng)測(cè)得分超越Llama 2，無(wú)需申請(qǐng)即可商用
昆侖萬(wàn)維「天工」Skywork-13B系列大模型在CEVAL、GSM8K等多個(gè)權(quán)威評(píng)測(cè)與基準(zhǔn)測(cè)試上都展現(xiàn)了同等規(guī)模模型的最佳效果，其中文能力尤為出色，在中文科技、金融、政務(wù)等領(lǐng)域表現(xiàn)均高于其他開(kāi)源模型。
昆侖萬(wàn)維將該系列大模型的特點(diǎn)總結(jié)為五個(gè)“最”：
1）最強(qiáng)參數(shù)表現(xiàn)：根據(jù)截至10月25日的數(shù)據(jù)，Skywork-13B系列模型在CEVAL、CMMLU、MMLU、GSM8K等權(quán)威評(píng)估基準(zhǔn)中全面超越Llama-2-13B等開(kāi)源大模型，在同等規(guī)模大模型間取得最佳效果。
與Llama-2-13B相比，天工Skywork-13B模型采用相對(duì)更加瘦長(zhǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，層數(shù)為52層，同時(shí)將FFN Dim和Hidden Dim縮小到12288和4608，從而保證模型參數(shù)量和原始Llama-13B模型相當(dāng)。據(jù)昆侖萬(wàn)維前期實(shí)驗(yàn)對(duì)比，相對(duì)瘦長(zhǎng)的網(wǎng)絡(luò)結(jié)構(gòu)在大Batch Size訓(xùn)練下可以取得更好的泛化效果。
2）最多訓(xùn)練數(shù)據(jù)：擁有130億參數(shù)、3.2萬(wàn)億高質(zhì)量多語(yǔ)言訓(xùn)練數(shù)據(jù)，模型的生成能力、創(chuàng)作能力和數(shù)學(xué)推理能力提升明顯。
3）最強(qiáng)中文語(yǔ)言建模能力：中文語(yǔ)言建模能力、中文文創(chuàng)能力出色，在科技、金融、政務(wù)、企業(yè)服務(wù)、文創(chuàng)、游戲等領(lǐng)域的中文文本創(chuàng)作評(píng)測(cè)中表現(xiàn)均高于業(yè)內(nèi)其他開(kāi)源模型。
如圖用領(lǐng)域數(shù)據(jù)困惑度來(lái)衡量語(yǔ)言模型跨領(lǐng)域的語(yǔ)言建模能力。評(píng)估一個(gè)基礎(chǔ)大模型的重要方式是評(píng)估其在各領(lǐng)域上生成文章的概率，困惑度通過(guò)評(píng)估模型預(yù)測(cè)下一個(gè)詞的平均可選數(shù)量來(lái)衡量一個(gè)語(yǔ)言模型的好壞。困惑度越低，意味著語(yǔ)言模型生成高質(zhì)量文本內(nèi)容的能力越強(qiáng)。
4）最大中文開(kāi)源數(shù)據(jù)集之一：將配套開(kāi)源600GB、150B Tokens的高質(zhì)量中文語(yǔ)料數(shù)據(jù)集Skypile/Chinese-Web-Text-150B。開(kāi)發(fā)者可以最大程度地借鑒技術(shù)報(bào)告中大模型預(yù)訓(xùn)練的過(guò)程和經(jīng)驗(yàn)，深度定制模型參數(shù)，有針對(duì)性的進(jìn)行訓(xùn)練與優(yōu)化。
5）最有誠(chéng)意的開(kāi)源商用：全面開(kāi)放商用許可，將授權(quán)流程做到極簡(jiǎn)，取消對(duì)行業(yè)、公司規(guī)模、用戶等方面的限制，用戶在下載模型并同意并遵守《Skywork模型社區(qū)許可協(xié)議》后，無(wú)需再次申請(qǐng)授權(quán)，即可將大模型進(jìn)行商業(yè)用途。
目前開(kāi)源社區(qū)中的中文大模型多數(shù)并非是完全可商用，用戶通常需要進(jìn)行復(fù)雜的商用授權(quán)申請(qǐng)流程，有些情況會(huì)對(duì)公司規(guī)模、所在行業(yè)、用戶數(shù)等維度有明確規(guī)定不給予商業(yè)授權(quán)。
昆侖萬(wàn)維希望用戶能夠更便捷地探索Skywork-13B系列大模型技術(shù)能力，探索在不同場(chǎng)景下的商業(yè)化應(yīng)用，以幫助更多對(duì)中文大模型感興趣的用戶和企業(yè)在行業(yè)中不斷探索和進(jìn)步。
三、形成六大AI業(yè)務(wù)矩陣，以All in AGI與AIGC為戰(zhàn)略重心
昆侖萬(wàn)維成立于2008年，從游戲起家，2015年在深交所上市，2020年便已開(kāi)始布局AIGC領(lǐng)域，正全面構(gòu)建多元化的業(yè)務(wù)生態(tài)。
至今，昆侖萬(wàn)維已積累近三年的相關(guān)工程研發(fā)經(jīng)驗(yàn)，并建立了行業(yè)領(lǐng)先的預(yù)訓(xùn)練數(shù)據(jù)深度處理能力，在AI領(lǐng)域已形成AI大模型、AI搜索、AI游戲、AI音樂(lè)、AI動(dòng)漫、AI社交六大AI業(yè)務(wù)矩陣。
All in AGI與AIGC是昆侖萬(wàn)維的戰(zhàn)略。
據(jù)了解，昆侖萬(wàn)維董事長(zhǎng)兼CEO方漢是很早參與到開(kāi)源生態(tài)建設(shè)的開(kāi)源老兵，也是中文Linux開(kāi)源最早的推動(dòng)者之一，因此開(kāi)源精神和AIGC技術(shù)發(fā)展的結(jié)合將會(huì)貫穿于昆侖萬(wàn)維戰(zhàn)略之中。
今年以來(lái)，昆侖萬(wàn)維一路快馬加鞭，釋出從基礎(chǔ)大模型到AIGC產(chǎn)品的一系列進(jìn)展：
4月17日，昆侖萬(wàn)維發(fā)布自研千億級(jí)大語(yǔ)言模型「天工3.5」，并啟動(dòng)邀請(qǐng)測(cè)試。該模型具備文案創(chuàng)作、知識(shí)問(wèn)答、代碼編程、邏輯推演、梳理推算等多元AI生成能力。
5月19日，北京市經(jīng)濟(jì)和信息化局公布第一批《北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃成員名單》，昆侖萬(wàn)維成為第一批模型伙伴和投資伙伴。
8月23日，昆侖萬(wàn)維發(fā)布國(guó)內(nèi)第一款A(yù)I搜索產(chǎn)品——天工AI搜索，并開(kāi)啟內(nèi)測(cè)申請(qǐng)。天工AI搜索通過(guò)人性化、智能化的方式全面提升用戶的搜索體驗(yàn)，并集成AI對(duì)話、AI寫(xiě)作等常用功能，幫助用戶提高中文搜索體驗(yàn)和工作效率。
9月1日，計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)領(lǐng)域的國(guó)際頂級(jí)專家顏水成教授正式加盟昆侖萬(wàn)維，與昆侖萬(wàn)維創(chuàng)始人周亞輝一起出任天工智能聯(lián)席CEO，并兼任昆侖萬(wàn)維2050全球研究院院長(zhǎng)，負(fù)責(zé)前沿技術(shù)的研究。
9月5日，昆侖萬(wàn)維天工大模型在騰訊優(yōu)圖實(shí)驗(yàn)室聯(lián)合廈門大學(xué)開(kāi)展的多模態(tài)大語(yǔ)言模型測(cè)評(píng)MME中，綜合得分排名第一。
9月17日，昆侖萬(wàn)維通過(guò)信通院“可信AI”評(píng)估，并被評(píng)選為人工智能實(shí)驗(yàn)室副組長(zhǎng)單位。
9月25日，昆侖萬(wàn)維正式控股AI大算力芯片企業(yè)艾捷科芯，布局AI芯片。
10月26日，天工大模型獲得由北京算法交易服務(wù)中心頒發(fā)的“算法模型認(rèn)證證書(shū)”，昆侖萬(wàn)維成為北京算法交易服務(wù)中心首批認(rèn)證企業(yè)。
今天，天工Skywork-13B系列大模型的開(kāi)源，標(biāo)志著昆侖萬(wàn)維持續(xù)投資AGI生態(tài)的決心。
結(jié)語(yǔ)：推動(dòng)開(kāi)源生態(tài)繁榮，加速AI技術(shù)落地
蓬勃發(fā)展的開(kāi)源生態(tài)建設(shè)是構(gòu)建AI和應(yīng)用融合的重要一環(huán)。持續(xù)降低模型的研發(fā)門檻、使用成本、最大化的共享技術(shù)能力和經(jīng)驗(yàn)，有助于加速AI應(yīng)用普及，促使更多的企業(yè)和開(kāi)發(fā)者們參與到AI引領(lǐng)的科技變革中。
昆侖萬(wàn)維表示Skywork-13B系列大模型的開(kāi)源將為大模型的場(chǎng)景應(yīng)用和開(kāi)源社區(qū)發(fā)展提供最佳的技術(shù)支持，加速開(kāi)源生態(tài)繁榮，進(jìn)而降低大模型商業(yè)門檻，推動(dòng)AI技術(shù)落地千行百業(yè)。
