智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西1月16日報道，在今日舉辦的智譜AI技術開放日上，國內當前估值最高的AI大模型獨角獸智譜AI發(fā)布了新一代基座大模型GLM-4，性能比上一代提升接近60%，整體評測結果逼近GPT-4，支持更長的上下文、更強的多模態(tài)、更快速的推理、更多的并發(fā)，大大降低推理成本，同時GLM-4也增強了其智能體（Agent）的能力。
智譜AI CEO張鵬稱，圍繞GLM預訓練框架，智譜AI形成了一個相對完整的大模型全棧技術體系架構，功能覆蓋多模態(tài)、代碼生成、搜索增強和對話，對標OpenAI的全棧大模型生態(tài)。
“我們努力趕上，同時我們也謙虛地承認，自己還存在著一定的差距，但不懈努力讓我們開始逐漸形成我們自己的創(chuàng)新的特色，也借助于此逐漸縮小與頂尖水平的差距。”張鵬說。
除了帶來基座模型GLM-4之外，智譜AI還推出GLM-4 All Tools，實現(xiàn)了根據(jù)用戶意圖自動理解、規(guī)劃復雜指令，自由調用文生圖、代碼解釋器、網(wǎng)頁瀏覽、Function Call等多項工具來完成復雜任務。這意味著GLM系列模型的全家桶能力實現(xiàn)工業(yè)化，開發(fā)者及用戶可以更輕松地使用GLM-4模型，不再為提示詞而擔心。
GLMs個性化智能體定制功能和智能體中心同時上線?；贕LM-4模型，用戶只要登陸智譜清言觀望，使用簡單的提示詞指令就能創(chuàng)建屬于自己的智能體。在智能體中心中，用戶可分享各種智能體。沒有編程基礎的用戶也能實現(xiàn)大模型的便捷開發(fā)。
有興趣體驗的用戶可登陸智譜清言官網(wǎng)或App。GLMs模型應用商店、開發(fā)者分成計劃也將同期公布。
GLM-4登陸了MaaS平臺，提供各式API訪問。同時，智譜AI邀請開發(fā)者參與GLM-4 Assistent API內測，并將為報名的小伙伴贈送千萬級token，也邀請大家一起開發(fā)屬于自己的GLM應用。
從ChatGLM一代、二代、三代至今，智譜AI幾乎開源了所有內核的模型，包括千億基座模型、搜索增強模型、圖形理解模型、代碼模型、文圖生成模型、圖形增強理解模型、可視化認知Agent模型。張鵬希望這些模型能夠幫助大家深入認知大模型的技術，而不是簡單的僅僅會用，進而幫助大家一起探索大模型技術的未來。
現(xiàn)場，張鵬還分享了智譜AI聯(lián)合發(fā)起的多個大模型基金，包括CCF-智譜大模型基金、SMP-智譜大模型交叉學科基金、大模型開源基金、10億元“Z計劃”創(chuàng)業(yè)基金，為大模型的相關科研與早期創(chuàng)業(yè)提供資助。
一、GLM-4：性能逼近GPT-4，支持128k上下文，多模態(tài)能力升級
智譜AI新一代基座大模型GLM-4，整體大模型評測結果接近GPT-4。
在大規(guī)模多任務語言理解評測中，GLM-4得分遠超GPT-3.5，平均達到GPT-4的95%的水平，個別項目上已幾乎持平；在GSM8K數(shù)學評測數(shù)據(jù)集上，GLM-4的評測結果與GPT-4有4.6%的差距；在MATH數(shù)據(jù)集上，GLM-4得分比GPT-3.5多15%，比GPT-4少9%。
谷歌推出的AI基準測試套件BBH可評估語言模型在各種復雜任務上的性能，在這項評測中，GLM-4得分遠超GPT-3.5，距離GPT-4只差不到1%；在OpenAI編寫發(fā)布的代碼生成評測數(shù)據(jù)集HumanEval上，GLM-4的水平超過GPT-3.5和GPT-4。
在跨語言中英文混合評測中，GLM-4在Prompt級別、中文的成績達到GPT-4的88%。在指令跟隨方面，GLM-4的能力達到了GPT-4的90%，遠超GPT-3.5。
在中文對齊能力方面，智譜AI有一個單獨的全面對標分析，包括公開的AlignBench和一個沒有公開的內部的測試數(shù)據(jù)集。在AlignBench上，總體GLM-4得分超過了GPT-4 6月13日發(fā)布版本，逼近最新的GPT-4 Turbo版本效果，在專業(yè)能力、中文理解、角色扮演等方面甚至超過最新GPT-4的進度，在中文推理方面則還需進一步提升和加強。
GLM-4可支持128k上下文窗口，單次提示可處理300頁文本。同時，其技術團隊解決了上下文全局信息因失焦而導致的精度下降問題，在“大海撈針”測試中，GLM-4模型能做到幾乎100%的精準召回。
多模態(tài)方面，GLM-4的文生圖和多模態(tài)理解都得到進一步加強，推出全新的CogView3，效果超過開源的SDXL模型，逼近OpenAI的DALL·E 3。在對齊、保真、安全、組合布局等各個評測維度上，CogView3都做到DALL·E 3 90%以上的水平，平均可以達到95%的相對性能。
CogView3能夠很好地生成手部圖像，其語義能力也進一步增強，可準確理解“魚眼鏡頭”這樣容易被機器會錯意的概念，對顏色、場景、空間位置的理解也都很準確。
使用GLM-4V開源模型，你可以做很多有意思的事情，比如給定一個截圖的網(wǎng)頁表格，讓它轉化成markdown格式，這樣就能直接復制粘貼到需要用到的地方。輸入一張繪畫，它也能準確理解圖中所表達的信息。
智譜AI最近還提出了CogAgent模型，通過UI截圖輸入來理解圖中的每一處信息，根據(jù)用戶提問告知下一步完成相應的任務需要點擊哪里，或者做出怎樣的操作。這是智譜將來會著重投入的方向：從多模態(tài)走向智能助手，讓機器能直接理解屏幕上的文字、圖像和信號，不需要轉化成一個個token輸入到模型中，如果能完成這樣一件事，將極大解放勞動力。
智譜AI希望未來讓CogAgent理解各種屏幕，例如手機屏幕或其他的知識和圖表，用多模態(tài)改變人們的生活。其團隊預測，多模態(tài)模型可能在1~2年內能夠全面超越人類的視覺識別能力。
二、GLM-4 All Tools全家桶、GLMs智能體中心上線！不會編程也能定制專屬Agent
針對令許多開發(fā)者及普通用戶犯難的“AI咒語”提示詞問題，智譜AI推出GLM-4 All Tools全家桶。
GLM-4 All Tools實現(xiàn)了根據(jù)用戶意圖自動理解、規(guī)劃復雜指令，自動調用文生圖、代碼解釋器、網(wǎng)頁瀏覽、Function Call等功能，組合起來完成復雜任務。
只需輸入一個指令，GLM-4就會自動分析指令，結合上下文選擇決定調用合適的工具。這也是OpenAI近期推出的GPTs的一項基礎能力。
張鵬說，這意味著GLM系列模型的全家桶能力終于實現(xiàn)了，開發(fā)者和用戶可以更輕松地使用GLM-4的模型，不再為提示詞而擔心。
以文生圖為例，輸入“畫一個卡通柯基”的提示，再在后續(xù)新增“它開始跑步了”、“一只小兔子加入它一起”、“它跑的越來越快了”等一連串追加的提示詞，CogView3能準確接收用戶的意思，實現(xiàn)故事化的自動連續(xù)生成，語義非常準確。
現(xiàn)場還演示了讓GLM-4畫出滿足讓柯基狗“給它讀很多書 變聰明”、“讓它學習使用電腦”等提示詞的圖像，美中不足的是在演示時，每次圖像生成的等待時間有點長。
同樣，GLM-4能自動調用代碼解釋器進行復雜方程或微分積分的求解，對比GSM8K、MATH和Math23K這三個數(shù)據(jù)集上的測試結果，GLM-4取得了與GPT-4相當?shù)男阅堋?/p>
GLM-4通過自動調用Python解釋器，自動寫出求解的代碼，然后運行求解。加入代碼解釋器后，輸出的不僅僅是文本和代碼，也可以是圖像文件等。
除了解決數(shù)據(jù)問題外，GLM All Tools能力完全自動化，可以完成文件處理、數(shù)據(jù)分析、圖表繪制等一系列復雜任務?？商幚淼奈募愋桶ǔＲ姷腅xcel、PDF、PPT等格式。
還有自動網(wǎng)頁瀏覽，GLM-4模型可根據(jù)任務自行規(guī)劃檢索任務，自行選擇信息源，自行與信息源交互。
比如告訴模型你要參加某個大會，向它詢問當?shù)靥鞖鉅顩r，但并沒有告訴它大會在哪里舉行，這時它會自動檢索大會日期和地點，然后告訴你準確的答案。
“GLM-4 All Tools的網(wǎng)頁瀏覽準確率已經(jīng)超過了GPT-4，值得我們的自豪?！睆堸i說。
在多跳式問答的復雜場景中，僅通過一次檢索可能無法檢測到有效信息，此時傳統(tǒng)檢索生成方法就存在較大的局限性。而GLM-4 All Tools的高級聯(lián)網(wǎng)功能，使得模型的自主信息收集能力變得更強大。據(jù)介紹，其方案相比GPT-4的Web browsing功能也有比較明顯的優(yōu)勢。
Function Call方面，GLM-4 All Tools可根據(jù)用戶提供的function描述，自動選擇所需function生成參數(shù)，并根據(jù)function的返回值生成回復，支持一次輸入進行多次function的調用，和支持包含中文以及特殊符號命名的function的調用。這方面的能力與GPT-4已基本持平，而且在中文理解上更強，英文能力稍差，總體上達到持平。
來看一個多工具自動調用的例子，比如可以問它智譜DevDay的宣傳語，讓它畫一幅突出宣傳語的場景圖，模型自動進行搜索，找到一些相關發(fā)布的頁面，從中總結和識別宣傳語內容，進而生成一張能還原宣傳語意境的圖片。
再來看另一個例子。GLM-4可查詢過去10年中的全球GDP數(shù)據(jù)并進行直觀展示，它能識別語義并聯(lián)網(wǎng)，對多個數(shù)據(jù)源進行檢索，生成一段代碼，把找到的數(shù)據(jù)可視化，生成一張簡單的圖表。只要一句簡單的輸入，就能啟動聯(lián)網(wǎng)搜索、提取代碼解釋器、繪圖等多項模型原生能力。
還可以讓GLM-4搭建一個多項式回歸預測模型，預測未來5年全球GDP的發(fā)展態(tài)勢，并把預測結果以紅色的標記加入到原有的圖表中，以便更加直觀地看到發(fā)展趨勢。
“GLM-4的權限提升，使得我們有機會探索真正意義上的GLMs。”張鵬說，登陸智譜清言官網(wǎng)或App，智譜AI已經(jīng)為大家預設了一個智譜DevDay智能體，你可以自己上手體驗，詢問一些跟今天大會相關的事宜，比如日程、有哪些主題演講、演講PPT文件下載鏈接等等。
創(chuàng)建這樣一個簡單的智能體，只需要3分鐘，把大會的會議日程、嘉賓信息當作外部輸入知識放進知識庫，就能自動生成智能體。
以后大家自己組織活動，也可以來定制一個這樣的智能體，讓智譜清言幫你與參會者進行溝通。
接著，張鵬宣布，GLMs個性化智能體定制能力上線。
基于GLM-4模型，用戶只要登陸智譜清言官網(wǎng)，用簡單的提示詞指令就能創(chuàng)建屬于自己的智能體。在其智能體中心中，用戶可分享自己創(chuàng)建的各種智能體。
張鵬說，GLM模型智能體的推出，標志著任何人都能夠自由運用GLM-4模型并挖掘其潛力，即使沒有任何編程語言的基礎，也能夠實現(xiàn)大模型的便捷開發(fā)，這也是智譜AI擴大大模型開發(fā)者社區(qū)生態(tài)的一次進步。
三、發(fā)起多個大模型基金，支持科研與創(chuàng)業(yè)探索
張鵬談道，智譜AI源自清華科技成果轉化，非常重視科研突破和源頭創(chuàng)新，也希望無私回饋科研界，因此聯(lián)合CCF中國計算機學會，發(fā)起CCF-智譜大模型基金，圍繞預訓練大模型的理論、算法、模型應用等相關的研究提供資助。
與此同時，智譜AI聯(lián)合中國中文信息學會、社會媒體處理專委會聯(lián)合發(fā)起了SMP-智譜大模型交叉學科基金，支持探索大模型與各領域交叉的創(chuàng)新，促進大模型與各類學科的有機的融合。
所有科研基金參與者擁有自己研發(fā)的知識產權。這兩支基金在2023年為來自全國30余所高校參與的41個研究項目累計提供了超過1000萬元現(xiàn)金和算力資源的科研支持，學者們的學科背景也豐富多元。張鵬相信，學術創(chuàng)新是中國大模型事業(yè)持續(xù)發(fā)展創(chuàng)新的原動力之一。
2024年，面向開源社區(qū)，智譜AI發(fā)起大模型開源基金，旨在推動大模型研發(fā)的發(fā)展，促進大模型開源生態(tài)的繁榮。
該開源基金可用3個“1000”來概括：第一個“1000”是智譜將為大模型開源社區(qū)提供1000張卡，助力開源開發(fā)；第二個“1000”是智譜將提供1000萬元現(xiàn)金來支持大模型相關開源項目；第三個“1000”是智譜將為優(yōu)秀的開源項目開發(fā)者提供1000億免費API的tokens。
張鵬說，中國人工智能事業(yè)的繁榮發(fā)展需要產業(yè)鏈上下游、合作伙伴、開發(fā)者社區(qū)和學術界所有參與者一同努力。面向全球，智譜AI與生態(tài)伙伴聯(lián)合設立并發(fā)布10億元“Z計劃”創(chuàng)業(yè)基金，支持大模型早期創(chuàng)業(yè)者的創(chuàng)新探索，覆蓋大模型算法、底層算子、芯片優(yōu)化、行業(yè)大模型、超級應用等各方面。
此前智譜AI已向相關企業(yè)投入數(shù)億元人民幣，支持了數(shù)十家企業(yè)，比如面壁智能是國內最早從事也是最懂Agent的大模型公司，基流科技曾有過上萬張GPU卡集群建設的項目經(jīng)驗。
四、堅守開源，已擁有2000多家合作伙伴
回首來時路，張鵬說，智譜AI成立于2019年，從清華園走出，當時才20多人，立下「讓機器像人一樣思考」的愿景。從探索算法到開始訓練，從十億、百億到千億級模型，再到逐步實現(xiàn)產業(yè)化應用落地，智譜一路走到今天。
回顧大模型過往發(fā)展歷程，2017年，谷歌提出Transformer機器學習模型架構，這成為自然語言處理（NLP）等相關研究的主要方法。
2018~2020年是大模型算法創(chuàng)新階段，先后出現(xiàn)了BERT、GPT、T5等基于無標注數(shù)據(jù)自監(jiān)督學習的大規(guī)模訓練模型算法，這些算法模型擁有較大規(guī)模的參數(shù)，具備了較強的通用化能力，可完成多場景任務，顯著降低學習成本，提升了學習效率。智譜也在這一階段研發(fā)了自己的算法。
2020年~2022年是一場模型之戰(zhàn)，基于預訓練模型框架和開源項目，各種模型如雨后春筍般誕生。2020年的GPT-3擁有1750億個參數(shù)，可以視作該階段的起點，開啟了基座模型的全新時代。隨后全球掀起一股大模型研究和研發(fā)熱潮。智譜AI在2022年開源了千億級基座模型GLM-130B，這一工作吸引了全世界的關注。
2023年，大模型開始火出圈，在金融、能源、教育等眾多行業(yè)開始落地，被公眾廣為所知，智譜AI聯(lián)合合作伙伴實現(xiàn)廣泛的商業(yè)應用落地。基于GLM-130B研發(fā)的ChatGLM-130B，是當時國內最先可線上使用的千億級Chat模型。
張鵬坦言，和國外大模型相比，國內的大模型發(fā)展起步晚了一些，加上高性能算力限制、數(shù)據(jù)質量的差距等，國內大模型在規(guī)模和核心能力上都與世界先進水平存在一定差距，這樣的差距大約在一年左右。
今天，智譜AI交出了新的階段性答卷，也希望以此為起點，未來瞄向通用人工智能（AGI）。
張鵬說，智譜GLM系列模型基本對標OpenAI的GPT系列模型，但更加開放，所有模型和技術細節(jié)都進行了論文發(fā)表和開源。在斯坦福大學對全球30多個大模型的評測報告中，智譜GLM-130B是亞洲唯一入選的模型，在準確性、公平性等指標上接近GPT-3，在魯棒性、校準誤差、無偏性等指標上優(yōu)于GPT-3。
2023年ChatGLM經(jīng)歷了3個版本的迭代，逐步具備多模態(tài)理解、代碼解釋、網(wǎng)絡搜索增強等新功能，智譜不僅開發(fā)了其最大的模型商用版本，也有開源版本，ChatGLM-6B開源模型迄今全球下載量累計超過千萬，在開源趨勢榜單上排名超過Meta Llama大語言模型。
去年，智譜AI團隊獲得了Hugging Face全球最受歡迎的開源機構排行榜第五名，超過OpenAI、谷歌、微軟，是國內唯一上榜的機構。開發(fā)者們在智譜的開源模型上開發(fā)出了600多項優(yōu)秀的大模型應用開源項目。
在商業(yè)化成績方面，智譜AI在市場上率先提出了MaaS商業(yè)化路徑，并詳細針對不同類型客戶群體的需求，提供開放的API云端私有化和本地私有化等多種商業(yè)解決方案。迄今GLM系列模型已擁有2000多家合作伙伴，其中有200多家企事業(yè)單位與智譜AI進行了深度的模型共創(chuàng)共建。
結語：AGI元年伊始，但路還很長
“人工智能大模型已經(jīng)成為國際科技競爭的必爭之地，實現(xiàn)國產的全資源自主可控的人工智能技術模型，也是迫在眉睫的任務。”張鵬談道。
在他看來，大模型的快速發(fā)展給全球科技創(chuàng)新帶來全新挑戰(zhàn)，超大規(guī)模的算力需求、超大規(guī)模的數(shù)據(jù)需求、全新的模型訓練算法框架安全與可行的軟硬件的系統(tǒng)，大模型的應用需求也更加動態(tài)和多樣化，要求對大模型的不同層次進行更深入的研究。這是個全新的AI科學難題，但也是一個我們趕超國際領先水平的機會。
2024年是AGI的元年，但路還很長。張鵬說，今天智譜將心目中的AI未來呈現(xiàn)在大家面前。在2024年乃至更長遠的未來，智譜AI將堅持更開放的心態(tài)，團結更廣泛的合作伙伴，共創(chuàng)AI未來。
