智東西(公眾號:zhidxcom)
作者 | ?ZeR0
編輯 | ?漠影

智東西5月18日報道,今日,云從科技推出從容大模型,并現(xiàn)場演示了從容大模型在問答、寫命題作文、意圖理解、多輪對話、英文寫作、機(jī)器翻譯、編程、圖文跨模態(tài)理解、做中考真題等方面的能力。目前從容大模型處于內(nèi)測階段。

根據(jù)演示,從容大模型對一本預(yù)先上傳好的大約有五六百頁的《大話西方藝術(shù)史》書籍進(jìn)行了深度理解,包括詢問書籍相關(guān)內(nèi)容、總結(jié)這是一本什么樣的書、找到指定要求的圖等。

經(jīng)過對從容大模型、ChatGPT、GPT-4做去年中考真題的能力進(jìn)行測試,云從從容比ChatGPT的答題速度更快,答歷史、生物題的得分略低于ChatGPT,答地理題的得分與ChatGPT持平,答政治題、道德與法制題的表現(xiàn)比ChatGPT更好。目前GPT-4.0的水平明顯優(yōu)于其他系統(tǒng)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

現(xiàn)場,大模型信創(chuàng)生態(tài)聯(lián)盟正式成立,成員包括優(yōu)刻得、廈門文旅、華為昇騰、南沙公控、CSDN、眾數(shù)信科等,旨在促進(jìn)大模型技術(shù)的創(chuàng)新和發(fā)展,推動人工智能在各個行業(yè)應(yīng)用。

云從科技也將分別與中國中檢、神舟信息、深圳報業(yè)、佳都科技、金世緣、游族網(wǎng)絡(luò)、艾登科技合作,推出質(zhì)量大模型、金融大模型、文娛大模型、交通大模型、制造大模型、游戲大模型、醫(yī)療大模型等。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

一、基礎(chǔ)能力演示:支持圖文跨模態(tài)理解,做中考題速度比ChatGPT快

從容大模型的對話界面跟ChatGPT差不多。云從科技技術(shù)管理部總監(jiān)葉懋現(xiàn)場進(jìn)行了從容大模型的基礎(chǔ)能力演示。

問答方面,從容大模型的回復(fù)風(fēng)格偏簡潔、實在,能夠避開一些陷阱題挖的坑。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

寫作方面,針對去年四川省的一個中考作文題“以最美的顏色為題寫一篇不少于600字的作文”,從容大模型現(xiàn)場寫出一篇作文。向它提出更多修改或限定要求,比如用白色改寫、要求更有深度、改成以一個患病小孩的視角寫最美的顏色來自于醫(yī)護(hù)人員的白大褂等等之后,從容大模型能夠理解意圖并展現(xiàn)出多輪對話的能力。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

英文寫作方面,從容大模型現(xiàn)場創(chuàng)作了一篇英文招領(lǐng)啟事,并根據(jù)要求修改了落款。要求它翻譯成中文后,它首先給出的回復(fù)是偏生硬的直譯,接著按照“用中文習(xí)慣改寫”的新要求改寫了這篇啟事。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

編程方面,從容大模型先展示了寫代碼的能力,寫出一段快速排序的代碼。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

向它提出相對專業(yè)些的話題,“這段代碼的時間復(fù)雜度是多少”,從容大模型的回復(fù)沒什么毛病。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

要求加上代碼注釋,它也能快速完成。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

再提高點難度,讓它寫出C++程序員能看懂的代碼,它不僅完成了任務(wù),還按照前面的要求添加有注釋。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

閱讀理解方面,從容大模型支持對長文檔或者多文檔聚合進(jìn)行理解,并支持圖文跨模態(tài)理解。

云從技術(shù)人員預(yù)先上傳了一本大概有五六百頁的《大話西方藝術(shù)史》書籍,從容大模型對這本書的內(nèi)容進(jìn)行了深度理解,接著就能基于這本書所涉及的知識范疇與用戶進(jìn)行互動,包括詢問書籍相關(guān)內(nèi)容、總結(jié)這是一本什么樣的書等。

如下圖所示,界面中間部分是書籍的正文,右邊是對話交互界面,從容大模型準(zhǔn)備了一些提問樣例,點擊某個樣例后,它就會實時生成回復(fù),并附有回復(fù)內(nèi)容相關(guān)的一些線索。點擊這些線索就會鏈接到書中對應(yīng)的段落位置。從容大模型也能夠理解圖像,因此用戶可以描述想要的圖片,讓它在書中找出來。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

解題方面,云從科技對從容大模型、ChatGPT、GPT-4做2022年各學(xué)科中考真題的能力進(jìn)行了測試。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

從測試結(jié)果來看,云從從容比ChatGPT的答題速度更快,答歷史、生物題的得分略低于ChatGPT,答地理題的得分與ChatGPT持平,答政治題、道德與法制題的表現(xiàn)比ChatGPT更好。目前GPT-4.0的水平明顯優(yōu)于其他系統(tǒng)。

二、行業(yè)應(yīng)用示例:城運(yùn)治理、設(shè)備維修、金融運(yùn)營、政策解答

要讓從容基礎(chǔ)大模型真正用起來,需要構(gòu)建行業(yè)大模型。

云從科技聯(lián)合創(chuàng)始人、廣東公司總經(jīng)理姚志強(qiáng)分享了從容大模型在基層治理場景的應(yīng)用,比如面向民眾服務(wù)的一語智辦、面向公務(wù)員及網(wǎng)格隊伍的智治精靈、面向應(yīng)用開發(fā)者的編程助手、面向城運(yùn)治理中心的融合指揮。

現(xiàn)場大屏播放了針對城運(yùn)治理中心場景的城運(yùn)智慧大屏AI精靈演示。比如指揮員提出“把第五個屏幕移動到中間”,AI理解了指令并迅速執(zhí)行。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

指揮員又提問“這個周邊人和車多嗎”,AI大模型隨即借助多模態(tài)能力,自動分析人流車況,選取周邊人和車最多的幾路視頻畫面,并告知“依據(jù)視頻內(nèi)容,湖泊周邊交通狀態(tài)良好,但存在車輛占道違?,F(xiàn)象,同時部分位置人員較為擁擠,建議安排安保人員維持秩序”。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

指揮員繼續(xù)提問:“今天對市民游玩有什么建議?”AI大模型回復(fù)了天氣狀況,并給出“適合出游”、“做好防曬”的建議。

面向設(shè)備維修管理場景的例子,是云從科技基于行業(yè)大模型做的智能維修伴隨系統(tǒng)。

維修計劃有兩個來源:一是基于設(shè)備分類,設(shè)備歷史的維修記錄以及最近的生產(chǎn)計劃等會綜合自動形成一個維檢修計劃;二是巡檢機(jī)器人或探頭會在機(jī)器人巡檢過程中發(fā)現(xiàn)某地方有個問題,這個問題可能是臨時性的,它會知道有什么故障、可能性是什么、是否需要發(fā)送一個維修請求。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

在維修準(zhǔn)備環(huán)節(jié),大模型基于之前針對維修手冊、維修記錄、專家建議的理解,逐漸成長為一個維修的“老師傅”。在維修前,系統(tǒng)會提供一個包括圖文、音視頻、維修關(guān)鍵要點的完整預(yù)習(xí)課程,方便維修工程師預(yù)習(xí)要維修的設(shè)備可能是什么故障、故障是由什么導(dǎo)致的、應(yīng)該帶什么工具、采用什么修、換什么備件等等。

在維修過程中,云從智能維修伴隨系統(tǒng)提供兩個典型的解決方案:一是“指導(dǎo)”,工程師可以問大模型設(shè)備故障應(yīng)該怎么修;二是“監(jiān)督”,大模型可以監(jiān)測工程師的維修動作是否規(guī)范、有沒有遺漏重要修程。

在維修工單關(guān)閉時,無需工人自己寫,系統(tǒng)會根據(jù)全程的視頻記錄自動解析,形成一個圖文的維修記錄,并伴有這次維修中的核心視頻內(nèi)容,以便進(jìn)行維修復(fù)盤和對后續(xù)維修提供知識源。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

面向金融場景,大模型能夠提升銀行內(nèi)部的業(yè)務(wù)運(yùn)營效率。從容大模型可將銀行海量的數(shù)據(jù)資源,轉(zhuǎn)化為更有價值的信息,突破了專業(yè)知識的供給瓶頸,有助于提升銀行在普惠金融、銀行運(yùn)營能力、服務(wù)實體經(jīng)濟(jì)方面的能力。現(xiàn)場演示了AI虛擬客戶經(jīng)理回答理財相關(guān)專業(yè)問題的表現(xiàn)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

相比通用大模型,用本地知識庫進(jìn)行優(yōu)化的行業(yè)大模型能夠提供更專業(yè)嚴(yán)謹(jǐn)?shù)幕卮?,避免出現(xiàn)胡編亂造的情況。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

海關(guān)政策AI精靈為例,海關(guān)政策AI精靈基于海關(guān)總署2000多份材料,形成本地的知識庫,通過語義分割、語義檢索、prompt learning等技術(shù),為從容大模型構(gòu)造了精準(zhǔn)的提示詞,進(jìn)而能夠充分發(fā)揮大模型的能力,為用戶提供準(zhǔn)確的政策解答。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

云從科技內(nèi)部還孵化了若干大模型應(yīng)用創(chuàng)業(yè)項目,比如大麥數(shù)字人直播平臺能夠?qū)崿F(xiàn)直播間智能搭建、直播預(yù)熱語料提供等功能。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

面向教育場景,智能教育AI精靈能夠基于現(xiàn)有課程教綱、題庫等基礎(chǔ)模型,形成自生題庫,根據(jù)學(xué)生平時表現(xiàn)生成定制習(xí)題及學(xué)習(xí)計劃,并能夠通過學(xué)生表現(xiàn)自動生成對應(yīng)的綜合評價分析,減少老師日常工作負(fù)擔(dān)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

結(jié)語:未來幾年,技術(shù)會不斷解鎖場景

在展示出語言、數(shù)學(xué)、推理等基礎(chǔ)通識能力后,大模型正在走向行業(yè),展現(xiàn)出在金融、法律、醫(yī)學(xué)、政策等專業(yè)知識領(lǐng)域的應(yīng)用潛能。

云從科技董事長兼總經(jīng)理周曦認(rèn)為,大模型將顛覆傳統(tǒng)交互方式,主要以問答、伴隨、托管三種形式呈現(xiàn)。其中,“問答”即當(dāng)前的GPT;“伴隨”即AI會像一個朋友一樣,伴隨你執(zhí)行很多的事情;“托管”即一件事主要交給AI來做,類似在網(wǎng)游中的“掛機(jī)訓(xùn)練”。能走到“托管”這一步,人就可以解放出來,做更多有意義、有興趣的事。

他談道,有了整個平臺框架,通過基礎(chǔ)大模型構(gòu)造了基礎(chǔ)能力后,可以不斷增加行業(yè)大模型的技能包,那么就能構(gòu)造出更加強(qiáng)大的行業(yè)系統(tǒng)。這個系統(tǒng)可服務(wù)于To G、To B、To C的各行各業(yè)。

云從AI大模型參戰(zhàn)!支持圖文跨模態(tài)理解,跟GPT-4拼做中考題

在周曦看來,沒有強(qiáng)大的基礎(chǔ)大模型,直接做行業(yè)大模型,不具有長期持續(xù)的生命力,因為要想讓行業(yè)大模型足夠?qū)嵱茫枰催^來訓(xùn)練基礎(chǔ)大模型,如果想要讓行業(yè)大模型真正在產(chǎn)業(yè)上量產(chǎn)使用,必須將效率和成本控制做到極致,而極致優(yōu)化必須要掌握基礎(chǔ)大模型。

此外,未來產(chǎn)業(yè)的突破伴隨不斷的技術(shù)突破而進(jìn)行,行業(yè)應(yīng)用不是簡單的靠創(chuàng)意來解鎖,而是技術(shù)解鎖的。未來幾年,技術(shù)會不斷解鎖場景,場景方也會不斷探索如何重構(gòu)行業(yè)的效率和體驗。