今年9月起，智東西公開課品牌全新升級為智猩猩。智猩猩定位硬科技講解與服務(wù)平臺，提供公開課、在線研討會、講座、峰會等線上線下產(chǎn)品。
「AI新青年講座」由智猩猩出品，致力于邀請青年學(xué)者，主講他們在生成式AI、LLM、計算機(jī)視覺、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題，也能夠盡快解決。
「AI新青年講座」現(xiàn)已完結(jié)230講；有興趣分享學(xué)術(shù)成果的朋友，可以與智猩猩教研產(chǎn)品團(tuán)隊進(jìn)行郵件（class@zhidx.com）聯(lián)系。
近來，多模態(tài)大語言模型已經(jīng)取得了令人振奮的成果。然而，現(xiàn)有多模態(tài)大語言模型仍主要集中在對輸入端進(jìn)行多模態(tài)理解，而輸出端仍受限于文本內(nèi)容。相較之下，人類在溝通時具備理解和感知各種模態(tài)的能力，并能夠以靈活的方式輸出各類模態(tài)的回復(fù)。因此，構(gòu)建能夠接受和傳遞任何模態(tài)內(nèi)容的系統(tǒng)，是實現(xiàn)類人水平的人工智能中至關(guān)重要的一步。
為了實現(xiàn)這一目標(biāo)，來自新加坡國立大學(xué) NExT++ 實驗室的研究者提出了一種端到端的通用的任意到任意多模態(tài)大語言模型系統(tǒng)，即 NExT-GPT。通過引入一個輕量級對齊網(wǎng)絡(luò)，將一種大語言模型與多模態(tài)適配器和下游擴(kuò)散解碼器連接起來，使 NExT-GPT 能夠感知文本、圖像、視頻和音頻，并靈活地生成任意模態(tài)的輸出。
此外，研究者還提出了基于模態(tài)切換的指令微調(diào)（Modality-switching Instruction-tuning，MosIT），并構(gòu)建了一個基于 MosIT 的高質(zhì)量數(shù)據(jù)集。最終，實現(xiàn)了復(fù)雜的跨模態(tài)語義理解和內(nèi)容生成的能力。
12月14日晚19點，「AI新青年講座」第231講邀請到 NExT-GPT 一作、新加坡國立大學(xué) NExT++ 實驗室在讀博士吳勝瓊參與，主講《NExT-GPT：端到端通用多模態(tài)大語言模型》。
講者
吳勝瓊，新加坡國立大學(xué)在讀博士；導(dǎo)師為 Chua Tat-seng 教授；研究方向為自然語言處理、多模態(tài)學(xué)習(xí)以及大模型；目前在自然語言處理、多模態(tài)學(xué)習(xí)以及機(jī)器學(xué)習(xí)等頂級會議上發(fā)表了多篇 CCF A 類論文，如NeurIPS、ACL、ACM MM、AAAI、IJCAI；其中 “NExT-GPT”獲得了全球 AI 社區(qū)廣泛的關(guān)注和認(rèn)可，所開源的代碼和模型獲得了超過2千星標(biāo)；曾獲得新加坡立大學(xué)校長獎學(xué)金、新加坡立大學(xué)研究成就獎、國家獎學(xué)金（中國）、華為獎學(xué)金、優(yōu)秀碩士畢業(yè)生等。
第231講
主 題
《NExT-GPT：端到端通用多模態(tài)大語言模型》
提 綱
1、多模態(tài)大語言模型的發(fā)展
2、模態(tài)自由的全能型多模態(tài)大語言模型 NExT-GPT
3、基于模態(tài)切換的指令微調(diào)技術(shù)
4、復(fù)雜的跨模態(tài)理解和內(nèi)容生成
直 播 信 息
直播時間：12月14日19:00
直播地點：智東西公開課知識店鋪
成果
論文標(biāo)題：《NExT-GPT: Any-to-Any Multimodal LLM》
論文地址：https://arxiv.org/abs/2309.05519
開源代碼：https://github.com/NExT-GPT/NExT-GPT
