今年9月起，智東西公開課品牌全新升級為智猩猩。智猩猩定位硬科技講解與服務(wù)平臺，提供公開課、在線研討會、講座、線上閉門會、峰會等線上線下產(chǎn)品。
「線上閉門會」由智猩猩全新升級推出，將邀請行業(yè)、領(lǐng)域?qū)＜覔纬銎啡诉M行策劃，探討人工智能、自動駕駛領(lǐng)域中的最新技術(shù)研究與應(yīng)用。
隨著深度學習技術(shù)的飛速發(fā)展，尤其是最近涌現(xiàn)出的大型基礎(chǔ)模型，人工智能領(lǐng)域正在發(fā)生翻天覆地的變化。這些模型在圖像識別、自然語言處理等各種任務(wù)上取得了顯著的突破，顯示出巨大的潛力。然而，這些大模型往往具有龐大的參數(shù)量、計算量和功耗，這給它們的實際應(yīng)用帶來了一定的挑戰(zhàn)。特別是在資源受限的環(huán)境中，如何實現(xiàn)高效深度學習成為了一個亟待解決的問題。
為了解決這一問題，許多研究者開始關(guān)注大模型的微調(diào)以及邊緣設(shè)備上的應(yīng)用。通過優(yōu)化訓練方法、設(shè)計高效算法以及利用邊緣設(shè)備的資源，研究者們試圖降低大模型的計算成本，提高其在實際應(yīng)用中的性能。
12月5日上午10點，智猩猩AI教研組推出「大模型微調(diào)與推理部署線上閉門會」。本次閉門會由北京航空航天大學人工智能研究院助理教授郭晉陽參與出品。郭晉陽同時也是國家級青年人才、碩士生導師，主要研究方向為輕量深度學習、邊緣智能計算，相關(guān)技術(shù)成果已在港中文-商湯 Open-MM、亞馬遜 DGL、百度飛槳等多個開放平臺中集成驗證，并在商湯科技業(yè)務(wù)場景中上線應(yīng)用。
本次閉門會，Monash University 長聘助理教授莊博涵、麻省理工學院在讀博士朱力耕和商湯科技研究副總監(jiān)龔睿昊參與主講。他們將分別圍繞主題《大模型的高效微調(diào)和部署》、《邊緣設(shè)備上的大模型微調(diào)訓練》和《大語言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計》，從不同的角度探討如何提高大模型的效率和性能，并為實際應(yīng)用場景提供有效的解決方案。
出品人
郭晉陽，北京航空航天大學人工智能研究院助理教授、國家級青年人才、碩士生導師；主要研究方向為輕量深度學習、邊緣智能計算；近年來，主持國家自然科學基金青年基金、科技創(chuàng)新2030重大項目子課題等多個重點課題項目；發(fā)表TIP、CVPR等國際頂級期刊和會議論文20余篇；擔任TPAMI、IJCV等國際頂級期刊審稿人與CVPR、ICCV等國際頂級會議程序委員會委員；榮獲ICCV Doctoral Consortium、無人機視覺檢測挑戰(zhàn)賽全球亞軍等榮譽獎項；作為專家組成員參與國內(nèi)外標準制定2項，在國際會議上組織專題研討會2次；相關(guān)技術(shù)已在港中文-商湯Open-MM、亞馬遜DGL、百度飛槳等多個開放平臺中集成驗證，并在商湯科技業(yè)務(wù)場景中上線應(yīng)用。
主題介紹
Monash University 長聘助理教授莊博涵：大模型的高效微調(diào)和部署
深度學習，尤其是最近涌現(xiàn)的基礎(chǔ)大模型，已經(jīng)徹底顛覆了人工智能領(lǐng)域。這些模型在圖像識別、自然語言處理等各種任務(wù)取得了顯著的突破。然而，大模型存在參數(shù)量大、計算量大、功耗高等挑戰(zhàn)，這些問題限制了它們在資源受限的環(huán)境中的實際應(yīng)用。因此，高效深度學習已經(jīng)成為一個熱門的研究領(lǐng)域。
本次閉門會，莊博涵將介紹近兩年 ZIP Lab 在高效深度學習領(lǐng)域的部分研究成果，涵蓋了從訓練、部署到推理的整個流程，例如參數(shù)高效微調(diào)、可縫合神經(jīng)網(wǎng)絡(luò)、高效注意力機制和大模型壓縮算法等。
莊博涵是 Monash University 長聘助理教授、博士生導師，ZIP Lab 獨立 PI。目前他專注于高效機器學習算法和理論研究，以及它們在視覺和語言領(lǐng)域的應(yīng)用，近年來在計算機視覺和機器學習領(lǐng)域的頂級國際會議（如CVPR、NeurIPS）和期刊（如TPAMI）上發(fā)表了40多篇論文。他還承擔了多個業(yè)界項目，部分研究成果已經(jīng)被業(yè)界廣泛引用，并轉(zhuǎn)化為工業(yè)界實際應(yīng)用工具，還曾擔任多個知名學術(shù)會議的高級委員會成員，包括 ICML、NeurIPS、ICLR、CVPR 和 ICCV 等。
麻省理工學院在讀博士朱力耕：邊緣設(shè)備上的大模型微調(diào)訓練
設(shè)備上的學習和高效微調(diào)可實現(xiàn)持續(xù)且保護隱私的定制（例如，根據(jù)個性化數(shù)據(jù)在本地微調(diào)大型語言模型）。 然而，現(xiàn)有的訓練框架是為具有強大加速器（例如 GPU、TPU）的云服務(wù)器設(shè)計的，缺乏對邊緣學習的優(yōu)化，面臨資源限制和邊緣硬件多樣性的挑戰(zhàn)。
本次閉門會，朱力耕將介紹一個可在各種邊緣設(shè)備上進行微調(diào)的、微型、稀疏且高效的引擎 PockEngine。 PockEngine 支持稀疏反向傳播。它會修剪反向圖并通過測量內(nèi)存節(jié)省和延遲減少來稀疏更新模型，同時保持模型質(zhì)量。
同時，PockEngine也支持多種應(yīng)用程序、前端（PyTorch/TensorFlow/Jax）和硬件后端（CPU/GPU/DSP）。 與現(xiàn)成的 TensorFlow (Raspberry Pi) 相比，PockEngine 實現(xiàn)了高達 15 倍的加速，節(jié)省了 5.6 倍的內(nèi)存反向傳播 (Jetson Orin)。 值得注意的是，PockEngine 能夠以 550 個令牌/秒的速度在 NVIDIA Jetson Orin 上微調(diào) LLaMA2-7B，比 PyTorch 快 7.9 倍。
朱力耕師從韓松教授， 研究方向主要集中在高效深度學習系統(tǒng)和算法之間。他設(shè)計了第一個軟硬協(xié)同的 AutoML 算法并可以擴展到大規(guī)模的數(shù)據(jù)集的算法 ProxylessNAS，迄今已有 1400 引用和 1300 Github stars，并開發(fā)了高效推理系統(tǒng)和深度學習訓練系統(tǒng)，項目已經(jīng)被整合到 PyTorch 和 AutoGluon 等框架中，曾被麻省理工學院新聞和 IEEE Spectrum 等媒體報道。
商湯科技研究副總監(jiān)龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計
大語言模型動輒上千億的參數(shù)量對于各種平臺的高效、低成本部署帶來了更大挑戰(zhàn)。模型量化和高效的推理系統(tǒng)設(shè)計成為提高 LLM 推理效率的關(guān)鍵。
本次閉門會，龔睿昊將分享 Outlier Suppression 大語言模型量化系列方法和基于 LightLLM 的高性能推理部署系統(tǒng) ，全面介紹實現(xiàn)極致性能和吞吐的算法與系統(tǒng)設(shè)計。
龔睿昊是商湯科技研究副總監(jiān)、模型工具鏈團隊負責人，主要負責工業(yè)級模型工具鏈，包括大規(guī)模模型訓練、多平臺部署、模型壓縮和軟硬件協(xié)同技術(shù)體系。通過算法和工具實現(xiàn)規(guī)?；I(yè)落地，支持智慧城市、智能駕駛、AIOT、手機場景等大量業(yè)務(wù)模型的模型生產(chǎn)，團隊支撐了商量等商湯大模型體系的底層技術(shù)搭建，致力于 ML+System 的綜合效率提升。他在 ICLR、NeuIPS、CVPR、ICCV、IJCV 等期刊會議發(fā)表二十余篇論文，多次獲得低功耗計算機視覺比賽 LPCV 冠軍、無人機追逐賽亞軍等獎項。
報名方式
線上閉門會將僅限通過報名審核的用戶參與。對本次線上閉門會感興趣的朋友，可以掃描海報上的二維碼，添加小助手小雙進行報名。已添加過小雙的老朋友，可以直接給小雙私信，發(fā)送“ 閉門會07 ”即可報名。
此次線上閉門會設(shè)有專屬交流群，將邀請出品人和三位主講人入群。通過報名的用戶將可以受邀入群，并可獲得直播地址進行觀看。
