「AI新青年講座」將邀請(qǐng)世界頂尖AI研究機(jī)構(gòu)和大學(xué)的科研新青年，主講他們?cè)谟?jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對(duì)人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識(shí)也能夠得以積累加深。同時(shí)，通過與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題，也能夠盡快解決。

有興趣分享學(xué)術(shù)成果的朋友，可以與智東西公開課教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系。

深度推薦模型已經(jīng)在電商、視頻、游戲等產(chǎn)業(yè)領(lǐng)域有廣泛應(yīng)用。在實(shí)際生產(chǎn)使用中，深度推薦模型的性能需要滿足苛刻的服務(wù)延遲要求，并以此來滿足日益增長的模型服務(wù)請(qǐng)求與服務(wù)質(zhì)量要求。然而，目前已有的模型服務(wù)框架由于以下三點(diǎn)挑戰(zhàn)導(dǎo)致其不能提供足夠高效的推薦模型推理服務(wù)：

1）冗余的數(shù)據(jù)傳輸與計(jì)算；
2）開銷無感知的算子調(diào)度；
3）算子啟動(dòng)的高開銷。

為了應(yīng)對(duì)上述挑戰(zhàn)，阿里DeepRec項(xiàng)目組實(shí)習(xí)生、北京航空航天大學(xué)在讀博士游心等人提出了高性能深度推薦模型服務(wù)框架RecServe，從而支持結(jié)構(gòu)化特征以及會(huì)話組運(yùn)行時(shí)設(shè)計(jì)來避免冗余數(shù)據(jù)傳輸與計(jì)算的同時(shí)，應(yīng)用GPU支持的多流并行方式來加速推薦模型服務(wù)過程。同時(shí)，他們也在會(huì)話組運(yùn)行時(shí)設(shè)計(jì)中增加了開銷感知的算子調(diào)度器，并實(shí)現(xiàn)了基于關(guān)鍵路徑的算子調(diào)度策略來進(jìn)一步加速推薦模型服務(wù)過程。

此外，海量的訓(xùn)練數(shù)據(jù)對(duì)深度推薦模型的訓(xùn)練性能提出了更高的要求。其中，深度推薦模型訓(xùn)練中存在的未知張量形狀、并行執(zhí)行模式導(dǎo)致的不確定的算子執(zhí)行順序等現(xiàn)象，導(dǎo)致其內(nèi)存分配請(qǐng)求的時(shí)機(jī)與大小都具有很強(qiáng)的動(dòng)態(tài)性與不規(guī)則性。然而，目前沒有一個(gè)已有的內(nèi)存分配器可以有效處理深度推薦模型帶來的動(dòng)態(tài)性與不規(guī)則性，并在訓(xùn)練過程中引入不合理的內(nèi)存分配，從而導(dǎo)致高昂的頁錯(cuò)誤處理開銷。

因此，游心博士等人提出了一種圖感知內(nèi)存分配器GAMMA來實(shí)現(xiàn)可動(dòng)態(tài)適配的圖感知內(nèi)存分配策略。相較Tensorflow，GAMMA可以有效提升CPU、GPU上的端到端模型訓(xùn)練性能，并降低CPU、GPU上的峰值內(nèi)存占用。

12月12日晚7點(diǎn)，「AI新青年講座」第181講邀請(qǐng)到游心博士參與，主講《深度推薦模型的推理與訓(xùn)練加速技術(shù)》。

講者
游心，北京航空航天大學(xué)在讀博士；師從楊海龍副教授；當(dāng)前研究方向?yàn)楦咝阅軆?yōu)化、性能分析工具、編譯優(yōu)化；曾獲世界大學(xué)生超算競賽ASC17總決賽銀獎(jiǎng)、ASC18總決賽一等獎(jiǎng)，歐洲大學(xué)生超算競賽ISC17總決賽季軍，獲得第一屆開源科學(xué)軟件創(chuàng)意大賽二等獎(jiǎng)、第二屆開源科學(xué)軟件創(chuàng)意大賽三等獎(jiǎng)；以第一作者發(fā)表CCF A類頂會(huì)論文《ZeroSpy: Exploring Software Inefficiency with Redundant Zeros》（SC20）、《VClinic: A Portable and Efficient Framework for Fine-grained Value Profilers》（ASPLOS23），B類論文2篇，C類論文2篇，EI論文4篇，累計(jì)發(fā)表論文18篇；目前正在阿里DeepRec項(xiàng)目組實(shí)習(xí)。

第181講

主 題
《深度推薦模型的推理與訓(xùn)練加速技術(shù)》

提 綱
1、深度推薦模型在實(shí)際業(yè)務(wù)部署中的挑戰(zhàn)
2、加速推理的多流并行及DeepRec框架
3、海量訓(xùn)練數(shù)據(jù)對(duì)深度推薦模型的要求
4、動(dòng)態(tài)適配的圖感知內(nèi)存分配策略及訓(xùn)練

直 播 信 息
直播時(shí)間：12月12日19:00
直播地點(diǎn)：智東西公開課知識(shí)店鋪

成果
DeepRec項(xiàng)目地址：https://github.com/alibaba/DeepRec