今年7月，智東西公開(kāi)課教研團(tuán)隊(duì)全新策劃「大廠講壇」，將邀請(qǐng)國(guó)內(nèi)科技/互聯(lián)網(wǎng)大廠開(kāi)設(shè)專(zhuān)區(qū)，圍繞最新研究成果、核心技術(shù)、業(yè)務(wù)創(chuàng)新，持續(xù)帶來(lái)多場(chǎng)直播講解。騰訊優(yōu)圖實(shí)驗(yàn)室專(zhuān)區(qū)則是此次「大廠講壇」的第一個(gè)系列性講解，目前已經(jīng)確定下來(lái)六講，將圍繞優(yōu)圖實(shí)驗(yàn)室在弱監(jiān)督目標(biāo)定位、圖文多模態(tài)、TNN、高效模型、3D人臉、人臉隱私訓(xùn)練及開(kāi)源項(xiàng)目Tface這六個(gè)領(lǐng)域的重要研究成果進(jìn)行講解和交流。

在騰訊優(yōu)圖實(shí)驗(yàn)室專(zhuān)區(qū)的前兩講中，優(yōu)圖實(shí)驗(yàn)室研究員興甲和志文兩位講師，分別圍繞主題《弱監(jiān)督目標(biāo)定位的研究及應(yīng)用》和《多模態(tài)圖文內(nèi)容的識(shí)別與定位》，為我們講解了優(yōu)圖實(shí)驗(yàn)室在弱監(jiān)督目標(biāo)定位、圖文多模態(tài)領(lǐng)域的最新研究成果及應(yīng)用。錯(cuò)過(guò)直播的朋友可以點(diǎn)擊文章底部“閱讀原文”進(jìn)行回看。

9月15日晚7點(diǎn)，騰訊優(yōu)圖實(shí)驗(yàn)室專(zhuān)區(qū)第3講繼續(xù)開(kāi)講，騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員、TNN項(xiàng)目成員丹迪老師將以《開(kāi)源推理框架TNN模型部署加速與優(yōu)化》為主題，深度剖析TNN中的高性能加速方案。

深度學(xué)習(xí)在圖像分類(lèi)、目標(biāo)檢測(cè)分割、自然語(yǔ)言處理等等廣泛場(chǎng)景中的有效性驗(yàn)證，致使模型計(jì)算量和OP類(lèi)型都在急速增長(zhǎng)，模型落地面臨性能、內(nèi)存等一系列問(wèn)題。而針對(duì)這些問(wèn)題，業(yè)界涌現(xiàn)出了NCNN、TNN、MNN等一系列的開(kāi)源推理框架，嘗試給出各自的解決方案。

在推理加速框架中，高性能計(jì)算相關(guān)技術(shù)發(fā)揮著至關(guān)重要的作用。高性能計(jì)算在推理框架的應(yīng)用主要是通過(guò)在軟件層面上的優(yōu)化，發(fā)揮出底層硬件的性能。近年來(lái)，底層制造工藝難以按照摩爾定律取得進(jìn)展，硬件性能提升更多的是通過(guò)多核、SIMD，VILW等技術(shù)獲得，因此業(yè)界也出現(xiàn)了許多專(zhuān)注AI計(jì)算的領(lǐng)域?qū)Ｓ眉軜?gòu)(DSA)。

上層應(yīng)用想要發(fā)揮硬件性能，越來(lái)越需要軟件的優(yōu)化。當(dāng)前的推理框架中，通常使用的是手工匯編優(yōu)化的方式。此方式需要針對(duì)每個(gè)硬件平臺(tái)、每個(gè)OP進(jìn)行單獨(dú)優(yōu)化，工作量較大，并且當(dāng)模型中存在不支持OP時(shí)，推理框架必須要更新代碼，實(shí)現(xiàn)對(duì)應(yīng)OP才能運(yùn)行。而騰訊所推出的TNN推理框架實(shí)現(xiàn)了多個(gè)層面的自動(dòng)化方法，可以有效的優(yōu)化研發(fā)效率。

在TNN中，其通過(guò)JIT（即時(shí)編譯）技術(shù)，避免完全手寫(xiě)匯編，可通過(guò)一定的抽象實(shí)現(xiàn)不同平臺(tái)的ABI通用以及tiling尺寸搜索；其次，TNN打通TVM Relay IR，并在TVM基礎(chǔ)上進(jìn)行了format和scheduler的優(yōu)化，以進(jìn)行自動(dòng)調(diào)優(yōu)；再次，TNN針對(duì)Pytorch模型提出了TNN-Torch加速方案，可在存在不支持算子的情況下進(jìn)行子圖加速。這些方法都大大提升了模型部署的工作效率。而在本次的課程中，丹迪老師將會(huì)圍繞以上內(nèi)容對(duì)TNN進(jìn)行深入的講解，敬請(qǐng)大家期待！

丹迪是騰訊優(yōu)圖實(shí)驗(yàn)室的高級(jí)研究員，高性能計(jì)算碩士畢業(yè)生，也是TNN項(xiàng)目成員，目前主要負(fù)責(zé)TNN前沿技術(shù)(包括編譯優(yōu)化、原生框架支持等)的探索和應(yīng)用。他也負(fù)責(zé)過(guò)NVIDIA GPU、 X86 等多個(gè)平臺(tái)的推理框架加速工作，在底層Kernel優(yōu)化，量化模型落地等方面有豐富經(jīng)驗(yàn)。

直播課介紹

課 程 主 題

《開(kāi)源推理框架TNN模型部署加速與優(yōu)化》

課 程 提 綱

1、推理框架的現(xiàn)狀及高性能加速
2、TNN框架中的自動(dòng)調(diào)優(yōu)方法
3、針對(duì)PyTorch的模型部署加速方案TNN-Torch
4、基于TNN的部署案例解析

講 師 介 紹

丹迪，騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員，高性能計(jì)算碩士，TNN項(xiàng)目成員；負(fù)責(zé)過(guò)NVIDIA GPU、 X86 等多個(gè)平臺(tái)的推理框架加速工作，在底層Kernel優(yōu)化，量化模型落地等方面有豐富經(jīng)驗(yàn)；近期主要負(fù)責(zé)TNN前沿技術(shù)(包括編譯優(yōu)化、原生框架支持等)的探索和應(yīng)用。

直 播 信 息

直播時(shí)間：9月15日19:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪