「騰訊優(yōu)圖實驗室專場」將圍繞優(yōu)圖實驗室在弱監(jiān)督目標(biāo)定位、圖文多模態(tài)、TNN、高效模型、3D人臉、人臉隱私訓(xùn)練及開源項目Tface這六個領(lǐng)域的重要研究成果進行講解和交流。
深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo)是為了獲得更高的模型準確率，以及更快的模型推理速度。而為了獲得更輕、更快的網(wǎng)絡(luò)，模型剪枝技術(shù)在近些年來吸引了很多研究人員的關(guān)注。
模型剪枝技術(shù)又包括了結(jié)構(gòu)化剪枝（Filter/Channel pruning）和非結(jié)構(gòu)化剪枝（Weight pruning）兩種方式。結(jié)構(gòu)化剪枝利于工程加速，非結(jié)構(gòu)化剪枝能夠裁剪更多的參數(shù)，兩者之間各有優(yōu)劣勢。
那么是否可以考慮將結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝的優(yōu)勢相結(jié)合呢？答案自然是可以的。騰訊優(yōu)圖便提出了一種介于結(jié)構(gòu)化剪和非結(jié)構(gòu)化剪枝之間的剪枝方法：Stripe-Wise pruning。該方法通過裁剪濾波器的形狀，對模型進行裁剪，并且能夠兼容filter pruning，實現(xiàn)更加精細的裁剪。此外，通過改變卷積的計算方式，Stripe-Wise pruning能夠結(jié)構(gòu)化的實現(xiàn)裁剪后不同形狀的濾波器，便于模型加速。最終的實驗結(jié)果也表明該方法能夠達到結(jié)構(gòu)化剪枝的最優(yōu)效果。
當(dāng)然，除了Stripe-Wise pruning，騰訊優(yōu)圖實驗室在模型剪枝的領(lǐng)域還提出了其他的成果。比如去除模型殘差的直筒型網(wǎng)絡(luò)剪枝方法RM Operation。殘差連接使訓(xùn)練更深的網(wǎng)絡(luò)成為了可能，但其碎片化的操作卻不利于高效并行推理，同時相鄰殘差塊輸入輸出通道的一致性，都限制了剪枝的效果。而RM Operation能夠等價的去除模型的殘差，對去除殘差的ResNet進行剪枝，模型推理速度快于直接對ResNet進行剪枝。
還有與剪枝相反的濾波器嫁接方法Filter grafting。在某些場景下，我們不希望改變模型的結(jié)構(gòu)，只希望提升模型的準確率。但模型訓(xùn)練過程中，總是容易有參數(shù)沒有被有效利用。而Filter grafting與Filter pruning正相反，希望激活模型中的無效濾波器，從而在不改變模型結(jié)構(gòu)的情況下，提升模型的準確率。此外，該方法可以通過濾波器的信息熵來自適應(yīng)的判斷嫁接的比例，能夠在多個數(shù)據(jù)集，多種任務(wù)上提升模型的效果。并且Filter grafting可以即插即用，也可以和蒸餾等其他方法一起使用。
10月13日晚7點，騰訊優(yōu)圖實驗室專場第4講將開講。騰訊優(yōu)圖實驗室研究員繁續(xù)將在這一講中，以《基于模型剪枝的高效模型設(shè)計方法》為主題，對深度神經(jīng)網(wǎng)絡(luò)優(yōu)化中的剪枝技術(shù)進行深入講解。
繁續(xù)目前是騰訊優(yōu)圖實驗室研究員，研究方向為高效模型的訓(xùn)練、剪枝、設(shè)計方法等，研究成果曾以第一作者身份發(fā)表于CVPR、NeurIPS等頂級會議上。
專場介紹
專 場 主 題
《基于模型剪枝的高效模型設(shè)計方法》
專 場 提 綱
1、深度神經(jīng)網(wǎng)絡(luò)優(yōu)化中的剪枝技術(shù)
2、裁剪濾波器形狀的剪枝方法
3、去除模型殘差的直筒型網(wǎng)絡(luò)剪枝方法
4、與剪枝相反的濾波器嫁接方法
講 師 介 紹
繁續(xù)，騰訊優(yōu)圖實驗室研究員，研究方向為高效模型的訓(xùn)練、剪枝、設(shè)計方法等，研究成果曾以第一作者身份發(fā)表于CVPR、NeurIPS等頂級會議上；其中在《Pruning Filter in Filter》NeurIPS2020提出一種細粒度的結(jié)構(gòu)化剪枝方法；在《Filter Grafting for Deep Neural Networks》CVPR2020提出一種與剪枝相反的嫁接操作。
專 場 信 息
直播時間：10月13日19:00
直播地點：智東西公開課直播間
