「AI新青年講座」將邀請世界頂尖AI研究機(jī)構(gòu)和大學(xué)的科研新青年，主講他們在計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題，也能夠盡快解決。
「AI新青年講座」目前已完結(jié)108講，錯過往期講座直播的朋友，可以點(diǎn)擊文章底部“閱讀原文”進(jìn)行回看！
有興趣分享學(xué)術(shù)成果的朋友，可以與智東西公開課教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系。
近年來，如BERT等預(yù)訓(xùn)練語言模型在自然語言處理上表現(xiàn)出色，但其龐大的參數(shù)量阻礙了它在真實(shí)世界的硬件設(shè)備上的部署。研究者們提出了許多參數(shù)量化的方案，通過將浮點(diǎn)參數(shù)轉(zhuǎn)換為定點(diǎn)數(shù)表示，能使模型變得緊湊和高效。
其中，二值化作為一種極限壓縮手段，通過將模型的權(quán)重、激活均量化到1比特，在硬件推理時使用逐位運(yùn)算操作，能顯著加快模型部署到真實(shí)硬件時的推理速度。但量化模型尤其是二值化模型，往往面臨嚴(yán)重的表達(dá)能力有限和優(yōu)化困難的問題。
在丁一芙博士等人的研究中發(fā)現(xiàn)，在BERT模型的注意力機(jī)制中，直接對softmax的歸一化注意力權(quán)重進(jìn)行二值化會導(dǎo)致完全的信息喪失。此外，由于注意力權(quán)重是兩個二值化的激活直接相乘而得，處于決策邊緣的值很容易被二值化到相反的一側(cè)，常規(guī)的直接優(yōu)化注意力權(quán)重常常在訓(xùn)練過程中發(fā)生優(yōu)化方向失配問題。
丁一芙等人提出了一個針對BERT模型的全二值化方法——BiBERT，針對上述兩個問題針對性地提出了二值注意力機(jī)制(Bi-Attention)解決前向傳播中二值化后的注意力機(jī)制的信息退化問題，和方向匹配蒸餾(DMD)緩解后向傳播中蒸餾的優(yōu)化方向不匹配問題。BiBERT超過了現(xiàn)有的BERT模型二值化方法，甚至優(yōu)于采用更多比特的量化方案，在模型計(jì)算量和體積上，BiBERT理論上能夠帶來56.3倍和31.2倍的FLOPs和模型尺寸的減少。該工作被 ICLR 2022 接收。
4月14日，「AI新青年講座」第109講邀請到北京航空航天在讀博士丁一芙參與，主講《面向極限壓縮的全二值化BiBERT》。
講座內(nèi)容
主 題
《面向極限壓縮的全二值化BiBERT》
提 綱
1、BERT預(yù)訓(xùn)練語言模型的部署問題
2、BERT模型二值化的局限性
3、針對BERT模型的全二值化方法BiBERT
直 播 信 息
直播時間：4月14日19:00
直播地點(diǎn)：智東西公開課知識店鋪
論文成果
BiBERT:《BiBERT: Accurate Fully Binarized BERT》
鏈接:https://openreview.net/forum?id=5xEgrl_5FAJ
講者
丁一芙，北京航空航天大學(xué)在讀博士，師從劉祥龍教授；此前于北京航空航天大學(xué)獲得學(xué)士學(xué)位；研究興趣為神經(jīng)網(wǎng)絡(luò)量化壓縮加速，主要致力于提高低比特網(wǎng)絡(luò)在壓縮時的精度，改善量化模型在真實(shí)應(yīng)用場景下的資源消耗和計(jì)算延遲問題；在ICLR、CVPR等國際一流會議上發(fā)表學(xué)術(shù)論文6篇。
