今年7月，智東西公開(kāi)課教研團(tuán)隊(duì)全新策劃「大廠講壇」，將邀請(qǐng)國(guó)內(nèi)科技/互聯(lián)網(wǎng)大廠開(kāi)設(shè)專區(qū)，圍繞最新研究成果、核心技術(shù)、業(yè)務(wù)創(chuàng)新，持續(xù)帶來(lái)多場(chǎng)直播講解。
8月份，「大廠講壇」第二個(gè)專區(qū)——商湯專區(qū)，正式上線。
智東西公開(kāi)課特邀商湯科技工具鏈團(tuán)隊(duì)的三位研究員在商湯專區(qū)帶來(lái)三場(chǎng)直播講解，深度講解其如何在模型量化領(lǐng)域從算法創(chuàng)新和工具沉淀兩個(gè)維度助力SenseCore AI大裝置，降低量化模型的生產(chǎn)成本，打造具有極致部署效率和規(guī)?；涞啬芰Φ牧炕Ｐ蜕a(chǎn)體系，并分享該體系中的核心算法原理以及工具使用介紹，希望推動(dòng)整個(gè)領(lǐng)域和社區(qū)的共同發(fā)展。
8月23日晚7點(diǎn)，商湯科技高級(jí)研究員龔睿昊將圍繞《離線量化算法研究》這一主題率先帶來(lái)商湯專區(qū)第一講的直播講解。
在深度學(xué)習(xí)的各個(gè)垂直領(lǐng)域中，模型量化對(duì)高效推理部署是至關(guān)重要的。而作為一個(gè)在各個(gè)已有工具中都會(huì)做的校準(zhǔn)過(guò)程，離線量化是生產(chǎn)量化模型最簡(jiǎn)單高效的方式，也是被主流深度學(xué)習(xí)硬件廠商廣泛支持的方式。然而它也面臨很多挑戰(zhàn)，比如單純的校準(zhǔn)過(guò)程只能得到一個(gè)基線結(jié)果。
而在本次的課程中，龔睿昊老師將會(huì)圍繞該問(wèn)題，首先向大家介紹DFQ（Data Free Quantization）和Adaround等經(jīng)典算法的解決思路。其中DFQ提出了Weight Equalization/Bias Correction等相關(guān)算法，能夠有效地解決離線量化中遇到的精度問(wèn)題，顯著地提升離線量化精度；Adaround算法則在校準(zhǔn)模型張量統(tǒng)計(jì)范圍的基礎(chǔ)上更進(jìn)一步，直接通過(guò)優(yōu)化過(guò)程決定了模型張量中每個(gè)數(shù)值的取整方向，極大地提升了離線量化模型的精度，在學(xué)術(shù)模型中4bit下能夠接近FP32的精度。
最后，他將重點(diǎn)解析商湯所提出的原創(chuàng)算法Brecq。Brecq是在Adaround的基礎(chǔ)上，平衡了全局優(yōu)化的難度和逐層優(yōu)化的效果之間的平衡關(guān)系，基于梯度分析得出塊重建算法，使得離線量化算法有了更進(jìn)一步的提升。
龔睿昊碩士畢業(yè)于北航計(jì)算機(jī)學(xué)院，大三下加入商湯科技實(shí)習(xí)，現(xiàn)為商湯科技高級(jí)研究員。期間他先后從事視頻結(jié)構(gòu)化解析系統(tǒng)開(kāi)發(fā)，模型量化壓縮框架的設(shè)計(jì)開(kāi)發(fā)和相關(guān)算法研究，服務(wù)大量業(yè)務(wù)線模型的壓縮落地。他曾獲得商湯科技未來(lái)之星、騰訊犀牛鳥(niǎo)人才培養(yǎng)計(jì)劃、CCF優(yōu)秀大學(xué)生、北京市三好學(xué)生、國(guó)家獎(jiǎng)學(xué)金等，在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會(huì)議上發(fā)表15篇論文(其中3篇一作，4篇二作)，現(xiàn)階段主要研究和工作方向?yàn)? 深度學(xué)習(xí)模型壓縮和部署編譯，致力于打破硬件彩票假設(shè)，最大化榨取模型和系統(tǒng)的潛力。
本次課程將在智東西公開(kāi)課知識(shí)社區(qū)進(jìn)行，包含主講和問(wèn)答兩個(gè)部分，其中主講環(huán)節(jié)40分鐘，問(wèn)答環(huán)節(jié)20分鐘。每個(gè)環(huán)節(jié)主講老師都將通過(guò)視頻直播進(jìn)行實(shí)時(shí)講解與互動(dòng)。
同時(shí)，我們還組建了相應(yīng)的技術(shù)討論群。加入討論群，除了可以免費(fèi)收看直播進(jìn)行學(xué)習(xí)之外，還能與講師，以及更多研究人員和開(kāi)發(fā)者認(rèn)識(shí)和交流。
直播課介紹
課 程 主 題
《離線量化算法研究》
課 程 提 綱
1、離線量化算法的研究及挑戰(zhàn)
2、DFQ和Adaround等經(jīng)典算法解析
3、基于塊重建的離線量化算法Brecq
講 師 介 紹
龔睿昊，商湯科技高級(jí)研究員；期間他先后從事視頻結(jié)構(gòu)化解析系統(tǒng)開(kāi)發(fā)，模型量化壓縮框架的設(shè)計(jì)開(kāi)發(fā)和相關(guān)算法研究，服務(wù)大量業(yè)務(wù)線模型的壓縮落地；曾獲得商湯科技未來(lái)之星、騰訊犀牛鳥(niǎo)人才培養(yǎng)計(jì)劃、CCF優(yōu)秀大學(xué)生、北京市三好學(xué)生、國(guó)家獎(jiǎng)學(xué)金等；在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會(huì)議上發(fā)表15篇論文(其中3篇一作，4篇二作)；現(xiàn)階段主要研究和工作方向?yàn)? 深度學(xué)習(xí)模型壓縮和部署編譯，致力于打破硬件彩票假設(shè)，最大化榨取模型和系統(tǒng)的潛力。
直 播 信 息
直播時(shí)間：8月23日19:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪
