在自然語(yǔ)言處理與計(jì)算機(jī)視覺(jué)任務(wù)中，AI模型的開(kāi)發(fā)主要分為模型預(yù)訓(xùn)練和模型微調(diào)兩個(gè)階段。預(yù)訓(xùn)練是指預(yù)先訓(xùn)練的一個(gè)模型或者指預(yù)先訓(xùn)練模型的過(guò)程，通常需要大量的數(shù)據(jù)集做訓(xùn)練。然而在實(shí)際情況中，我們很難擁有足夠大的數(shù)據(jù)量，基本也就幾百或者幾千張，不像ImageNet有120萬(wàn)張圖片這樣的規(guī)模。
擁有的數(shù)據(jù)集不夠大，而又想使用很好的模型的話，很容易會(huì)造成過(guò)擬合。因此一般的操作是在一個(gè)大型的數(shù)據(jù)集上訓(xùn)練一個(gè)模型，然后然后使用該模型作為類(lèi)似任務(wù)的初始化或者特征提取器，對(duì)訓(xùn)練參數(shù)進(jìn)行微調(diào)，以便在最小的資源下達(dá)到最好的模型效果。
當(dāng)然，實(shí)際任務(wù)的不同需求，模型的調(diào)參優(yōu)化技巧就顯得極為重要。為此，惠普在智東西公開(kāi)課開(kāi)設(shè)惠普AI工作站專(zhuān)場(chǎng)，由英偉達(dá)特約?，F(xiàn)階段推出兩講，特邀兩位Kaggle Grandmaster分別針對(duì)NLP和CV兩個(gè)領(lǐng)域，以Kaggle競(jìng)賽項(xiàng)目為案例，為大家直播講解不同任務(wù)中的模型調(diào)參優(yōu)化技巧。（偷偷地說(shuō)一下，根據(jù)Kaggle平臺(tái)的數(shù)據(jù)顯示，目前只有198名Kaggle Grandmaster）
BERT模型是Google在2018年提出的一個(gè)面向NLP的無(wú)監(jiān)督預(yù)訓(xùn)練模型，在結(jié)構(gòu)上是Transformer的編碼部分，每個(gè)block主要由多頭self-Attention、標(biāo)準(zhǔn)化(Norm)、殘差連接、Feed Fordawrd組成。BERT模型無(wú)疑是一個(gè)里程碑的模型，它證明了一個(gè)非常深的模型可以顯著提高NLP任務(wù)的準(zhǔn)確率，并且這個(gè)模型的訓(xùn)練可以是從無(wú)標(biāo)記數(shù)據(jù)集中預(yù)訓(xùn)練得到。
同時(shí)由于BERT模型是無(wú)監(jiān)督的，因此在實(shí)際的預(yù)訓(xùn)練過(guò)程中，只需要爬取或者使用開(kāi)源數(shù)據(jù)集即可進(jìn)行預(yù)訓(xùn)練，極大的方便了BERT模型的遷移。而在模型微調(diào)階段，則需要針對(duì)具體的任務(wù)來(lái)進(jìn)行模型微調(diào)，以便達(dá)到較好的效果。
1月15日晚8點(diǎn)，英偉達(dá)特約·惠普AI工作站專(zhuān)場(chǎng)第1講上線，由特邀講師、Kaggle Grandmaster吳遠(yuǎn)皓參與。這一講定名為BERT模型調(diào)優(yōu)公開(kāi)課，主題為《BERT模型的調(diào)參優(yōu)化與Kaggle競(jìng)賽項(xiàng)目解析》。
Kaggle是一個(gè)非常流行的進(jìn)行數(shù)據(jù)發(fā)掘和預(yù)測(cè)競(jìng)賽的在線平臺(tái)，平臺(tái)上有著種類(lèi)豐富的項(xiàng)目，同時(shí)想要在Kaggle競(jìng)賽中取得獎(jiǎng)金乃至取得好名次的難度也非常高。在本次的專(zhuān)場(chǎng)講解中，Kaggle大神吳遠(yuǎn)皓將會(huì)以Kaggle競(jìng)賽中的項(xiàng)目為例，如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等項(xiàng)目，向大家介紹傳統(tǒng)語(yǔ)言模型的局限性，以及目前非常火熱的Transformer模型和BERT模型，同時(shí)重點(diǎn)解析BERT模型在實(shí)際應(yīng)用過(guò)程中的調(diào)參技巧和結(jié)構(gòu)優(yōu)化方案。
吳遠(yuǎn)皓分別于2014年和2017年在北京清華大學(xué)取得學(xué)士和碩士學(xué)位，現(xiàn)在是一名算法工程師，主要關(guān)注自然語(yǔ)言處理領(lǐng)域，具有豐富的算法研發(fā)和落地經(jīng)驗(yàn)。他在2017年底初識(shí)Kaggle，已參加超過(guò)20場(chǎng)Kaggle競(jìng)賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
專(zhuān)場(chǎng)信息
專(zhuān)場(chǎng)主題
《BERT模型的調(diào)參優(yōu)化與Kaggle競(jìng)賽項(xiàng)目解析》
專(zhuān)場(chǎng)提綱
1、傳統(tǒng)語(yǔ)言模型的局限性
2、從Transformer到BERT，大規(guī)模參數(shù)模型的結(jié)構(gòu)解析
3、BERT模型的Pipeline構(gòu)建及應(yīng)用
4、在Kaggle競(jìng)賽項(xiàng)目中的調(diào)參技巧與結(jié)構(gòu)優(yōu)化
特邀講師
吳遠(yuǎn)皓，分別于2014年和2017年在北京清華大學(xué)取得學(xué)士和碩士學(xué)位。目前為算法工程師，主要關(guān)注自然語(yǔ)言處理領(lǐng)域，具有豐富的算法研發(fā)和落地經(jīng)驗(yàn)。在2017年底初識(shí)Kaggle，已參加超過(guò)20場(chǎng)Kaggle競(jìng)賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
直播信息
直播時(shí)間：1月15日20:00
直播地點(diǎn)：智東西公開(kāi)課小程序
專(zhuān)場(chǎng)議程
20:00-20:40：主講環(huán)節(jié)
20:40-20:45：惠普宣講環(huán)節(jié)
20:45-21:00：?jiǎn)柎瓠h(huán)節(jié)
入群方式
為了便于大家學(xué)習(xí)和交流，本次專(zhuān)場(chǎng)講解設(shè)有主講群，并將邀請(qǐng)講師入群。加入主講群，除了可以與講師直接請(qǐng)教和交流，還能提前獲得課件，且能結(jié)識(shí)更多的技術(shù)牛人。
歡迎添加小助手小語(yǔ)（ID：hilele20）進(jìn)行申請(qǐng)，備注“姓名-公司/學(xué)校-職位/專(zhuān)業(yè)”的朋友將優(yōu)先審核通過(guò)。
