「CV前沿講座」，是智東西公開(kāi)課針對(duì)計(jì)算機(jī)視覺(jué)推出的一檔講座，聚焦于計(jì)算機(jī)視覺(jué)前沿領(lǐng)域研究成果與進(jìn)展。我們將持續(xù)邀請(qǐng)研究者、專(zhuān)家與資深開(kāi)發(fā)者，為大家?guī)?lái)直播講解。畫(huà)家創(chuàng)作時(shí)通常會(huì)參考其他人的作品?:?如果其他作品中有某些細(xì)節(jié)很適合于手頭上的作品，也許會(huì)直接“復(fù)制”到自己的作品上。但是，與完全的“復(fù)制”有所不同，通常畫(huà)家會(huì)改變?cè)髌返娘L(fēng)格，使其與自己的創(chuàng)作風(fēng)格一致，這就帶來(lái)了大量藝術(shù)品的鑒別問(wèn)題。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，近幾年國(guó)內(nèi)外學(xué)者開(kāi)始探索運(yùn)用AI輔助藝術(shù)品的鑒別。當(dāng)計(jì)算機(jī)視覺(jué)邂逅藝術(shù)，又會(huì)摩擦出怎樣的火花呢？AI又將如何輔助名畫(huà)鑒別呢？

藝術(shù)史學(xué)家們常常費(fèi)勁心力在一個(gè)大型畫(huà)作數(shù)據(jù)集中試圖找到作品之間的重復(fù)的細(xì)節(jié)從而建立作品之間的聯(lián)系。這個(gè)任務(wù)在計(jì)算機(jī)視覺(jué)里可以歸類(lèi)成Object Discovery。 Object Discovery 是一個(gè)在無(wú)標(biāo)注的數(shù)據(jù)集中，找到相似物體的任務(wù)。在CVPR 2019會(huì)議中，來(lái)自巴黎高科路橋大學(xué)的在讀博士沈西分享了在這一課題上的研究進(jìn)展。沈博所在團(tuán)隊(duì)提出一種基于空間一致性 (spaitial consistency)的方法，對(duì)ImageNet特征進(jìn)行微調(diào)(fine-tuning)，使得ImageNet特征可以匹配不同風(fēng)格的圖片。使用微調(diào)后的特征，通過(guò)在大規(guī)模跨風(fēng)格的經(jīng)典畫(huà)作數(shù)據(jù)集Brueghel上運(yùn)行一個(gè)簡(jiǎn)單的Object Discovery算法，便可以找到跨時(shí)代的不同畫(huà)家之間作品的聯(lián)系。

此外，這種空間一致性的思想稍加改變后，就能應(yīng)用在歷史水印識(shí)別上。歷史水印識(shí)別是檔案工作者和歷史學(xué)家面臨的一個(gè)高度實(shí)用但尚未解決的任務(wù)。歷史水印具有極少標(biāo)注 (約6K)、 ?圖片噪聲過(guò)大、識(shí)別類(lèi)別過(guò)多(16K) 和不同類(lèi)別之間細(xì)微的差異等難點(diǎn)。面對(duì)這一難點(diǎn)，沈博所在團(tuán)隊(duì)選擇運(yùn)用極少的標(biāo)注微調(diào)局部特征 (local feature instead of global pooled feature)。微調(diào)后的局部特征，可以實(shí)現(xiàn)跨域識(shí)別(cross-domain recognition) ,?在超過(guò)16K細(xì)粒度分類(lèi)的數(shù)據(jù)集中。相比于傳統(tǒng)強(qiáng)基線(xiàn)方法，準(zhǔn)確率得到了顯著提升。

在ECCV 2020會(huì)議中， 為解決圖像之間的對(duì)齊問(wèn)題，沈博所在團(tuán)隊(duì)新提出了一種無(wú)監(jiān)督學(xué)習(xí)的二階圖像對(duì)齊方法。該方法包括兩階段：首先，使用預(yù)訓(xùn)練的分類(lèi)特征進(jìn)行匹配，并利用Random Sample Consensus(RANSAC)算法，過(guò)濾掉噪音匹配并得到粗略對(duì)齊(Homography); 然后通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)光流，并優(yōu)化粗略對(duì)齊圖像之間的標(biāo)準(zhǔn)結(jié)構(gòu)相似度度量(SSIM)，整個(gè)過(guò)程無(wú)需人為的監(jiān)督信息。實(shí)驗(yàn)上證，該方法在很多任務(wù)上都有不錯(cuò)的效果，如3D重建、多張圖片對(duì)齊、無(wú)監(jiān)督光流等。

9月22日晚8點(diǎn)，智東西公開(kāi)課邀請(qǐng)到巴黎高科路橋大學(xué)在讀博士沈西參與到「CV前沿講座」第18講，帶來(lái)主題為《計(jì)算機(jī)視覺(jué)邂逅藝術(shù)?–?名畫(huà)鑒別中的圖像識(shí)別》的直播講解。沈博將從數(shù)據(jù)集中的object discovery出發(fā)，介紹一種簡(jiǎn)單的特征自適應(yīng)的方法；然后在該方法的基礎(chǔ)上調(diào)整局部特征進(jìn)行古文檔水印的識(shí)別；最后詳解新提出的一種無(wú)監(jiān)督學(xué)習(xí)的光流算法，可精細(xì)對(duì)準(zhǔn)具有較大差別光照和視角的圖片。感興趣的朋友一定不要錯(cuò)過(guò)！

沈西是巴黎高科路橋大學(xué)在讀博士，是Imagine實(shí)驗(yàn)室成員，導(dǎo)師為Mathieu Aubry教授。他的主要研究方向?yàn)闊o(wú)監(jiān)督以及弱監(jiān)督學(xué)習(xí)，應(yīng)用包括度量學(xué)習(xí)，三維重建以及光流等。沈博曾在CVPR，ECCV，ICLR等頂級(jí)學(xué)術(shù)會(huì)議上發(fā)表多篇論文。

課程內(nèi)容
課程主題
《計(jì)算機(jī)視覺(jué)邂逅藝術(shù)?–?名畫(huà)鑒別中的圖像識(shí)別》

課程提綱
1、藝術(shù)畫(huà)作數(shù)據(jù)集中的臨摹和借鑒問(wèn)題
2、ArtMiner：基于自監(jiān)督學(xué)習(xí)的自適應(yīng)特征模式識(shí)別方法
3、通用圖像對(duì)齊：一種無(wú)監(jiān)督學(xué)習(xí)的二階圖像對(duì)齊方法
4、AI鑒別名畫(huà)項(xiàng)目實(shí)踐

講師介紹
沈西，巴黎高科路橋大學(xué)在讀博士，Imagine 實(shí)驗(yàn)室，導(dǎo)師是Mathieu Aubry；主要研究方向?yàn)闊o(wú)監(jiān)督以及弱監(jiān)督學(xué)習(xí)，應(yīng)用包括度量學(xué)習(xí)，三維重建以及光流等；曾在CVPR，ECCV，ICLR等頂級(jí)學(xué)術(shù)會(huì)議上發(fā)表多篇論文。

直播信息
直播時(shí)間：9月22日20:00
直播地點(diǎn)：智東西公開(kāi)課小程序
答疑地址：「圖像檢測(cè)與識(shí)別討論群」

加入討論群
本次課程的講解分為主講和答疑兩部分，主講以視頻直播形式，答疑將在「圖像檢測(cè)與識(shí)別討論群」進(jìn)行。
加入討論群，除了可以免費(fèi)收看直播之外，還能認(rèn)識(shí)講師，與更多同行和同學(xué)一起學(xué)習(xí)，并進(jìn)行深度討論。
添加小助手糖糖（ID：hitang20）即可申請(qǐng)，備注“姓名-公司/學(xué)校/單位-職位/專(zhuān)業(yè)”的朋友將會(huì)優(yōu)先審核通過(guò)哦~