「AI新青年講座」將邀請(qǐng)世界頂尖AI研究機(jī)構(gòu)和大學(xué)的科研新青年，主講他們?cè)谟?jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對(duì)人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識(shí)也能夠得以積累加深。同時(shí)，通過(guò)與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過(guò)程中遇到的問(wèn)題，也能夠盡快解決。

有興趣分享學(xué)術(shù)成果的朋友，可以與智東西公開(kāi)課教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系。

現(xiàn)有的計(jì)算機(jī)視覺(jué)系統(tǒng)在設(shè)計(jì)之初普遍未考慮相關(guān)的安全威脅，使得其判斷結(jié)果容易被惡意攻擊者影響，導(dǎo)致AI系統(tǒng)判斷失準(zhǔn)。對(duì)抗樣本的出現(xiàn)導(dǎo)致AI的安全問(wèn)題備受關(guān)注，而對(duì)抗圖塊作為目前最主流的物理對(duì)抗攻擊方式，成為了攻擊和防御聚焦的熱點(diǎn)。形狀和紋理是影響圖像識(shí)別的兩個(gè)重要因素，現(xiàn)階段的對(duì)抗圖塊更多地考慮如何生成更加魯棒的對(duì)抗擾動(dòng)，而忽視了圖塊本身的形狀，即圖塊的形狀是固定的，例如圓形或者正方形。

為了探究形狀對(duì)對(duì)抗圖塊的影響，復(fù)旦大學(xué)在讀博士、騰訊優(yōu)圖實(shí)習(xí)生兆宇等人提出了一種可微計(jì)算的圖塊表示 (DPR)，利用三角形的幾何結(jié)構(gòu)來(lái)判定像素點(diǎn)在形狀輪廓的內(nèi)或外，從而僅依靠梯度便生成可微且可形變的二進(jìn)制掩碼。為了同時(shí)優(yōu)化對(duì)抗圖塊的形狀和紋理，他們還提出了一種可形變對(duì)抗圖塊 (DAPatch)，利用形變來(lái)提高攻擊性能。

實(shí)驗(yàn)證明，一個(gè)具有特定形狀的對(duì)抗圖塊具有更強(qiáng)的攻擊性。在ILSVRC2012和GTSRB上的實(shí)驗(yàn)說(shuō)明了在數(shù)字域上，DAPatch具有目前最先進(jìn)的白盒攻擊性；而物理實(shí)驗(yàn)說(shuō)明，DAPatch可以實(shí)現(xiàn)更強(qiáng)的物理攻擊。本工作也是首次從對(duì)抗樣本的角度來(lái)研究形狀對(duì)神經(jīng)網(wǎng)絡(luò)魯棒性的重要性，這有助于理解和探索現(xiàn)有計(jì)算機(jī)視覺(jué)系統(tǒng)漏洞的本質(zhì)。

在對(duì)抗圖塊防御上，由于經(jīng)驗(yàn)圖塊防御被自適應(yīng)攻擊所攻破，因此研究熱點(diǎn)轉(zhuǎn)向了可信圖塊防御?？尚艌D塊防御能夠基于理論分析，保證模型在任意對(duì)抗圖塊攻擊下的魯棒性。但是現(xiàn)有的可信圖塊防御難以擴(kuò)展到大數(shù)據(jù)集上，而且在大數(shù)據(jù)集上的正常準(zhǔn)確率較低，且和可信準(zhǔn)確率的差距較大，這限制了該類防御的應(yīng)用。目前，ViT在很多視覺(jué)任務(wù)上證明了其具有巨大的潛力，而傳統(tǒng)的Derandomize smoothing(DS)方法能夠支持任意網(wǎng)絡(luò)架構(gòu)。然而直接將DS中的CNN用ViT取代仍會(huì)遇到較低準(zhǔn)確率和較慢推理速度的問(wèn)題。

為了解決較低準(zhǔn)確率的問(wèn)題，兆宇等人提出了一個(gè)漸進(jìn)式平滑圖像建模任務(wù)。通過(guò)逐步重建，基分類器可以在保留全局語(yǔ)義信息的同時(shí)明確地捕獲圖像的局部上下文，從而提高正常和可信準(zhǔn)確率。為了提高推理速度，他們?cè)O(shè)計(jì)了孤立自注意力單元，通過(guò)滑動(dòng)窗口將輸入圖像劃分為不同條帶，分別計(jì)算每個(gè)條帶單元中的自注意力，為多個(gè)條帶的并行計(jì)算提供了可行性。

實(shí)驗(yàn)表明，該方法能在CIFAR-10和ImageNet上高效推理，并獲得了目前最先進(jìn)的正常和可信準(zhǔn)確率。此外，在ImageNet上，2%圖塊攻擊實(shí)現(xiàn)了目前最先進(jìn)的可信準(zhǔn)確率(41.70%)。同時(shí)，其78.58%的正常準(zhǔn)確率超過(guò)了正常訓(xùn)練的ResNet-101(78.18%），從而證明了該方法能夠在保證模型魯棒性的前提下具有較高的精度。

7月18日晚7點(diǎn)，「AI新青年講座」第138講，邀請(qǐng)到復(fù)旦大學(xué)在讀博士、騰訊優(yōu)圖實(shí)習(xí)生兆宇參與，主講《圖像分類上的對(duì)抗圖塊攻擊和防御》。

講者

兆宇，復(fù)旦大學(xué)在讀博士、騰訊優(yōu)圖實(shí)習(xí)生，導(dǎo)師為張文強(qiáng)研究員；主要研究方向是人工智能安全、計(jì)算機(jī)視覺(jué)和對(duì)抗樣本，其研究工作發(fā)表在CVPR、ECCV、AAAI等會(huì)議上，并曾獲CVPR 2021對(duì)抗樣本競(jìng)賽雙賽道前十。

主題

《圖像分類上的對(duì)抗圖塊攻擊和防御》

提綱

1、對(duì)抗樣本與圖像識(shí)別
2、對(duì)抗圖塊攻防現(xiàn)狀
3、針對(duì)圖像形狀的對(duì)抗圖塊設(shè)計(jì)
4、基于ViT的可信圖塊防御方法及實(shí)現(xiàn)

直播時(shí)間：7月18日19:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪

論文成果

標(biāo)題：《Towards Practical Certifiable Patch Defense with Vision Transformer》
鏈接：https://arxiv.org/pdf/2203.08519v1.pdf