智東西(公眾號(hào):zhidxcom)
文 | 心緣
智東西7月12日消息，第35屆機(jī)器學(xué)習(xí)國(guó)際大會(huì)ICML 2018在7月10日至15日期間登陸瑞典斯特哥爾摩。ICML官網(wǎng)上提前公布了最佳論文名單，來(lái)自MIT和UC Berkeley的研究人員摘得最佳論文的桂冠。復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授黃增峰獨(dú)立署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》和來(lái)自DeepMind、斯坦福大學(xué)的兩篇論文共同位居最佳論文亞軍行列。
▲ICML 2018舉辦場(chǎng)地
ICML源于1980年卡內(nèi)基?梅隆大學(xué)舉辦的機(jī)器學(xué)習(xí)研討會(huì)，如今它已成為代表學(xué)術(shù)界機(jī)器學(xué)習(xí)最高水準(zhǔn)的國(guó)際頂級(jí)會(huì)議。今年ICML 2018共入圍621篇論文，我國(guó)騰訊、清華、北大等研究機(jī)構(gòu)也在論文入選排行榜上占據(jù)一席之地。
▲ICML 2018官網(wǎng)公布最佳論文和最佳論文亞軍名單
一、最佳論文（Best Paper Awards）
1、《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples 》
作者：來(lái)自麻省理工大學(xué)（MIT） 的 Anish Athalye ，來(lái)自加州伯克利大學(xué)（UC Berkeley）的 Nicholas Carlini 和 David Wagner。
簡(jiǎn)介：如果在一張圖片添加干擾，可能就能騙過(guò)分類器。為了抵御對(duì)抗樣本的攻擊，使得神經(jīng)網(wǎng)絡(luò)在受到迭代攻擊時(shí)不受對(duì)抗樣本干擾，研究人員在尋找強(qiáng)大的對(duì)抗樣本防御器，使其在面對(duì)基于優(yōu)化的攻擊之下，可以實(shí)現(xiàn)對(duì)對(duì)抗樣本的魯棒性防御。
摘要：我們確定一種混淆梯度（Obfuscated gradients）現(xiàn)象，它會(huì)給對(duì)抗樣本的防御帶來(lái)虛假安全感。盡管引發(fā)混淆梯度的防御似乎能抵御基于迭代優(yōu)化的攻擊，但我們發(fā)現(xiàn)依賴于此效果的防御方法可能會(huì)被繞過(guò)。我們將描述和展示我們所發(fā)現(xiàn)的三種類型混淆梯度效果的防御特征，并針對(duì)每一種混淆梯度開發(fā)了可以克服問(wèn)題的攻擊技術(shù)。在案例研究中，通過(guò)在ICLR 2018上檢驗(yàn)未經(jīng)證明的白盒安全防御，我們發(fā)現(xiàn)混淆梯度是一種常見現(xiàn)象，9種防御方法中有7個(gè)都依賴于混淆梯度。在每篇論文所考慮的原始威脅模型中，我們的新攻擊成功完全攻克6種防御，部分攻克1種防御。
論文下載：http://proceedings.mlr.press/v80/athalye18a/athalye18a.pdf
補(bǔ)充材料：http://proceedings.mlr.press/v80/athalye18a/athalye18a-supp.pdf
2、《Delayed Impact of Fair Machine Learning》
作者：來(lái)自加州伯克利大學(xué)電子工程與計(jì)算機(jī)科學(xué)部的 Lydia T. Liu、Sarah Dean、Esther Rolf、Max Simchowitz 和 Moritz Hardt。
簡(jiǎn)介：機(jī)器學(xué)習(xí)模型常受數(shù)據(jù)影響而存在偏見問(wèn)題，本文以借貸問(wèn)題為背景，探索靜態(tài)公平性準(zhǔn)則等長(zhǎng)期影響，分析和探討如何使機(jī)器學(xué)習(xí)算法更加公正的對(duì)待各個(gè)群體，保護(hù)弱勢(shì)群體并獲得長(zhǎng)期收益。
摘要：研究者們主要在靜態(tài)分類的場(chǎng)景下研究機(jī)器學(xué)習(xí)的公平性準(zhǔn)則，但沒(méi)有關(guān)心這些決策隨著時(shí)間推移會(huì)如何改變潛在群體。傳統(tǒng)觀點(diǎn)認(rèn)為，公平性準(zhǔn)則可以更好保護(hù)受不公平群體的長(zhǎng)期利益。我們研究靜態(tài)公平性準(zhǔn)則如何與利益指標(biāo)之間相互作用，例如利益變量的長(zhǎng)期增長(zhǎng)、停滯和下降。我們證實(shí)了即使在一階反饋模型中，常規(guī)的公平性準(zhǔn)則通常也不會(huì)促進(jìn)隨著時(shí)間的推移而有所改善，并且對(duì)于那些在無(wú)約束的目標(biāo)不會(huì)導(dǎo)致?lián)p害的情況，公平性限制反倒可能會(huì)造成傷害。我們完整描述了三個(gè)標(biāo)準(zhǔn)的公平性準(zhǔn)則的延遲影響，對(duì)比了這些準(zhǔn)則行為表現(xiàn)出可量化的不同行為。此外，我們還發(fā)現(xiàn)自然形式的測(cè)量誤差放寬了有利于公平性準(zhǔn)則發(fā)揮作用的制度。我們的結(jié)果顯著體現(xiàn)了評(píng)估公平性準(zhǔn)則的測(cè)量和時(shí)間建模的重要性，也提出了一系列新挑戰(zhàn)和權(quán)衡取舍問(wèn)題。
論文下載：http://proceedings.mlr.press/v80/liu18c/liu18c.pdf
補(bǔ)充材料：http://proceedings.mlr.press/v80/liu18c/liu18c-supp.pdf
二、最佳論文亞軍（Best Paper Runner Up Awards）
1、《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》
作者：來(lái)自復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院的副教授黃增峰。
▲復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授黃增峰
簡(jiǎn)介：該論文討論的在線流（online streaming）算法可在只有協(xié)方差誤差非常小的情況下，從大型矩陣抽取出最能近似它的小矩陣。
摘要：給定一個(gè)n×d維的大型矩陣A，我們考慮計(jì)算一個(gè)?×d維的概要矩陣（sketch matrix）B，它的維度明顯小于但仍然很接近矩陣A。我們對(duì)最小化協(xié)方差誤差感興趣?？紤]到流模型中的問(wèn)題，其算法只能在有限的工作空間中輸入通過(guò)一次。而流行的Frequent Directions算法（Liberty，2013）和它的變體實(shí)現(xiàn)了最優(yōu)空間和誤差權(quán)衡。然而，是否可以改善運(yùn)行時(shí)間仍然是一個(gè)懸而未決的問(wèn)題。在本文中，我們幾乎解決了這個(gè)問(wèn)題的時(shí)間復(fù)雜度。尤其是，我們提供了新的空間優(yōu)化算法，運(yùn)行時(shí)間更短。此外，除非可以顯著提高矩陣乘法的最新運(yùn)行時(shí)間，否則我們算法的運(yùn)行時(shí)間是近似最優(yōu)的。
論文下載：http://proceedings.mlr.press/v80/huang18a/huang18a.pdf
補(bǔ)充材料：http://proceedings.mlr.press/v80/huang18a/huang18a-supp.pdf
2、《The Mechanics of n-Player Differentiable Games》
作者：來(lái)自DeepMind的David Balduzzi、Sebastien Racaniere、James Martens、Karl Tuyls、Thore Graepel和和牛津大學(xué)的研究者 Jakob Foerster。
簡(jiǎn)介：深度學(xué)習(xí)在訓(xùn)練過(guò)程保證梯度下降收斂于局部最小值，但當(dāng)產(chǎn)生對(duì)抗式網(wǎng)絡(luò)時(shí)，收斂于一個(gè)極值會(huì)造成損失。對(duì)此，本文研究新技術(shù)用于理解和控制可微分多萬(wàn)家博弈中的動(dòng)態(tài)機(jī)制。
摘要：支撐深度學(xué)習(xí)的基石是保證目標(biāo)函數(shù)能利益梯度下降收斂于局部最小值。不幸的是，這種保證在某些情況下會(huì)失效，比如生成對(duì)抗性網(wǎng)絡(luò)（GAN）中會(huì)存在多個(gè)交互損失?；谔荻鹊姆椒ㄐ袨樵诓┺闹袥](méi)有得到很好的理解， 隨著對(duì)抗性和多目標(biāo)架構(gòu)的激增，這方面的研究變得越來(lái)越重要。在本文中，我們開發(fā)了新技術(shù)來(lái)理解和控制一般博弈中的動(dòng)態(tài)表現(xiàn)。其中關(guān)鍵成果是將二階動(dòng)態(tài)分解為兩個(gè)項(xiàng)。第一項(xiàng)與潛博弈（potential game）有關(guān)，可以根據(jù)隱式函數(shù)簡(jiǎn)化梯度的下降而減??；第二部分涉及到哈密爾頓博弈，這是一種遵循守恒定律的新博弈，類似于經(jīng)典力學(xué)的守恒定律。其分解手段啟發(fā)了辛梯度調(diào)節(jié)（SGA）算法，這是一種在一般博弈中尋找穩(wěn)定固定點(diǎn)的新算法。基礎(chǔ)性實(shí)驗(yàn)表明，SGA與最近提出的用于尋找GAN局部納什均衡的算法不分伯仲，同時(shí)適用于一般博弈并保證收斂性。
論文下載：http://proceedings.mlr.press/v80/balduzzi18a/balduzzi18a.pdf
補(bǔ)充材料：http://proceedings.mlr.press/v80/balduzzi18a/balduzzi18a-supp.pdf
3、《Fairness Without Demographics in Repeated Loss Minimization》
作者：來(lái)自斯坦福的Tatsunori Hashimoto、Megha Srivastava、Hongseok Namkoong、Percy Liang。
簡(jiǎn)介：通常機(jī)器學(xué)習(xí)系統(tǒng)只考慮最大化整體的準(zhǔn)確率，導(dǎo)致模型無(wú)法識(shí)別少數(shù)群體，這會(huì)造成少數(shù)群體在整體數(shù)據(jù)中的流失。該論文研究的是在不知道用戶分布的情況下，如何保證重復(fù)損失最小化的算法公平性。
摘要：訓(xùn)練平均損失方面的機(jī)器學(xué)習(xí)模型（例如，語(yǔ)音識(shí)別器）遭受著表征差異問(wèn)題，少數(shù)群體（例如非母語(yǔ)人士）在訓(xùn)練目標(biāo)中承載較少的權(quán)重，并因此往往受到更高的損失。更糟糕的是，隨著模型準(zhǔn)確性對(duì)用戶保留的影響，少數(shù)群體的數(shù)量會(huì)隨著時(shí)間的推移而減少。在本文中，我們首先展示經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（ERM）的方法加重了表征差異問(wèn)題，甚至可能使最初公平的模型也變得不公平。為了緩解這種情況，我們開發(fā)了一種基于分布式魯棒優(yōu)化（DRO）的方法，該方法可以最大限度地降低所有分布的最壞風(fēng)險(xiǎn)，使其接近經(jīng)驗(yàn)分布。我們證明了這種方法符合羅爾斯分配正義，可控制每個(gè)時(shí)間步驟的少數(shù)群體風(fēng)險(xiǎn)，同時(shí)該方法仍然沒(méi)有認(rèn)清群體標(biāo)識(shí)。我們證明DRO可以組織樣本表征差異的擴(kuò)大，這是ERM做不到的，我們還展示了該方法在現(xiàn)實(shí)世界文本自動(dòng)完成任務(wù)上對(duì)少數(shù)群體用戶滿意度的提高。
論文下載：http://proceedings.mlr.press/v80/hashimoto18a/hashimoto18a.pdf
補(bǔ)充材料：http://proceedings.mlr.press/v80/hashimoto18a/hashimoto18a-supp.zip
三、國(guó)內(nèi)外研究機(jī)構(gòu)參與論文入選情況
與其他人工智能相關(guān)會(huì)議情況相似，今年的投稿數(shù)再創(chuàng)新高，達(dá)到2473篇，比去年ICML投稿數(shù)足足多了797篇。今年5月23日，ICML公布入選的論文榜單，有621篇論文突破重圍，幾乎比去年的434篇入圍數(shù)量超了接近一半。根據(jù)對(duì)所有論文關(guān)鍵詞做出的詞云，神經(jīng)網(wǎng)絡(luò)架構(gòu)、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)、優(yōu)化、監(jiān)督學(xué)習(xí)、在線學(xué)習(xí)、生成模型、統(tǒng)計(jì)學(xué)習(xí)理論等詞匯在投稿和入選論文中出現(xiàn)的頻率都遙遙領(lǐng)先。
▲ICML 2018現(xiàn)場(chǎng)PPT
下圖為621篇論文中位居前25名的一作論文所屬機(jī)構(gòu)。單看第一作者，谷歌以49篇穩(wěn)居冠軍寶座，UC伯克利大學(xué)、麻省理工大學(xué)（MIT）、斯坦福大學(xué)分別以22、21、20篇緊隨其后。根據(jù)圖中列出的25個(gè)機(jī)構(gòu)，有23個(gè)都是學(xué)術(shù)機(jī)構(gòu)，僅有谷歌和微軟研究院屬于企業(yè)研究機(jī)構(gòu)。我國(guó)只有清華擠入一作論文排行榜單。
▲ICML 2018各機(jī)構(gòu)一作論文入選情況
下圖為國(guó)內(nèi)學(xué)術(shù)機(jī)構(gòu)和企業(yè)機(jī)構(gòu)參與ICML 2018入圍論文的總篇數(shù)。
▲ICML 2018國(guó)內(nèi)機(jī)構(gòu)論文總篇數(shù)（包含非一作）入選情況
從圖中可以看出，國(guó)內(nèi)學(xué)術(shù)機(jī)構(gòu)以清華和北大獨(dú)領(lǐng)風(fēng)騷，復(fù)旦、中科大、香港科技大、浙大位居第二梯隊(duì)。而企業(yè)機(jī)構(gòu)以騰訊AI研究院表現(xiàn)最為卓越，不僅有6篇一作入圍，在全球企業(yè)中僅此于谷歌和微軟，參與的論文總數(shù)更是高達(dá)14篇，超過(guò)了清華和北大。另外，阿里巴巴的螞蟻金服有4篇入選，百度研究院有2篇入選，第四范式有1篇入選。
從整體來(lái)看，無(wú)論是國(guó)際上還是國(guó)內(nèi)，學(xué)術(shù)機(jī)構(gòu)的貢獻(xiàn)占ICML論文數(shù)量的大頭。不過(guò)，位居前列的企業(yè)機(jī)構(gòu)，如谷歌、微軟以及我國(guó)的騰訊和阿里，在參與論文總數(shù)上的成績(jī)均超過(guò)多數(shù)高校研究機(jī)構(gòu)。
