智東西（公眾號：zhidxcom）
編 | 子佩
智東西11月4日消息，隨著越來越多關(guān)于人臉識別和圖像分類中“種族歧視”的討論，科學家們也開始研究如何量化評估圖像模型和數(shù)據(jù)集中的“偏見”。
ImageNet圖像數(shù)據(jù)集通常被圖像分類AI模型用作訓練集，它包含大量從互聯(lián)網(wǎng)中抓取的照片，這也意味著如果模型是基于該數(shù)據(jù)集訓練，那有極大可能會自動“繼承”其在種族、性別、體重等方面的偏見。
卡內(nèi)基梅隆大學和喬治華盛頓大學的科學家們近期開發(fā)出了一種新穎的方法，用于量化如種族和性別等社會偏見與圖像之間的關(guān)聯(lián)，并在研究過程中發(fā)現(xiàn)圖像模型確實在網(wǎng)絡(luò)圖片中自動學會“刻板印象”。
論文鏈接：https://arxiv.org/pdf/2010.15052.pdf
一、加入詞嵌入技術(shù)，設(shè)計基準測試iEAT
很多公司和研究人員會定期通過互聯(lián)網(wǎng)中的圖像數(shù)據(jù)集訓練機器學習模型。為了降低成本，許多公司采用了遷移學習的方法，也就是先通過大型語料庫訓練最新模型，再將訓練過的模型轉(zhuǎn)移到其他應(yīng)用場景，實現(xiàn)其他目標。
計算機視覺領(lǐng)域無監(jiān)督訓練越來越普遍，這意味著它們在訓練過程中不會使用任何標簽。只需參數(shù)微調(diào)，研究人員在無監(jiān)督學習產(chǎn)生的類別中挑選出所需的類別，以完成人臉識別、求職者篩選、自動駕駛和在線廣告投放等工作。
為了量化不同模型產(chǎn)生的“偏見”，研究人員基于詞嵌入技術(shù)設(shè)計了基準測試——圖像嵌入關(guān)聯(lián)測試（Image Embedding Association Test，簡稱iEAT）。即對圖像分類模型生成的文本標簽，進行一次詞嵌入處理，將文本中的詞轉(zhuǎn)化為數(shù)字向量，通過比較不同模型生成的向量結(jié)果來評估模型偏差。
二、基準測試實戰(zhàn)：iGPT、SimCLRv2兩模型battle
為了搞清楚在無監(jiān)督預(yù)訓練階段，圖像標簽會產(chǎn)生哪些類型的偏差，研究人員對去年夏天發(fā)布的兩個計算機視覺模型進行了測試：OpenAI的iGPT和Google的SimCLRv2。
兩者不僅預(yù)訓練數(shù)據(jù)集是相同的，都采用包含來自Flickr和其他200個照片分享網(wǎng)站120萬張已標記圖像的ImageNet 2012，而且生成標簽的方式也相同，均基于圖像特征訓練集中的隱性模式。
為了比較兩個模型中的偏見，研究人員從Google、CIFAR-100數(shù)據(jù)集等數(shù)據(jù)源中找出針對“年齡”、“性別”、“宗教信仰”、“性生活”、“體重”、“殘疾”和“種族”等極具爭議話題的相關(guān)圖片。
研究人員表示在iGPT和SimCLRv2中都含有“顯著”偏差，這可能由于ImageNet中數(shù)據(jù)的缺失。先前的研究曾表明，ImageNet在種族和性別方面并不“公平”，例如，在“新郎”的類別里，白人圖片占大多數(shù)。
iGPT和SimCLRv2都在情感傾向和社會印象中都表現(xiàn)出種族偏見。
例如，當研究人員使用阿拉伯穆斯林的相關(guān)圖片進行iEAT基準測試，就會發(fā)現(xiàn)兩個模型都更傾向于將“阿拉伯穆斯林”定性為“令人不愉快”。
兩個模型都將“白人”與“工具”、“黑人”與“武器”標記為相關(guān)，就像Google的計算機視覺服務(wù)Google Cloud Vision，曾把持有溫度計的黑人男子標記為“槍”一樣。
除種族偏見外，研究人員也報告說，在預(yù)訓練的iGPT和SimCLRv2模型中性別和體重偏見也是很嚴重的問題。
當使用iEAT測試性別和職業(yè)的相關(guān)性時，“男性”更傾向于跟“企業(yè)”、“辦公室”相掛鉤，“女性”與“孩子”和“家庭”等標簽接近度更大。
基準測試也顯示iGPT會將各學科與性別相關(guān)聯(lián)，例如，“男性”更傾向于“數(shù)學、工科等科學”，而“女性”更傾向于“自由、藝術(shù)”。
無論所有性別和種族，iGPT在基準測試中都表示，瘦弱的人“令人愉悅”，而超重的人“讓人不適”。
研究人員還報告說，iGPT的圖像預(yù)測功能更偏向于將輸入圖片定義為女性。
在測試中，研究人員向iGPT模型輸入的男女頭像，以生成全身圖像。?
無論原圖中的男女是穿著常規(guī)的常務(wù)套裝還是休閑運動服，iGPT都更傾向于為不同的頭像“接上”豐滿胸部或者泳衣。
三、解決刻板印象，需要更多突破
不幸的是，這些結(jié)果都并不令人驚訝，已經(jīng)有數(shù)不清的研究表明人臉識別中“偏見”盛行。
科羅拉多大學博爾德分校的研究人員去年秋天發(fā)表的一篇論文表明，來自亞馬遜、克拉里菲、微軟和其他公司的AI識別男女的準確率超95％，但將跨性別男性誤認為女性的幾率高達38％。?
Gender Shades項目和美國國家標準與技術(shù)研究院（NIST）對主要供應(yīng)商系統(tǒng)進行的獨立基準測試也表明，人臉識別普遍表現(xiàn)出種族和性別偏見。
但是，也有很多研究機構(gòu)正努力使ImageNet等數(shù)據(jù)集更具包容性。去年，ImageNet開發(fā)者斯坦福大學、普林斯頓大學和北卡羅萊納大學團隊就使用眾包來識別和清除因為“偏見”而產(chǎn)生的負面標簽。
為了消除數(shù)據(jù)集中的偏見，他們評估了ImageNet的人種和地域多樣性，并開發(fā)了一種工具來挖掘在性別、種族和年齡上更加多樣化的圖像。
結(jié)語：無公正，不標簽
由于大規(guī)模模型訓練的高計算量和能量消耗，大部分公司都會采用無監(jiān)督的轉(zhuǎn)移學習，但也正因為無監(jiān)督學習中不需要標簽標注，所以獲取的數(shù)據(jù)極易帶上網(wǎng)絡(luò)中的刻板偏見。
“通過分析這些圖像分類模型，我們能很明顯地看出當今社會對性別、種族有什么樣的偏見。我們的iEAT基準測試也證實，具有‘偏見’的圖像模型會在社會上傳播刻板印象?！眴讨稳A盛頓大學的研究人員Carnegie Mellon強調(diào)。
參考信源： VentureBeat
