在「生成對(duì)抗網(wǎng)絡(luò)GAN專(zhuān)題講座」前4講中，獨(dú)立藝術(shù)家、游戲開(kāi)發(fā)者大谷Spitzer，港中文MMLab實(shí)驗(yàn)室在讀博士劉睿，中科院計(jì)算所博士（京東DMT)何振梁和羅格斯大學(xué)在讀博士韓立功，分別講解了《人工智能影像修復(fù)與AI藝術(shù)創(chuàng)作》、《基于條件生成對(duì)抗網(wǎng)絡(luò)的多樣化圖像生成》、《GAN的層次化可解釋維度學(xué)習(xí)》和《基于雙投影判別器的條件生成對(duì)抗網(wǎng)絡(luò)》等內(nèi)容。錯(cuò)過(guò)直播的朋友可以點(diǎn)擊“閱讀原文”觀看。
12月10日晚7點(diǎn)，南洋理工大學(xué)MMLab實(shí)驗(yàn)室在讀博士姜瑜銘將以《對(duì)話驅(qū)動(dòng)的高細(xì)粒度人臉編輯》為主題，帶來(lái)第5講的直播講解。
日常生活中，經(jīng)常會(huì)用到一些人臉編輯軟件（抖音、快手、美圖秀秀）讓照片有更好的效果和呈現(xiàn)，在抖音、快手等的人臉特效中，GAN的身影處處都可見(jiàn)。但現(xiàn)有的人臉編輯大多采用手動(dòng)的交互方式，需要手動(dòng)選擇想要的發(fā)型、妝容，并且這些發(fā)型、妝容大多是固定的版式且細(xì)節(jié)信息不足，這與想要的效果有很大差異。那如何設(shè)計(jì)一個(gè)多樣且細(xì)粒度的交互式人臉編輯呢？
交互式的人臉編輯系統(tǒng)“Talk-to-Edit”可以滿足上面的需求，它通過(guò)用戶和系統(tǒng)之間的對(duì)話進(jìn)行細(xì)粒度的人臉屬性操作。在Talk-to-Edit系統(tǒng)中，只需告訴它你想怎么編輯，它就會(huì)分分鐘幫你搞定。
Talk-to-Edit系統(tǒng)通過(guò)StyleGAN模型進(jìn)行預(yù)訓(xùn)練，為了對(duì)人臉做到連續(xù)且細(xì)粒度的編輯，在StyleGAN的隱空間中構(gòu)建了一個(gè)語(yǔ)義場(chǎng)。語(yǔ)義場(chǎng)是一個(gè)非線性的向量場(chǎng)，它具有兩個(gè)特性：1) 對(duì)同一個(gè)人臉來(lái)說(shuō)，不斷改變某一個(gè)屬性，所需要的編輯方向是不斷變化的。2）在編輯同一個(gè)屬性時(shí)，對(duì)于不同人，所需要的編輯方向也是不同的?；谡Z(yǔ)義場(chǎng)可以在人臉編輯過(guò)程中更好的保留這個(gè)人的身份特征，并且在編輯某一個(gè)語(yǔ)義特征時(shí)減少對(duì)其他無(wú)關(guān)語(yǔ)義特征的改變。
同時(shí)，Talk-to-Edit還用一個(gè)基于LSTM的Language Encoder來(lái)理解用戶的編輯要求，并將編碼后的編輯要求傳遞給語(yǔ)義場(chǎng)從而指導(dǎo)人臉編輯。更多Talk-to-Edit系統(tǒng)的實(shí)現(xiàn)細(xì)節(jié)，姜瑜銘博士將在本次講座中進(jìn)行深度解讀，感興趣的小伙伴千萬(wàn)不要錯(cuò)過(guò)。
姜瑜銘是新加坡南洋理工大學(xué)MMLab實(shí)驗(yàn)室在讀博士，師從劉子緯教授和呂健勤教授。他本科畢業(yè)于電子科技大學(xué)，主要研究方向?yàn)閳D像的生成、編輯和復(fù)原。
本次講座將在智東西公開(kāi)課知識(shí)店鋪進(jìn)行，包含主講和問(wèn)答兩個(gè)部分，其中主講環(huán)節(jié)40分鐘，問(wèn)答環(huán)節(jié)20分鐘。本次講座已組建交流群，并邀請(qǐng)姜瑜銘博士加入，歡迎感興趣的朋友申請(qǐng)。
主題
對(duì)話驅(qū)動(dòng)的高細(xì)粒度人臉編輯
提綱
1、人臉編輯問(wèn)題的研究
2、基于預(yù)訓(xùn)練StyleGAN的人臉編輯
3、Talk-to-Edit：對(duì)話式交互的高細(xì)粒度人臉編輯系統(tǒng)
4、視覺(jué)語(yǔ)言人臉屬性數(shù)據(jù)集 CelebA-Dialog
5、未來(lái)展望
主講人介紹
姜瑜銘，新加坡南洋理工大學(xué)MMLab實(shí)驗(yàn)室在讀博士，師從劉子緯教授和呂健勤教授；本科畢業(yè)于電子科技大學(xué)，主要研究方向?yàn)閳D像的生成、編輯和復(fù)原。
直播信息
直播時(shí)間：12月10日19：00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪
