如何讓虛擬人物更加真實地傳達情感，一直是AI數(shù)字人領(lǐng)域的研究重點。傳統(tǒng)的說話頭部動畫技術(shù)雖然能夠模擬人物的嘴型和基本表情，但在精細(xì)控制和情感表達上仍有局限。
為此，上海交通大學(xué)聯(lián)合網(wǎng)易伏羲提出用于對話人臉生成的高效解耦框架EDTalk，現(xiàn)已開源。相關(guān)的論文成果收錄于ECCV 2024并獲得Oral。其中，上海交通大學(xué)計算機系在讀博士譚帥為論文一作。
EDTalk能夠?qū)崿F(xiàn)對多種面部動作的分離控制，并適應(yīng)不同的輸入模式，提高對話人臉生成的應(yīng)用性和娛樂性。它能確保面部特征的解耦空間獨立操作，互不干擾；并保持與不同模態(tài)輸入共享。EDTalk可以根據(jù)視頻或音頻輸入，對嘴形、頭部姿勢和情感表達進行單獨操作。具體來說，該框架采用三個輕量級模塊將面部動態(tài)分解為三個不同的潛在空間，分別代表嘴型、姿勢和表情。每個空間都有一組可學(xué)習(xí)的基，這些基的線性組合定義了特定的動作。
為了確保獨立性并加快訓(xùn)練速，該團隊強制執(zhí)行了基數(shù)之間的正交性，并設(shè)計了一種高效的訓(xùn)練策略，在不依賴外部知識的情況下給每個空間賦予其特定的運動方向。隨后將學(xué)習(xí)到的基存儲在相應(yīng)的庫中，從而實現(xiàn)與音頻輸入共享視覺先驗。此外，考慮到每個空間的特性，該團隊提出了音頻到動作模塊，用于音頻驅(qū)動的對話人臉合成。
12月30日晚7點，智猩猩邀請到論文一作、上海交通大學(xué)計算機系在讀博士譚帥參與「智猩猩AI新青年講座」第262講，主講《高效解耦的可控對話人臉生成》。
講者
譚帥，上海交通大學(xué)計算機系在讀博士
主要研究方向是數(shù)字人驅(qū)動/Talking head generation/face animation，共發(fā)表論文11篇，其中以第一作者身份發(fā)表CVPR/ICCV/ECCV/AAAI/MICCAI等會議共6篇。
第 262 講
主 題
《高效解耦的可控對話人臉生成》
提 綱
1、對話人臉生成技術(shù)當(dāng)前存在的不足
2、高效解耦用于可控對話人臉生成的框架EDTalk
3、分解嘴型-姿勢和表情的解耦策略
4、用于生成音頻驅(qū)動對話人臉的音頻動作模塊
5、其他相關(guān)工作介紹
直 播 信 息
直播時間：12月30日19:00
成果
論文成果1
標(biāo)題：
《EDTalk: Efficient Disentanglement for Emotional Talking Head Synthesis》
鏈接：
https://arxiv.org/abs/2403.06363
項目地址：
https://tanshuai0219.github.io/EDTalk/
收錄情況：ECCV 2024 Oral
論文成果2
標(biāo)題：
《EMMN: Emotional Motion Memory Network for Audio-driven Emotional Talking Face Generation》
鏈接：
https://ieeexplore.ieee.org/document/10378627
收錄情況：ICCV 2023 (CCF-A)
論文成果3
標(biāo)題：
《Say anything with any style》
鏈接：
https://arxiv.org/abs/2403.06363
收錄情況：AAAI 2024 (CCF-A)
論文成果4
標(biāo)題：
《Style2talker: High-resolution talking head generation with emotion style and art style》
鏈接：
https://arxiv.org/abs/2403.06365
收錄情況：AAAI 2024 (CCF-A)
論文成果5
標(biāo)題：
《FlowVQTalker: High-Quality Emotional Talking Face Generation through Normalizing Flow and Quantization》
鏈接：
https://arxiv.org/abs/2403.06363
收錄情況：AAAI 2024 (CCF-A)
入群申請
有講座直播觀看需求的朋友，可以添加小助手“米婭”進行報名。已添加過“米婭”的老朋友，可以給“米婭”私信，發(fā)送“ANY262”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
