近兩年來,AI 繪畫逐漸成為人工智能領(lǐng)域大熱的方向之一,多模態(tài)任務(wù)也成為了行業(yè)熱點。從 Disco Diffusion ,到 OpenAI 的 DALL·E、CLIP、GLIDE、DALL·E 2 (unCLIP) 以及谷歌的 Imagen ,各種圖像生成模型層出不窮。這些模型可以將以自然語言形式表達(dá)的大量概念轉(zhuǎn)換為合適的圖像,效果十分驚艷。
在2019年3月的 GTC 大會上,NVIDIA 推出了一款 AI 繪畫工具 GauGAN。GauGAN 使任何人都能夠通過涂鴉模式創(chuàng)作出精美絕倫的風(fēng)景畫。同年7月,NVIDIA 研究院首席科學(xué)家劉洺堉就主題《如何利用生成式對抗網(wǎng)絡(luò) GAN 實現(xiàn)“AI神筆馬良” GauGAN 的神奇效果》對 GauGAN 進(jìn)行了深度講解。
去年11月,NVIDIA 推出 GauGAN 第二代 :GauGAN2,允許用戶通過輸入文字和簡單的繪圖就能創(chuàng)建逼真的圖像。文本生成匹配圖像的模式也是 GauGAN2 主要的創(chuàng)新,生成的圖像會根據(jù)逐漸輸入的文本不斷發(fā)生變化,最終生成和文本匹配最佳的圖像。用戶無需繪制想象場景的每個元素,只需輸入一個簡短的短語即可快速生成圖像的關(guān)鍵特征和主題。甚至還可以在用涂鴉繪畫等生成圖像后,輸入文本進(jìn)行相應(yīng)的修改。
Demo 地址:http://gaugan.org/gaugan2/
9月27日下午1點,智東西公開課策劃推出的「 NVIDIA GauGAN2 技術(shù)公開課」將正式開講。本次公開課邀請到 NVIDIA 研究科學(xué)家黃勛進(jìn)行直播講解,主題為《 NVIDIA AI 繪畫模型 GauGAN2 核心技術(shù)及全景圖生成應(yīng)用》。黃勛是 NVIDIA 研究科學(xué)家,康奈爾大學(xué)博士。在博士期間他曾獲得 NVIDIA 、Adobe 和 Snap 等獎學(xué)金。
本次公開課中,在對主流文本生成圖像模型進(jìn)行介紹和比較之后,黃勛博士將會重點講解基于多模態(tài)輸入生成風(fēng)景圖像的 GauGAN2 ,并對 GauGAN2 背后的核心技術(shù):專家乘積模型,進(jìn)行深入解讀。最后,黃博也會分享他們近期用 GauGAN2 生成全景圖的應(yīng)用(GauGAN 360),并探討未來的方向。
「NVIDIA GauGAN2 技術(shù)公開課」將以視頻直播形式進(jìn)行,包含40分鐘主講和20分鐘問答。同時,針對本次公開課,也組建了專屬交流群,屆時主講人黃勛博士將加入,歡迎感興趣的朋友申請。
公開課信息
主 題
《NVIDIA AI 繪畫模型 GauGAN2 核心技術(shù)及全景圖生成應(yīng)用》
提 綱
1、主流文本生成圖像模型對比
2、GauGAN2 基于多模態(tài)輸入生成風(fēng)景圖像
3、專家乘積模型:GauGAN2 背后核心技術(shù)
4、GauGAN2 的全景圖生成應(yīng)用及未來方向
主 講 人
黃勛,NVIDIA 研究科學(xué)家,康奈爾大學(xué)博士,北京航空航天大學(xué)本科;博士期間曾獲 NVIDIA ,Adobe,Snap 等獎學(xué)金。
直 播 時 間
9月27日13:00-14:00