智東西(公眾號(hào):zhidxcom)
編 |?王穎
導(dǎo)語(yǔ)：最近，迪士尼正在研究用AI自動(dòng)生成動(dòng)畫，這次他們新開發(fā)的系統(tǒng)不需要進(jìn)行大量數(shù)據(jù)訓(xùn)練，能使藝術(shù)家工作更有效率。
近日，迪士尼研究所和羅格斯大學(xué)的科學(xué)家共同發(fā)表了關(guān)于AI文本生成動(dòng)畫模型的論文。
研究人員表示，這種算法只要在輸入的文本中描述某些活動(dòng)即可，不需要注釋數(shù)據(jù)和進(jìn)行大量訓(xùn)練就能產(chǎn)生動(dòng)畫。
這篇論文中，研究人員進(jìn)一步提出了端到端模型，這種模型可以創(chuàng)建一個(gè)粗略的故事版和電影劇本的視頻，用來(lái)描繪電影劇本中的文字。此外，這個(gè)系統(tǒng)還可用于生成訓(xùn)練端到端神經(jīng)系統(tǒng)的訓(xùn)練數(shù)據(jù)。
▲迪士尼羅格斯大學(xué)關(guān)于AI文本生成動(dòng)畫模型的論文
迪士尼一直十分關(guān)注AI領(lǐng)域的進(jìn)展，多年來(lái)一直嘗試將AI技術(shù)融入自己的各項(xiàng)產(chǎn)業(yè)當(dāng)中，也曾多次與大學(xué)或其他研究機(jī)構(gòu)合作，開發(fā)了一系列訓(xùn)練模型。這次，迪士尼又將文本轉(zhuǎn)換視頻的技術(shù)進(jìn)一步加強(qiáng)，使模型自動(dòng)生成動(dòng)畫。
一、更復(fù)雜的文本如何轉(zhuǎn)換成動(dòng)畫？
▲迪士尼的文字轉(zhuǎn)換為動(dòng)畫AI系統(tǒng)圖解
將文本轉(zhuǎn)換為動(dòng)畫并不是一項(xiàng)簡(jiǎn)單的任務(wù)，大多數(shù)將文本轉(zhuǎn)換為視頻的工具不能處理復(fù)雜句子，因?yàn)檩斎氲木渥雍洼敵龅膭?dòng)畫都沒有固定的結(jié)構(gòu)。為了克服這種問(wèn)題，兩位論文作者共同構(gòu)建了一個(gè)包含多個(gè)組件模塊的神經(jīng)網(wǎng)絡(luò)。
這個(gè)網(wǎng)絡(luò)由幾個(gè)部分組成: 一個(gè)可以自動(dòng)將文本與劇本場(chǎng)景描述隔離開的腳本解析模塊、一個(gè)自然語(yǔ)言處理模塊（使用一套語(yǔ)言規(guī)則簡(jiǎn)化復(fù)雜句子，并從簡(jiǎn)化句子中提取信息，轉(zhuǎn)化為預(yù)定義的動(dòng)作表示），以及一個(gè)將所述表示轉(zhuǎn)換為動(dòng)畫序列的生成模型。
▲迪士尼AI系統(tǒng)的文本簡(jiǎn)化階段
簡(jiǎn)化后的方法能更容易的提取腳本中的關(guān)鍵信息，新研發(fā)的系統(tǒng)能夠自主地將復(fù)雜句子拆分，并組裝成更簡(jiǎn)單的句子，對(duì)其進(jìn)行遞歸處理，直到不可能進(jìn)一步簡(jiǎn)化。
接下來(lái)，系統(tǒng)將“協(xié)調(diào)”句法關(guān)系相同、功能相同的句子。最后，詞匯簡(jiǎn)化器將簡(jiǎn)化后句子中的動(dòng)作，與預(yù)定義庫(kù)中的52個(gè)動(dòng)畫匹配（通過(guò)同義詞詞典擴(kuò)展到92個(gè)）。
然后，在一個(gè)名為Cardinal的管道中將動(dòng)作輸入，并在一個(gè)流行的視頻游戲引擎Unreal中創(chuàng)建預(yù)可視化。利用預(yù)定義的動(dòng)畫庫(kù)、預(yù)加載的對(duì)象以及可用于創(chuàng)建角色的模型，最終，這個(gè)系統(tǒng)可以生成一個(gè)3D動(dòng)畫視頻。
為了訓(xùn)練這個(gè)系統(tǒng)，研究人員從IMSDb、SimplyScripts和ScriptORama5等可自由獲取資源的電影劇本數(shù)據(jù)庫(kù)中，搜集了超過(guò)1000個(gè)劇本，從中選取了996個(gè)，編寫了場(chǎng)景描述語(yǔ)料庫(kù)。 這個(gè)語(yǔ)料庫(kù)由525,708個(gè)描述組成，包含1,402,864個(gè)句子，其中920,817個(gè)（超過(guò)40%）至少有一個(gè)動(dòng)作動(dòng)詞。
二、動(dòng)畫合理性達(dá)68%，研究人員將進(jìn)一步優(yōu)化系統(tǒng)
在一項(xiàng)定性測(cè)試中，22名參與者以5分制標(biāo)準(zhǔn)，來(lái)評(píng)估系統(tǒng)生成的20個(gè)動(dòng)畫（例如，如果所顯示的視頻對(duì)文本來(lái)說(shuō)是合理的動(dòng)畫，則視頻中描繪了多少文本信息，以及視頻中有多少信息存在于文本中），68%的參與者認(rèn)為系統(tǒng)通過(guò)輸入劇本生成了“合理”的動(dòng)畫。
研究人員認(rèn)為，除了系統(tǒng)本身的局限性之外，生成動(dòng)畫的“不合理”成分也與文本中關(guān)于行動(dòng)的模糊性有關(guān)。他們承認(rèn)這個(gè)系統(tǒng)并不完美，它的動(dòng)作和對(duì)象列表并不是詳盡無(wú)遺的。有時(shí)候，詞匯簡(jiǎn)化不能將動(dòng)詞（如“watch”）映射到相似的動(dòng)畫（“l(fā)ook”）中，或者只能為原句中有很多主語(yǔ)的動(dòng)詞創(chuàng)建幾個(gè)簡(jiǎn)化的句子。
內(nèi)部評(píng)價(jià)和外部評(píng)價(jià)顯示了該系統(tǒng)性能的合理性。研究人員計(jì)劃在今后的工作中，重點(diǎn)關(guān)注如何能使系統(tǒng)更充分的利用文本中描述的話語(yǔ)信息，來(lái)解決文本中關(guān)于行動(dòng)模糊性的問(wèn)題。
三、迪士尼的AI研究歷程
從技術(shù)的角度來(lái)看，迪士尼似乎很重視在AI方面的研究，也有過(guò)諸多嘗試。
2017年8月，迪士尼與蘇黎世聯(lián)邦理工學(xué)院合作，開發(fā)了將畫面與聲音連接起來(lái)的機(jī)器學(xué)習(xí)系統(tǒng)，這種系統(tǒng)可以將語(yǔ)音與畫面結(jié)合起來(lái)，使視頻內(nèi)容看起來(lái)更加連貫。
研究人員將一系列含有雜音和背景音不純的視頻輸入系統(tǒng)，用來(lái)訓(xùn)練模型。訓(xùn)練后的系統(tǒng)能夠把畫面信息和聲音信息做出關(guān)聯(lián)。比如，隨著關(guān)門的動(dòng)作進(jìn)行，人們會(huì)“想象”特定的關(guān)門聲音。本質(zhì)上，其實(shí)是人們把關(guān)門相關(guān)的視覺信息跟聲音信息做了連接。
這項(xiàng)研究想要做的，就是培養(yǎng)AI系統(tǒng)的這種關(guān)聯(lián)性，他們訓(xùn)練的AI系統(tǒng)成功的將關(guān)門、杯子碰撞和汽車在馬路上行駛畫面于聲音進(jìn)行了配對(duì)。這也將幫助視頻剪輯師更好地工作。
▲迪士尼發(fā)布AR形象與實(shí)際物體互動(dòng)圖片
2018年1月，迪士尼的研究人員發(fā)布了一項(xiàng)可以使動(dòng)畫AR角色與實(shí)際的物體互動(dòng)的黑科技。
比如，當(dāng)一個(gè)3D卡通角色映射在家里的客廳地板上時(shí)，這個(gè)虛擬的形象會(huì)跳過(guò)臺(tái)階或繞開障礙物行走，甚至當(dāng)寵物狗沖過(guò)來(lái)的時(shí)候還可能一下把它撞到。
這項(xiàng)研究做到了AR體驗(yàn)與現(xiàn)實(shí)的互動(dòng)，給動(dòng)畫帶來(lái)了更多樂(lè)趣。說(shuō)不定以后我們自己也可以和動(dòng)畫里的人物進(jìn)行互動(dòng)了。
2018年9月，迪士尼AI研究中心還嘗試了讓機(jī)器人完成像超級(jí)英雄一樣的特技動(dòng)作。迪士尼的特技實(shí)驗(yàn)包括訓(xùn)練機(jī)器人的神經(jīng)網(wǎng)絡(luò)來(lái)控制機(jī)器人，以此完成上天入地、爬行、劃船等動(dòng)作，人類能做的它可以，人類不能做的，它也可以。
四、文本轉(zhuǎn)換視頻技術(shù)早已應(yīng)用
其實(shí)，從文本片段創(chuàng)建原始剪輯的AI并不是最新的研究發(fā)現(xiàn)。
2016年4月，臺(tái)灣創(chuàng)企GliaCloud就利用AI技術(shù)，將文本信息的主要內(nèi)容以視頻的形式展示了出來(lái)。這家AI視頻制作公司在2015年，由全球48位Google云技術(shù)專家之一David Chen和在廣告領(lǐng)域有著20年業(yè)務(wù)拓展經(jīng)歷的Dominique Tu在臺(tái)灣共同創(chuàng)建。GliaStudio對(duì)指定文本的內(nèi)容進(jìn)行分析和總結(jié)之后，根據(jù)所提取的內(nèi)容從自有資料庫(kù)或是公共資源中尋找相關(guān)的照片、視頻片段甚至畫外音來(lái)生成影片。
去年，也有研究人員詳細(xì)介紹了一個(gè)利用神經(jīng)網(wǎng)絡(luò)模仿生物神經(jīng)元的系統(tǒng)，這種系統(tǒng)能夠生成32幀長(zhǎng)、6464像素的視頻。研究人員表示，這種系統(tǒng)生成視頻分兩個(gè)階段進(jìn)行，第一階段使用文本創(chuàng)建視頻的要點(diǎn)，一般是背景顏色和對(duì)象布局的模糊圖像。第二階段同時(shí)考慮到要點(diǎn)和文本的其他內(nèi)容，然后要點(diǎn)與文本內(nèi)容結(jié)合，生成一段視頻。
比如，將“在草地上打高爾夫球”這句話，生成一個(gè)人們?cè)诓莸厣洗蚋郀柗蚯虻囊曨l。
從自然語(yǔ)言文本自動(dòng)生成動(dòng)畫在很多領(lǐng)域都有應(yīng)用，比如電影腳本編寫、教學(xué)視頻和公共安全等內(nèi)容。
這些AI算法系統(tǒng)，可以為內(nèi)容創(chuàng)作者提供更快的迭代、原型設(shè)計(jì)和概念驗(yàn)證，有助于提高劇本編寫效率。
結(jié)語(yǔ)：AI生成動(dòng)畫或有更廣闊的市場(chǎng)
研究人員表示，迪士尼進(jìn)行AI自動(dòng)生成動(dòng)畫的研究不是為了取代編劇和藝術(shù)家的工作，而是為了提高繁瑣工作程序的效率。
雖然目前研究結(jié)果還不完善，生成動(dòng)畫的系統(tǒng)還不能百分之百將文本內(nèi)容轉(zhuǎn)換成動(dòng)畫，但是這項(xiàng)研究對(duì)于文本轉(zhuǎn)換視頻技術(shù)也是一次有意義的嘗試。
迪士尼動(dòng)畫在全世界都有十分廣泛的影響，塑造了一個(gè)又一個(gè)經(jīng)典的動(dòng)畫形象。如今，他們?cè)贏I自動(dòng)生成動(dòng)畫方面的研究也很可能影響整個(gè)動(dòng)畫電影制作市場(chǎng)，AI生成的方式也許將成為未來(lái)動(dòng)畫電影制作的新方向。
論文鏈接：https://arxiv.org/pdf/1904.05440.pdf
原文來(lái)自：VentureBeat
