智東西(公眾號:zhidxcom)
編 |?王穎
導語：亞馬遜研究人員用遷移學習簡化為Alexa添加新語種的過程，將訓練數(shù)據(jù)減少50%。
智東西4月9日消息，亞馬遜研究人員開發(fā)了一種新方法，通過遷移學習來簡化為Alexa語音助手添加新語言的過程。
亞馬遜研究人員在報告中提到，通過不斷實驗，機器學習模型學習新語言所需的數(shù)據(jù)需求已經(jīng)降低了50%。他們將在5月在巴塞羅那舉行的國際聲學、語言和信號處理會議ICASSP上展示這項語言訓練的方法。
一、什么是遷移學習？
遷移學習的過程是，首先在基礎數(shù)據(jù)集和任務上訓練基礎網(wǎng)絡，然后將學習的新特征重新調整或轉移到第二個目標網(wǎng)絡，以便在目標數(shù)據(jù)集和任務上進行訓練。
亞馬遜研究人員發(fā)表的論文Cross-Lingual Transfer Learning for Spoken Language Understanding（跨語言學習促進口語理解），描述了一種用最少的訓練數(shù)據(jù)，將原本只適應一種固定語言訓練的機器學習模型，適應到另一種語言的技術過程。
該論文的合著者，Alexa AI 自然理解實驗室的科學家Quynh Do和Judith Gaspers表示，這種機器學習模型依靠跨語言遷移學習（cross-lingual transfer learning）來引導新的功能，這是跨語言遷移學習第一次被用來將聯(lián)合意圖槽分類器翻譯成一種新的語言。
二、跨語言遷移機器學習模型的開發(fā)過程
模型中包含的口語理解（SLU）系統(tǒng)通常包括兩個子任務，意圖分類和插槽標記。意圖是用戶想要執(zhí)行的任務，插槽表示意圖所作用的實體。（例如，人們語音命令Alexa播放Panic演唱的High Hopesby，意圖是播放音樂，插槽即在相應的位置填上歌曲名和藝人名。）
Quynh Do和Judith Gaspers注意到，通過不斷的訓練，意圖和插槽分類器共同提高了性能。因此他們又繼續(xù)探索了六種不同的聯(lián)合訓練AI系統(tǒng)。在將這六種訓練系統(tǒng)的表現(xiàn)與英語SLU示例的開源基準數(shù)據(jù)集進行比較后，研究人員確定了三個表現(xiàn)優(yōu)于前系統(tǒng)的聯(lián)合訓練AI系統(tǒng)。
接下來，他們嘗試了詞嵌入（與多維空間中的點對應的一系列固定長度坐標）和字符嵌入（反映單詞及其組成部分的意義的集群），他們總共輸入了六個不同的神經(jīng)網(wǎng)絡，其中包括一種稱為長短時記憶模型（LSTM）網(wǎng)絡的循環(huán)網(wǎng)絡類型，該網(wǎng)絡按順序處理有序輸入和有序輸出。研究人員預先訓練SLU模型，并對目標數(shù)據(jù)集進行微調，使用源語言（英語）的數(shù)據(jù)來提高SLU在目標語言（德語）中的表現(xiàn)。
二、跨語言遷移機器學習模型的效果
在一次大規(guī)模測試中，亞馬遜研究團隊創(chuàng)建了一個語料庫，其中包括從英語Alexa SLU系統(tǒng)中采集的一百萬個語句，以及來自德國Alexa SLU系統(tǒng)的10000和20000個隨機語句樣本。開發(fā)集包括來自德國系統(tǒng)的2000個語句。
通過訓練雙語輸入嵌入，對來自兩種語言中語義相似的單詞進行分組，研究人員發(fā)現(xiàn)，一個源數(shù)據(jù)為100萬個英語單詞，目標數(shù)據(jù)為10000個德語單詞的遷移模型，比一個訓練了2萬個德語單詞的單語模型更準確地分類了意圖。與單語言訓練系統(tǒng)相比，跨語言學習模型的槽分類得分提高了4%。
研究人員表示，盡管LSTM模型在英語測試集中表現(xiàn)最好，但并不能保證它會產(chǎn)生最佳的遷移學習效果。在正在進行的工作中，他們也在嘗試把其他模型轉移到德語環(huán)境中。
論文鏈接：https://arxiv.org/pdf/1904.01825.pdf
原文來自：Machine Learning、VentureBeat
