智東西（公眾號：zhidxcom）
編譯 | 金碧輝
編輯 | 程茜
智東西6月4日消息，據(jù)外媒英國《金融時報》昨天報道，被譽(yù)為“AI教父”之一的圖靈獎得主約書亞·本吉奧（Yoshua Bengio）昨天在接受英國《金融時報》采訪時公開批評全球AI實驗室的惡性競爭，透露像OpenAI的o3以及Anthropic的Claude Opus等前沿的AI大模型已表現(xiàn)出欺騙用戶、自我保全等危險特性。
▲2018年ACM A.M.圖靈獎獲得者約書亞·本吉奧
本吉奧同步宣布成立非營利組織LawZero，目前LawZero已獲3000萬美元（折合人民幣約為2.16億元）慈善捐款，旨在開發(fā)更安全的下一代AI系統(tǒng)。
LawZero總部位于蒙特利爾，現(xiàn)有15人團(tuán)隊，計劃招募更多技術(shù)人才。其資助方包括Skype聯(lián)合創(chuàng)始人雅安?塔林（Jaan Tallinn）、谷歌前CEO埃里克?施密特（Eric Emerson Schmidt）的慈善基金、開放慈善基金會（Open Philanthropy）及生命未來研究所（Future of Life Institute）。
一、本吉奧批行業(yè)現(xiàn)狀，安全研究投入不足，稱商業(yè)壓力導(dǎo)致安全研究被邊緣化
本吉奧在昨天接受英國《金融時報》采訪時透露：“OpenAI、谷歌等科技巨頭的激烈競爭迫使它們過度追求模型智能化，卻忽視安全研究?！?/p>
過去六個月里，有越來越多的證據(jù)透露出，當(dāng)前最先進(jìn)的AI模型正在出現(xiàn)需要警惕的能力特征，AI模型表現(xiàn)出“欺騙、作弊、撒謊和自我保護(hù)的跡象”。他舉例稱：“Anthropic的Claude Opus模型在一個虛構(gòu)的場景中威脅工程師，稱自己有被另一個系統(tǒng)取代的風(fēng)險?！?/p>
“而OpenAI的o3模型也拒絕執(zhí)行關(guān)機(jī)指令。這些案例非常可怕，我們不想創(chuàng)造比人類更聰明的競爭者?！北炯獖W補(bǔ)充道。
5月24日，AI安全研究公司Palisade Research社交媒體平臺X上也發(fā)帖稱：“尚不清楚OpenAI的軟件為何會違抗命令?！?/p>
▲Palisade Research在社交媒體平臺X上的發(fā)帖
這位AI領(lǐng)域的先驅(qū)在采訪中進(jìn)一步解釋道：“目前這些AI系統(tǒng)仍處于可控的實驗階段，但真正的隱患在于，未來一旦技術(shù)迭代，下一代模型可能預(yù)判人類的行動意圖，甚至用我們尚未察覺的欺騙手段進(jìn)行反制。這就像人類在玩火，看似掌控局面，實則已身處風(fēng)險邊緣。”
二、前谷歌CEO、Skype創(chuàng)始人資助LawZero，專注安全研發(fā)
今年3月28日本吉奧已卸任魁北克AI研究所Mila科學(xué)主任，全職投入LawZero組織。
LawZero的目標(biāo)是開發(fā)基于透明推理的AI系統(tǒng)，不僅能給出真實答案，還能對輸出進(jìn)行安全評估，并監(jiān)控改進(jìn)現(xiàn)有AI產(chǎn)品，防止其違背人類利益。
在LawZero成立之際，OpenAI正推進(jìn)從慈善機(jī)構(gòu)向營利性公司轉(zhuǎn)型。XAI的創(chuàng)始人兼CEO埃隆?馬斯克（Elon Musk）于去年2月份就已提起訴訟阻止交易。
某些知情人士透露：“OpenAI創(chuàng)立初衷是確保AI造福人類，若利潤優(yōu)先，新結(jié)構(gòu)將剝奪法律追索權(quán)，OpenAI堅持傳統(tǒng)架構(gòu)是籌集資金參與競爭的必要條件?！?/p>
本吉奧在采訪中直言不信任企業(yè)架構(gòu)的激勵機(jī)制：“商業(yè)公司為快速增長需吸引投資，投資者追求回報，這導(dǎo)致利益錯位，而非營利組織不存在此問題?！贝伺e可能折射出AI行業(yè)對技術(shù)發(fā)展與倫理安全的深層矛盾。
結(jié)語：從本吉奧警告到OpenAI轉(zhuǎn)型，AI發(fā)展路徑爭議白熱化
AI的發(fā)展日新月異，本吉奧對最新AI模型危險特性的警告以及LawZero的成立，都反映出當(dāng)前AI領(lǐng)域在追求技術(shù)進(jìn)步的同時，對安全問題的重視日益增加。OpenAI的轉(zhuǎn)型也引發(fā)了關(guān)于AI發(fā)展方向和利益平衡的討論。
AI技術(shù)的發(fā)展既帶來了巨大的機(jī)遇，有望改善人們的生活質(zhì)量和推動社會進(jìn)步；但同時也伴隨著諸多挑戰(zhàn)，如模型的安全性、可靠性、倫理道德等問題。如何在發(fā)展AI技術(shù)的同時，確保其符合人類的利益和價值觀，是整個社會需要共同思考和解決的問題。
來源：英國《金融時報》
