亚洲精品一区二区三区老狼,在线国产中文字幕视频网,国产毛片特级Av片,欧美日韩亚洲精品成人,美女视频一直看一直爽,亚洲人妻av一区二区在线观看,天天碰天天日天天摸,亚洲一级黄色片在线观看,麻豆av入口在线观看

AI應(yīng)用風(fēng)向標(biāo)（公眾號：ZhidxcomAI）
作者｜江宇
編輯｜漠影

智東西11月6日報(bào)道，近日，前特斯拉AI負(fù)責(zé)人、OpenAI研究員安德烈·卡帕西（Andrej Karpathy）接受播客《Dwarkesh Pdocast》專訪。

在長達(dá)150分鐘的對談中，這位AI界大神兼“網(wǎng)紅”系統(tǒng)回顧了過去十年人工智能的演進(jìn)路徑，重點(diǎn)闡述了他對“智能體十年”的判斷邏輯，重申大模型的局限性，并警告強(qiáng)化學(xué)習(xí)、模型坍縮等機(jī)制性問題仍未解決。

卡帕西認(rèn)為，當(dāng)前AI行業(yè)正在重演當(dāng)年“游戲通往AGI”的早期幻想熱潮。他提到，距離能真正替代實(shí)習(xí)生工作的智能體，還有至少十年技術(shù)迭代，而非某些公司口中的“2025元年”。

訪談圍繞“我們在構(gòu)建什么樣的智能體”、“模型智能的本質(zhì)是什么”和“未來AGI的落點(diǎn)在哪里”等問題展開，卡帕西從神經(jīng)網(wǎng)絡(luò)演進(jìn)史談到大模型的記憶瓶頸，從代碼自動補(bǔ)全的實(shí)用性談到AI文化缺失、合成數(shù)據(jù)坍縮，并提出了“認(rèn)知核心應(yīng)小于10億參數(shù)”的推測。

目前，這期節(jié)目在YouTube已獲得超87萬次觀看，評論區(qū)不少觀眾稱其為“過去幾個月AI頻道播客的黃金時段”，更有用戶將卡帕西的一句評論“我們不是在造動物，而是在造幽靈”稱為“精準(zhǔn)捕捉整個AI領(lǐng)域的神句”。

訪談中，卡帕西的核心判斷如下：

1、卡帕西反駁 “2025是智能體元年” 的說法，認(rèn)為智能體從 “能看” 到 “能工作” 需十年演進(jìn)，而非一年突破。

2、AI與生物智能存在本質(zhì)差異：AI是 “數(shù)字幽靈”，不是 “動物”。

3、未來AI核心驅(qū)動力是數(shù)據(jù)、硬件、算法的 “同步提升”，而非單一突破。

3、卡帕西反駁 “規(guī)模崇拜”，未來高效AI是 “小而精的認(rèn)知核心”，而非萬億參數(shù)模型。

4、卡帕西認(rèn)為現(xiàn)在的模型像是具備某些能力的神童，但整體認(rèn)知上仍然像是小孩。

5、強(qiáng)化學(xué)習(xí)對高階認(rèn)知沒用，靠 “對錯” 結(jié)果反向獎勵易失控。

6、卡帕西判斷當(dāng)前AI僅適配部分領(lǐng)域，其他行業(yè)想靠AI全自動化，短期內(nèi)根本不可能。

7、多智能體協(xié)作的核心瓶頸是模型沒 “真理解”，再厲害也只是 “認(rèn)知上的小孩”。

8、AI不會讓GDP跳漲，所謂 “智能爆炸” 是自動化的延續(xù)，而AI是計(jì)算的延續(xù)。

9、卡帕西否認(rèn) “AI算力過剩”，覺得現(xiàn)在建的算力早晚都會被真實(shí)需求用完，不用杞人憂天。

10、卡帕西直言大模型 “坍縮” 是硬傷，生成內(nèi)容越用越重復(fù)，靠自身合成數(shù)據(jù)訓(xùn)練只會更糟。

以下是對訪談全程內(nèi)容的編譯（為優(yōu)化閱讀體驗(yàn)智東西做了不改變原意的編輯）：

一、“2025是智能體元年”？卡帕西潑冷水：距離真正“能干活”還有十年

Dwarkesh Patel：Andrej，為什么你說這是“智能體的十年”，而不是“智能體元年”？

Andrej Karpathy：首先，謝謝邀請，很高興來聊這個話題。我之所以說“這是智能體的十年”，其實(shí)是回應(yīng)業(yè)內(nèi)流傳的一種說法——有人提出2025是“智能體之年”。我記不清是誰先說的了，應(yīng)該是某個大模型研究機(jī)構(gòu)提出來的，他們的意思是今年LLM將進(jìn)化出非常強(qiáng)的Agent能力。

我當(dāng)時聽到這個說法覺得有些被觸動了，因?yàn)槲?span style="color: #0f59a4">認(rèn)為現(xiàn)在行業(yè)里有一些過度樂觀的預(yù)期。我的判斷是，這個過程不會只花一年，而更可能是一個長達(dá)十年的演進(jìn)過程。現(xiàn)在我們確實(shí)已經(jīng)看到了一些很令人驚艷的早期智能體產(chǎn)品，比如Claude、Code Interpreter等，我自己也在日常使用它們。但距離“真的能工作”的狀態(tài)，我們還有很多技術(shù)問題沒解決。

所以我的說法更像是一種時間尺度上的糾偏：我們將花一個十年去把智能體真正做出來，它們會越來越好，我們會持續(xù)地與它們共事，但這不是一年能搞定的事情。

Dwarkesh Patel：那你覺得哪些能力的缺失導(dǎo)致它們現(xiàn)在還“不能工作”？具體的瓶頸是什么？

Andrej Karpathy：從本質(zhì)上來說，是因?yàn)?span style="color: #0f59a4">它們還沒法“真的完成工作”。你可以把Agent理解成一個虛擬的員工，甚至是一個實(shí)習(xí)生，你希望它能夠幫你完成某些日常任務(wù)。比如你在做播客，也許你會想讓Claude或Code Interpreter來做某些內(nèi)容整理工作——但你現(xiàn)在沒這么做，對吧？原因很簡單：它們還不夠智能。它們不具備真正的多模態(tài)能力，無法流暢使用電腦操作，記憶也很差，沒法持續(xù)學(xué)習(xí)，你告訴它一件事，它下次就忘了；思維能力也還遠(yuǎn)遠(yuǎn)不夠。所以說它們“不能工作”不是說它們完全沒用，而是還無法承擔(dān)你能交給一個人類實(shí)習(xí)生的那類任務(wù)。我認(rèn)為，解決這些問題至少需要十年時間。

Dwarkesh Patel：有意思。我作為播客主持人和一個對AI比較“遠(yuǎn)觀”的觀察者，確實(shí)能指出一些明顯缺失，比如持續(xù)學(xué)習(xí)、多模態(tài)能力，但我很難判斷這些問題會需要多久解決。那你為什么覺得是十年？為什么不是1年？或者50年？

Andrej Karpathy：這確實(shí)是一種經(jīng)驗(yàn)判斷，同時也依賴我在行業(yè)里的長期積累。嚴(yán)格說我做AI的時間還不到20年，大概15年左右，不算特別長。但這15年里，我見證了很多人對AI發(fā)展的預(yù)測，也觀察了這些預(yù)測如何實(shí)現(xiàn)或落空；我自己既在研究圈工作，也在工業(yè)界實(shí)戰(zhàn)過，這些經(jīng)歷讓我形成了一個相對穩(wěn)定的直覺。我的判斷是：這些問題是可以解決的，它們是“可攻克的”，但同時也不容易，它們確實(shí)“挺難”。所以如果讓我給出一個平均估算，大概十年是一個合理的時間框架。

二、卡帕西回顧15年AI三次“地震”：既有突破，也有彎路，正確路徑是LLM奠基，其上再建Agent

Dwarkesh Patel：這個視角很有意思。我其實(shí)也很好奇，從你進(jìn)入AI行業(yè)開始的這十幾年中，行業(yè)內(nèi)部都發(fā)生過哪些關(guān)鍵的“情緒轉(zhuǎn)變”？比如有哪些時候大家的預(yù)期過于樂觀或悲觀？

Andrej Karpathy：這是個很大的問題，因?yàn)檫^去15年AI發(fā)展中確實(shí)發(fā)生了幾次“地震級”的變化，每次都讓整個領(lǐng)域的視角發(fā)生重大轉(zhuǎn)向。大概有兩三次我是親歷者，我相信將來還會有更多這種突如其來的轉(zhuǎn)折。

比如我剛開始做深度學(xué)習(xí)，是因?yàn)槲耶?dāng)時恰好在多倫多大學(xué)，身邊正是杰弗里·辛頓（Geoffrey Hinton）——他是深度學(xué)習(xí)領(lǐng)域的奠基者。當(dāng)時他正在訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我覺得這非?？嵋埠苡幸馑?，但那時候這完全不是AI主流的方向。也就是說，我是“誤打誤撞”進(jìn)入了這個賽道，但正是這些偶然的窗口，構(gòu)成了我后來的整段職業(yè)軌跡。

當(dāng)時神經(jīng)網(wǎng)絡(luò)還是一個邊緣話題，直到AlexNet等模型出現(xiàn)，才迎來第一次真正的“地震式轉(zhuǎn)變”。我覺得AlexNet的意義在于它重新校準(zhǔn)了行業(yè)方向，大家都開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)了。但那個階段依然是“按任務(wù)”訓(xùn)練模型，比如做圖像分類，做神經(jīng)機(jī)器翻譯，都是一項(xiàng)任務(wù)對應(yīng)一個模型。

直到后來，大家才慢慢對智能體真正感興趣。我們在“視覺皮層”——也就是感知系統(tǒng)這部分，已經(jīng)取得了一些不錯的進(jìn)展。那下一步是什么？是要去模擬大腦中其他功能區(qū)，尤其是那些能驅(qū)動行為的模塊，也就是讓智能體不僅能看、還能動，能感知世界、也能和環(huán)境交互。我認(rèn)為2013年左右Atari游戲上的深度強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)是這一探索的起點(diǎn)，它的意義在于：嘗試構(gòu)建既能感知世界又能采取行動的智能體，在環(huán)境中做出決策、獲取獎勵。當(dāng)時用的是Atari游戲環(huán)境。

我現(xiàn)在回頭看，會覺得這是一次方向錯誤。包括我當(dāng)時所在的OpenAI在內(nèi)，大家都陷入了這種用游戲做智能體的“潮流”中。當(dāng)時整個技術(shù)界的風(fēng)向就是做強(qiáng)化學(xué)習(xí)、打游戲、過關(guān)斬將，OpenAI也做了很多相關(guān)項(xiàng)目。

但我其實(shí)從一開始就對“用游戲通往AGI”這件事是有懷疑的。在我看來，一個真正有價(jià)值的Agent，應(yīng)該像一個會計(jì)，能在真實(shí)世界中進(jìn)行有意義的交互和工作，而游戲并沒有給出這樣的外部復(fù)雜度。因此我在OpenAI做的一個項(xiàng)目，是在“Universe”平臺下訓(xùn)練一個能用鍵盤和鼠標(biāo)操作網(wǎng)頁的Agent，我希望它能與真實(shí)數(shù)字世界交互，做一些知識工作。

但這個項(xiàng)目實(shí)在太早了，早到我們其實(shí)根本不該在那個時間點(diǎn)做它。因?yàn)橹悄荏w完全不知道自己在做什么，只是胡亂點(diǎn)鼠標(biāo)、敲鍵盤，然后試圖從極其稀疏的獎勵信號中學(xué)習(xí)。但這種設(shè)置幾乎學(xué)不到任何東西，只會耗費(fèi)大量計(jì)算資源，什么成果也出不來。問題的關(guān)鍵在于，我們當(dāng)時的模型沒有足夠的表征能力（representation power），所以無法真正理解環(huán)境，更談不上做出有效行動。

今天我們看到的一些“能用電腦的Agent”，都是建立在大語言模型之上的。這說明你必須先訓(xùn)練出一個語言模型，有了足夠強(qiáng)的表征能力之后，才能往上構(gòu)建Agent。換句話說，LLM是基礎(chǔ)，Agent是“后蓋的結(jié)構(gòu)”。

但過去我們反復(fù)犯了一個錯誤，就是在基礎(chǔ)能力沒跟上的情況下，就急著追逐“完整Agent”這個目標(biāo)。Atari是這樣，Universe也是這樣，包括我自己的很多早期嘗試其實(shí)都太著急了。我們總是試圖直接去構(gòu)建智能體，但其實(shí)必須先解決一些底層問題。

所以我認(rèn)為，過去這十幾年AI的發(fā)展，大概可以分為三個階段：第一階段是按任務(wù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)；第二階段是第一次嘗試構(gòu)建智能體；第三階段是用大語言模型訓(xùn)練出強(qiáng)表征能力，然后在此基礎(chǔ)上發(fā)展智能體，這才是目前比較靠譜的路徑。

三、別再用“造動物”思路做AGI：預(yù)訓(xùn)練只是“低配版進(jìn)化”，要提煉出能思考的“認(rèn)知核心”

Dwarkesh Patel：我覺得可以嘗試站在另一派的角度為他們的觀點(diǎn)辯護(hù)。他們會說，人類或動物其實(shí)天生就能從零開始學(xué)習(xí)，不需要語言、標(biāo)簽或結(jié)構(gòu)化數(shù)據(jù)。比如動物出生后被直接扔進(jìn)世界里，沒有任何“訓(xùn)練語料”，也能慢慢理解環(huán)境，學(xué)會行為。所以AGI的目標(biāo)是不是也該如此：從感官數(shù)據(jù)出發(fā)，看著屏幕，自己推理世界的規(guī)則？我們?yōu)槭裁匆◣装偃f年的訓(xùn)練計(jì)算量，才能學(xué)會這些東西？

Andrej Karpathy：這是個很好的問題。簡單說，我對“把AI類比動物”的說法會特別謹(jǐn)慎。因?yàn)閯游镞M(jìn)化出的智能，是經(jīng)過一種完全不同的優(yōu)化過程形成的，和我們用損失函數(shù)、梯度下降訓(xùn)練模型完全不一樣。雖然你直覺上會覺得“小動物能從零學(xué)會感知，那AI也應(yīng)該可以”，但兩者之間的機(jī)制差別實(shí)在太大了。

所以目前來看，我們還是需要先獲得強(qiáng)大的表征能力，通過預(yù)訓(xùn)練、大模型這些方式構(gòu)建知識，再考慮讓Agent去行動，而不是直接模擬生物從零開始的成長過程。

動物是在進(jìn)化過程中發(fā)展出來的，它們在出生時就帶有大量“內(nèi)建的硬件”。比如我舉過的例子，一只斑馬出生幾分鐘后就能奔跑、跟著母親移動，這是一個極其復(fù)雜的行為過程。這種能力并不是靠強(qiáng)化學(xué)習(xí)獲得的，而是直接內(nèi)嵌進(jìn)它們的大腦結(jié)構(gòu)中的。顯然，進(jìn)化有某種機(jī)制能將神經(jīng)網(wǎng)絡(luò)的權(quán)重“編碼”進(jìn)DNA序列（即ATCG堿基），雖然我不知道它具體是怎么做到的，但它確實(shí)有效。

所以我認(rèn)為，大腦的形成過程和我們現(xiàn)在訓(xùn)練AI的方式是完全不同的，這也是我為什么不太愿意直接從生物大腦那里汲取靈感——因?yàn)槲覀儾]有在運(yùn)行同樣的優(yōu)化過程。

我們現(xiàn)在其實(shí)不是在造“動物”，我們更像是在造“幽靈”或者“靈體”之類的東西。因?yàn)?span style="color: #0f59a4">我們不是通過進(jìn)化來訓(xùn)練智能體，而是靠模仿人類以及互聯(lián)網(wǎng)上的數(shù)據(jù)。最終我們獲得的是一些完全數(shù)字化的、在某種程度上模仿人類行為的“非實(shí)體智能體”，它們的智能形式和動物或人類的本質(zhì)差別非常大。

你可以把所有可能的智能體看成一個大的空間（intelligence space），而我們目前構(gòu)建的AI，和生物體所處的位置完全不同。當(dāng)然，我也認(rèn)為我們可以嘗試讓這些AI變得更像動物，我也希望朝那個方向推進(jìn)。

我覺得他們的思路是想“造動物”，這是一個很棒的目標(biāo)，如果真能讓一個統(tǒng)一算法在互聯(lián)網(wǎng)上跑一遍就能學(xué)會一切，那當(dāng)然是件偉大的事。但我懷疑這樣的算法是否真的存在，而且我可以確定動物也不是這么做的。動物的智能發(fā)展有一個“外循環(huán)”過程，那就是進(jìn)化，而我們沒有。看上去像“學(xué)習(xí)”的那些過程，其實(shí)很多是大腦成熟的結(jié)果，并不是真的強(qiáng)化學(xué)習(xí)。我甚至認(rèn)為，強(qiáng)化學(xué)習(xí)在動物身上其實(shí)主要用于運(yùn)動控制這類任務(wù)，比如“投籃”這樣的行為，而不是用于解決高階智能問題，比如邏輯推理或問題求解。換句話說，我認(rèn)為人類并沒有廣泛依賴強(qiáng)化學(xué)習(xí)來實(shí)現(xiàn)認(rèn)知智能。

Dwarkesh Patel：你能再重復(fù)一下剛才那句話嗎？你說強(qiáng)化學(xué)習(xí)主要解決的不是智能任務(wù)，而是類似運(yùn)動控制的事情？

Andrej Karpathy：對，我的看法是，強(qiáng)化學(xué)習(xí)在人類身上更像是用來完成一些基本動作類任務(wù)，比如投擲一個圈套、完成一個物理動作等。但在更高層級的智能任務(wù)，比如問題解決和認(rèn)知推理方面，我認(rèn)為人類并不怎么依賴強(qiáng)化學(xué)習(xí)。

Dwarkesh Patel：非常有趣，我需要消化一下你剛才講的這些內(nèi)容。那我想問一個澄清性問題：你是不是在說，進(jìn)化其實(shí)相當(dāng)于一個“預(yù)訓(xùn)練過程”？它構(gòu)建出一個足夠復(fù)雜的結(jié)構(gòu)，之后個體才能在一生中進(jìn)行學(xué)習(xí)。差別在于，人類的這套系統(tǒng)被壓縮到了DNA中，而不像神經(jīng)網(wǎng)絡(luò)那樣擁有龐大的權(quán)重參數(shù)?？雌饋恚M(jìn)化更像是在尋找“學(xué)習(xí)算法”，這個算法讓個體能在一生中進(jìn)一步學(xué)習(xí)。只是這種“終身學(xué)習(xí)”也許并不等同于強(qiáng)化學(xué)習(xí)。你同意這樣的看法嗎？

Andrej Karpathy：我同意你的說法。這里確實(shí)存在某種“不可思議的壓縮機(jī)制”，因?yàn)轱@然神經(jīng)網(wǎng)絡(luò)的全部權(quán)重不可能被編碼進(jìn)DNA序列里。進(jìn)化一定是某種“尋找學(xué)習(xí)算法”的過程，它讓個體能在線學(xué)習(xí)一些東西。所以我完全同意你的推斷。

只是我自己的視角會更務(wù)實(shí)一些。我不太從“我們要造動物”這個目標(biāo)出發(fā)，而是更像一個戴著安全帽的工程師，我的出發(fā)點(diǎn)是“我們要造出有用的東西”。我們沒法復(fù)現(xiàn)生物的進(jìn)化過程，我也不知道怎么做。但事實(shí)是，我們現(xiàn)在確實(shí)可以通過模仿互聯(lián)網(wǎng)上的人類數(shù)據(jù)，造出一種“幽靈”式的智能體。它們雖然不是動物，但通過這種方式，我們也能獲得某種“預(yù)先內(nèi)置的知識與智能”。這在某種程度上也類似于進(jìn)化賦予生物的先天能力。

所以我有時候會把“預(yù)訓(xùn)練”形容為“低配版的進(jìn)化”——它當(dāng)然沒有進(jìn)化復(fù)雜，但它是目前在我們技術(shù)條件下，能夠?qū)崿F(xiàn)的、最接近進(jìn)化的方法。它能讓我們到達(dá)一個合適的起點(diǎn)，在這個基礎(chǔ)上再去嘗試強(qiáng)化學(xué)習(xí)或其他方法，來進(jìn)一步提升AI能力。

預(yù)訓(xùn)練教會模型如何去學(xué)，也許可以被看成是一種元學(xué)習(xí)。但如果說進(jìn)化和預(yù)訓(xùn)練都在傳遞知識，那這個比喻就站不住了。

我們在預(yù)訓(xùn)練中做的，其實(shí)是把“預(yù)測下一個token”的任務(wù)丟給一個神經(jīng)網(wǎng)絡(luò)，喂它全互聯(lián)網(wǎng)的數(shù)據(jù)。這個過程其實(shí)是在做兩件不太相關(guān)的事：第一，它確實(shí)在學(xué)習(xí)大量的知識，第二，它也在逐步形成某種智能。換句話說，它通過觀察互聯(lián)網(wǎng)上的數(shù)據(jù)，學(xué)會了一些“算法式的模式”，這些模式讓網(wǎng)絡(luò)內(nèi)部激活了一些小的回路和子算法，從而獲得了比如上下文學(xué)習(xí)這樣的能力。

事實(shí)上，我們并不是真的需要神經(jīng)網(wǎng)絡(luò)掌握那么多知識。我甚至覺得，太多的知識反而會拖累它的整體表現(xiàn)。比如現(xiàn)在的智能體普遍不擅長“跳出數(shù)據(jù)流形”，也就是說它們很難應(yīng)對互聯(lián)網(wǎng)上不存在的數(shù)據(jù)或場景。如果它們的知識或記憶少一些，也許反而表現(xiàn)更好。

所以我認(rèn)為接下來的研究方向之一，就是想辦法把一些知識剝離出去，保留下來我稱之為“認(rèn)知核心”（cognitive core）的部分。這個核心不是指知識本身，而是一種算法能力，是解決問題的策略和智能的本質(zhì)。我們要保留的是能思考、能應(yīng)變的那個“核心智能體”。

四、上下文撐不起真正智能：卡帕西直指模型無法寫入經(jīng)驗(yàn)，只能一遍遍從空狀態(tài)重啟

Dwarkesh Patel：說到上下文學(xué)習(xí)，它的效果確實(shí)很神奇。你跟模型對話時，感覺它真的能理解你，能反思、能糾正錯誤，這些能力都發(fā)生在上下文窗口內(nèi)。它們是預(yù)訓(xùn)練過程中通過梯度下降“學(xué)出來”的嗎？這就像人類擁有了大腦結(jié)構(gòu)，但真正的學(xué)習(xí)是在成長過程中通過別的機(jī)制實(shí)現(xiàn)的。

Andrej Karpathy：我不完全同意你的類比。雖然上下文學(xué)習(xí)不是在運(yùn)行時用梯度下降訓(xùn)練出來的，但我懷疑它內(nèi)部確實(shí)有類似的機(jī)制。上下文學(xué)習(xí)本質(zhì)是“模式補(bǔ)全”，模型會基于輸入在當(dāng)前窗口中繼續(xù)寫下去，而互聯(lián)網(wǎng)恰好提供了足夠多的模式供它學(xué)習(xí)。這些能力已經(jīng)被編碼進(jìn)網(wǎng)絡(luò)權(quán)重里，并在運(yùn)行時激活。

有些研究表明，模型在上下文學(xué)習(xí)時，內(nèi)部確實(shí)可能在運(yùn)行一個“迷你版”的梯度下降過程。比如有論文展示了模型可以通過上下文學(xué)習(xí)完成線性回歸任務(wù)，這實(shí)際上就是一個典型的梯度下降問題。有些團(tuán)隊(duì)甚至嘗試在模型內(nèi)部硬編碼一個“自我優(yōu)化器”，用注意力機(jī)制等結(jié)構(gòu)來執(zhí)行梯度更新。

所以我的觀點(diǎn)是，我們還不完全清楚上下文學(xué)習(xí)是如何運(yùn)作的，但它很可能真的在執(zhí)行某種內(nèi)部優(yōu)化過程。這個過程可能不是傳統(tǒng)意義上的梯度下降，但它確實(shí)具備類似的邏輯，這是我對這個問題唯一的保留意見。

Dwarkesh Patel：那如果上下文學(xué)習(xí)和預(yù)訓(xùn)練都在某種程度上實(shí)現(xiàn)了類似梯度下降的過程，為什么上下文學(xué)習(xí)給人的感覺更像是真正的“持續(xù)學(xué)習(xí)”或“類智能”的東西，而預(yù)訓(xùn)練沒有這種感覺？

Andrej Karpathy：如果算法類似，那差異可能來自另一個因素，比如模型在處理每個token時所能保留的信息量。

比如以LLaMA 3為例，它的70B模型在預(yù)訓(xùn)練時處理了大約15萬億個token，但參數(shù)只有700億個左右，平均每個token只留下約0.07比特的信息。而相比之下，在上下文學(xué)習(xí)中，每多讀入一個token，KV緩存（KV cache）的信息增長量大約是320KB。這意味著上下文學(xué)習(xí)中每個token帶來的“存儲”信息量，是預(yù)訓(xùn)練時的3500萬倍。我覺得這點(diǎn)可能非常關(guān)鍵。

我自己的表述方式是這樣的：任何發(fā)生在訓(xùn)練階段的事情，模型最終保留下來的只是某種“模糊的回憶”，因?yàn)閴嚎s比實(shí)在太高了。你把15萬億個token壓縮進(jìn)一個只有幾十億參數(shù)的模型里，損失的信息是巨大的。所以它對互聯(lián)網(wǎng)的記憶本質(zhì)上是模糊的。而反過來，當(dāng)你在推理階段通過上下文窗口輸入token，這些token的信息就非常直接地加載進(jìn)了模型的“工作記憶”，是立即可訪問的。

這也是為什么我們經(jīng)常會發(fā)現(xiàn)，LLM和人類大腦之間會出現(xiàn)一些意外的類比，盡管我們并不是在有意構(gòu)建類人腦系統(tǒng)。比如你問模型一本書的內(nèi)容，它可能給出一些大致正確的回憶，但如果你把整章原文放進(jìn)上下文里再提問，模型的表現(xiàn)會立刻好很多，因?yàn)樗藭r已把關(guān)鍵內(nèi)容加載進(jìn)了工作記憶。我基本上同意你剛才長篇的論述，確實(shí)如此。

回到更大的問題：現(xiàn)在的模型在哪些方面最不像人類智能？我覺得整體上還有很多地方?jīng)]做到。換一個說法也許更清晰——雖然類比不完美，但transformer神經(jīng)網(wǎng)絡(luò)可能已經(jīng)摸到了一塊非常通用的“皮層組織”。它們可以訓(xùn)練在文本、音頻、視頻等多種模態(tài)上，強(qiáng)大、通用、靈活。就像人腦皮層那樣具備極強(qiáng)的可塑性。比如過去曾有實(shí)驗(yàn)將動物的大腦視覺皮層與聽覺皮層重新連接，它們最終依然能學(xué)習(xí)和適應(yīng)。

我們現(xiàn)在在做的“思維鏈”、規(guī)劃任務(wù)，可能有點(diǎn)類似人類大腦的前額葉皮層，這是處理高級認(rèn)知的區(qū)域。而強(qiáng)化學(xué)習(xí)微調(diào)可能對應(yīng)基底節(jié)，這是與行動選擇有關(guān)的大腦區(qū)域。但也有很多大腦結(jié)構(gòu)我們并沒有去模擬，比如海馬體——目前尚不清楚它在AI中該如何對應(yīng)。還有杏仁核、本能與情緒相關(guān)的區(qū)域，我們幾乎沒觸碰過。某些部分可能沒那么重要，比如小腦通常被認(rèn)為對認(rèn)知沒太大影響，可能可以忽略。但很多古老的神經(jīng)核團(tuán)可能蘊(yùn)含著重要的本能機(jī)制，我們還完全沒開始探索。

當(dāng)然我也不一定主張我們必須要復(fù)現(xiàn)整個大腦。我本質(zhì)上還是個工程師，更關(guān)注怎么把有用的東西做出來。

以至于回答“為什么現(xiàn)在的模型還無法被當(dāng)作實(shí)習(xí)生雇用”這個問題，其實(shí)可以換一個角度來看。我們和這些模型互動時，能明顯感受到它們還存在很多認(rèn)知缺陷，這讓人直觀地覺得它們不夠“完整”。可以想象成，我們還沒有在它們身上“打勾”所有人腦的重要模塊。

這其實(shí)也和“持續(xù)學(xué)習(xí)”這個話題有關(guān)?，F(xiàn)在有種觀點(diǎn)認(rèn)為，只要給模型一些跨會話的激勵，讓它能記住更長時間范圍內(nèi)的信息，持續(xù)學(xué)習(xí)的能力就會自發(fā)出現(xiàn)——就像上下文學(xué)習(xí)是預(yù)訓(xùn)練過程中自然涌現(xiàn)的一樣。比如通過一個外部循環(huán)的強(qiáng)化學(xué)習(xí)框架，在這個框架中，模型自動調(diào)整自身，或者把經(jīng)驗(yàn)寫入外部記憶。你覺得這種“自然出現(xiàn)”的路徑靠譜嗎？我很難判斷它到底有多可能。

我對此持保留態(tài)度。因?yàn)槟壳暗哪Ｐ驮诿看瓮评頃r，都是從一個空的上下文窗口開始的，相當(dāng)于每次都“重啟”了狀態(tài)。這和人類的感受不同，比如我們清醒時，會不斷積累當(dāng)天的上下文信息，但睡覺之后，大腦里似乎發(fā)生了某種“魔法”般的轉(zhuǎn)變。我的感覺是，人類在睡眠中會把短時記憶提煉為權(quán)重結(jié)構(gòu)的一部分，也就是說我們有一種“蒸餾機(jī)制”，這在現(xiàn)有的大語言模型中是缺失的。

現(xiàn)在的模型缺乏這種“從經(jīng)驗(yàn)中提取核心，再寫入自身參數(shù)”的機(jī)制。人類可能是在夜間進(jìn)行反思、重構(gòu)、生成類合成數(shù)據(jù)，然后將它們通過某種方式融入長期記憶結(jié)構(gòu)里。

或許未來我們可以讓模型也擁有每個人專屬的微型子網(wǎng)絡(luò)，比如用LoRA（一種參數(shù)高效微調(diào)方法）來更新部分稀疏的參數(shù)，讓它們形成“個體化模型”，這樣模型就不只是靠不斷擴(kuò)展的上下文窗口來維持記憶。

我也覺得，人類擁有非常復(fù)雜的稀疏注意機(jī)制（sparse attention scheme），而我們剛剛開始模仿這種結(jié)構(gòu)。比如DeepSeek V3.2最近就引入了稀疏注意機(jī)制，這是讓上下文窗口變得更長的一種實(shí)現(xiàn)方式。總體來看，我覺得我們正在用完全不同的路徑，重新發(fā)明進(jìn)化賦予人類的一些認(rèn)知技巧，最終可能會在認(rèn)知架構(gòu)上收斂到類似的形式。

Dwarkesh Patel：那你覺得十年后我們還會用transformer嗎？只是它的注意力結(jié)構(gòu)變得更稀疏、MLP模塊更優(yōu)化？

Andrej Karpathy：我會從時間尺度的不變性來思考這個問題。十年前是2015年，那時我們主力模型還是卷積神經(jīng)網(wǎng)絡(luò)，ResNet剛出來。雖然和現(xiàn)在的架構(gòu)相比差異巨大，但也能看出技術(shù)在逐步演進(jìn)。那時transformer還沒出現(xiàn)，更別說今天常見的各種變種。所以我覺得十年后我們可能仍會使用巨型神經(jīng)網(wǎng)絡(luò)，通過前向傳播、反向傳播和梯度下降來訓(xùn)練，只是具體結(jié)構(gòu)可能會發(fā)生很大變化。

我還做過一個有趣的回溯實(shí)驗(yàn)：重現(xiàn)了楊立昆（Yann LeCun）在1989年發(fā)布的卷積神經(jīng)網(wǎng)絡(luò)模型，那是我所知最早通過現(xiàn)代意義上的梯度下降來訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，用于手寫數(shù)字識別。我嘗試用現(xiàn)在的工具去復(fù)刻它，看看進(jìn)步主要來自哪幾個方面——是算法、數(shù)據(jù)還是算力。我發(fā)現(xiàn)只靠算法改進(jìn)，比如把學(xué)習(xí)率調(diào)一半，我就能把誤差減少50%。這是靠“算法時間旅行”做到的。但如果想要進(jìn)一步提升效果，就必須引入更多數(shù)據(jù)，比如把訓(xùn)練集擴(kuò)大10倍，還得引入現(xiàn)代的計(jì)算優(yōu)化技術(shù)，比如Dropout和各種正則化方法，并延長訓(xùn)練時間。

這說明了過去幾十年AI進(jìn)展背后的幾個核心驅(qū)動力：算法改進(jìn)能帶來初期收益，但最終的突破往往依賴于數(shù)據(jù)規(guī)模的擴(kuò)展和計(jì)算資源的提升。而這些因素，很可能也將決定未來十年的智能體演進(jìn)路徑。

我們其實(shí)是在一個所有因素都必須同時進(jìn)步的環(huán)境中前行。我們會有更多的數(shù)據(jù)，會有更好的硬件，更高效的底層算子和軟件，也會有更優(yōu)的算法。奇妙的是，沒有哪一個方面在“單獨(dú)領(lǐng)跑”，它們幾乎是以一種同步演進(jìn)的方式推動整個系統(tǒng)前進(jìn)。

這也是我們這些年看到的趨勢。所以如果要回答你的問題，我確實(shí)認(rèn)為未來在算法層面會有所不同，但某些核心要素可能會保留，比如用梯度下降訓(xùn)練的大規(guī)模神經(jīng)網(wǎng)絡(luò)，這點(diǎn)我認(rèn)為十年后仍然成立。

不過讓我覺得最值得注意的，是要讓整個系統(tǒng)進(jìn)步，必須讓每一個組成部分——模型結(jié)構(gòu)、優(yōu)化器、損失函數(shù)等全面升級。而這種全方位的演進(jìn)，其實(shí)從一開始就存在。

五、Karpathy開源nanochat：親手搭建最能理解AI，模型寫代碼反而拖后腿

Dwarkesh Patel：你最近開源了nanochat，你在從零搭建一個ChatGPT式模型的過程中有沒有新的認(rèn)知？有沒有發(fā)現(xiàn)某一個因素最為關(guān)鍵？

Andrej Karpathy：nanochat是我發(fā)布的一個完整的代碼庫，目標(biāo)是提供一個最簡潔但完整的、覆蓋從訓(xùn)練到部署的ChatGPT克隆實(shí)現(xiàn)。它并不是專注某一個模塊，而是整個pipeline都涵蓋了。

之前我也寫過很多針對單點(diǎn)模塊的教程，用極簡代碼講清楚算法原理，但這次的nanochat更多是構(gòu)建了一個從頭到尾都打通的系統(tǒng)。我個人在寫它的過程中并沒有學(xué)到什么新東西，因?yàn)槲冶緛砭椭涝撛趺醋?，這次只是把這些思路實(shí)現(xiàn)成代碼并整理清晰，方便別人學(xué)習(xí)和使用。

Dwarkesh Patel：那你覺得學(xué)習(xí)這份代碼最好的方式是什么？

Andrej Karpathy：這是個很好的問題。整個代碼庫大概有8000行，我建議最好的方式是雙屏操作，把代碼放在右邊，自己從零開始動手實(shí)現(xiàn)一遍?？梢詤⒖?，但不能復(fù)制粘貼。這個過程會強(qiáng)迫你真的去理解每一部分邏輯。

不過，這個代碼庫本身還是挺大的，真正寫代碼的過程并不是線性從上往下寫的，而是模塊化、分塊構(gòu)建，再逐步拼接組合的。所以單靠最終版本的代碼，其實(shí)很難還原整個“從無到有”的過程。我希望之后能把這個過程也補(bǔ)充出來，可能做成視頻形式，來展示我是怎么逐步構(gòu)建每一塊組件的。

我始終認(rèn)為，知識有兩個層次：表面上的理解和動手做出來的理解。當(dāng)你真正寫代碼實(shí)現(xiàn)某個系統(tǒng)時，你會發(fā)現(xiàn)自己很多原以為理解的地方其實(shí)并沒掌握。這個過程會迫使你面對“自己不知道自己不懂”的那些部分，而這正是通往更深理解的唯一路徑。

有人說過，“如果你不能構(gòu)建它，那你就不理解它?！蔽彝耆膺@個觀點(diǎn)。我一直非常堅(jiān)信，真正的知識掌握是靠搭建系統(tǒng)實(shí)現(xiàn)來的，不是寫博客、做幻燈片。必須寫代碼、動手搭建、調(diào)試出結(jié)果。否則，你掌握的知識只是記憶，不是理解。

Dwarkesh Patel：你還發(fā)過推文，說在組裝這個代碼庫的過程中，代碼生成模型對你幾乎沒有幫助。我挺好奇為什么？

Andrej Karpathy：我花了大概一個多月搭建了這個代碼庫，在這個過程中我覺得現(xiàn)在程序員與代碼互動主要有三種方式。一種是完全拒絕使用大語言模型，堅(jiān)持從零開始手寫代碼，我認(rèn)為這已經(jīng)不太合理了。第二種，也是我現(xiàn)在的做法，是你還是會從頭寫不少代碼，但會借助模型提供的自動補(bǔ)全功能。當(dāng)你開始寫一段代碼時，模型會幫你補(bǔ)全內(nèi)容，通常還挺準(zhǔn)的，有時候不對你也可以改掉，但你仍然是整段代碼的架構(gòu)師。而第三種是所謂的“VIP編碼”，就是你告訴模型“請幫我實(shí)現(xiàn)某某功能”，然后回車讓模型自動生成，這種更接近智能體的做法。

我覺得智能體在特定場景下是有用的，我自己也會在這些特定場景里用，但它們只是工具之一，你得了解它們的長處和短處，知道什么時候用比較合適。比如對于樣板代碼——那種大量復(fù)制粘貼、格式化的重復(fù)性代碼，模型做得非常好，因?yàn)榛ヂ?lián)網(wǎng)上這種代碼很多，訓(xùn)練數(shù)據(jù)也覆蓋了大量這類模式。但如果像我這個nanochat的項(xiàng)目，就完全不是樣板代碼，它的結(jié)構(gòu)很獨(dú)特，需要精確組織邏輯和執(zhí)行順序，屬于智力密集型的寫法，模型在這方面表現(xiàn)就很差。

模型經(jīng)?！袄斫忮e”我的代碼，因?yàn)樗鼈兡X子里裝滿了網(wǎng)絡(luò)上常見的寫法，而我寫的方式與它們見過的不一樣。比如一個具體例子：在多GPU訓(xùn)練中，大家通常會用PyTorch的分布式數(shù)據(jù)并行模塊（DistributedDataParallel，簡稱DDP）來自動同步各個GPU的梯度。但我不想用DDP，因?yàn)闆]必要，所以我把它砍了，自己在優(yōu)化器的step步驟中寫了同步邏輯。結(jié)果模型不停試圖讓我用DDP，完全無法理解我已經(jīng)自己實(shí)現(xiàn)了這個功能。

而且它們還總是在風(fēng)格上搞錯，比如過度防御，老是加一堆try-catch語句，好像在寫線上生產(chǎn)代碼。我自己代碼里有很多假設(shè)，但那是可以接受的，不需要模型加一堆沒必要的復(fù)雜邏輯進(jìn)去。它們這樣反而讓代碼變臃腫、難維護(hù)，還老是用到過時的API，結(jié)果就是整個代碼質(zhì)量很差。雖然我可以手動清理一遍，但說實(shí)話那樣的幫助并不大。而且我也不太喜歡用英文打一大段話告訴模型我想干嘛，那太低效了。我更喜歡直接跳到我知道要寫代碼的位置，開始寫前幾個字符，模型就會自動補(bǔ)全，大部分時候還挺準(zhǔn)。這種方式的信息帶寬其實(shí)是最高的。

當(dāng)然，模型在一些特定位置還是有用的。我舉兩個我親自使用過的例子。一是我生成報(bào)告的部分，那部分本來就比較模板化，所以我部分地用了“VIP編碼”方式，這種情況是可以接受的，不是核心代碼，而且結(jié)果也不錯。另一個例子是我在用Rust重寫分詞器的時候，因?yàn)槲覍ust不太熟，寫得沒那么順手。這時候我會讓模型先寫一部分，我再參考Python的實(shí)現(xiàn)去優(yōu)化效率，而且我有測試覆蓋，心里更踏實(shí)些。這種情況下模型非常有幫助。它們可以顯著降低你使用不熟悉語言或編程范式的門檻。

尤其像Rust這類語言，現(xiàn)在網(wǎng)絡(luò)上已經(jīng)有很多相關(guān)代碼，模型在這方面表現(xiàn)不錯，我自己雖然還不太會Rust，但它們可以幫我快速上手。

六、AI離爆發(fā)還遠(yuǎn)：卡帕西批評行業(yè)自嗨，強(qiáng)化學(xué)習(xí)效率低下，2027不現(xiàn)實(shí)

Dwarkesh Patel：我認(rèn)為這個問題之所以有意思，是因?yàn)槿缃耜P(guān)于AI迅速爆發(fā)、走向超級智能的主流敘事，核心就是AI自動化工程和研究的能力。人們看到像Claude這樣的模型已經(jīng)能從零生成完整的應(yīng)用程序，就會設(shè)想，如果OpenAI或DeepMind內(nèi)部的模型也具備類似能力，那就等于你擁有成千上萬個你自己在并行工作，不斷優(yōu)化架構(gòu)細(xì)節(jié)，這聽上去是非常強(qiáng)大的圖景。你說AI在這方面反而做得不夠好，這對預(yù)測2027年是否可能發(fā)生AI爆炸式進(jìn)展是一個重要參考。

Andrej Karpathy：是的，我認(rèn)為你描述得很準(zhǔn)確，也契合了我為什么對AI發(fā)展時間線持相對更長的觀點(diǎn)。模型在處理那些“從未寫過的代碼”時能力有限，而這恰恰是我們在構(gòu)建這些模型時追求的目標(biāo)。

Dwarkesh Patel：聽起來有點(diǎn)奇怪，那些你加到nanochat模型中的架構(gòu)改進(jìn)，不是都已經(jīng)寫在論文里，甚至放在開源代碼倉庫了嗎？比如你加了rope embedding（位置編碼方法）之類的東西，它們?yōu)槭裁礇]法用對？

Andrej Karpathy：確實(shí)有點(diǎn)難。模型似乎“知道”這些信息，但只是“似懂非懂”。它們無法將這些改動完整地融合到你的代碼倉庫里，跟上你的風(fēng)格、代碼習(xí)慣、一些自定義的實(shí)現(xiàn)方式，或者倉庫背后的結(jié)構(gòu)性假設(shè)。這方面它們還沒做到。它們確實(shí)有些相關(guān)知識，但無法真正理解這些改動的作用，也無法有效整合到實(shí)際項(xiàng)目中。不過我得說，它們確實(shí)在持續(xù)變好。目前我最常用的是GPT-5 Pro，這是一個非常強(qiáng)大的模型。如果我有20分鐘時間，我會直接把整個代碼倉庫貼進(jìn)去，然后請它幫我解決一些問題，它的表現(xiàn)常常還不錯，跟一年前相比確實(shí)驚人地進(jìn)步了。

但從整體上看，這些模型還是沒達(dá)到預(yù)期。我感覺整個行業(yè)在這件事上跳得太快、說得太滿，好像AI已經(jīng)無所不能了，但其實(shí)并沒有。很多產(chǎn)品就是一堆“爛泥”，行業(yè)自己也不愿正視這點(diǎn)，也許是因?yàn)檫€想拉融資吧。我不清楚具體原因，但我們目前處于一種“中間狀態(tài)”：模型非常強(qiáng)大，但仍需大量完善。對我來說，現(xiàn)在最適合的使用方式還是自動補(bǔ)全功能。有時候，處理某些代碼問題時，我也會用一些Agent。

Dwarkesh Patel：從編程史來看，你提到的這個“自動補(bǔ)全”的AI功能，確實(shí)有跡可循。歷史上很多編程工具提升了開發(fā)效率，比如編譯器、靜態(tài)分析工具、編程語言本身的演進(jìn)等，但它們并沒有引發(fā)所謂的“編程爆炸”，這或許也說明，AI目前的進(jìn)展更像是在這些工具改進(jìn)的范疇里。

Andrej Karpathy：我同意。其實(shí)我覺得現(xiàn)在很難劃清AI到底從哪里開始、又在哪結(jié)束。某種意義上，我認(rèn)為AI就是計(jì)算的延續(xù)，它是計(jì)算發(fā)展非常核心的一部分。從早期我們做的各種工具，比如代碼編輯器、語法高亮、數(shù)據(jù)類型檢查器，到搜索引擎——這些其實(shí)也可以算作AI工具。比如搜索排序算法，其本質(zhì)就是一種AI技術(shù)。Google剛創(chuàng)立時就把自己定位為AI公司，我覺得這非常合理。

所以我認(rèn)為AI的發(fā)展是一個連續(xù)體，不像有些人那樣硬性區(qū)分AI和非AI?，F(xiàn)在我們有了更強(qiáng)的自動補(bǔ)全，也開始出現(xiàn)一些智能體，這些Agent可以自主循環(huán)決策，但有時又會跑偏。總的趨勢是，人在做的底層工作越來越少。就像我們不再寫匯編語言，而是用C語言交給編譯器去轉(zhuǎn)換。這個過程本質(zhì)上是一個“自動化滑桿”，我們在不斷提升抽象層級，同時逐步把可以被自動化的部分交給AI處理。我們自己則退居上層，做更少但更抽象的事情。

正是在這樣的背景下，我常說，人類并不是通過強(qiáng)化學(xué)習(xí)來學(xué)習(xí)的。我覺得人類在做的是另一套機(jī)制，是基于經(jīng)驗(yàn)的積累。強(qiáng)化學(xué)習(xí)其實(shí)遠(yuǎn)比大多數(shù)人想象的要糟糕，它本質(zhì)上是一個非常弱的學(xué)習(xí)方法。之所以我們還在用它，只是因?yàn)橹拔覀兯蕾嚨哪７聦W(xué)習(xí)方式更加不堪。比如以前我們只是去模仿人類行為，本身就存在各種問題。

以解決數(shù)學(xué)題為例，這是一個很簡單的任務(wù)。在強(qiáng)化學(xué)習(xí)的設(shè)定下，你拿到一個題目，會并行地嘗試上百種解法——每一種都可能包含多步推理，比如嘗試A方法，再嘗試B方法，然后發(fā)現(xiàn)不對，換另一個方向等等。最終，也許某個嘗試得到了正確答案。你翻開答案后確認(rèn)某些嘗試成功了，而其他97個都錯了。

強(qiáng)化學(xué)習(xí)的做法是：只要你最終得到正確答案，那么整個解題路徑上的每一個步驟、每一個token（即生成的每一個文字單位）都會被整體上調(diào)權(quán)重，意味著“多做點(diǎn)這種操作”。但問題在于——這完全不合理。你可能在過程中走了很多彎路，做了許多錯誤的嘗試，但因?yàn)樽詈蟮慕Y(jié)果是對的，系統(tǒng)就會把所有這些“錯誤路徑”都當(dāng)作有價(jià)值的部分來強(qiáng)化。

人們通常會說，這樣的估計(jì)器“方差很大”，意思就是太嘈雜，太不穩(wěn)定。你最終只是拿到一個結(jié)果——正確或錯誤，然后就用這個單一的反饋去對整條路徑進(jìn)行加權(quán)或者減權(quán)。這就像你做了一分鐘的復(fù)雜推理工作，但整個訓(xùn)練信號就是“正確”或“錯誤”這樣一個簡單標(biāo)簽，然后你試圖像吸管吸水那樣，從這個極為稀薄的信號中“吸出”監(jiān)督信息，強(qiáng)行傳播給整個決策路徑的每一步。

人類是不會這么學(xué)習(xí)的。第一，人不會去進(jìn)行幾百次的嘗試再找出一條正確路徑；第二，當(dāng)人找到了一個解，他們會對過程進(jìn)行復(fù)雜的復(fù)盤，比如哪些步驟是有效的，哪些是不該再做的，下次應(yīng)該換個方法。他們會進(jìn)行自我思考和反省。但現(xiàn)有的大語言模型（LLMs）中并沒有類似的機(jī)制。

我最近看到谷歌的一篇論文，嘗試引入“反思與復(fù)盤”機(jī)制，其他類似的研究也陸續(xù)出現(xiàn)。我認(rèn)為未來我們會在這個方向迎來一次重要的算法范式更新，不過這還遠(yuǎn)遠(yuǎn)不夠，我們可能還需要三到五次類似的突破。

七、“呃呃呃呃”也能拿滿分？卡帕西直言強(qiáng)化學(xué)習(xí)不靈了，合成訓(xùn)練惹禍，模型坍縮成了新難題

Dwarkesh Patel：你經(jīng)常能用很形象的比喻解釋復(fù)雜的問題，比如你剛才說強(qiáng)化學(xué)習(xí)是“用吸管吸監(jiān)督信號”，非常貼切。你提到的問題是，強(qiáng)化學(xué)習(xí)只看最終結(jié)果來分配獎勵，但這中間的過程極其復(fù)雜，信息量巨大，卻只能從最終是否成功這一點(diǎn)來反推所有步驟的優(yōu)劣。這很顯然是個問題。那為什么我們沒有更好地使用“過程式監(jiān)督”來代替這種基于結(jié)果的方式呢？是什么阻礙了這一思路的發(fā)展？

Andrej Karpathy：所謂“過程式監(jiān)督”，指的是我們不只在一個任務(wù)結(jié)束時告訴模型“對”還是“錯”，而是沿著整個過程的每一步都給予反饋，比如每寫一步代碼、每做一步計(jì)算，都告訴它做得怎么樣。這聽起來當(dāng)然更高效，但問題在于，這很難自動化實(shí)現(xiàn)。我們不知道該如何為部分正確的中間步驟分配合理的“部分獎勵”。如果只有最終答案，那很簡單——只需判斷結(jié)果是否等于標(biāo)準(zhǔn)答案就行了。但若我們想為一個不完整的解法打分，就必須回答一個更難的問題：這個中間解法值不值得鼓勵？目前不少實(shí)驗(yàn)室正在嘗試用大語言模型（LLM）作為“AI裁判”來解決這個問題，即提示一個LLM：“這是學(xué)生做出的部分解法，目標(biāo)答案是這個，請你判斷當(dāng)前進(jìn)展做得怎么樣?！彼麄儠{(diào)試指令去實(shí)現(xiàn)更好的評估效果。

但這個方法本身也存在根本問題：語言模型本身是復(fù)雜的、擁有數(shù)十億參數(shù)的大模型，是可以被攻擊的。一旦你用強(qiáng)化學(xué)習(xí)去優(yōu)化模型輸出，使其在LLM評判下得高分，那模型幾乎一定會找到對LLM評判機(jī)制的“對抗樣本”。在開始的10到20步訓(xùn)練中可能還能正常運(yùn)行，但如果持續(xù)進(jìn)行幾百上千步，模型就會學(xué)會如何“鉆空子”。

我印象特別深的一個例子是：我們當(dāng)時訓(xùn)練模型，獎勵函數(shù)是由一個LLM裁判給出的。起初訓(xùn)練效果很好，但突然獎勵變得異常高——看起來模型完全掌握了數(shù)學(xué)題的解法，幾乎每題都拿滿分。但你仔細(xì)看它的解答，會發(fā)現(xiàn)一開始幾步還正常，后面就全是“呃呃呃呃”（duh duh duh duh）這種毫無意義的輸出，像是胡言亂語一樣。可令人震驚的是，LLM裁判竟然給了這段“解答”滿分。為什么？因?yàn)檫@是一個它從沒見過的對抗樣本，完全超出了訓(xùn)練分布，導(dǎo)致它無法判斷正確性，只能盲目給出高分。這就是“強(qiáng)化學(xué)習(xí)+語言模型打分機(jī)制”的脆弱之處。

當(dāng)你進(jìn)入所謂的“純泛化領(lǐng)域”，總能找到這種打破規(guī)則的例子。其實(shí)是在把LLM訓(xùn)練作為尋找對抗樣本。這些對抗樣本是明顯錯誤、毫無邏輯的內(nèi)容，但模型卻認(rèn)為它們很優(yōu)秀。

Dwarkesh Patel：如果你認(rèn)為這就是目前強(qiáng)化學(xué)習(xí)難以奏效的瓶頸之一，那么解決方案就是讓LLM學(xué)會更好地判斷答案，也就是“判別器”變得更聰明。如果想要實(shí)現(xiàn)自動化流程，那你得訓(xùn)練模型變得更加健壯。這會不會最終變成類似GAN的路線？用生成器和判別器不斷博弈來提升能力？

Andrej Karpathy：我猜各大實(shí)驗(yàn)室現(xiàn)在大概就是在做這個方向。最基本的做法是，如果某個解答本來不該拿100%的獎勵，那就把它加到LLM裁判的訓(xùn)練集里，標(biāo)注為0%，而不是100%。但問題是，每次你這么做，就等于是訓(xùn)練出一個新的LLM，而新的LLM依然會被其他對抗樣本騙到。因?yàn)閷箻颖臼菬o限的，我認(rèn)為你迭代幾輪之后，確實(shí)會越來越難找到這樣的樣本，但我也不能100%確認(rèn)，畢竟這些模型有一萬億個參數(shù)?？傊?，我猜實(shí)驗(yàn)室肯定在嘗試。但我個人覺得，我們還需要一些全新的方法。

Dwarkesh Patel：你有沒有對“新的方法”有什么初步設(shè)想？比如那種用生成數(shù)據(jù)去訓(xùn)練模型，讓它在某種元學(xué)習(xí)（meta-learning）機(jī)制下變得更強(qiáng)?，F(xiàn)在也確實(shí)看到一些論文開始往這個方向走了。

Andrej Karpathy：我也有看到這類思路的論文，但目前還停留在讀摘要階段。說實(shí)話，很多論文只是概念設(shè)計(jì)，真正要在前沿LLM的實(shí)驗(yàn)室規(guī)模上部署，還需要很多工程工作。而且即便做出來，也不見得能全面泛化。有時候這些論文挺有意思的，但很嘈雜，不夠有說服力。當(dāng)然，大型LLM實(shí)驗(yàn)室如今都相對封閉，我們也不知道他們內(nèi)部到底做到了哪一步。

Dwarkesh Patel：我倒是可以想象如何基于合成問題來訓(xùn)練模型。你給它一些自己設(shè)計(jì)的問題，然后不斷訓(xùn)練它去解決這些問題。但我覺得人類做的還有另一個過程，比如睡覺或者白日夢。我們不是設(shè)計(jì)一個新問題，而是在“反思”（reflect）。這種機(jī)制在機(jī)器學(xué)習(xí)中似乎找不到等價(jià)物。

Andrej Karpathy：我也覺得我們確實(shí)缺少了某種機(jī)制。比如說，人類讀一本書時，不是像LLM那樣把文本拉成一串token去逐個預(yù)測。對于人類來說，書籍更像是引發(fā)思考的提示，你并不是在“記憶書的內(nèi)容”，而是在用書觸發(fā)自己的內(nèi)在生成過程，甚至是為了去和朋友討論。而真正的理解，是在加工這些信息的過程中產(chǎn)生的。當(dāng)前的LLM完全沒有這個過程。我很希望預(yù)訓(xùn)練階段能夠加入某種“消化內(nèi)容—思考—整合”的步驟，讓模型試著把新信息與已有知識結(jié)合起來，深入思考一段時間，但這仍是研究領(lǐng)域的問題。

我們目前缺乏這樣的能力，也不是沒有嘗試過。比如你可能想，“我們可以自己生成一些模型讀書的樣例，把這些‘思考’的樣本拿去訓(xùn)練”，看起來是個合理的想法。但問題在于，所有模型生成的樣本都存在一個非常隱蔽的缺陷：它們都處于某種“坍縮態(tài)”（collapsed state），也就是它們只覆蓋了整個合理輸出空間中非常狹窄的一小塊。你看每一個樣本可能覺得還行，但整體來說，分布是非常不完整的。這種坍縮是不容易察覺的。

你可以用一個簡單例子驗(yàn)證：去ChatGPT里讓它講個笑話。它大概只會告訴你三個笑話。這就是坍縮的體現(xiàn)——它不是給你整個笑話空間的多樣性，而是只掌握了其中非常小的一部分。

它們在無聲地“坍縮”（collapse），所以你得不到像人類那樣豐富、多樣、有熵值的輸出。人類的信息表達(dá)會更嘈雜一些，但至少不會在統(tǒng)計(jì)意義上出現(xiàn)這種“靜默坍縮”的問題。人類的大腦在信息生成中仍保持了大量的熵值，而大模型則容易陷入重復(fù)與單調(diào)。因此，如何在生成合成數(shù)據(jù)時避免坍縮、維持足夠的信息熵，是一個仍待解決的研究問題。

Dwarkesh Patel：我理解你是說，如果我們希望模型生成新的合成問題或反思內(nèi)容，而不是從已有的數(shù)據(jù)分布中直接復(fù)制內(nèi)容，就必須關(guān)注坍縮問題？

Andrej Karpathy：可以這么理解。比如我們讓模型就某本書的一章進(jìn)行反思，它可能會給出看起來挺合理的內(nèi)容，但你多問十次，就會發(fā)現(xiàn)每次幾乎都一樣。你不能一味依賴固定提示詞去驅(qū)動“反思”，指望它能持續(xù)給出有價(jià)值的新東西。單看每一條生成的內(nèi)容都還行，但它們組成的整體分布非常糟糕，尤其是當(dāng)你用這些合成內(nèi)容繼續(xù)訓(xùn)練模型時，會加劇坍縮。我甚至覺得可能不存在徹底的解決方案。某種程度上，人類的大腦也會隨時間產(chǎn)生坍縮。我們小時候天馬行空、未被“過擬合”，說出讓人驚訝的話。但成年人就陷入了思維重復(fù)，常說相似的話，學(xué)習(xí)效率降低，坍縮問題也越來越嚴(yán)重。

Dwarkesh Patel：我看過一篇挺有趣的論文，認(rèn)為人類“做夢”就是為了避免這種過擬合和坍縮。夢境能把你置于非現(xiàn)實(shí)、離奇的情境中，從而在演化上起到反過擬合的作用。

Andrej Karpathy：這個想法很有趣。當(dāng)我們在腦中生成內(nèi)容并注意它的時候，實(shí)際上就是在用自己的合成數(shù)據(jù)訓(xùn)練自己。如果你長期只沉浸在自己的內(nèi)部想法中，不接觸外界信息，會走偏，也會加速坍縮。所以我們必須主動尋找熵值，和別人交談就是一個重要的信息熵來源?；蛟S我們的大腦進(jìn)化出了某些機(jī)制，來幫助維持認(rèn)知系統(tǒng)中的熵。這些想法還很初步，但值得思考。

Dwarkesh Patel：我想到了一個可能相關(guān)的現(xiàn)象。人類學(xué)習(xí)能力最強(qiáng)的階段——兒童時期，其實(shí)是記憶能力最差的時候。嬰兒早期幾乎不會保留任何記憶，但卻能輕松掌握語言、理解世界。而另一頭的LLM預(yù)訓(xùn)練模型，能逐字復(fù)現(xiàn)維基百科下一句話，但抽象概念學(xué)習(xí)的能力遠(yuǎn)不如孩子。而成年人介于兩者之間，學(xué)習(xí)的靈活性降低了，但記憶能力強(qiáng)很多。這種反差可能有一些啟示。

Andrej Karpathy：我同意。人類其實(shí)不擅長記憶，而這恰恰是一種優(yōu)勢。因?yàn)椴簧瞄L死記硬背，我們被迫去總結(jié)規(guī)律、形成概念化的理解。而大語言模型則非常擅長記憶，它們能復(fù)述訓(xùn)練數(shù)據(jù)中的原文段落，甚至能在只訓(xùn)練一兩次后完全復(fù)現(xiàn)某段隨機(jī)字符串。人類根本不可能一次看完隨機(jī)數(shù)字就完整復(fù)述。但從泛化的角度說，人類的這種“不能記”反而是好事——它讓我們只能去學(xué)那些真正能提煉出的規(guī)律。而模型卻會被自身儲存的大量信息分散注意力。這也是我為什么提出“認(rèn)知核心”的原因：我希望模型去除大部分記憶，只保留用于思考的算法、實(shí)驗(yàn)思路、行為鏈條等“認(rèn)知膠水。從這個角度看，減少記憶，也是防止模型坍縮的一種方式。

至于“模型坍縮”（model collapse）該怎么解決？我們能想象的一些“樸素方法”其實(shí)都挺幼稚的，比如嘗試讓模型輸出的概率分布更分散，或者用一些熵（entropy）正則化技術(shù)去約束模型。

但從經(jīng)驗(yàn)上看，這些方法效果并不好。原因可能在于，我們目前對模型的主要使用目標(biāo)并不要求高多樣性。前沿實(shí)驗(yàn)室的目標(biāo)是讓模型實(shí)用，所以它們訓(xùn)練出來的模型，輸出趨于收斂——因?yàn)槎鄻有圆粌H難以評價(jià)，而且很難控制。在很多應(yīng)用里，太“花哨”的輸出反而會被懲罰，比如在強(qiáng)化學(xué)習(xí)中，如果你行為過于隨機(jī)或“創(chuàng)造性”太強(qiáng)，結(jié)果往往是不好的。就連寫作輔助等任務(wù)中，模型的回答也往往趨于單一，不愿探索各種可能的解法。我傾向于認(rèn)為，這是因?yàn)槎鄶?shù)應(yīng)用場景根本不需要多樣性，所以模型也就沒保留這部分能力。但當(dāng)我們進(jìn)入“合成生成階段”，缺乏多樣性又會變成問題。我們反而是自己限制了模型的“熵”，從而讓未來任務(wù)的性能受損。從這個角度說，我認(rèn)為實(shí)驗(yàn)室在保留模型多樣性方面應(yīng)該更努力。

Dwarkesh Patel：你剛才提到這可能是個非常根本性的問題，意味著它很難解決？你怎么看？

Andrej Karpathy：我倒不一定認(rèn)為這是一個根本性問題，可能我剛才說話沒那么準(zhǔn)確。我并不覺得這類問題無解，雖然我自己還沒有做這方面的實(shí)驗(yàn)，但我相信是可以對模型的輸出熵進(jìn)行一定的正則化處理，讓它在訓(xùn)練中被鼓勵產(chǎn)生更多樣的解法。但這又很微妙：如果你過度鼓勵熵，模型可能就會偏離訓(xùn)練分布，開始發(fā)明自己的語言，使用非常稀有的詞匯，導(dǎo)致輸出“漂移”過大。所以問題的關(guān)鍵是——你必須控制模型的分布不要偏得太離譜，而這恰恰是非常棘手的事情。所以說，這事兒確實(shí)不簡單。

八、卡帕西預(yù)判AGI方向：把模型從“壓縮機(jī)”變成“認(rèn)知體”認(rèn)知核心規(guī)模縮到10億參數(shù)

Dwarkesh Patel：那如果你要猜的話，一個“理想的認(rèn)知核心”到底應(yīng)該有多大？我們能否將“認(rèn)知核心”壓縮到一個可攜帶、可部署的程度？

Andrej Karpathy：這其實(shí)是個挺有意思的問題。在過去的AI發(fā)展中，我們一度非常執(zhí)著于“規(guī)模崇拜”，大家都在追求更大的模型——上萬億參數(shù)的模型。但現(xiàn)在趨勢變了，一些前沿模型反而在變小，但即使如此，它們?nèi)匀挥浀锰鄾]必要的東西。我個人一直認(rèn)為，其實(shí)“認(rèn)知核心”不需要那么大。哪怕只有10億個參數(shù)，如果架構(gòu)得當(dāng)，我相信20年后我們就能和它進(jìn)行非常高效的交流。它能思考，能像人一樣行動；遇到不知道的事它也不會瞎說，而是告訴你“我不知道”，然后再去查找答案。我甚至覺得，這樣的模型比那些啥都記得的上萬億參數(shù)模型還要更像人。

Dwarkesh Patel：可我們現(xiàn)在已經(jīng)有幾十億參數(shù)的模型表現(xiàn)得很聰明了，而GPT-4這種過萬億參數(shù)的模型反而有些累贅。從發(fā)展速度來看，我還以為你會認(rèn)為，未來的“智能核心”也許只需要幾千萬甚至幾百萬參數(shù)就夠了。

Andrej Karpathy：我之所以不這么看，是因?yàn)?span style="color: #0f59a4">現(xiàn)在的訓(xùn)練數(shù)據(jù)實(shí)在太差。我們用的是互聯(lián)網(wǎng)，而互聯(lián)網(wǎng)的質(zhì)量非常糟糕。你我說到互聯(lián)網(wǎng)，腦子里想到的可能是《華爾街日報(bào)》這種高質(zhì)量文本，但真正用作訓(xùn)練數(shù)據(jù)的互聯(lián)網(wǎng)內(nèi)容，是一堆亂七八糟的東西——很多都是完全無法閱讀的廢料，充斥著股票代碼和隨機(jī)亂碼。我經(jīng)常想，我們竟然還能在這種訓(xùn)練數(shù)據(jù)上搞出有用的模型，簡直不可思議。

所以我們不得不訓(xùn)練非常大的模型來“壓縮”這些雜亂無章的數(shù)據(jù)，而這種壓縮大多是記憶工作，而不是認(rèn)知工作。我們真正想要的是模型的“認(rèn)知能力”，而不是“存儲能力”。理想情況是：我們需要用智能模型來幫助清洗預(yù)訓(xùn)練數(shù)據(jù)，把其中真正有認(rèn)知價(jià)值的部分篩出來，只保留對思考、推理、理解有幫助的內(nèi)容，而不是讓模型背下互聯(lián)網(wǎng)的垃圾。這樣一來，模型的參數(shù)規(guī)?？梢源蠓s小，因?yàn)閿?shù)據(jù)集更干凈，訓(xùn)練本身也可以更集中在核心能力上。

當(dāng)然，最終的小模型大概率不是直接在這些精煉數(shù)據(jù)上訓(xùn)練的，而是通過蒸餾從更大、更全面的模型中得到。但即便如此，我認(rèn)為蒸餾后的認(rèn)知核心依然會在10億參數(shù)量級——因?yàn)檎麴s技術(shù)非常有效，小模型幾乎都依賴它，沒有必要從頭訓(xùn)練。

Dwarkesh Patel：那為什么你認(rèn)為10年后蒸餾后的模型仍然需要10億參數(shù)？為什么不可能更?。?/strong>