智東西（公眾號(hào)：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西8月16日?qǐng)?bào)道，中科院自動(dòng)化所聯(lián)合清華北大的研究團(tuán)隊(duì)提出了具有內(nèi)生復(fù)雜性的類腦計(jì)算方法，今日相關(guān)論文發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊Nature的子刊Nature Computational Science。
人工智能（AI）領(lǐng)域的最終目標(biāo)是構(gòu)建能實(shí)現(xiàn)通用人工智能的系統(tǒng)，讓模型具有更加廣泛和通用的認(rèn)知能力。目前流行的大模型路徑是基于Scaling Law去構(gòu)建更大、更深和更寬的神經(jīng)網(wǎng)絡(luò)，可稱之為“拓展外部復(fù)雜性”的方法，復(fù)雜性主要在于神經(jīng)網(wǎng)絡(luò)的規(guī)模。這一路徑面臨著計(jì)算資源及能源消耗難以為繼、可解釋性不足等問(wèn)題。
計(jì)算神經(jīng)科學(xué)和AI的交叉為克服這些障礙提供了一條有希望的途徑。中國(guó)科學(xué)院自動(dòng)化研究所李國(guó)齊、徐波研究團(tuán)隊(duì)聯(lián)合清華大學(xué)、北京大學(xué)等借鑒大腦神經(jīng)元復(fù)雜動(dòng)力學(xué)特性，提出了“具有內(nèi)生復(fù)雜性”的類腦神經(jīng)元模型構(gòu)建方法，改善了傳統(tǒng)模型復(fù)雜外部結(jié)構(gòu)帶來(lái)的計(jì)算資源消耗問(wèn)題，可用于尋找將豐富屬性納入神經(jīng)元的合適路徑，為有效利用神經(jīng)科學(xué)來(lái)發(fā)展AI提供了示例。
▲不同內(nèi)部和外部復(fù)雜性的典型模型、神經(jīng)元和網(wǎng)絡(luò)
論文共同通訊作者是中國(guó)科學(xué)院自動(dòng)化所李國(guó)齊研究員、徐波研究員，北京大學(xué)田永鴻教授。共同一作是清華大學(xué)錢(qián)學(xué)森班的本科生何林軒，數(shù)理基科班本科生徐蘊(yùn)輝，精儀系博士生何煒華和林逸晗。
Nature Computational Science期刊對(duì)此評(píng)論道：“AI研究更加貼近工程與應(yīng)用，而神經(jīng)科學(xué)的研究更加具有探索性。研究團(tuán)隊(duì)挑戰(zhàn)了這一傳統(tǒng)觀點(diǎn)，并表明更詳細(xì)且生物學(xué)上更真實(shí)的神經(jīng)元模型可以推動(dòng)深度學(xué)習(xí)取得更大進(jìn)展。”
論文地址：https://www.nature.com/articles/s43588-024-00674-9
模型的表示能力與其總復(fù)雜性（包括內(nèi)生復(fù)雜性和外部復(fù)雜性）有關(guān)。動(dòng)態(tài)描述更精細(xì)、更豐富的神經(jīng)元具有更高的內(nèi)生復(fù)雜性，而連接更廣、更深的網(wǎng)絡(luò)具有更高的外部復(fù)雜性。
為了增強(qiáng)具有簡(jiǎn)單連接的基本模型的外部復(fù)雜性，可以擴(kuò)展拓?fù)浣Y(jié)構(gòu)，例如通過(guò)擴(kuò)大模型的寬度和深度；為了實(shí)現(xiàn)更高的內(nèi)生復(fù)雜性，可以使動(dòng)態(tài)特性復(fù)雜化，例如通過(guò)向模型中添加離子通道或?qū)⑵滢D(zhuǎn)換為多房室模型。兩種方法都能達(dá)到相同的總復(fù)雜性水平，并獲得相似的表示能力。
HH（Hodgkin-Huxley）神經(jīng)元模型是一組描述神經(jīng)元細(xì)胞膜電生理現(xiàn)象的非線性微分方程，直接反映了細(xì)胞膜上離子通道的開(kāi)閉情況及其與膜電位變化之間的關(guān)系。
作為一個(gè)案例研究，研究人員構(gòu)建了一組相當(dāng)于單個(gè)HH神經(jīng)元的LIF（Leaky?Integrate and Fire）神經(jīng)元，這為比較和分析具有不同內(nèi)部和外部復(fù)雜性的網(wǎng)絡(luò)提供了一種嚴(yán)格的方法。研究團(tuán)隊(duì)進(jìn)一步構(gòu)建了不同的神經(jīng)網(wǎng)絡(luò)，包括HH網(wǎng)絡(luò)、s-LIF2HH網(wǎng)絡(luò)、vanilla LIF網(wǎng)絡(luò)、二值人工神經(jīng)網(wǎng)絡(luò)。
▲一種從tv-LIF過(guò)渡到HH的方法，它將外部連接的復(fù)雜性收斂到單個(gè)神經(jīng)元的內(nèi)部。a.?HH神經(jīng)元結(jié)構(gòu)及相關(guān)電路圖；b. 如何將有4個(gè)tv-LIF2HH神經(jīng)元的tv-LIF2HH子網(wǎng)絡(luò)等同于HH神經(jīng)元；c.?單個(gè)到連接的等效性；d.?由HH神經(jīng)元與tv-LIF2HH子網(wǎng)絡(luò)的等效連接組成的神經(jīng)網(wǎng)絡(luò)。
上圖中，LIF2HH網(wǎng)絡(luò)中的每條線代表了從前一個(gè)子網(wǎng)絡(luò)中的4個(gè)LIF神經(jīng)元到整個(gè)后一個(gè)子網(wǎng)絡(luò)的4個(gè)不同連接。
這項(xiàng)研究首先展示了脈沖神經(jīng)網(wǎng)絡(luò)神經(jīng)元LIF模型和HH模型在動(dòng)力學(xué)特性上存在等效性，進(jìn)一步從理論上證明了HH神經(jīng)元可以和4個(gè)具有特定連接結(jié)構(gòu)的時(shí)變參數(shù)LIF神經(jīng)元（tv-LIF）動(dòng)力學(xué)特性等效。
基于這種等效性，團(tuán)隊(duì)通過(guò)設(shè)計(jì)微架構(gòu)提升計(jì)算單元的內(nèi)生復(fù)雜性，使HH網(wǎng)絡(luò)模型能夠模擬更大規(guī)模LIF網(wǎng)絡(luò)模型的動(dòng)力學(xué)特性，在更小的網(wǎng)絡(luò)架構(gòu)上實(shí)現(xiàn)與之相似的計(jì)算功能。
進(jìn)一步，團(tuán)隊(duì)將由4個(gè)tv-LIF神經(jīng)元構(gòu)建的“HH模型”（tv-LIF2HH）簡(jiǎn)化為s-LIF2HH模型，通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了這種簡(jiǎn)化模型在捕捉復(fù)雜動(dòng)力學(xué)行為方面的有效性。
▲高精度仿真情況下的等效圖。a.?相同電流注入下單個(gè)HH模型和tv-LIF2HH子網(wǎng)絡(luò)的電位輸出；b. 按網(wǎng)絡(luò)中采用的模型分類的三種連接：HH、tv-LIF2HH子網(wǎng)絡(luò)和s-LIF2HH子網(wǎng)絡(luò)連接；c. 將二進(jìn)制編碼器和簡(jiǎn)化后的LIF2HH子網(wǎng)絡(luò)的后續(xù)實(shí)驗(yàn)；d. HH神經(jīng)元和s-LIF2HH子網(wǎng)絡(luò)的脈沖數(shù)和相對(duì)觸發(fā)時(shí)間誤差。
實(shí)驗(yàn)結(jié)果表明，HH網(wǎng)絡(luò)模型和s-LIF2HH網(wǎng)絡(luò)模型在表示能力和魯棒性上，具有相似的性能，證明了內(nèi)生復(fù)雜性模型在處理復(fù)雜任務(wù)時(shí)的有效性和可靠性。
同時(shí)，研究發(fā)現(xiàn)HH網(wǎng)絡(luò)模型在計(jì)算資源消耗上更為高效，顯著減少了內(nèi)存和計(jì)算時(shí)間的使用，從而提高了整體的運(yùn)算效率。研究團(tuán)隊(duì)通過(guò)信息瓶頸理論對(duì)上述研究結(jié)果進(jìn)行了解釋。
▲計(jì)算資源及統(tǒng)計(jì)指標(biāo)分析。a. 每個(gè)網(wǎng)絡(luò)在推理和反向傳播過(guò)程中的時(shí)間消耗；b. 相同輸入的各網(wǎng)絡(luò)的加法運(yùn)算和乘法運(yùn)算的FLOP；c. 每個(gè)網(wǎng)絡(luò)的可訓(xùn)練參數(shù)；d. 各網(wǎng)絡(luò)互信息歸一化值。
這些結(jié)果反駁了HH網(wǎng)絡(luò)比LIF網(wǎng)絡(luò)消耗更多資源的觀點(diǎn)，并證明了具有內(nèi)生復(fù)雜性的小型模型方法的優(yōu)勢(shì)。
該研究為將神經(jīng)科學(xué)的復(fù)雜動(dòng)力學(xué)特性融入AI提供了新的方法和理論支持，為實(shí)際應(yīng)用中的AI模型優(yōu)化和性能提升提供了可行的解決方案。
目前，研究團(tuán)隊(duì)已開(kāi)展對(duì)更大規(guī)模HH網(wǎng)絡(luò)以及具備更大內(nèi)生復(fù)雜性的多房室神經(jīng)元的研究，有望進(jìn)一步提升大模型計(jì)算效率與任務(wù)處理能力，實(shí)現(xiàn)在實(shí)際應(yīng)用場(chǎng)景中的快速落地。
