芯東西（ID：aichip001）
編輯 | ?心緣
GTIC 2020全球AI芯片創(chuàng)新峰會剛剛在北京圓滿收官！在這場全天座無虛席、全網(wǎng)直播觀看人數(shù)逾150萬次的高規(guī)格AI芯片產(chǎn)業(yè)峰會上，19位產(chǎn)學(xué)界重磅嘉賓從不同維度分享了對中國AI芯片自主創(chuàng)新和應(yīng)用落地的觀察與預(yù)判。
清華大學(xué)微納電子系副主任、微電子所副所長尹首一教授首登GTIC，圍繞《中國AI芯片的創(chuàng)新之路》主題，深入淺出地探討了AI芯片在中國的進(jìn)展，并對AI芯片產(chǎn)業(yè)的關(guān)鍵技術(shù)與創(chuàng)新機(jī)會進(jìn)行了系統(tǒng)的梳理與預(yù)判。
▲清華大學(xué)微納電子系副主任、微電子所副所長尹首一教授
在演講期間，尹首一教授重點(diǎn)為大家梳理了當(dāng)前AI芯片的技術(shù)路線分類，分別介紹了指令集架構(gòu)處理器、數(shù)據(jù)流處理器、存內(nèi)計(jì)算處理器、可重構(gòu)處理器、脈沖神經(jīng)網(wǎng)絡(luò)處理器及神經(jīng)形態(tài)器件等AI芯片的不同研究方向，并對AI芯片進(jìn)行了階段性回顧和展望。
他總結(jié)道，目前AI芯片仍處起步階段，在科學(xué)研究和產(chǎn)業(yè)應(yīng)用方面具有廣闊的創(chuàng)新空間，而中國AI芯片產(chǎn)業(yè)創(chuàng)新正與國際同步，未來大有可為。
以下為尹首一教授演講實(shí)錄整理：
一、2025年全球AI芯片市場規(guī)模將達(dá)700億美元
AI芯片產(chǎn)業(yè)發(fā)展至今已有五六個年頭，現(xiàn)在進(jìn)入攻堅(jiān)階段。大家已經(jīng)達(dá)成這樣一個共識，人類社會正從信息化邁向智能化，人工智能（AI）成為實(shí)現(xiàn)智能化的一個關(guān)鍵手段，而在這其中，芯片是核心基石和戰(zhàn)略制高點(diǎn)。
耳熟能詳?shù)腁lphaGo、自動駕駛，手機(jī)上的人臉解鎖、智能拍照，無線耳機(jī)的人機(jī)交互……都離不開AI芯片的支撐。
在推動智能化發(fā)展方面，AI芯片有兩個最核心的作用：一是芯片的“絕對算力”是決定智能化所能達(dá)到的最高水平的關(guān)鍵因素之一；二是“計(jì)算能效”是決定智能化應(yīng)用范圍的關(guān)鍵因素之一。
從“絕對算力”來看，今年OpenAI推出的GPT-3非常火，成為今年自然語言處理中最強(qiáng)大的模型，這個模型有1700億個參數(shù)，使用了一萬張GPU卡進(jìn)行訓(xùn)練。沒有這樣強(qiáng)大的算力，GPT-3無法達(dá)到目前的智能化水平，可以說“絕對算力”決定了今天智能化的水平。
芯片算力的發(fā)展速度與人工智能算法對算力的需求增長之間存在巨大的差距，通用處理器平均每兩年性能翻一番，而算法模型對算力的需求大概每3.4個月就翻一番，這是AI芯片需要解決的問題。
從“計(jì)算能效”來看，今天有非常多的應(yīng)用領(lǐng)域面臨迫切的智能化需求，人工智能技術(shù)正從云端向邊緣和物聯(lián)網(wǎng)設(shè)備快速滲透。然而人工智能技術(shù)能否實(shí)用化，受限于軟硬件系統(tǒng)的計(jì)算能效。比如，語音識別顛覆了傳統(tǒng)的人機(jī)交互接口，如果沒有低功耗高能效的AI芯片，在智能耳機(jī)等便攜穿戴設(shè)備上就無法實(shí)現(xiàn)令人滿意的用戶體驗(yàn)。
伴隨著人工智能產(chǎn)業(yè)的快速發(fā)展，AI芯片展現(xiàn)出巨大的發(fā)展?jié)摿?。?jù)第三方機(jī)構(gòu)預(yù)測，全球AI市場規(guī)模到2025年將達(dá)到6.4萬億美元，其中全球AI芯片市場規(guī)模預(yù)計(jì)在2025年將達(dá)到700億美金，今年中國AI芯片市場規(guī)模已超過75億人民幣，未來有非常強(qiáng)勁的增長潛力。
二、兩大維度整體梳理AI芯片分類
大家經(jīng)常問：“AI芯片用在哪里？”、“AI芯片屬于什么類別的產(chǎn)品？”在峰會現(xiàn)場，尹首一教授從應(yīng)用場景和技術(shù)路線兩個維度，概述了AI芯片尤其是中國AI芯片的發(fā)展全貌。
他認(rèn)為，中國的AI芯片發(fā)展起步和國際產(chǎn)業(yè)基本同步。據(jù)不完全統(tǒng)計(jì)，今天中國在做AI芯片的企業(yè)超過100家，從地域劃分來看，北京、上海、長三角、珠三角是最為活躍的區(qū)域。
從應(yīng)用場景的角度做劃分，AI芯片可以分成云端、邊緣端兩類。
云端可以進(jìn)一步細(xì)分成推理應(yīng)用和訓(xùn)練應(yīng)用。推理應(yīng)用是大家每天都在互聯(lián)網(wǎng)服務(wù)中能感受到的，比如搜索引擎中的自然語言翻譯、電商網(wǎng)站的用戶推薦系統(tǒng)、很多地方在建的城市大腦等；而訓(xùn)練應(yīng)用是今天所有人工智能系統(tǒng)開發(fā)的基礎(chǔ)。
邊緣側(cè)的應(yīng)用場景非常繁多，比如智能手機(jī)、智能音箱、安防監(jiān)控、智能駕駛、無人系統(tǒng)等，在這些終端設(shè)備上都是推理應(yīng)用。
今天AI芯片成長非常速度，從2017年到2022年，不同應(yīng)用領(lǐng)域的AI芯片的復(fù)合增長率都在50%左右。綜合來看，五年間以55%的年均復(fù)合增長率快速發(fā)展。
從技術(shù)路線的角度，今天的AI芯片可以分成兩大類。
一類是深度神經(jīng)網(wǎng)絡(luò)處理器，對今天深度學(xué)習(xí)的核心基礎(chǔ)——深度神經(jīng)網(wǎng)絡(luò)——進(jìn)行計(jì)算加速。
另一類是神經(jīng)形態(tài)處理器，通過對人腦結(jié)構(gòu)的研究，設(shè)計(jì)電路或器件來復(fù)制或模仿人腦機(jī)理，實(shí)現(xiàn)智能處理能力。
三、實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)處理器的四類典型架構(gòu)
深度神經(jīng)網(wǎng)絡(luò)處理器，從計(jì)算架構(gòu)的角度可分成四種不同的類型：（1）指令集處理器（2）數(shù)據(jù)流處理器（3）存內(nèi)計(jì)算處理器（4）可重構(gòu)處理器。
無論哪種技術(shù)路線，最終目標(biāo)都是實(shí)現(xiàn)對深度神經(jīng)網(wǎng)絡(luò)的計(jì)算加速。
首先來看一下指令集架構(gòu)AI處理器。
指令集架構(gòu)AI處理器可以定義為一類使用專門為神經(jīng)網(wǎng)絡(luò)運(yùn)算而設(shè)計(jì)的指令集的處理器。
說到指令集，大家熟悉的CPU是最典型的指令集處理器的例子，采用一套預(yù)定義的定長或者變長的指令作為數(shù)據(jù)處理的基本單元，通過對這些指令的組合構(gòu)成指令流，由指令流來驅(qū)動處理器完成復(fù)雜計(jì)算任務(wù)。
通過對神經(jīng)網(wǎng)絡(luò)計(jì)算特征的抽象，構(gòu)造出神經(jīng)網(wǎng)絡(luò)專用指令集，設(shè)計(jì)硬件架構(gòu)高效執(zhí)行這些指令，就實(shí)現(xiàn)了專用的AI處理器。
尹首一教授通過寒武紀(jì)的例子進(jìn)一步解釋了神經(jīng)網(wǎng)絡(luò)專用指令集和處理器架構(gòu)。上圖是寒武紀(jì)公開發(fā)表的DianNao架構(gòu)結(jié)構(gòu)示意圖，其中典型的計(jì)算部件有三個NFU（神經(jīng)功能單元），分別是并行乘法器、加法樹、激活函數(shù)三類單元，另外還有三個不同的存儲單元，分別存儲著輸入特征數(shù)據(jù)、模型權(quán)重、輸出數(shù)據(jù)。
寒武紀(jì)DianNao架構(gòu)的運(yùn)行受到CP控制器的控制，神經(jīng)網(wǎng)絡(luò)指令集中有存儲指令LOAD、READ、WRITE等、運(yùn)算指令MULT、ADD等。典型的神經(jīng)網(wǎng)絡(luò)被表達(dá)為通過這些指令組合構(gòu)成的指令流，從而驅(qū)動處理器完成計(jì)算。
第二類是數(shù)據(jù)流AI處理器，這是一種計(jì)算行為由數(shù)據(jù)調(diào)度決定的數(shù)據(jù)流驅(qū)動的張量處理架構(gòu)，其特點(diǎn)是優(yōu)化數(shù)據(jù)復(fù)用和計(jì)算并行度。
在典型的數(shù)據(jù)流處理器中，神經(jīng)網(wǎng)絡(luò)張量會被劃分成不同的tile，每個tile內(nèi)的計(jì)算被映射到一個處理單元（PE）陣列中。典型的數(shù)據(jù)流包括兩種：一種稱為權(quán)重穩(wěn)定數(shù)據(jù)流，一種稱為輸出穩(wěn)定數(shù)據(jù)流，分別對應(yīng)著充分復(fù)用權(quán)重?cái)?shù)據(jù)、充分復(fù)用輸出數(shù)據(jù)，通過不同數(shù)據(jù)流提高數(shù)據(jù)復(fù)用、減少緩存，提高計(jì)算并行度，從而最終提高芯片的處理能力和處理能效。
第三類存內(nèi)計(jì)算處理器，如今吸引了很多研究機(jī)構(gòu)、創(chuàng)業(yè)公司及投資機(jī)構(gòu)的興趣。
什么是存內(nèi)計(jì)算？邏輯電路或處理單元被放置到存儲器內(nèi)部，使數(shù)據(jù)更接近處理單元；或者直接在存儲電路中執(zhí)行計(jì)算，而無需進(jìn)行數(shù)據(jù)傳輸，這就是我們今天所說的存內(nèi)計(jì)算概念。
它能解決什么問題？在傳統(tǒng)計(jì)算架構(gòu)中，處理單元和存儲器是分離的結(jié)構(gòu)，每次計(jì)算都要在處理單元和存儲器之間進(jìn)行一定的數(shù)據(jù)搬移。而存內(nèi)計(jì)算架構(gòu)，不需要在存儲器和計(jì)算單元間大量搬移數(shù)據(jù)，解決了今天傳統(tǒng)計(jì)算架構(gòu)面臨的“存儲墻”問題。
存內(nèi)計(jì)算根據(jù)采用存儲器類型的不同，可以分成不同的技術(shù)路線，包括：阻變存儲器（RRAM）、閃存（Flash）、靜態(tài)隨機(jī)存儲器（SRAM）等。
RRAM和Flash屬于非易失存儲。以RRAM為例，每個存儲單元里面的電阻值通過電流來調(diào)節(jié)，每個單元可以調(diào)節(jié)多種阻值，典型憶阻器結(jié)構(gòu)是交叉開關(guān)形式。
AI算法中大量存在的是矩陣和張量計(jì)算，在RRAM中，將神經(jīng)網(wǎng)絡(luò)權(quán)重以電導(dǎo)的形式寫到cross-point上，再把輸入值以電壓形式輸入到存儲器的字線上，當(dāng)電壓施加到電阻上，就有電流流過，這些電流在位線上自然地被累加起來。這就形成了在矩陣和張量計(jì)算中的乘法累加過程，把數(shù)學(xué)上的矩陣和張量計(jì)算轉(zhuǎn)化成了物理上的基爾霍夫定律和歐姆定律表達(dá)的電壓和電流的關(guān)系，用物理方式完成了數(shù)學(xué)計(jì)算。
這也就是今天存內(nèi)計(jì)算最吸引人的地方，我們不再采用傳統(tǒng)的數(shù)字計(jì)算部件，而是采用模擬、物理的方式去實(shí)現(xiàn)計(jì)算。
除了前面提到的RRAM、Flash非易失存儲以外，芯片中用到最多的是SRAM，有制造上的優(yōu)勢。SRAM中也能夠通過模擬方式實(shí)現(xiàn)矩陣/張量計(jì)算，免除了數(shù)據(jù)搬移，降低了計(jì)算功耗、提高了計(jì)算能效。
第四類是可重構(gòu)AI處理器。用簡單的詞來概括可重構(gòu)架構(gòu)的特點(diǎn)，可以說它是一種空間陣列，計(jì)算單元在空間排成一個陣列結(jié)構(gòu)，具有計(jì)算并行性；它也是近存計(jì)算，每個計(jì)算單元附近有存儲單元，這樣減少了數(shù)據(jù)搬移的距離；另外，它還具有彈性粒度的計(jì)算單元，通過電路重構(gòu)支持多種數(shù)據(jù)位寬；隨著算法需求變化，動態(tài)重構(gòu)計(jì)算架構(gòu)，靈活支持多種數(shù)據(jù)流，由數(shù)據(jù)驅(qū)動完成計(jì)算。
可重構(gòu)AI處理器在運(yùn)算部件、處理單元、片上互連、計(jì)算陣列等方面實(shí)現(xiàn)了分層次架構(gòu)重構(gòu)，各個層次在運(yùn)算中協(xié)同配合，實(shí)現(xiàn)了多元編程機(jī)制，這樣的架構(gòu)克服了傳統(tǒng)計(jì)算架構(gòu)中數(shù)據(jù)位寬固定或者數(shù)據(jù)流固定的缺點(diǎn)，提升了AI計(jì)算的算力和能效。
例如，今天的神經(jīng)網(wǎng)絡(luò)中有一個典型需求是多數(shù)據(jù)位寬量化，一個神經(jīng)網(wǎng)絡(luò)中不同神經(jīng)層可被量化成不同的數(shù)據(jù)位寬，可重構(gòu)AI處理器的多尺度編程能力與之配合，可以顯著減小模型體積、提高計(jì)算速度和能效。
四、解讀神經(jīng)形態(tài)處理器的兩大研究路徑
接著，尹首一教授講解了AI芯片的另一大技術(shù)路線——神經(jīng)形態(tài)處理器。
從技術(shù)路線角度來看，神經(jīng)形態(tài)處理器可以被細(xì)分為兩類：一是脈沖神經(jīng)網(wǎng)絡(luò)處理器，二是神經(jīng)形態(tài)器件。
脈沖神經(jīng)網(wǎng)絡(luò)從數(shù)學(xué)上模擬了大腦神經(jīng)網(wǎng)絡(luò)中的脈沖放電機(jī)制，是對人腦神經(jīng)網(wǎng)絡(luò)的一種抽象。把脈沖神經(jīng)網(wǎng)絡(luò)的典型數(shù)學(xué)模型，通過電路方式實(shí)現(xiàn)出來，芯片在運(yùn)行中就能模仿人腦計(jì)算的特點(diǎn)，即實(shí)現(xiàn)了一定程度的類腦計(jì)算。
例如，清華大學(xué)的天機(jī)（Tianjic）芯片，通過優(yōu)化電路設(shè)計(jì)，不僅支持脈沖神經(jīng)網(wǎng)絡(luò)，而且同時支持深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的“二合一”。此前大家看過一段演示視頻，通過天機(jī)芯片控制實(shí)現(xiàn)了自行車的自動駕駛，展現(xiàn)了脈沖神經(jīng)網(wǎng)絡(luò)的智能處理能力。
神經(jīng)形態(tài)器件，則是設(shè)計(jì)一種物理器件，在物理上模擬神經(jīng)元的行為。
應(yīng)用離子動力學(xué)可以逼真地模擬生物突觸的可塑性以及神經(jīng)元工作機(jī)制，通過物理方式實(shí)現(xiàn)能夠模擬神經(jīng)元放電過程的器件。假如我們把大量的模擬人類神經(jīng)元行為的器件互連起來，就有機(jī)會制造一個非常接近于人腦神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，有望實(shí)現(xiàn)類腦智能。
這里的代表性工作是中科院微電子所和麻省大學(xué)的合作成果，設(shè)計(jì)制備出了一種新型器件結(jié)構(gòu)，當(dāng)施加電脈沖以后，它的響應(yīng)曲線和人腦神經(jīng)元受到刺激后的響應(yīng)曲線非常接近。大量的器件連起來，就能構(gòu)造出類似人腦的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。這就是通過神經(jīng)形態(tài)器件的方式去實(shí)現(xiàn)人工智能計(jì)算的技術(shù)路線。
五、中國AI芯片產(chǎn)業(yè)創(chuàng)新正與國際同步
在演講尾聲，尹首一教授對AI芯片發(fā)展做了階段性回顧和總結(jié)。
首先，經(jīng)過五六年的發(fā)展，AI芯片已經(jīng)取得非常大的成績，但它仍然處于起步階段，無論在科學(xué)研究還是產(chǎn)業(yè)應(yīng)用方面，都具有非常廣闊的創(chuàng)新空間。
其次，人工智能從算法和應(yīng)用角度來講，給芯片提出大量新需求，它將促使AI芯片去探索很多顛覆性的技術(shù)，徹底突破傳統(tǒng)架構(gòu)的性能和能效瓶頸，實(shí)現(xiàn)跨越式發(fā)展。
最后，中國的AI芯片創(chuàng)新與國際同步，今天中國AI芯片的技術(shù)路線最全面、應(yīng)用領(lǐng)域最豐富，伴隨著人工智能產(chǎn)業(yè)快速發(fā)展，中國AI芯片將大有可為。
以上是尹首一教授演講內(nèi)容的完整整理。除尹首一教授外，在本屆GTIC 2020 AI芯片創(chuàng)新峰會期間 ，比特大陸、地平線、黑芝麻智能、燧原科技、壁仞科技、光子算數(shù)、知存科技、億智電子、豪微科技等芯片創(chuàng)企，全球FPGA領(lǐng)先玩家賽靈思，Imagination、安謀中國等知名IP供應(yīng)商，全球EDA巨頭Cadence，以及北極光創(chuàng)投、中芯聚源等知名投資機(jī)構(gòu)，分別分享了對AI芯片產(chǎn)業(yè)的觀察與思考。如感興趣更多嘉賓演講的核心干貨，歡迎關(guān)注芯東西后續(xù)推送內(nèi)容。
往期峰會演講整理：
賽靈思姚頌：數(shù)字AI芯片進(jìn)步趨緩，顛覆式創(chuàng)新難
黑芝麻智能楊宇欣：200T大算力芯片明年發(fā)布，產(chǎn)品路線圖首次公布
