芯東西（公眾號(hào)：aichip001）
作者 | ?GTIC峰會(huì)
芯東西8月26日?qǐng)?bào)道，今日，GTIC 2022全球AI芯片峰會(huì)在深圳市南山區(qū)正式開(kāi)幕！
這場(chǎng)高規(guī)格產(chǎn)業(yè)會(huì)議由芯東西與智東西公開(kāi)課聯(lián)合主辦，以“不負(fù)芯光 智算未來(lái)”為主題，匯集了來(lái)自國(guó)內(nèi)外AI芯片領(lǐng)域的產(chǎn)學(xué)研專家及創(chuàng)業(yè)先鋒代表，暢談前沿技術(shù)創(chuàng)新與最新落地進(jìn)展。
經(jīng)過(guò)一天精彩的干貨分享與思想交鋒，峰會(huì)全場(chǎng)座無(wú)虛席，人氣爆棚，現(xiàn)場(chǎng)交流氛圍熱烈，全網(wǎng)直播人數(shù)高達(dá)100萬(wàn)+人次。
深圳市南山區(qū)科技創(chuàng)新局黨組書(shū)記、局長(zhǎng)曹環(huán)出席峰會(huì)開(kāi)幕式并致辭。北京大學(xué)集成電路學(xué)院院長(zhǎng)蔡一茂教授分享了存算一體與類腦計(jì)算芯片的創(chuàng)新路徑與技術(shù)挑戰(zhàn)。
值得一提的是，在峰會(huì)現(xiàn)場(chǎng)，上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣宣布，正式推出第一代開(kāi)源GPU——“青花瓷”架構(gòu)，打造開(kāi)源通用智能算力芯片平臺(tái)，“做人人都用得起的GPU”。
本屆峰會(huì)覆蓋當(dāng)前AI芯片產(chǎn)業(yè)的核心議題，涉及領(lǐng)域?qū)Ｓ眉軜?gòu)、通用GPU、存算一體、類腦計(jì)算、光子計(jì)算、量子計(jì)算等技術(shù)路線和EDA工具、Chiplet等上游技術(shù)創(chuàng)新，并縱覽云端數(shù)據(jù)中心、車(chē)路協(xié)同、自動(dòng)駕駛、邊緣計(jì)算、智能家居等主流的落地應(yīng)用場(chǎng)景。
在上午的AI芯片高峰論壇期間，NVIDIA、壁仞科技解讀了最新旗艦通用GPU的架構(gòu)創(chuàng)新；瀚博半導(dǎo)體、地平線、后摩智能分享了用AI芯片助力車(chē)路協(xié)同與自動(dòng)駕駛的心得；智一科技聯(lián)合創(chuàng)始人、總編輯張國(guó)仁現(xiàn)場(chǎng)對(duì)話臨芯投資董事長(zhǎng)李亞軍、和利資本董事總經(jīng)理肖鵬、天數(shù)智芯CTO呂堅(jiān)平，暢聊對(duì)AI芯片企業(yè)創(chuàng)新與生存的思考。
在下午的云端AI芯片專題論壇上，Graphcore、墨芯人工智能、昆侖芯科技、鯤云科技從不同維度分享了在技術(shù)創(chuàng)新與量產(chǎn)落地的經(jīng)驗(yàn)之談，芯行紀(jì)、奇異摩爾分別從EDA創(chuàng)新和3DIC Chiplet角度探討了破解高性能計(jì)算挑戰(zhàn)的思路。
下面，我們來(lái)看看AI芯片峰會(huì)首日的演講精華。
一、開(kāi)幕致辭：聚焦集成電路與人工智能有機(jī)結(jié)合的最前領(lǐng)域
在開(kāi)幕式上，深圳市南山區(qū)科技創(chuàng)新局黨組書(shū)記、局長(zhǎng)曹環(huán)發(fā)表致辭：“AI芯片峰會(huì)交流聚焦的邊緣計(jì)算、存算一體芯片等主題代表著集成電路和人工智能有機(jī)結(jié)合的最前領(lǐng)域，與深圳市南山區(qū)的戰(zhàn)略新興產(chǎn)業(yè)的布局高度契合?！?/p>
▲深圳市南山區(qū)科技創(chuàng)新局黨組書(shū)記、局長(zhǎng)曹環(huán)
曹環(huán)談道，南山區(qū)在具有雄厚的集成電路產(chǎn)業(yè)基礎(chǔ)和突出的創(chuàng)立優(yōu)勢(shì)，2021年南山區(qū)的集成電路企業(yè)超過(guò)200家，年銷售額超過(guò)700億元，同比增長(zhǎng)逾68%，培育了中興微電子、國(guó)微集團(tuán)、奧比中光等一批行業(yè)領(lǐng)軍企業(yè)。未來(lái)，南山區(qū)將繼續(xù)全力推動(dòng)集成電路產(chǎn)業(yè)集群的高質(zhì)量發(fā)展。
智一科技聯(lián)合創(chuàng)始人、CEO龔倫常代表主辦方為本次峰會(huì)致辭。在簡(jiǎn)要復(fù)盤(pán)了近年中國(guó)半導(dǎo)體行業(yè)面臨的挑戰(zhàn)后，他指出挑戰(zhàn)的另一面是機(jī)遇，中國(guó)是全球最大的單一市場(chǎng)，改革開(kāi)放的戰(zhàn)略并未改變，同時(shí)在全面推進(jìn)產(chǎn)業(yè)升級(jí)和生產(chǎn)生活的數(shù)字化，需求并不會(huì)因人為的限制而消失，企業(yè)在砥礪奮進(jìn)中創(chuàng)新、創(chuàng)造至關(guān)重要。
▲智一科技聯(lián)合創(chuàng)始人、CEO龔倫常
創(chuàng)新需要良好的產(chǎn)業(yè)環(huán)境，這也是今年AI芯片峰會(huì)選址深圳南山的重要考量。深圳是創(chuàng)新之都，南山則是深圳這片創(chuàng)新熱土的核心區(qū)，在研發(fā)投入、硬科技數(shù)量、獨(dú)角獸和投資機(jī)構(gòu)數(shù)量等方面都居深圳之首。龔倫常希望AI芯片峰會(huì)成為前沿技術(shù)交流和產(chǎn)業(yè)落地對(duì)接的重要平臺(tái)。
今年是智一科技成立的第6個(gè)年頭。智一科技堅(jiān)持技術(shù)和產(chǎn)業(yè)雙輪驅(qū)動(dòng)，聚焦以人工智能、集成電路為代表的前沿技術(shù)及其行業(yè)應(yīng)用，構(gòu)建產(chǎn)業(yè)媒體與企業(yè)服務(wù)兩大業(yè)務(wù)體系。
智一科技擁有以芯東西、智東西、車(chē)東西為代表的產(chǎn)業(yè)媒體矩陣，已成為國(guó)內(nèi)定位獨(dú)特且具有較高影響力和公信力的產(chǎn)業(yè)媒體；同時(shí)針對(duì)產(chǎn)業(yè)升級(jí)需求，發(fā)展出以智東西公開(kāi)課為核心的企業(yè)服務(wù)體系，與產(chǎn)業(yè)優(yōu)秀公司、全球頂級(jí)高校的專家學(xué)者合作，舉辦系列talk及新青年講座，并與國(guó)內(nèi)外頂級(jí)企業(yè)合作舉辦定制公開(kāi)課，截至目前已完成的課程超過(guò)600節(jié)，收獲良好口碑。
二、北京大學(xué)蔡一茂：新型存儲(chǔ)器是AI芯片的重要助推器
隨著AI技術(shù)逐漸獲得廣泛應(yīng)用，智能計(jì)算正呈現(xiàn)從提高性能到降低能耗、從計(jì)算密集型到數(shù)據(jù)密集型、從結(jié)構(gòu)化數(shù)據(jù)到半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的趨勢(shì)。進(jìn)入軟硬件并進(jìn)時(shí)代的AI，對(duì)硬件提出高算力、高并行、低功耗等需求。
在上午舉辦的AI芯片高峰論壇期間，北京大學(xué)集成電路學(xué)院院長(zhǎng)蔡一茂教授分享道，新型存儲(chǔ)器與先進(jìn)封裝技術(shù)是AI芯片的重要助推器，其中大容量、高速、高帶寬存儲(chǔ)器是瓶頸，AI時(shí)代正帶動(dòng)存儲(chǔ)器接口標(biāo)準(zhǔn)的持續(xù)創(chuàng)新。
▲北京大學(xué)集成電路學(xué)院院長(zhǎng)蔡一茂教授
基于存算分離架構(gòu)的傳統(tǒng)智能芯片受制于器件、架構(gòu)、能耗瓶頸，存在低效率、高功耗的問(wèn)題，而存算一體芯片能消除數(shù)據(jù)搬運(yùn)造成的算力瓶頸，顯著降低功耗，提高計(jì)算能效。
借鑒人類大腦體系結(jié)構(gòu)的類腦仿生芯片，同樣采用新型存儲(chǔ)器，通過(guò)片間互連運(yùn)行大規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)是一個(gè)重要的智能芯片技術(shù)。蔡一茂教授認(rèn)為，相比采用傳統(tǒng)器件，采用RRAM憶阻器等神經(jīng)形態(tài)器件的類腦仿生芯片具有多重優(yōu)勢(shì)，是突破算力瓶頸與實(shí)現(xiàn)更高智能的重要技術(shù)，但目前還面臨工藝不成熟和底層器件性能有待提高，集成密度受限等挑戰(zhàn)。
目前，北京大學(xué)研發(fā)的類腦計(jì)算芯片已具備高集成度、高擴(kuò)展性、高通用性等特征，支持運(yùn)行圖像識(shí)別、音頻識(shí)別、人臉識(shí)別與跟蹤等常見(jiàn)DNN/BNN模型。
三、上海交大梁曉峣：推出通用智能算力芯片平臺(tái)，宣布首個(gè)開(kāi)源GPU架構(gòu)
上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣在會(huì)上宣布，正式推出開(kāi)源通用智能算力芯片平臺(tái)，將第一代GPU架構(gòu)“青花瓷”免費(fèi)開(kāi)源，“做人人都用得起的GPU”。
“青花瓷”的架構(gòu)和指令兼容（或二進(jìn)制轉(zhuǎn)譯或兼容）NVIDIA，支持SIMT為主體的可擴(kuò)展性架構(gòu)以保證強(qiáng)大可編程性，并支持超薄的軟件棧設(shè)計(jì)，通過(guò)極簡(jiǎn)的API封裝將硬件細(xì)節(jié)暴露給程序員，降低軟件開(kāi)發(fā)難度。
▲上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授梁曉峣
談及國(guó)產(chǎn)自主云端GPGPU的發(fā)展機(jī)遇，梁曉峣教授金句頻出，比如將國(guó)內(nèi)格局總結(jié)成：南“昇騰”，北“昆侖”，“平頭”當(dāng)中坐，東西齊上陣（分別代指華為昇騰、百度昆侖芯、阿里平頭哥、眾多創(chuàng)業(yè)公司）。
縱觀云端AI芯片產(chǎn)業(yè)發(fā)展路徑，是要做得更專業(yè)還是通用？梁曉峣幽默地談道，摩爾定律已經(jīng)被“社死”了很多次，但仍然頑強(qiáng)地活著，而且是GPU歷史上對(duì)沖2P風(fēng)險(xiǎn)的最強(qiáng)武器，數(shù)據(jù)并行計(jì)算作為可擴(kuò)展性最強(qiáng)的并行方式，與摩爾定律是“佳偶天成”。
他直言市場(chǎng)需要的不是“好”芯片，而是“好用”的芯片，“不好用”是自主芯片公司的通病，是目前行業(yè)的最大痛點(diǎn)。
據(jù)他分享，商業(yè)化市場(chǎng)最希望做到與NVIDIA兼容，做到無(wú)縫切換，但要做一款能與NVIDIA完全兼容的芯片，需要至少3000人的團(tuán)隊(duì)、花費(fèi)10年時(shí)間、付出超過(guò)100億美元的投資。
其中最根本的問(wèn)題是軟件。從舊世界發(fā)展起來(lái)的傳統(tǒng)軟件架構(gòu)和層次要經(jīng)歷巨大的變革。當(dāng)下國(guó)內(nèi)芯片產(chǎn)業(yè)在軟件層面存在“重復(fù)造輪子”問(wèn)題。
梁曉峣教授說(shuō)，云端大算力芯片的投資，要的是“細(xì)水長(zhǎng)流”，憑的是“天荒地老”，第一層次投資金，第二層次投團(tuán)隊(duì)，第三層次投時(shí)間。要后來(lái)居上，需要以免費(fèi)解決“錢(qián)”的問(wèn)題，以開(kāi)放解決“人”的問(wèn)題，以開(kāi)源解決“時(shí)間”的問(wèn)題。
他認(rèn)為國(guó)產(chǎn)芯片生態(tài)弱小的時(shí)候，需要學(xué)術(shù)界雪中送碳。這也是為什么其團(tuán)隊(duì)打造了三個(gè)“一”工程（一本GPGPU架構(gòu)和芯片設(shè)計(jì)專業(yè)教材、一門(mén)核心課程、一個(gè)開(kāi)源通用智能算力芯片平臺(tái)），形成四大支柱（行業(yè)人才支柱、知識(shí)產(chǎn)權(quán)支柱、產(chǎn)業(yè)聯(lián)盟支柱、開(kāi)放生態(tài)支柱）。
四、巔峰對(duì)話：一半火焰一半海水，AI芯片企業(yè)要學(xué)會(huì)“向客戶要錢(qián)”
圍繞AI芯片的趨勢(shì)變化，智一科技聯(lián)合創(chuàng)始人、總編輯張國(guó)仁，與臨芯投資董事?李亞軍、和利資本董事總經(jīng)理肖鵬、天數(shù)智芯CTO呂堅(jiān)平進(jìn)行了一場(chǎng)以“創(chuàng)新與?存，AI芯?的現(xiàn)在和未來(lái)”為主題的巔峰對(duì)話。
▲巔峰對(duì)話環(huán)節(jié)，從左到右依次是：智一科技聯(lián)合創(chuàng)始人、總編輯張國(guó)仁，臨芯投資董事長(zhǎng)李亞軍，和利資本董事總經(jīng)理肖鵬，天數(shù)智芯CTO呂堅(jiān)平
臨芯投資董事?李亞軍曾參投過(guò)許多半導(dǎo)體項(xiàng)目，但對(duì)AI芯片項(xiàng)目一向謹(jǐn)慎，直至觀察到AI芯片走到了創(chuàng)新發(fā)展“S曲線”的第二波小高峰，他才開(kāi)始出手，陸續(xù)投資黑芝麻智能、昆侖芯等知名AI芯片獨(dú)角獸企業(yè)。
“一半火焰，一半海水?！崩顏嗆娬劦溃瑓⒖肌斑^(guò)剩經(jīng)濟(jì)學(xué)”的說(shuō)法，AI芯片領(lǐng)域高端的人才及產(chǎn)品仍然稀缺，但一些中低端領(lǐng)域的芯片創(chuàng)業(yè)公司已顯過(guò)剩。AI芯片是一個(gè)周期性行業(yè)，當(dāng)下貿(mào)易戰(zhàn)、疫情把周期拉長(zhǎng)了周期長(zhǎng)度，既然是周期，低谷也會(huì)回歸到正常周期，全球化浪潮不可阻擋。
現(xiàn)階段，從投資角度來(lái)看，他更看好有軟硬結(jié)合和場(chǎng)景應(yīng)用結(jié)合能力的企業(yè)，看重核心團(tuán)隊(duì)的本身素質(zhì)，以及公司生態(tài)朋友圈的打造。
和利資本同樣長(zhǎng)期重視半導(dǎo)體投資，從2019年至今投了30多個(gè)半導(dǎo)體項(xiàng)目。和利資本董事總經(jīng)理肖鵬也重視對(duì)AI芯片團(tuán)隊(duì)的考察，對(duì)于大芯片賽道，他會(huì)更看重核心團(tuán)隊(duì)的同類芯片成功經(jīng)驗(yàn)，團(tuán)隊(duì)完整性以及團(tuán)隊(duì)配合的默契程度；對(duì)于技術(shù)門(mén)檻相對(duì)低的小芯片賽道，他會(huì)看重這家企業(yè)的核心指標(biāo)是否有10倍于競(jìng)爭(zhēng)對(duì)手的優(yōu)勢(shì)，團(tuán)隊(duì)的缺點(diǎn)是否容易補(bǔ)齊。同時(shí)，他也非常重視公司生態(tài)“朋友圈”，認(rèn)為整個(gè)團(tuán)隊(duì)的學(xué)習(xí)能力和邊界延展性強(qiáng)，能夠通過(guò)上下游伙伴補(bǔ)齊短板。
談及“創(chuàng)新與生存”問(wèn)題，肖鵬認(rèn)為，AI芯片企業(yè)需要著重想清楚“萬(wàn)物+AI”還是“AI+萬(wàn)物”這個(gè)問(wèn)題，即企業(yè)要想清楚AI的附加值到底是在產(chǎn)品中占80%還是20%，不同占比做法完全不一樣。不管是采用哪種技術(shù)路徑去實(shí)現(xiàn)AI的功能，AI芯片企業(yè)都要更加關(guān)注“向客戶要錢(qián)”。
在他看來(lái)，今年AI創(chuàng)企或許不能再像前兩年那樣活得很輕松，需要考慮三個(gè)關(guān)鍵問(wèn)題：1、如果行業(yè)還是像前幾年那么火熱，公司CTO、合伙人還會(huì)不會(huì)接著跟你干？2、熱度降下來(lái)的時(shí)候，正好可用來(lái)思考團(tuán)隊(duì)怎么建設(shè)，產(chǎn)品如何，服務(wù)客戶等關(guān)鍵問(wèn)題。3、做好現(xiàn)金流的管理。
天數(shù)智芯是國(guó)內(nèi)通用GPU高端芯片的代表企業(yè)之一，今年7月剛宣布完成超10億元C+輪及C++輪融資。天數(shù)智芯CTO呂堅(jiān)平從被投資者的角度分享了他的洞察。
呂堅(jiān)平說(shuō)，天數(shù)智芯已走過(guò)尋找客戶的階段，公司的創(chuàng)新變成與客戶合作適配中突破。比如在當(dāng)下備受關(guān)注的大模型領(lǐng)域，他認(rèn)為從客戶需求來(lái)看，當(dāng)下智算中心的底層算力建設(shè)不但要通用，而且要有多維度的效能指標(biāo)，如穩(wěn)定度等，而不僅僅是強(qiáng)調(diào)高算力。
五、突破云端AI芯片算力瓶頸！架構(gòu)創(chuàng)新、全棧能力、落地心經(jīng)
2017年，NVIDIA（英偉達(dá)）發(fā)布Tesla V100領(lǐng)銜炸場(chǎng)，掀起了全球AI芯片的創(chuàng)新狂瀾。如今五年過(guò)去，NVIDIA GPU始終是云端AI訓(xùn)練芯片的“標(biāo)桿”，與此同時(shí)，國(guó)內(nèi)外多家創(chuàng)企摩拳擦掌，基于不同架構(gòu)路線向云端AI芯片市場(chǎng)發(fā)起沖鋒。
今天，來(lái)自NVIDIA、壁仞科技、Graphcore、墨芯人工智能、昆侖芯科技、鯤云科技等知名云端AI芯片企業(yè)以及EDA新秀芯行紀(jì)、Chiplet創(chuàng)企奇異摩爾的技術(shù)專家及創(chuàng)業(yè)領(lǐng)袖，聯(lián)袂奉上了從技術(shù)創(chuàng)新、量產(chǎn)落地到生態(tài)構(gòu)建的深度見(jiàn)解。
1、NVIDIA賴俊杰：揭秘英偉達(dá)最強(qiáng)Hopper架構(gòu)
今年3月，全球AI計(jì)算巨頭NVIDIA在GTC大會(huì)上重磅推出基于全新Hopper架構(gòu)的新一代旗艦GPU計(jì)算芯片H100，將多種精度下的AI算力最高提升至上一代A100的3~6倍。
NVIDIA中國(guó)區(qū)工程及解決方案高級(jí)總監(jiān)賴俊杰對(duì)Hopper架構(gòu)進(jìn)行了詳細(xì)解析。實(shí)現(xiàn)性能提升的關(guān)鍵是新一代流式多處理器（SM）和新型線程塊集群技術(shù)。
▲NVIDIA中國(guó)區(qū)工程及解決方案高級(jí)總監(jiān)賴俊杰
SM引入了FP8張量核心（Tensor Core），相較FP32/BF64吞吐量翻倍，與其Transformer引擎結(jié)合更是能大幅提升AI大模型的訓(xùn)練效率；還引入新指令集DPX，可加速動(dòng)態(tài)編程算法，能解決路徑優(yōu)化、基因組學(xué)等算法優(yōu)化問(wèn)題。新的線程塊集群機(jī)制可實(shí)現(xiàn)跨單元進(jìn)行協(xié)同計(jì)算，為大模型加速運(yùn)算提供更好的支撐。
隨后賴俊杰分享了GNN（圖神經(jīng)網(wǎng)絡(luò)）分布式訓(xùn)練的一些研究進(jìn)展。對(duì)于大規(guī)模的GNN問(wèn)題，圖形結(jié)構(gòu)和特征可能不適合單獨(dú)的GPU內(nèi)存，對(duì)此需要分區(qū)。利用能實(shí)現(xiàn)多GPU高速互連的NVIDIA NVSwitch系統(tǒng)，可以更好地處理大規(guī)模GNN計(jì)算問(wèn)題。
2、壁仞科技洪洲：對(duì)數(shù)據(jù)流深度優(yōu)化，滿足大模型全棧能力需求
近兩三年，萬(wàn)億參數(shù)的大模型優(yōu)越性更加明顯，同時(shí)對(duì)計(jì)算機(jī)體系結(jié)構(gòu)和訓(xùn)練框架帶來(lái)巨大挑戰(zhàn)。壁仞科技聯(lián)合創(chuàng)始?、CTO洪洲認(rèn)為，大模型需要從集群、平臺(tái)到框架的全棧能力，壁仞科技的新品BR100系列通用GPU芯片應(yīng)運(yùn)而生。
▲壁仞科技聯(lián)合創(chuàng)始?、CTO洪洲
BR100采用7nm制程，容納近800億顆晶體管，在BF16精度下達(dá)到1024TFLOPS性能，在INT8數(shù)據(jù)精度下支持2048TOPS算力。這款芯片在國(guó)內(nèi)率先采用Chiplet技術(shù)、PCIe5.0接口和CXL互連協(xié)議，創(chuàng)下了國(guó)內(nèi)GPU互連帶寬紀(jì)錄。
如何實(shí)現(xiàn)計(jì)算效率的提升？洪洲說(shuō)，這主要來(lái)自對(duì)數(shù)據(jù)流的深度優(yōu)化。針對(duì)通用大算力GPU面臨的內(nèi)存墻、功耗墻、并行性、互連和指令集架構(gòu)等挑戰(zhàn)，壁仞科技設(shè)計(jì)了訓(xùn)推一體的原創(chuàng)芯片架構(gòu)“壁立仞”，在數(shù)據(jù)流精度、存取加速、并行、搬移、隔離等方面實(shí)現(xiàn)了優(yōu)化。
壁仞科技不僅有通用GPU架構(gòu)、高算力的Tensor Core，還通過(guò)張量數(shù)據(jù)存取加速器提高數(shù)據(jù)存取效率；并采用NUMA/UMA訪存機(jī)制，根據(jù)深度學(xué)習(xí)訓(xùn)練和通用并行計(jì)算的數(shù)據(jù)流特點(diǎn)分配內(nèi)存，從而實(shí)現(xiàn)“數(shù)據(jù)跑到哪里，計(jì)算就在哪里”，提高計(jì)算效率。
3、Graphcore金?。豪?/b>IPU構(gòu)建高能效AI計(jì)算平臺(tái)
“訓(xùn)練圖像識(shí)別模型時(shí)，2012年AlexNet模型完成訓(xùn)練需要6天，如今只需要幾分鐘就可以完成這項(xiàng)任務(wù)?！盙raphcore中國(guó)工程副總裁、AI算法科學(xué)家金琛在發(fā)表演講時(shí)談道。
▲Graphcore中國(guó)工程副總裁、AI算法科學(xué)家金琛
大規(guī)模AI計(jì)算的發(fā)展有三大趨勢(shì)，分別是通過(guò)優(yōu)化硅技術(shù)實(shí)現(xiàn)專業(yè)化變得更難、對(duì)越來(lái)越大的模型的需求并未放緩、計(jì)算系統(tǒng)和軟件提升的空間仍然很大。
為了適應(yīng)AI框架的發(fā)展，Graphcore正不斷豐富軟件生態(tài)系統(tǒng)，其模型花園已涉及計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、圖神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。在具體應(yīng)用效果上，Graphcore的產(chǎn)品在保險(xiǎn)業(yè)中使用計(jì)算機(jī)視覺(jué)來(lái)幫助評(píng)估、維修以及保護(hù)汽車(chē)和房屋，使得結(jié)果效率提升了5倍。
AI大模型的參數(shù)規(guī)模暴漲帶來(lái)許多挑戰(zhàn)，包括計(jì)算系統(tǒng)的提升及模型本身應(yīng)該變得更加聰明。在此過(guò)程中，數(shù)萬(wàn)億參數(shù)的密集神經(jīng)網(wǎng)絡(luò)不可行，需要稀疏模型架構(gòu)。因此，Graphcore正在設(shè)計(jì)一個(gè)系統(tǒng)，可以支持百萬(wàn)億級(jí)的模型訓(xùn)練。
4、墨芯人工智能王維：稀疏化推動(dòng)AI計(jì)算向超高算力、更低成本發(fā)展
大模型是AI的下一個(gè)必爭(zhēng)之地，隨著AI芯片受限于摩爾定律，硬件升級(jí)逼近物理極限，處理AI大模型算力瓶頸突破迫在眉睫。
墨芯人工智能創(chuàng)始人兼CEO王維認(rèn)為，稀疏化計(jì)算是AI計(jì)算的未來(lái)。稀疏化計(jì)算，是一種以人腦得到靈感的模型壓縮方法。簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)底層創(chuàng)新、軟硬協(xié)同設(shè)計(jì)，讓神經(jīng)網(wǎng)絡(luò)模型消減冗余，以提高計(jì)算效率。
▲墨芯人工智能創(chuàng)始人兼CEO王維
稀疏化計(jì)算相較于業(yè)內(nèi)其他AI加速技術(shù)，并不是微量的差異化創(chuàng)新，而是能夠讓性能帶來(lái)十倍、百倍的創(chuàng)新。王維拿標(biāo)志性的AI大模型——GPT-3來(lái)舉例說(shuō)明稀疏化計(jì)算的驚人性能表現(xiàn)。GPT-3有1700多億參數(shù)，如果放在GPU上去做推理的話，需要內(nèi)存量是要幾百G，也就是需要很多張80G的GPU，且會(huì)有明顯時(shí)延；但通過(guò)稀疏化計(jì)算，用一張墨芯S30計(jì)算卡，就可以跑通GPT-3，并且計(jì)算速度還變快了很多。
目前，墨芯基于自研稀疏化云端AI芯片Antoum推出了對(duì)應(yīng)的S4、S10和S30三款A(yù)I計(jì)算卡，對(duì)標(biāo)國(guó)際大廠主流AI推理卡，算力可達(dá)6倍以上。其中S30運(yùn)算ResNet-50算力超90000FPS。
王維透露，流片成功僅半年，墨芯已在核心細(xì)分市場(chǎng)獲得幾家客戶。在互聯(lián)網(wǎng)市場(chǎng)，墨芯已在一些頭部互聯(lián)網(wǎng)公司進(jìn)入適配階段；在行業(yè)市場(chǎng)，墨芯也與生命科學(xué)領(lǐng)域部分企業(yè)項(xiàng)目落地。
在未來(lái)一個(gè)階段中，墨芯將圍繞互聯(lián)網(wǎng)、泛政府行業(yè)及垂直行業(yè)三大方向進(jìn)行市場(chǎng)推廣。在定價(jià)上，會(huì)將整個(gè)算力服務(wù)器的TCO（總擁有成本）達(dá)到現(xiàn)有主流產(chǎn)品的1/2，甚至1/3。
9月，墨芯人工智能將公布S4和S30在業(yè)內(nèi)權(quán)威AI基準(zhǔn)測(cè)試MLPerf上的性能測(cè)試結(jié)果，王維說(shuō)，這有望代表國(guó)產(chǎn)AI芯片達(dá)成一個(gè)新里程碑。
5、昆侖芯科技漆維：規(guī)?；渴鹜ㄓ?/b>AI芯片，攻克4大難點(diǎn)
空前繁榮的AI生態(tài)、場(chǎng)景與時(shí)局正驅(qū)動(dòng)AI芯片快速發(fā)展，同時(shí)，行業(yè)也面臨算法多樣化、巨頭生態(tài)壁壘、客戶需求苛刻、部署環(huán)境復(fù)雜等眾多挑戰(zhàn)。面向這一趨勢(shì)，脫胎于百度的昆侖芯團(tuán)隊(duì)于2017年推出了自研架構(gòu)昆侖芯XPU，目前已推出兩款通用AI芯片。
昆侖芯科技芯片研發(fā)總監(jiān)漆維談道，其自研新一代昆侖芯XPU-R架構(gòu)采用自研高效SIMD指令集，在國(guó)內(nèi)業(yè)界率先支持GDDR6，支持片上共享內(nèi)存，采用軟件定義神經(jīng)網(wǎng)絡(luò)引擎，并配合昆侖芯SDK全棧軟件工具，實(shí)現(xiàn)更通用、易編程、高性能、低成本和自研創(chuàng)新的新特征?；谧匝欣鲂綳PU-R架構(gòu)，昆侖芯科技目前已推出了采用7nm工藝的昆侖芯2代AI芯片，算力達(dá)256 TOPS（INT8）。以昆侖芯AI加速卡R200為例，經(jīng)過(guò)業(yè)務(wù)規(guī)模部署的實(shí)際測(cè)試，對(duì)典型AI負(fù)載的性能相較業(yè)界主流150W GPU提升在1.5倍左右。
▲昆侖芯科技芯片研發(fā)總監(jiān)漆維
漆維說(shuō)，昆侖芯2代AI芯片是國(guó)內(nèi)唯一款經(jīng)過(guò)互聯(lián)網(wǎng)大規(guī)模核心算法考驗(yàn)的云端AI芯片，目前已落地搜索、Online learning（在線學(xué)習(xí)系統(tǒng)）、自智慧交通、智算中心等眾多領(lǐng)域。下一步，對(duì)標(biāo)業(yè)界最前沿產(chǎn)品的昆侖芯3代AI芯片將在不久之后面世。
6、鯤云科技蔡權(quán)雄：定制數(shù)據(jù)流架構(gòu)，實(shí)現(xiàn)更優(yōu)算力性價(jià)比
鯤云科技聯(lián)合創(chuàng)始人&CTO蔡權(quán)雄談道，數(shù)據(jù)流將成為解決性能瓶頸的關(guān)鍵技術(shù)。數(shù)據(jù)流芯片就是依托數(shù)據(jù)流流動(dòng)次序控制計(jì)算次序，把數(shù)據(jù)的運(yùn)算和搬運(yùn)重疊起來(lái)，消除空閑計(jì)算單元。
▲鯤云科技聯(lián)合創(chuàng)始人&CTO蔡權(quán)雄
芯片利用率決定芯片的實(shí)測(cè)性能，即芯片實(shí)際性能占其峰值算力的比例。數(shù)據(jù)流架構(gòu)可有效提高芯片利用率，采用指令集架構(gòu)的芯片利用率能達(dá)到7%~32%，而鯤云定制數(shù)據(jù)流架構(gòu)的實(shí)測(cè)芯片利用率可以達(dá)到65%~95.4%。
“我們采用成熟制程工藝的芯片，能夠達(dá)到先進(jìn)制程芯片的效果?！辈虣?quán)雄說(shuō)。鯤云科技的高性能數(shù)據(jù)流AI芯片CAISA，將運(yùn)算單元通過(guò)可編程的單元連接在一起，并通過(guò)算子的配置和數(shù)據(jù)流網(wǎng)絡(luò)的編程保障芯片的通用性。目前，其產(chǎn)品已經(jīng)應(yīng)用于智慧化工、智慧油田、智慧電力等多個(gè)行業(yè)。
7、芯行紀(jì)丁渭濱：用AI優(yōu)化EDA，大幅提升芯片設(shè)計(jì)效率
AI芯片能加速運(yùn)行AI算法，反過(guò)來(lái)，AI算法也能助力更高效的AI芯片設(shè)計(jì)。芯行紀(jì)資深研發(fā)副總裁丁渭濱分享了AI優(yōu)化芯片設(shè)計(jì)工具的兩類應(yīng)用——預(yù)測(cè)性能，幫助EDA工具更自動(dòng)化。
▲芯行紀(jì)資深研發(fā)副總裁丁渭濱
AI算法在設(shè)計(jì)前期就可以預(yù)測(cè)芯片的性能，并能實(shí)現(xiàn)5~10%的PPA提升。用AI幫助EDA工具更自動(dòng)化方面，當(dāng)客戶在反復(fù)跑某一個(gè)設(shè)計(jì)時(shí)，AI能基于此前參數(shù)的性能進(jìn)行參數(shù)推薦。國(guó)際EDA巨頭在探索這些應(yīng)用，其效果已優(yōu)于人工調(diào)參。
他也分享了芯行紀(jì)在用AI構(gòu)建數(shù)字實(shí)現(xiàn)EDA平臺(tái)的進(jìn)展，其AmazeFP智能化布局規(guī)劃方案能實(shí)現(xiàn)同時(shí)觀測(cè)宏單元和標(biāo)準(zhǔn)單元的擁塞度并控制擁塞模型的穩(wěn)定性。該智能布局工具還能使機(jī)器自動(dòng)擺放的宏單元更加整齊，并使其客戶在某一案例的布局規(guī)劃工作時(shí)間從以周為記縮短至以小時(shí)為記。
8、奇異摩爾?？|：用“3D樂(lè)高”芯片技術(shù)，滿足大算力需求
很多關(guān)注芯片創(chuàng)新的人，都會(huì)對(duì)英特爾今年發(fā)布的GPGPU 3D Chiplet技術(shù)印象深刻，英特爾將47顆Chiplet拼接在一起，成功實(shí)現(xiàn)在算力大幅提升的同時(shí)，兼顧了面積與成本的平衡。
奇異摩爾即是一家專注于2.5D/3DIC Chiplet技術(shù)研發(fā)的產(chǎn)品和服務(wù)公司。奇異摩爾產(chǎn)品及解決?案副總裁祝俊東說(shuō)，在當(dāng)前高性能計(jì)算面臨顯著挑戰(zhàn)：如芯片良率隨著面積上升呈現(xiàn)指數(shù)級(jí)下降趨勢(shì)；單芯片面積受限；先進(jìn)制程設(shè)計(jì)量產(chǎn)成本高等等。3D Chiplet設(shè)計(jì)因有助于解決高性能計(jì)算挑戰(zhàn)，受到了更多AI芯片廠商的關(guān)注。在制程不變的情況下，基于異構(gòu)計(jì)算的Chiplet能帶來(lái)算力的持續(xù)增長(zhǎng)，實(shí)現(xiàn)大芯片存儲(chǔ)容量和連接性能的快速持續(xù)提升；通過(guò)異構(gòu)靈活堆疊，使多顆拼在一起的Chiplet像一個(gè)整體，同時(shí)也有效降低IP研發(fā)硬核支出。
▲奇異摩爾產(chǎn)品及解決?案副總裁祝俊東
?？|談道，3DIC Chiplet常被比喻成“積木”，但“拆”和“拼”也面臨著不少工程化挑戰(zhàn)。為此，奇異摩爾面向芯片開(kāi)發(fā)者提供2個(gè)硬件：3DIC Chiplet通用底座和高速接口芯粒；1個(gè)軟件：Chiplet專用設(shè)計(jì)工具，從而幫助客戶實(shí)現(xiàn)從芯片設(shè)計(jì)到實(shí)現(xiàn)量產(chǎn)的全流程。
六、助攻智聯(lián)汽車(chē)，AI芯片新勢(shì)力崛起
高度自動(dòng)駕駛涉及人與車(chē)、車(chē)與車(chē)、車(chē)和路之間的默契協(xié)同，是實(shí)現(xiàn)暢通智慧交通的一大關(guān)鍵發(fā)展方向，多家AI芯片企業(yè)正致力于通過(guò)優(yōu)化加速計(jì)算能力，為車(chē)路協(xié)同提供更好的算力支撐。
國(guó)產(chǎn)AI芯片如何助力車(chē)路協(xié)同突破落地瓶頸？怎樣滿足汽車(chē)智能化對(duì)算力提出的更高要求？解決智能駕駛芯片發(fā)展的核心矛盾，有哪些可行的創(chuàng)新思路？瀚博半導(dǎo)體創(chuàng)始人兼CTO張磊、地平線聯(lián)合創(chuàng)始人&CTO黃暢、后摩智能創(chuàng)始人&CEO吳強(qiáng)分別分享了他們的思考與探索。
此外，汽車(chē)業(yè)務(wù)進(jìn)展飛速的移動(dòng)芯片巨頭高通，也拿出將AI能力從終端側(cè)擴(kuò)展至邊緣側(cè)、賦能智能網(wǎng)聯(lián)邊緣的心得。高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar還分享了對(duì)元宇宙趨勢(shì)的觀察。
1、瀚博半導(dǎo)體張磊：AI芯片助力車(chē)路協(xié)同，性能超主流GPU 2倍以上
進(jìn)入大算力時(shí)代，眾多智能應(yīng)用加速落地，車(chē)路協(xié)同作為支撐交通強(qiáng)國(guó)目標(biāo)達(dá)成的關(guān)鍵措施，是其中一大代表。這對(duì)智慧的路、實(shí)時(shí)的云、聰明的車(chē)、精確的圖提出更高的要求。邊緣計(jì)算是其中重要一環(huán)，從技術(shù)層面來(lái)看，需要多元化算力、更低的時(shí)延、更精準(zhǔn)的計(jì)算。
創(chuàng)立于2018年的瀚博半導(dǎo)體主攻AI推理芯片，其推出的邊緣端SV100芯片能充分應(yīng)對(duì)車(chē)路協(xié)同新需求。瀚博半導(dǎo)體創(chuàng)始人兼CTO張磊稱，GPU延時(shí)下降時(shí)，吞吐量也大大下降，使其在車(chē)路協(xié)同場(chǎng)景受限。SV100芯片在性能及延時(shí)方面進(jìn)行優(yōu)化，比如處理點(diǎn)云數(shù)據(jù)性能是業(yè)界主流GPU 2倍以上，延時(shí)大大降低。
▲瀚博半導(dǎo)體創(chuàng)始人兼CTO張磊
瀚博半導(dǎo)體和客戶一起在廣州智慧高速三元里收費(fèi)站、廣州國(guó)際生物島智能網(wǎng)聯(lián)基地項(xiàng)目等場(chǎng)景落地相關(guān)產(chǎn)品。瀚博半導(dǎo)體為車(chē)路協(xié)同打造了邊緣AI推理加速卡、智能MEC，具備100TOPS INT8峰值算力，支持多路多模態(tài)傳感器接入，能靈活部署，勝任各種邊緣部署復(fù)雜環(huán)境。
2、地平線黃暢：智能計(jì)算架構(gòu)2.0時(shí)代，以高性能AI計(jì)算為核心
范式級(jí)智能算法的革新推動(dòng)了汽車(chē)智能化的發(fā)展。地平線聯(lián)合創(chuàng)始人&CTO黃暢談道，智能汽車(chē)是堪比“計(jì)算機(jī)誕生”級(jí)的顛覆式創(chuàng)新，隨著自動(dòng)駕駛技術(shù)新范式的出現(xiàn)和發(fā)展，需要相匹配的計(jì)算架構(gòu)，從而讓機(jī)器更自主、讓開(kāi)發(fā)更簡(jiǎn)單、讓計(jì)算更智能。
▲地平線聯(lián)合創(chuàng)始人&CTO黃暢
他指出，智能計(jì)算架構(gòu)2.0時(shí)代，以高性能AI計(jì)算為核心，讓范式級(jí)智能算法的革新，和支持智能算法的硬件體系相結(jié)合，加速實(shí)現(xiàn)機(jī)器自編程和應(yīng)用自適應(yīng)。地平線自主研發(fā)的BPU貝葉斯計(jì)算架構(gòu)，是先進(jìn)處理器技術(shù)的集大成者，實(shí)現(xiàn)高效的AI計(jì)算，為軟件定義汽車(chē)提供強(qiáng)勁AI性能，加速人機(jī)共駕時(shí)代的到來(lái)。
黃暢說(shuō)，地平線通過(guò)軟硬協(xié)同編譯優(yōu)化，實(shí)現(xiàn)性能持續(xù)提升，地平線的AI計(jì)算架構(gòu)仿真平臺(tái)是其在尋找軟硬件協(xié)同優(yōu)化上的有效路徑之一。采用BPU貝葉斯架構(gòu)的地平線征程5，專為高等級(jí)自動(dòng)駕駛打造，擁有128TOPS大算力、計(jì)算性能達(dá)到1531FPS、60ms業(yè)界超低延遲和30W超低功耗，搭配端到端全套硬件加速方案，能滿足多樣化開(kāi)發(fā)需求。
他還分享了對(duì)于自動(dòng)駕駛技術(shù)和行業(yè)趨勢(shì)的六大判斷：一是中國(guó)成為全球頂級(jí)汽車(chē)智能芯片的“角斗場(chǎng)”；二是自動(dòng)駕駛走向量產(chǎn)落地，算力需求持續(xù)提升；三是高等級(jí)自動(dòng)駕駛落地，大規(guī)模并行化AI計(jì)算成趨勢(shì)；四是自動(dòng)駕駛逐步由數(shù)據(jù)驅(qū)動(dòng)替代傳統(tǒng)基于規(guī)則的計(jì)算；五是AI計(jì)算逐步取代邏輯計(jì)算，成為車(chē)載計(jì)算的核心；六是統(tǒng)一神經(jīng)計(jì)算架構(gòu)，滿足智駕場(chǎng)景各種應(yīng)用需求。
3、后摩智能吳強(qiáng)：破解智能駕駛芯片核心矛盾，存算一體成為金鑰匙
智能駕駛的普及和商用對(duì)智能駕駛芯片提出了新的要求。后摩智能創(chuàng)始人&CEO吳強(qiáng)談道，智能駕駛芯片發(fā)展的核心矛盾在于算力需求不斷增長(zhǎng)，但供給側(cè)的傳統(tǒng)方案成本昂貴，且依賴于少數(shù)國(guó)際大廠IP，再加上高功耗和較為封閉的方案，也不利于未來(lái)的算法演進(jìn)和OTA升級(jí)。
▲后摩智能創(chuàng)始人&CEO吳強(qiáng)
“具有天生優(yōu)勢(shì)的存算一體，就成為了解鎖算力和功耗難題的金鑰匙?！眳菑?qiáng)說(shuō)。存算一體的實(shí)現(xiàn)可類比為廚師炒菜，為了壓縮廚師在廚房和倉(cāng)庫(kù)之間拿菜、切菜、炒制的過(guò)程，要讓倉(cāng)庫(kù)和廚房變成一個(gè)整體。對(duì)應(yīng)到計(jì)算機(jī)系統(tǒng)架構(gòu)中，就是將運(yùn)算步驟和參數(shù)一起集成在內(nèi)存上，這種架構(gòu)能用低成本方式實(shí)現(xiàn)大算力、能效比、低延時(shí)，同時(shí)對(duì)先進(jìn)工藝依賴較弱，能夠用成熟制程做出先進(jìn)制程的性能效果。
后摩智能研發(fā)的首款“存算一體”大算力芯片已于去年成功流片，成功跑通了一些主流的自動(dòng)駕駛算法，今年年底有望給客戶試用。
4、高通Ziad Asghar：終端側(cè)AI助力打造智能網(wǎng)聯(lián)邊緣
高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar提出，邊緣側(cè)AI將依舊是AI發(fā)展的主要方向之一。高通公司致力于不斷增強(qiáng)終端側(cè)AI能力，讓數(shù)據(jù)在產(chǎn)生的地方進(jìn)行處理，在既定功耗下不斷實(shí)現(xiàn)處理能力突破，實(shí)現(xiàn)快速響應(yīng)，并保障數(shù)據(jù)隱私安全。
▲高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar
高通公司構(gòu)建了“統(tǒng)一的技術(shù)路線圖”，基于此打造了一系列面向AI的IP和技術(shù)，助力終端側(cè)AI能力實(shí)現(xiàn)規(guī)模化擴(kuò)展，覆蓋智能網(wǎng)聯(lián)邊緣。硬件方面，基于第七代高通AI引擎，高通公司為智能手機(jī)帶來(lái)了業(yè)界領(lǐng)先的終端側(cè)AI體驗(yàn)，同時(shí)也構(gòu)成了面向高通汽車(chē)、物聯(lián)網(wǎng)、XR等所有不同業(yè)務(wù)AI擴(kuò)展能力的真正核心。
軟件方面，高通公司最新推出的高通AI軟件棧（Qualcomm AI Stack）已覆蓋其當(dāng)前所有產(chǎn)品線，讓客戶一次開(kāi)發(fā)，即可將解決方案跨高通所有產(chǎn)品線進(jìn)行遷移，開(kāi)發(fā)者和終端廠商可以根據(jù)實(shí)際需求進(jìn)行模型開(kāi)發(fā)和優(yōu)化，Ziad提到這是一個(gè)對(duì)開(kāi)發(fā)者和終端廠商都非常強(qiáng)大的優(yōu)勢(shì)。
高通公司的研發(fā)團(tuán)隊(duì)致力于推動(dòng)終端側(cè)AI能力在性能和能效上不斷實(shí)現(xiàn)突破。展望未來(lái)的邊緣側(cè)AI前景，Ziad提出，未來(lái)我們希望下一步能夠?qū)崿F(xiàn)完全分布式的AI，能夠在終端上進(jìn)行推理和一定程度的學(xué)習(xí)工作，而高通所開(kāi)發(fā)的眾多技術(shù)已經(jīng)能助力實(shí)現(xiàn)這一目標(biāo)。
Ziad Asghar還談及最近大火的元宇宙：“元宇宙是每個(gè)用戶獨(dú)一無(wú)二的數(shù)字孿生，元宇宙中所有的視覺(jué)和體驗(yàn)都基于用戶的喜好，這意味著需要持續(xù)進(jìn)行個(gè)性化，不斷適應(yīng)用戶的特定需求，我認(rèn)為這也是元宇宙的獨(dú)特優(yōu)勢(shì)?！?/p>
結(jié)語(yǔ)：峰會(huì)首日?qǐng)A滿舉行，明天精彩繼續(xù)！
峰會(huì)首日，來(lái)自產(chǎn)學(xué)研投界的17位重磅嘉賓，在AI芯片高峰論壇與云端AI芯片專題論壇上，圍繞技術(shù)創(chuàng)新、生態(tài)建設(shè)等AI芯片核心議題，輸出了豐富的產(chǎn)業(yè)干貨。
明日，GTIC 2022全球AI芯片峰會(huì)精彩繼續(xù)，邊緣端AI芯片專題論壇、存算一體芯片專題論壇、新型計(jì)算技術(shù)專題論壇將帶來(lái)更多攻克AI芯片技術(shù)壁壘和落地難關(guān)的思想碰撞，期間還將公布“2022中國(guó)AI芯片50強(qiáng)”榜單，敬請(qǐng)期待。
