智東西（公眾號(hào)：zhidxcom）
文 | Lina 曉寒
9月26日的北京，天氣陰涼，略有霧霾。
智東西9月26日北京現(xiàn)場消息，今天，英偉達(dá)2017 GTC China（GPU技術(shù)大會(huì)中國分會(huì)）的最重磅環(huán)節(jié)——CEO黃仁勛（粉絲愛稱“老黃”）主題演講——開始了！智東西作為特邀媒體，從大會(huì)現(xiàn)場第一排發(fā)來報(bào)道（文末附全場PPT下載）
GTC大會(huì)已經(jīng)不僅僅是通常意義理解的“顯卡技術(shù)大會(huì)”了，而是一場展示英偉達(dá)AI、VR、深度學(xué)習(xí)等眾多新技術(shù)的重要窗口，在早上8點(diǎn)多就引來上千人到場。
本次演講的幾大亮點(diǎn)如下：推出新版TensorRT 3深度學(xué)習(xí)應(yīng)用平臺(tái)；推出世界第一款機(jī)器人芯片XAVIER；宣布阿里、百度、騰訊“三朵云”數(shù)據(jù)中心都開始使用Tesla V100新款GPU；與?？低暫献鞔蛟霢I城市；宣布與京東在倉儲(chǔ)機(jī)器人與送貨無人機(jī)方面的合作等。
5月時(shí)，英偉達(dá)曾在美國主會(huì)場舉辦2017 GTC，并推出了新款GPU Tesla V100以及DGX-1超級(jí)電腦、HGX-1云服務(wù)器、ISSAC機(jī)器人訓(xùn)練平臺(tái)等眾多新品，智東西作為特邀媒體，受邀來到硅谷對(duì)其進(jìn)行過詳細(xì)的深度報(bào)道（多人VR交互、30億刀的顯卡、神秘ISAAC黑科技……干貨滿滿的GTC 2017一文看盡）
和5月的GTC相比，本次GTC China上推出的新品與宣布的合作案例大多集中在深度學(xué)習(xí)推理應(yīng)用（Inference）領(lǐng)域。可以看得來，憑借著超高計(jì)算性能的GPU在深度學(xué)習(xí)訓(xùn)練（Training）領(lǐng)域賺得盆滿缽滿的英偉達(dá)，現(xiàn)在也想要朝應(yīng)用端發(fā)力了。
一、開場：跟5月的GTC差不多
（老黃今天還是一身萬年不變的經(jīng)典黑色皮衣開場）
9點(diǎn)十幾分，主題演講稍稍延遲開場。名為“i am ai”的開場視頻以“我是科學(xué)家”、“我是治愈者(healer)”、“我是保護(hù)者”、“我是老師”等第一人稱作為旁白，介紹了以英偉達(dá)GPU驅(qū)動(dòng)的人工智能如何在數(shù)據(jù)、醫(yī)療健康、翻譯、機(jī)器人、自動(dòng)駕駛、教學(xué)等等領(lǐng)域進(jìn)行應(yīng)用。
這個(gè)開場視頻復(fù)用了與5月GTC的開場視頻架構(gòu)，但是加入了本土化的科大訊飛、圖森駕駛等鏡頭。
與5月的GTC一樣，老黃在開場時(shí)講起了最近的幾年里摩爾定律開始失靈，人們需要花越來越多的成本來換取計(jì)算能力的些微增加。而且，與摩爾定律逐漸失靈形成對(duì)比的是GPU的崛起。
隨著人工智能與深度學(xué)習(xí)在近年來的興起，以GPU驅(qū)動(dòng)的計(jì)算已經(jīng)隨處可見，英偉達(dá)的AI平臺(tái)也支持目前所有深度學(xué)習(xí)框架、所有云與數(shù)據(jù)中心，并設(shè)立了Inception深度學(xué)習(xí)創(chuàng)企計(jì)劃，目前已經(jīng)有1900家企業(yè)參與。
而且，CUDA開發(fā)人員的數(shù)量也在5年里增長了14倍，超過60萬人，CUDA SDK的下載量也達(dá)到180萬。世界各地的AI初創(chuàng)公司不斷涌現(xiàn)，今年為止已經(jīng)獲得了66億美元的融資，而且今年發(fā)表的深度學(xué)習(xí)論文也已經(jīng)超過了3千篇。
現(xiàn)在有不少AI應(yīng)用都是此前人類難以想象的，比如利用深度學(xué)習(xí)自編碼器完成只有部分被渲染的逼真圖像、自動(dòng)生成語音＋3D人臉動(dòng)畫、人體動(dòng)作動(dòng)作實(shí)時(shí)追蹤、人體動(dòng)作模擬等等。
接著，老黃又講起了5月曾經(jīng)發(fā)布的VR多人交互平臺(tái)Holodeck，不過這一部分跟（多人VR交互、30億刀的顯卡、神秘ISAAC黑科技……干貨滿滿的GTC 2017一文看盡）展示的相同，沒有增加新內(nèi)容。
二、將阿里、百度、騰訊“三朵云”納入囊中
在5月的GTC上，老黃請(qǐng)來了亞馬遜AWS和微軟Azure云，而這次的GTC China上，又怎么少得了國內(nèi)云服務(wù)合作伙伴呢？
這次老黃宣布，阿里云、百度云、騰訊云，國內(nèi)三個(gè)代表云服務(wù)商都開始用上咱們新推出的Tesla V100 GPU啦！
其實(shí)在此之前，BAT三朵云的數(shù)據(jù)中心里面已經(jīng)在使用英偉達(dá)的GPU了，這次老黃只是強(qiáng)調(diào)下他們都已經(jīng)用上Tesla V100啦，同時(shí)BAT作為深度學(xué)習(xí)思想領(lǐng)袖贊助商來露個(gè)臉~
（Tesla V100參數(shù)圖）
Tesla V100是英偉達(dá)在今年5月推出的新款GPU，號(hào)稱“世界上最昂貴的計(jì)算能力項(xiàng)目”——投入30億美元研發(fā)。這款GPU采用的是臺(tái)積電的12nm Finfet工藝，有210億個(gè)晶體管，采用Volta Tensor Cores架構(gòu)，單個(gè)計(jì)算單元比原本的速度快了12倍。
此外，老黃還宣布，國內(nèi)的HGX云計(jì)算服務(wù)器將會(huì)由華為、浪潮、聯(lián)想作為OEM商進(jìn)行代理。
HGX-1是英偉達(dá)在今年5月GTC上推出的一款專門用于GPU云計(jì)算的超級(jí)電腦，適用于公有云、深度學(xué)習(xí)、圖形渲染、CUDA計(jì)算等。配備了8塊Tesla V100 GPU，售價(jià)14.9萬美元。
三、重磅：新版深度學(xué)習(xí)應(yīng)用平臺(tái)TensorRT 3
深度學(xué)習(xí)分為訓(xùn)練（Training）和推理應(yīng)用（Inference）兩個(gè)部分，數(shù)據(jù)科學(xué)家們?cè)趯⒁粋€(gè)神經(jīng)網(wǎng)絡(luò)通過大量數(shù)據(jù)訓(xùn)練好之后，再將這個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)應(yīng)用到硬件上，進(jìn)行人臉識(shí)別、語音識(shí)別等的AI軟件應(yīng)用。
然而，從CNN到LSTM再到GANs，現(xiàn)在的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)框架正變得越來越復(fù)雜、越來越多樣、而且在日新月異地變化著，訓(xùn)練環(huán)節(jié)的復(fù)雜性自然也帶來了應(yīng)用環(huán)節(jié)的復(fù)雜性——TensorRT就是為了解決這一問題的。
這次GTC China上，老黃帶來了新一代深度學(xué)習(xí)應(yīng)用平臺(tái)TensorRT 3。
TensorRT是一款可編程應(yīng)用平臺(tái)（Programmable Inference Platform），什么意思呢？就是你將一個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練好了之后，可以通過TensorRT可編程平臺(tái)，簡便快捷地將這個(gè)訓(xùn)練好了的神經(jīng)網(wǎng)絡(luò)部署（Deploy）到Tesla V100、Jetson TX2、Drive PX 2等英偉達(dá)的GPU硬件上。
跟上一代相比TensorRT，本次的TensorRT 3有三方面的進(jìn)化：
1）增加支持的深度學(xué)習(xí)框架：新一代TensorRT支持TensorFlow、mxnet、Caffe2、PYTORCH、theano、Microsoft Cognitive Toolkit、Chainer、還有百度的PaddlePaddle——幾乎覆蓋了市面上所有的深度學(xué)習(xí)開源框架。
2）增加支持的GPU：現(xiàn)在TensorRT可以應(yīng)用到英偉達(dá)的全線GPU中，從幾瓦到幾百瓦的Tesla V100、Tesla P4、Drive PX2、Jetson TX2，以及NVIDIA DLA框架都可以支持。
3）增加應(yīng)用：原先TensorRT相對(duì)而言更擅長圖像處理等方面的深度學(xué)習(xí)應(yīng)用，現(xiàn)在無論是云、數(shù)據(jù)中心、機(jī)器、機(jī)器人等等，都可以輕易處理。
此外，TensorRT還被老黃稱之為“世界上最快的TensorFlow應(yīng)用平臺(tái)”，在Tesla V100上應(yīng)用的性能能達(dá)到CPU的幾十到數(shù)百倍，并且處理圖像時(shí)只有7ms的延遲，處理語音的延時(shí)不到200ms（前不久谷歌用于數(shù)據(jù)中心的TPU也是7ms的延遲）
為了達(dá)到這樣的高效、快速、低延遲、高能效比的效果，TensorRT采用了層級(jí)融合、動(dòng)態(tài)內(nèi)容、多層級(jí)并行計(jì)算等技術(shù)，而且采用的是8bit計(jì)算。
工程師將訓(xùn)練好的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)應(yīng)用在GPU板卡上時(shí)，最快只需要幾秒鐘就能成功部署，而且需要人工操作的地方非常少。
而且，通過遷移學(xué)習(xí)，英偉達(dá)可以提供事先部分訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)（Pre-Trained Network），在一個(gè)已經(jīng)經(jīng)過大量數(shù)據(jù)訓(xùn)練過的網(wǎng)絡(luò)的基礎(chǔ)上，用戶加入自己少量的需要訓(xùn)練的部分?jǐn)?shù)據(jù)，就可以得到很好的效果。
由于Tesla V100相較于CPU加速了40倍，所以只需要一臺(tái)8GPU服務(wù)器就可替代160臺(tái)雙CPU服務(wù)器或者4個(gè)機(jī)架，每臺(tái)V100服務(wù)器可以節(jié)省50萬美元。
（4個(gè)機(jī)架的CPU和1個(gè)機(jī)架的GPU）
在這一頁P(yáng)PT里老黃來來回回切換了4、5次，簡直玩得不亦樂乎。而且老黃一而再、再而三地強(qiáng)調(diào)了“省錢、省錢、省錢”，“Saving Money”從這一刻開始貫穿了全場演講……
四、TensorRT的合作伙伴與應(yīng)用案例
阿里云、百度云、騰訊、京東、科大訊飛也都宣布成為英偉達(dá)GPU應(yīng)用加速平臺(tái)的合作伙伴，他們正競相講AI融合到商業(yè)、社交、新聞、凸顯等應(yīng)用中。
（用CPU和GPU來識(shí)別花朵）
現(xiàn)場的Demo中，老黃展示了用CPU和V100+TensorRT 3來識(shí)別花朵的速度差別，GPU將近快了100倍。
第二個(gè)Demo則是通過語音識(shí)別，在《權(quán)力的游戲》中通過搜索臺(tái)詞，直接定位到劇中角色講出這句臺(tái)詞的鏡頭。
接著，老黃宣布，英偉達(dá)將和?？低曇黄鸫蛟霢I城市。海康威視的安防項(xiàng)目端到端解決方案中將會(huì)從訓(xùn)練到應(yīng)用都使用英偉達(dá)平臺(tái)。據(jù)老黃介紹，這是英偉達(dá)和?？低晝赡暌詠黹L期合作的成果。
到了2020年，城市里將會(huì)有十億攝像頭，幫助尋找失蹤人口、智能控制交通、協(xié)助執(zhí)法等等，城市將變得更智能、更安全。
此外，英偉達(dá)還和華為、大華、阿里巴巴等公司在智能城市、智能交通、虛擬保安等方面進(jìn)行了合作。
五、L3-L5自動(dòng)駕駛平臺(tái)
這次GTC China并沒有公布新的產(chǎn)品，黃教主重新介紹了一下英偉達(dá)在自動(dòng)駕駛方面的動(dòng)作——AV（AutonomousDriving ） Computing Platform自動(dòng)駕駛計(jì)算平臺(tái)。
從縱向來看，該平臺(tái)共有四層，如下圖。
其中DriveOS為自動(dòng)駕駛汽車所搭載的軟件操作系統(tǒng)，這一部分是各個(gè)自動(dòng)駕駛公司的東西，英偉達(dá)提供的主要是計(jì)算能力。
這里計(jì)算能力的核心就是基于英偉達(dá)GPU的計(jì)算模塊Nvidia Drive PX。
目前Drive PX已經(jīng)發(fā)展到了第二代，被稱為Drive PX2，通過組合不同數(shù)量的Drive PX2可以支持不同級(jí)別的自動(dòng)駕駛能力。
如1塊PX2可以支持L2級(jí)的自動(dòng)駕駛，4塊PX2則可以支持L4/L5級(jí)別的自動(dòng)駕駛等。
補(bǔ)充一點(diǎn)，PX2上搭載的是基于Pascal架構(gòu)的顯卡，而英偉達(dá)在5月時(shí)也推出有升級(jí)版的產(chǎn)品Drive PX Xavier。搭載了英偉達(dá)那個(gè)花費(fèi)30億美元研制出來的Volta架構(gòu)的顯卡和8個(gè)CPU，被英偉達(dá)稱之為迄今為止最復(fù)雜的片上系統(tǒng)，支持L4/L5級(jí)別自動(dòng)駕駛能力。Drive PX Xavier 2018年第一季度為早期合作伙伴推出，第四季度全面出貨。
光有硬件不行，為了讓開發(fā)者更好的使用PX2與PX Xavier系列產(chǎn)品，英偉達(dá)也很貼心的推出了配套的開發(fā)者工具——英偉達(dá)DriveWorks。
有了硬件，有了開發(fā)者工具，自動(dòng)駕駛技術(shù)開發(fā)者就可以將自己的軟件系統(tǒng)部署在這些計(jì)算平臺(tái)上，并運(yùn)行各種深度學(xué)習(xí)的網(wǎng)絡(luò)。
有了深度學(xué)習(xí)網(wǎng)絡(luò)，自動(dòng)駕駛汽車就能對(duì)車載的激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)、攝像頭等傳感器的數(shù)據(jù)進(jìn)行處理，從而幫助汽車實(shí)現(xiàn)感知、定位、規(guī)劃三大功能，完成自動(dòng)駕駛功能。
同樣是得益于GPU在深度學(xué)習(xí)方面的先天優(yōu)勢(shì)，老黃表示全球有145家從事自動(dòng)駕駛技術(shù)研發(fā)的公司在使用英偉達(dá)的自動(dòng)駕駛平臺(tái)。
其中包括國內(nèi)的Momenta、獲得英偉達(dá)投資的圖森未來、在前一段剛剛展出了自動(dòng)駕駛快遞車的京東等公司。
有意思的是，黃教主這次并沒有單獨(dú)提及GTC上提出的，包含有Auto-Pilot、Mapping-to-Driving、Guardian Angel、Co-Pilot等功能的AI Car Platform。
最后老黃也表明英偉達(dá)的野心其實(shí)并不只在自動(dòng)駕駛汽車，其未來的野心是為無人機(jī)、機(jī)器人等所有智能設(shè)備提供類似的計(jì)算能力。
六、從硬到軟，打造機(jī)器人大腦
會(huì)上，老黃正式宣布推出了世界第一款用于自動(dòng)機(jī)器人的處理（芯片）——Xavier，上文提到的自動(dòng)駕駛Drive PX Xavier芯片是它的一個(gè)架構(gòu)分支。
Xavier集成了8核CPU、Volta TensorCore & CUDA GPU、傳感器、8K HDR VP、以及CVA?？梢詰?yīng)用在30TOPS的計(jì)算機(jī)視覺、深度學(xué)習(xí)等機(jī)器人所需要的技能領(lǐng)域，有著超高計(jì)算力與超高能效比。
這款處理將于2018年第一季度提供給早期合作伙伴，2018年第四季度全面推出。
與此同時(shí)老黃還宣布，英偉達(dá)的Xavier將會(huì)用在京東的倉儲(chǔ)機(jī)器人jROVER＋京東送貨無人機(jī)jDRONE等一系列自主機(jī)器人當(dāng)中。據(jù)京東表示，到了2022年，將會(huì)部署10億自主機(jī)器人。
現(xiàn)在，這些自主機(jī)器人有了硬件大腦，可是軟件大腦怎么辦呢？
別急，今年5月時(shí)，英偉達(dá)推出了一個(gè)用于訓(xùn)練機(jī)器人的增強(qiáng)學(xué)習(xí)世界模擬器——ISAAC機(jī)器人訓(xùn)練模擬世界（ISAAC Robot Simulator）模擬真實(shí)世界的邏輯、原理、物理定律等，然后再將機(jī)器放進(jìn)這個(gè)世界里不斷訓(xùn)練。
你可以在這個(gè)世界里對(duì)成千上萬個(gè)機(jī)器人進(jìn)行超越物理時(shí)間規(guī)律的快速訓(xùn)練，然后找到里面最聰明的一個(gè)機(jī)器人，將它的“大腦”程序復(fù)制出來，重復(fù)這個(gè)過程，直至選出最聰明的一個(gè)神經(jīng)網(wǎng)絡(luò)，將它部署到XAVIER上，再將這塊芯片放進(jìn)機(jī)器人的“腦袋”中。
七、日益興旺的AI應(yīng)用需求
正如前文所言，和5月的GTC相比，本次GTC China上推出的都是集中在深度學(xué)習(xí)推理應(yīng)用（Inference）領(lǐng)域的新款計(jì)算平臺(tái)TensorRT 3、又或是各種BAT云服務(wù)商、京東機(jī)器人等的應(yīng)用端合作落地案例。
憑借著超高計(jì)算性能的GPU，英偉已經(jīng)在深度學(xué)習(xí)的兩個(gè)環(huán)節(jié)之一：訓(xùn)練（Training）這一領(lǐng)域幾乎占據(jù)統(tǒng)治級(jí)地位，此時(shí)也想要朝另一個(gè)環(huán)節(jié)：推理應(yīng)用（Inference）端發(fā)力了。
如今，LinkedIn上每天有著2萬億條信息需要被個(gè)性化處理、科大訊飛每天有5億用戶需要使用語音識(shí)別技術(shù)、谷歌翻譯每天要處理1400億個(gè)單詞、YouTube上每天有600億幀視頻被上傳……在這個(gè)數(shù)據(jù)爆炸的年代，我們對(duì)AI應(yīng)用的需求越來越強(qiáng)大，也越來越迫切。
以上種種問題都可以用AI進(jìn)行處理，但問題在于現(xiàn)在的數(shù)據(jù)中心很多都是幾年前針對(duì)搜索引擎等互聯(lián)網(wǎng)應(yīng)用打造的，無論是框架還是工作負(fù)載都不適宜進(jìn)行實(shí)時(shí)AI應(yīng)用落地。
英偉達(dá)的合作伙伴們——像是擁有十億用戶基礎(chǔ)的微信語音轉(zhuǎn)文字功能、擁有1千頻道的京東需要智能視頻分析、以及日均80億條信息的阿里巴巴需要的翻譯功能——在其數(shù)據(jù)中心里使用了英偉達(dá)GPU后，都在速度、準(zhǔn)確率、延遲、能效比方面有了極大的提升。
當(dāng)前人工智能板卡主要分為GPU、ASIC、FPGA。代表分別為NVIDIA Tesla系列GPU、Google的TPU、Xilinx的FPGA。GPU的優(yōu)勢(shì)在于性能強(qiáng)大、生態(tài)成熟，但從另一個(gè)角度來說，跟FPGA、ASIC等板卡比起來也會(huì)遇到功耗較大、價(jià)格較貴、某方面性能不夠極致等弱點(diǎn)。
最近華為推出的麒麟970手機(jī)芯片和蘋果推出的A11手機(jī)芯片等都屬于ASIC（專用集成電路，Application Specific Integrated Circuit）根據(jù)特定的需求而專門設(shè)計(jì)并制造出的芯片。
結(jié)語：大勢(shì)所趨的端智能
正常演講中，老黃已經(jīng)很少提到訓(xùn)練部分了，大部分都在將深度學(xué)習(xí)的應(yīng)用環(huán)節(jié)。推出新版TensorRT 3深度學(xué)習(xí)應(yīng)用平臺(tái)；推出世界第一款機(jī)器人芯片XAVIER；宣布阿里、百度、騰訊“三朵云”數(shù)據(jù)中心都開始使用Tesla V100新款GPU；與?？低暫献鞔蛟霢I城市；宣布與京東在倉儲(chǔ)機(jī)器人與送貨無人機(jī)方面的合作等……從本次GTC China的種種落地案例中我們可以看到，英偉達(dá)正一步步地努力朝AI應(yīng)用端發(fā)力。
而從日益興旺的AI板卡市場可以看出，端智能（將AI應(yīng)用落地到硬件終端上）已經(jīng)成為大勢(shì)所趨，無論是英偉達(dá)的通用GPU，還是谷歌TPU、華為970、蘋果A11等一系列定制化板卡，都是讓AI在硬件終端開始由軟到硬地落地的表現(xiàn)，是人工智能進(jìn)一步產(chǎn)業(yè)化落地的典型代表。
每日一頭條
趨勢(shì)·深度·犀利·干貨，最專業(yè)的行業(yè)解讀
深喉爆料、投稿：guoren@zhidx.com
