智東西（公眾號：zhidxcom）
作者 | 韋世瑋
編輯 | 心緣
近年來隨著物聯網及AIoT行業(yè)的興起，邊緣計算作為一種能夠在本地智能分析、處理數據的計算方式，以時延低、效率高、安全隱私性高等優(yōu)勢，逐漸成為行業(yè)青睞的技術，需求呈井噴式爆發(fā)。
據市場研究機構CB Insights數據，預計2016-2023年，邊緣計算市場的復合增長率將達35%，到2023年，整體市場規(guī)模將接近340億美元。還有分析師預測，從2025年開始，邊緣側AI芯片的市場營收規(guī)模將超過云端AI芯片。
在這個趨勢下，整個行業(yè)也掀起了一股邊緣計算創(chuàng)新創(chuàng)業(yè)浪潮。其中，OPEN AI LAB（開放智能）是這股浪潮中不可小覷的玩家之一。
從2016年12月成立至今，OPEN AI LAB不斷深耕邊緣計算AI（人工智能）開發(fā)平臺，推出了國內自主的邊緣AI計算框架和一系列滿足各類場景需求的生產工具，助力國內AI生態(tài)發(fā)展的同時，也通過賦能幫助企業(yè)完成數字化轉型和智能化升級。
2020年，OPEN AI LAB聯合創(chuàng)始人兼CTO黃明飛曾告訴智東西，國內AI開源生態(tài)仍在起步階段，而OPEN AI LAB的基本工作是把產品做好，為開發(fā)者提供更豐富的內容和工具，享受更加簡單靈活的開發(fā)體驗，一同推動開源生態(tài)的發(fā)展。
現在，OPEN AI LAB取得了哪些收獲和技術進展？國內的AIoT行業(yè)又發(fā)生了什么新變化？時隔一年，智東西再度與黃明飛進行深入交流，了解他們在過去一年的成長閃光點。
5月25日，覆蓋輕量級神經網絡模型設計、模型壓縮、AI推理引擎、嵌入式AI芯片架構創(chuàng)新等主題的GTIC 2021嵌入式AI創(chuàng)新峰會將于北京新云南皇冠假日酒店舉行。屆時，黃明飛將帶來《Tengine：加速邊緣計算中的AI部署與落地》主題演講。
一、過去一年：生態(tài)拓展是關鍵詞，Tengine深入行業(yè)合作
“在疫情的影響下，實際上整個行業(yè)的發(fā)展節(jié)奏放慢了。”黃明飛談到，在過去一年時間里，OPEN AI LAB的工作主要是兩件事，一是通過AI實現快速行業(yè)落地，降低企業(yè)開發(fā)門檻，二是做生態(tài)建設。
一方面，OPEN AI LAB在2020年打造了一個能實現從數據到算法、從算法到應用、從應用到部署，并自動更新迭代的邊云自動化部署平臺MLOps，能大大簡化企業(yè)應用部署環(huán)節(jié)，降低開發(fā)門檻。
另一方面，越來越多的開發(fā)者從云計算入場邊緣計算場景，這也讓OPEN AI LAB在生態(tài)構建的同時，積累了越來越多的行業(yè)伙伴。
“從行業(yè)大背景上看，2020年還有一個國際關系問題。”黃明飛解釋，以華為為例，中美貿易摩擦對華為芯片供應鏈的影響，讓國產化芯片成為人們十分關注的行業(yè)話題，這也給OPEN AI LAB帶來了更多思考。
“這么多的國產芯片，實際上更需要一個像Tengine這樣的AI框架，通過開放更多內容，讓大家一起促進中國AI生態(tài)的繁榮。”他說，因此公司在過去一年仍將工作重點放在Tengine的生態(tài)發(fā)展上。
簡單來說，Tengine是一個嵌入式的AI推理框架，能夠幫助開發(fā)者解決AI在快速產業(yè)化落地中遇到的各個瓶頸難題。與同行相比，Tengine有兩個特點，一是重點面向嵌入式邊緣計算應用，涉及海量的AIoT應用設備，而非服務器集群；二是它的工作重點在于AI推理，并非AI訓練。
在生態(tài)發(fā)展上，過去一年開始Tengine陸續(xù)與MegEngine、OneFlow、PaddlePaddle等業(yè)內主流開源框架進行了深度合作與拓展，包括通過連接訓練和推理兩個平臺形成完整的解決方案。
此外，Tengine還與老牌跨平臺計算機視覺庫OpenCV進一步深入合作，成為OpenCV在AI領域的重要部分。
二、Tengine Framework的三大重構，面向開發(fā)者與用戶
一直以來，國內邊緣側應用規(guī)?；涞氐碾y點在于，行業(yè)中大部分的云端訓練框架和算法模型無法與邊緣AI芯片直接適配，需要一個聚焦邊緣側的計算部署平臺。
Tengine就在這一需求下應運而生，它可以實現從芯片到場景的全棧打通。
其中，Tengine Framework是OPEN AI LAB自主設計的邊緣AI計算框架，向下幾乎兼容所有主流國產AI芯片，現階段已與超20+主流芯片廠商SoC的底層全面適配，例如紫光展銳、全志科技、地平線、寒武紀、恒玄等；向上則支撐所有主流訓練框架及網絡模型，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方面，OPEN AI LAB推出的商業(yè)化的邊云自動化部署平臺，名為Tengine MLOps。它是一個能實現從數據到算法、從算法到應用、從應用到部署的AI系統(tǒng)平臺，能大大簡化企業(yè)應用部署環(huán)節(jié)，降低開發(fā)門檻。
目前商業(yè)項目已覆蓋數十個細分行業(yè)場景：安全生產、智慧教育、智慧電力、智慧社區(qū)、信創(chuàng)領域等；產業(yè)鏈合作伙伴達上千個，覆蓋芯片公司、算法公司、IDH公司、OEM/ODM公司、行業(yè)解決方案商等；為數百個AI項目落地提供加速動力。
黃明飛談到，為了不斷滿足客戶的需求，公司在疫情期間對Tengine Framework進行了重構，主要涉及三個方面。
一是根據Tengine發(fā)布四年來從開源社區(qū)和商業(yè)客戶中得到的大量反饋，對整個框架進行了軟件的優(yōu)化升級，目的是讓開發(fā)者能更高效地使用Tengine，從而更好地參與到架構的開發(fā)建設中。
二是針對Tengine Framework做了新的生態(tài)項目，包括Tengine Kit、Tengine Factory，目的是讓用戶能更容易地使用Tengine。
三是AutoKernel，也是Tengine Framework的子項目。不同的是，它主要負責底層算子的自動化優(yōu)化。“這個工具將是我們對國內開源社區(qū)的一個非常大貢獻，因為之前我們國內一直沒有底層算子自動優(yōu)化的開源項目。”黃明飛說。
三、成本是AI落地本質問題，未來將開放更多Tengine功能
在黃明飛看來，現在AI行業(yè)已經從最初的概念驗證階段轉向落地的關鍵階段，但在這個落地階段也面臨著不少困難，其中最本質的問題是成本問題。例如，許多解決方案都采用機器視覺來做監(jiān)控，但成本卻降不下來，還不如用原來的員工更實惠。
黃明飛認為，實際上解決這個問題就需要平臺和工具來降低開發(fā)成本，尤其是軟件產品的成本，能夠用于一些低成本的硬件平臺，從而真正實現性價比提升。
其次，當成本下降突破落地的第一道關口后，還需要進一步思考國產AI芯片的發(fā)展問題。他解釋，OPEN AI LAB成立時，曾預期國產AI芯片可能在2019-2020年爆發(fā)，但目前看來整體還處在發(fā)展期。
黃明飛談到，盡管國家一直投入資金扶持國產芯片的發(fā)展，但行業(yè)仍需一個開源生態(tài)來讓玩家共同推動。
“如果說什么東西都自己干，實際上效率是不高的，需要大家各自做擅長的地方，通過生態(tài)合作產生合力，才能形成一個良好環(huán)境，讓國產AI生態(tài)從芯片到基礎軟件都迅速發(fā)展?！秉S明飛說。
“目前邊緣計算已經成為AI行業(yè)公認的發(fā)展趨勢。”在黃明飛看來，與過去幾年比較熱門的云原生相似，行業(yè)在未來也可能會出現類似的邊緣原生技術。基于此，OPEN AI LAB也將繼續(xù)打造一個從開發(fā)到部署的一整套邊緣原生的AI系統(tǒng)平臺。
談及產品的后續(xù)計劃，黃明飛談到，未來Tengine會逐步開放更多內容，與越來越多芯片廠商合作；另一方面，OPEN AI LAB也會逐步將Tengine MLOps中的功能開放到Tengine Factory中，開源更多內容，從而讓整個生態(tài)更加獲益。
結語：從軟件源頭推動邊緣計算發(fā)展
從云端到邊緣側，人工智能的發(fā)展給我國高新技術行業(yè)催生了無數創(chuàng)業(yè)創(chuàng)新機會。如今嵌入式邊緣計算作為信息數據處理的重要手段之一，如何從軟件層出發(fā)大大降低開發(fā)及部署門檻，也是這股浪潮中每一位玩家都在思考的事。
OPEN AI LAB作為我國AI開源大軍中的一股重要力量，一手開源框架推動國內生態(tài)社區(qū)發(fā)展，一手端到端AI系統(tǒng)平臺助力企業(yè)智能化轉型，也給未來AI行業(yè)的廣泛落地深踩了一腳油門。
