智東西(公眾號(hào):zhidxcom)
作者 | 楊暢
編輯 | 心緣

智東西7月7日?qǐng)?bào)道,昨日,法國(guó)機(jī)器視覺(jué)創(chuàng)企普諾飛思(PROPHESEE)宣布獲得C輪融資,由李開(kāi)復(fù)創(chuàng)立的創(chuàng)新工廠領(lǐng)投,小米和上海韋豪創(chuàng)芯跟投。迄今普諾飛思已累計(jì)融資6800萬(wàn)美元。

普諾飛思的核心技術(shù)是神經(jīng)擬態(tài)視覺(jué)技術(shù),其主要產(chǎn)品包含兩類(lèi):原視覺(jué)(Metavision)傳感器和原視覺(jué)智能套件。這可以被理解為模擬了人眼和大腦協(xié)同的工作方式,能讓機(jī)器看到隱藏的場(chǎng)景運(yùn)動(dòng)信息。

今日,普諾飛思聯(lián)合創(chuàng)始人兼CEO盧卡·維雷(Luca Verre)與智東西等媒體遠(yuǎn)程視頻連線,詳細(xì)介紹其核心技術(shù)的三大主要優(yōu)勢(shì)。此外,盧卡還特別提及對(duì)中國(guó)市場(chǎng)的看好。

一、僅檢測(cè)變化信息,忽略靜止圖像

成立7年的普諾飛思,總部位于巴黎,目前在全球設(shè)有5個(gè)辦事處,中國(guó)分公司位于上海,普諾飛思最近在大力拓展中國(guó)團(tuán)隊(duì)。

目前普諾飛思團(tuán)隊(duì)共有100多位工程師,掌握51項(xiàng)國(guó)際專(zhuān)利。

據(jù)盧卡分享,普諾飛思傳感器和傳統(tǒng)傳感器的工作原理存在明顯差異。

傳統(tǒng)圖像傳感器是以某一固定幀速率記錄整個(gè)場(chǎng)景,如每秒30幀。以打高爾夫球的視頻為例,這一場(chǎng)景中重要的信息是球桿的擺動(dòng)和球的運(yùn)動(dòng),但傳統(tǒng)傳感器將丟失這些信息的某些部分,同時(shí)反復(fù)記錄他身后的天空、樹(shù)木和草地,這樣記錄的數(shù)據(jù)對(duì)于機(jī)器識(shí)別來(lái)講相對(duì)原始和冗余。

這家AI創(chuàng)企專(zhuān)攻神經(jīng)擬態(tài)視覺(jué)技術(shù),獲創(chuàng)新工場(chǎng)、小米投資

普諾飛思的核心技術(shù)受到人眼和大腦工作原理的啟發(fā),是一種基于事件的視覺(jué)神經(jīng)擬態(tài)處理技術(shù)。

人眼眼睛中的視覺(jué)細(xì)胞感測(cè)到場(chǎng)景變化時(shí),即“事件”,細(xì)胞會(huì)傳遞信息給大腦,如果場(chǎng)景沒(méi)有任何變化,則細(xì)胞不會(huì)傳遞任何內(nèi)容,場(chǎng)景中的物體移動(dòng)得越多,我們的眼睛和大腦收集的數(shù)據(jù)越多。

這種基于事件的傳感器,每個(gè)像素都會(huì)根據(jù)其檢測(cè)到的對(duì)比度變化(運(yùn)動(dòng))智能地激活自己,可以獲得連續(xù)數(shù)據(jù),沒(méi)有幀率的限制。

具體來(lái)講就是,跟蹤識(shí)別物體變化產(chǎn)生的光的變化。

普諾飛思高級(jí)現(xiàn)場(chǎng)應(yīng)用工程師Cyrus Lo,從三個(gè)方面對(duì)其技術(shù)進(jìn)行了展示:

首先是演示了普諾飛思的視覺(jué)傳感器可以檢測(cè)物體或人運(yùn)動(dòng)產(chǎn)生的光的變化,反映到屏幕上是箭頭的顏色和長(zhǎng)度,顏色代表運(yùn)動(dòng)方向,長(zhǎng)度代表運(yùn)動(dòng)速度。

這家AI創(chuàng)企專(zhuān)攻神經(jīng)擬態(tài)視覺(jué)技術(shù),獲創(chuàng)新工場(chǎng)、小米投資

▲普諾飛思視覺(jué)傳感器可以反映物體運(yùn)動(dòng)速度和運(yùn)動(dòng)方向

第二個(gè)演示展示,說(shuō)明了普諾飛思傳感器檢測(cè)數(shù)據(jù)的另一個(gè)特點(diǎn),靜止?fàn)顟B(tài)的話,顯示屏幕上是一片空白的,當(dāng)有物體動(dòng)起來(lái),就會(huì)有藍(lán)色和黑色的圖像出現(xiàn),代表從暗到明或從明到暗的變化。

這家AI創(chuàng)企專(zhuān)攻神經(jīng)擬態(tài)視覺(jué)技術(shù),獲創(chuàng)新工場(chǎng)、小米投資

▲普諾飛思視覺(jué)傳感器顯示物體反射光線的明暗變化

最后一個(gè)演示表明了,普諾飛思傳感器記錄數(shù)據(jù)是連續(xù)的,只要物體一直在動(dòng),它就一直記錄。而傳統(tǒng)傳感器記錄是有間隔的。

這家AI創(chuàng)企專(zhuān)攻神經(jīng)擬態(tài)視覺(jué)技術(shù),獲創(chuàng)新工場(chǎng)、小米投資

▲普諾飛思傳感器記錄數(shù)據(jù)是連續(xù)的

盧卡說(shuō),基于事件的處理技術(shù)有三個(gè)優(yōu)點(diǎn):第一是會(huì)減少數(shù)據(jù)冗余,減輕計(jì)算壓力;第二是速度,提高機(jī)器識(shí)別圖像的速度,不用機(jī)器去對(duì)比圖像之間的變化,而是直接記錄變化;第三是增加動(dòng)態(tài)范圍,只要有光即使是很微弱的光線環(huán)境,也可以進(jìn)行動(dòng)態(tài)物體運(yùn)動(dòng)的捕捉。

二、極端環(huán)境或不便接觸的環(huán)境下可用

盧卡還介紹了多種其技術(shù)的應(yīng)用場(chǎng)景,目前涉及輔助駕駛領(lǐng)域、醫(yī)藥醫(yī)療領(lǐng)域、工業(yè)領(lǐng)域。

輔助駕駛領(lǐng)域,例如當(dāng)駕駛員放下遮光板時(shí),車(chē)內(nèi)存在非常亮和非常暗的地方,傳統(tǒng)圖像傳感器可能識(shí)別起來(lái)存在困難,但是基于事件的圖像處理傳感器是根據(jù)物品移動(dòng)時(shí)帶來(lái)的光的變化而采集的數(shù)據(jù),也就具有更寬的動(dòng)態(tài)范圍。

醫(yī)療領(lǐng)域,如在胰島素生產(chǎn)過(guò)程中,原有的方法是等最后時(shí)候進(jìn)行無(wú)菌檢測(cè),但是基于事件的視覺(jué)技術(shù)就可以實(shí)時(shí)對(duì)培養(yǎng)基進(jìn)行檢測(cè),這是非接觸性的。

這家AI創(chuàng)企專(zhuān)攻神經(jīng)擬態(tài)視覺(jué)技術(shù),獲創(chuàng)新工場(chǎng)、小米投資

普諾飛思大中華區(qū)商務(wù)發(fā)展主管Johney Lu說(shuō),在工業(yè)領(lǐng)域,普諾飛思的技術(shù)已經(jīng)實(shí)現(xiàn)商業(yè)化落地,例如振動(dòng)檢測(cè)像鐵軌、高壓裝置等不方便放傳感器的地方,基于事件的視覺(jué)傳感器可以不與物體接觸,就能檢測(cè)出物體的變化,再如,焊接過(guò)程中,使用傳感器也可以幫助尋找焊點(diǎn)和實(shí)現(xiàn)質(zhì)檢。

盧卡提到他非??春弥袊?guó)市場(chǎng),因?yàn)橹袊?guó)是最大的智能手機(jī)市場(chǎng)、最大的攝像頭市場(chǎng)、最大的無(wú)人機(jī)市場(chǎng)等等,這些都可能用到他們公司的產(chǎn)品,助力普諾飛思的產(chǎn)品和技術(shù)進(jìn)入商用領(lǐng)域。

結(jié)語(yǔ):神經(jīng)擬態(tài)視覺(jué)領(lǐng)域,索尼、三星等已進(jìn)入

普諾飛思傳感器是從采集階段就之間采集數(shù)據(jù)變化的信息,相對(duì)于傳統(tǒng)視覺(jué)傳感器輸出的結(jié)果更簡(jiǎn)潔,沒(méi)有重復(fù)信息,提高圖像等的處理效率。

像三星和索尼等,去年就有涉及神經(jīng)擬態(tài)視覺(jué)方面的行動(dòng),其中索尼在去年2月就和普諾飛思合作發(fā)布了第四代原視覺(jué)傳感器芯片。根據(jù)歐洲半導(dǎo)體分析機(jī)構(gòu)Yole Développement的預(yù)測(cè),到2029年,神經(jīng)擬態(tài)半導(dǎo)體、傳感和計(jì)算市場(chǎng)可能會(huì)達(dá)到71億美元,市場(chǎng)有一定發(fā)展前景。