4月20日起,智東西公開課推出自動駕駛系列課第二季,9位自動駕駛新勢力的創(chuàng)始人和高管將帶來9節(jié)系列課。

第五課由禾多科技軒轅平臺負責(zé)人李文俊主講,主題為《如何快速搭建自動駕駛的硬件系統(tǒng)》。本文為李文俊的主講實錄,共計11064字,預(yù)計12分鐘讀完。一起了解下本次課程的提綱:

1、自動駕駛硬件系統(tǒng)的組成和介紹
2、車輛平臺與傳感器對自動駕駛算法的影響
3、如何搭建一套適合L2-L5自動駕駛的硬件系統(tǒng)

在瀏覽正文之前,可以帶著以下幾個問題:

-在自動駕駛領(lǐng)域中,HoloPilot和HoloParking分別實現(xiàn)了什么功能?
-一個適合自動駕駛算法開發(fā)的線控平臺需要克服哪些問題?
-傳感器的標(biāo)定和同步對整個硬件平臺有什么影響?
-相比于其他的自動駕駛硬件平臺,軒轅平臺的優(yōu)勢是什么?

「提醒:如果希望下載自動駕駛第二季每堂課的完整課件,可以在車東西公眾號(ID:chedongxi)回復(fù)關(guān)鍵詞“系列課”獲取。如果你希望成為主講導(dǎo)師,可以回復(fù)關(guān)鍵詞“導(dǎo)師”,進行申請」

主講實錄

李文?。捍蠹液?,我是禾多科技的李文俊,非常開心今天可以在這里和大家一起交流自動駕駛硬件相關(guān)的問題,尤其是自動駕駛研發(fā)平臺的相關(guān)問題,也非常感謝智東西的邀請。

先自我介紹下,我在禾多科技主要參與硬件相關(guān)的工作,比如車輛底層控制傳感器等,從畢業(yè)以后就投身自動駕駛領(lǐng)域,也算是一個自動駕駛的老兵了,這些年在工作中也趟過許多坑,下面我會跟大家一一分享。

今天我的分享將分為下面幾個部分:
1、禾多科技簡介;
2、自動駕駛的相關(guān)組成模塊;
3、在自動駕駛硬件系統(tǒng)中遇到過的一些問題、趟過的坑以及一些硬件系統(tǒng)對上層軟件算法的影響;
4、最后我會向大家推薦一款適合L2到L5的自動駕駛硬件系統(tǒng)。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

首先和大家介紹一下禾多科技,禾多科技成立于2017年6月,專注于打造基于前沿人工智能技術(shù)和汽車工業(yè)技術(shù)的自動駕駛方案。禾多這個名字來源于“移”字的兩個部分,禾多的英文名是Holomatic,意思是完全的控制。我們的愿景是希望重新定義中國的自動駕駛來升級中國的出行,因此從整個技術(shù)研發(fā)到未來的產(chǎn)品都會聚焦在中國本土化的駕駛場景上。

禾多科技的創(chuàng)始人兼CEO倪凱博士,曾經(jīng)創(chuàng)建百度的無人駕駛團隊,負責(zé)百度無人車的研發(fā)和部分高精地圖的工作。我們目前在北京和上海都有團隊,北京更加側(cè)重于軟件算法,上海主要聚焦在硬件和產(chǎn)品化。作為一家擁有全棧自動駕駛量產(chǎn)方案研發(fā)能力的公司,我們的團隊中90%以上是碩士或者博士,由于我們的目標(biāo)是將自動駕駛技術(shù)真正落地到產(chǎn)品,因此會從人工智能學(xué)術(shù)研究和汽車方向的工程應(yīng)用這兩方面切入整體的技術(shù)研發(fā),同時也希望更多志同道合的人才加入我們。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

剛才說到中國本土化的駕駛場景,我們目前聚焦在兩大應(yīng)用場景,分別是結(jié)構(gòu)化道路和以代客泊車為代表的最后一公里,并且提供這兩個場景下的自動駕駛解決方案,這同時也是我們最主要的業(yè)務(wù)合作。禾多科技目前已經(jīng)推出了兩款原型系統(tǒng),我們分別稱為HoloPilot以及HoloParking。

HoloPilot已經(jīng)實現(xiàn)了在高速公路上的自動駕駛,包括跟車、自主換道、自主超車以及上下匝道等功能,其中上下匝道技術(shù)可以順暢地接駁高速公路和立交橋,實現(xiàn)高速公路之間的轉(zhuǎn)換,且中間無需人工接管。最后一公里的代客泊車HoloParking項目現(xiàn)在已經(jīng)可以實現(xiàn)車輛自動尋找車位、泊車入位和泊出至指定地點等功能。

我們自主研發(fā)的軒轅平臺是一款橫跨軟硬件領(lǐng)域、可以支撐L2到L5級別的自動駕駛研發(fā)平臺,如何通過調(diào)整和設(shè)置,為HoloPilot和HoloParking這兩個項目提供諸多支持呢?下面我會仔細為大家講解。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

在我們看來,一個完備的自動駕駛硬件系統(tǒng),應(yīng)該至少包含以下三個最基本的組成:

(一)首先,自動駕駛最基本的硬件組成,就是一部車,并且是具備線控功能的車。所謂的線控就是指車輛可以通過上層發(fā)出的某些數(shù)字或者模擬的信號來控制車輛的某些行為,這里的上層就是大家平常所使用的比如電腦這樣的控制單元,可以理解為自動駕駛的大腦,而這里的線控車輛可以認為是自動駕駛車輛的四肢。

線控車輛的控制行為又可以細分為以下幾個模塊:

1、縱向控制,縱向控制可以說是車輛的驅(qū)動和制動,目前縱向模塊比較常見的接口有控制車輛的速度、加速度、發(fā)動機或者輪端的扭距;
2、橫向控制,目前橫向控制的接口主要有兩種,一種是通過控制方向盤上的扭距來控制方向盤,第二種是直接控制方向盤的角度和轉(zhuǎn)動速度。

車輛的縱向和橫向控制可以認為是線控車輛最基本的線控功能,一輛車如果具備了這兩種控制能力,已經(jīng)可以完成一些比如高速巡航之類的簡單自動駕駛功能。

除此之外,車輛的線控還應(yīng)該包括一些其他的功能。比如檔位的控制、轉(zhuǎn)向燈控制、雙閃控制等,只是這些控制與縱向、橫向控制不同,大多都是一些定性控制,比如轉(zhuǎn)向燈的開關(guān)。

線控車輛除了對大腦發(fā)出的一系列指令做出反應(yīng)之外,作為自動駕駛的四肢,車輛還需要向大腦反饋自己一系列的狀態(tài),比如車輛是處于自動駕駛狀態(tài)還是人工駕駛狀態(tài);另外,一旦駕駛員接管車輛,控制車輛也應(yīng)該給予上傳相應(yīng)的反饋。除此之外,還有一些車輛自身狀態(tài)的信息,比如車速、輪速等信息都是比較重要的。對于上層算法的輸入,比如上層的控制單元、定位單元,都可以用到這些車輛信息。

還有一個我們認為比較關(guān)鍵的地方,就是一旦車輛不能正確地反饋上層的控制命令,那么車輛本身就需要反饋一種車輛的錯誤狀態(tài),這樣開發(fā)人員才能根據(jù)車輛的錯誤狀態(tài)來解決車輛報錯的問題。

除了車輛的控制和反饋之外,線控車輛在通信接口上還會有一些不同的地方。目前絕大多數(shù)的線控車輛應(yīng)該都是用CAN總線作為通信接口,但是不排除有些車輛會使用類似車載以太網(wǎng)這些結(jié)構(gòu)作為控制接口。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

(二)第二個自動駕駛硬件系統(tǒng)必要的組成部分是相關(guān)的傳感器。前面有提到過,其實車輛本身也可以算做自動駕駛的一個最基本的傳感器,本身會提供車輛的一些基本信息,而其他的一些自動駕駛相關(guān)的傳感器就可以認為是自動駕駛的眼睛和耳朵。下面列舉了一些比較有代表性的傳感器。

攝像頭:這種傳感器有一個非常大的優(yōu)點,就是成本非常低廉,目前市場上已經(jīng)有很多量產(chǎn)級別和車規(guī)級別的攝像頭可以供大家挑選。目前很多量產(chǎn)車都可以在不同的位置上安裝攝像頭這種傳感器。另外一方面是在算法層面,由于攝像頭相關(guān)算法(比如視覺定位)已經(jīng)發(fā)展很長時間,有些算法已經(jīng)比較成熟了,已經(jīng)能夠很快地在自動駕駛上實現(xiàn),并且目前看來是有一些算法的效果還不錯。

但是攝像頭的缺點也是有的,在做硬件的人看來,攝像頭本身的時間同步比較困難,對于攝像頭本身來說,需要考慮它是GlobalShutter(全局快門)還是RollingShutter(卷簾快門)。如果我們要做到精準的時間同步,還需要考慮從攝像頭底層去得到每張圖的曝光時間,從而得到每張圖精確的成像時間,因此這種同步往往是非常困難的,也會影響后續(xù)傳感器融合的算法性能。

禾多科本身是聚焦在自動駕駛的量產(chǎn)項目上的,我們發(fā)現(xiàn)相機還有一個問題是視覺算法對于計算單元的需求比較高,目前很多的算法可能都需要高性能的GPU或者定制化的FPGA,這些芯片目前很難有量產(chǎn)化的前景,至少最近幾年不會。

另外相機本身的輸出量非常大,如果想要無損地保存相機里面的數(shù)據(jù),在量產(chǎn)的方案里幾乎不太可能。最后還有一個相機最顯而易見的問題是,它不是一個全天候工作的傳感器,在一些比較惡劣的天氣或者是在天黑的時候,相機的一些算法就不能正常工作了。

激光雷達:激光雷達可以是自動駕駛的寵兒,從最早的DARPA挑戰(zhàn)賽開始,到現(xiàn)在很多的自動駕駛解決方案都依賴于激光雷達,所以從現(xiàn)在看來,無論國內(nèi)還是國外都有很多激光雷達的供應(yīng)商,當(dāng)然激光雷達這么受青睞也是有原因的,它的優(yōu)點是能夠非常精確地拿到厘米級的數(shù)據(jù),而且能夠非常精確地測量出周圍的3D信息。

從激光雷達立足于自動駕駛量產(chǎn)方面來看,成本還是降不下來,雖然固態(tài)雷達這樣的低成本方案已經(jīng)提出很長時間了,但是目前市面上依然沒有特別成熟的固態(tài)雷達解決方案。另一個問題是激光雷達目前都是屬于旋轉(zhuǎn)式的機械結(jié)構(gòu),這種結(jié)構(gòu)往往是很難通過車規(guī)的,因此想要做到前裝量產(chǎn)是比較困難的。而在我們的了解中,現(xiàn)在也只有法雷奧Valeo的四線激光雷達通過了車規(guī),裝到了量產(chǎn)車上面。

以前我們在使用激光雷達的時候出現(xiàn)過這種問題,在下雨天時,地上的積水和天空中的雨水都會對激光雷達的測量造成非常大的噪聲。所以激光雷達也不能認為是一個全天候的傳感器,但是它對天氣的要求并沒有相機那么苛刻,因此我相信,不止是禾多,很多從事自動駕駛相關(guān)的工作人員也都很期待下一代激光雷達的產(chǎn)品,不管是固態(tài)的還是一些其他形式的激光雷達。

超聲波雷達:這是一款已經(jīng)大量量產(chǎn)并且安裝上車的傳感器,現(xiàn)在大部分的車已經(jīng)在用超聲波雷達做一些倒車相關(guān)的功能,所以在自動駕駛上使用超聲波雷達會使得傳感器的成本非常低,因為一方面超聲波雷達本身造價低,另一方面不需要再去額外安裝這些傳感器。但是超聲波雷達在自動駕駛中扮演的角色并不是那么重要,因為其本身的使用場景比較有限,有效的探測距離也只不過在幾米范圍內(nèi),不過在一些特定場景,比如自動停車功能中,超聲波雷達是不可或缺的一環(huán)。

毫米波雷達:也是一款量產(chǎn)級別的傳感器,目前很多的量產(chǎn)車都安裝了至少一個毫米波雷達來實現(xiàn)ACC這樣的功能,甚至有一些高配的車安裝了5-6個毫米波雷達,我們認為,如果在一輛車上安裝了5-6個毫米波雷達,那么這種配置可以看作是已經(jīng)到了L4級別下可使用的配置,因此在今后的方案中,毫米波雷達的使用成本也會比較低。

而且毫米波雷達本身的探測距離和速度也是非常重要的優(yōu)點,對于障礙物的速度,毫米波雷達是能夠直接檢測出來的,而不像其它傳感器是算出來的。并且很多毫米波雷達是全天候工作的傳感器,從經(jīng)驗來看,毫米波雷達確實可以比較好的應(yīng)付下雨、下雪這樣的天氣。

不過毫米波雷達的缺點也比較明顯,毫米波雷達的檢測結(jié)果往往缺乏3D信息,只是檢測到一個障礙物的點,會導(dǎo)致毫米波雷達與其他傳感器或者與車身的標(biāo)定變得非常困難。好消息是,一些大的毫米波雷達供應(yīng)商都在開發(fā)下一代產(chǎn)品,比如博世的第五代毫米波雷達,他們會開放出毫米波雷達更加底層、類似激光點云的信息,相信這種產(chǎn)品的問世,會使自動駕駛受益匪淺。

GNSS/IMU組合慣導(dǎo):我們通常把這兩個傳感器放在一起,因為這兩個傳感器經(jīng)常一起配合使用來提供比較穩(wěn)定精準的定位信息,而且他們之間的融合算法也已經(jīng)相對比較成熟,可以大量使用在各種自動駕駛方案中。除了獲得定位信息之外,GNSS也可以為整個自動駕駛系統(tǒng)提供穩(wěn)定的時間源,可以用這個時間源做各個傳感器和車身之間的同步信息等同步方案。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

(三)自動駕駛的計算單元:也就是我們前面提到的自動駕駛的大腦,從自動駕駛的研發(fā)或者量產(chǎn)來說,計算單元大概可以分為以下的三種情況:

1、使用比較成熟的工控機,這種方法最快也最方便,很適合自動駕駛初期的算法開發(fā)與驗證,不過使用工控機,日后的量產(chǎn)就難以實現(xiàn);
2、使用第三方提供的研發(fā)平臺,這里面最著名的就是NVIDIA提供的Drive PX2,但是從使用經(jīng)驗上來看,也存在一些問題,比如定制化不足,容易出現(xiàn)資源浪費或者資源不足的問題;
3、自研研發(fā)平臺,上圖展示的就是禾多自己開發(fā)的一個比較簡單的嵌入式控制單元,不過這種做法在研發(fā)上往往需要耗費很多精力和時間。

以上就是自動駕駛硬件系統(tǒng)的三個組成部分:自動駕駛的四肢——線控車輛、自動駕駛的眼睛——傳感器、自動駕駛的大腦——計算單元。下面我會主要針對平臺和傳感器對自動駕駛算法的影響進行一些具體的討論。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

這張圖展示了我們從事自動駕駛以來使用過的線控平臺,第一輛車是當(dāng)時CEO倪凱在清華上學(xué)時使用的線控平臺;第二輛車是在百度最開始使用的線控平臺,當(dāng)時主要用它來驗證我們最初的一些算法;第三輛車是當(dāng)時百度和寶馬合作一起改的一輛線控車,后來也是這輛車完成了百度自動駕駛的Demo;最后一輛車是我們在后續(xù)工作中使用的大眾高爾夫的線控車輛。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

在使用這么多線控車輛的經(jīng)驗當(dāng)中,我們深深地感受到,要找到一個適合自動駕駛算法開發(fā)的線控平臺,并不是一件非常容易的事情,我們在使用過程中也遇到過非常多的坑。

首先是線控功能的不穩(wěn)定,有一些線控車輛雖然具備線控能力,但是往往會出現(xiàn)功能不穩(wěn)定的情況,比如做三次測試,有兩次測試是有問題的,只有一次測試才能成功,這往往會影響算法的調(diào)試效率;另外是控制邏輯的復(fù)雜性,具體表現(xiàn)在有些線控車輛要實現(xiàn)線控指令,必須按照一定的時間順序和先后順序向車輛發(fā)送一系列的指令,一旦中間有哪個環(huán)節(jié)出錯,就會出現(xiàn)車輛報錯的情況。

還有一些車輛本身的控制存在響應(yīng)延時較長的問題,這種大延時往往是控制算法所擔(dān)心的,會加大車輛的控制誤差;另外有一些線控平臺是通過外加裝設(shè)備的方式來達到線控作用,通過外加裝的方式,除了會有一定的延時以外,還會造成線控性能的不可靠,雖然線控平臺的控制接口已經(jīng)成功實現(xiàn),但還是繞不開底層的一些限制,比如有些車輛的縱向控制只有當(dāng)車速達到某個速度以上才能激活。

線控車輛的縱向和橫向控制不準確也是一個問題,比如車輛的底層控制調(diào)試得不是很好,方向盤的控制有時候會有很大的超調(diào)出現(xiàn),這種不精準的控制肯定會影響上層的算法調(diào)試。我們就曾經(jīng)遇到過車輛的線控和車輛的狀態(tài)強相關(guān)的情況,比如方向盤上可施加的力矩和當(dāng)前的車速成反比,導(dǎo)致上層的控制算法會根據(jù)車輛的狀態(tài)做出不同的調(diào)試,在不同的車速下會有兩套不同的參數(shù)等類似問題。

最后一個問題是線控車輛的供電問題,因為整個自動駕駛硬件系統(tǒng)的供電可能都要由線控平臺來提供,所以供電的穩(wěn)定性也非常關(guān)鍵,尤其是目前有一些計算單元對供電的穩(wěn)定性有著非常嚴格的要求,我們之前也遇到過因為車輛點火導(dǎo)致車輛電瓶抖動而損壞了GPU的情況。

以上就是我們在線控平臺上遇到過的一些問題,相信今后大家在從事自動駕駛時,在線控平臺上也會有更多的困難和挑戰(zhàn),這也凸顯出一個良好線控平臺的重要性。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

下面我將分享一下關(guān)于傳感器的標(biāo)定和同步對整個硬件平臺的影響。

激光雷達和車體的外參標(biāo)定:激光雷達是我們在車上裝的一個比較魯棒的傳感器,因此很多的傳感器(比如毫米波雷達、攝像頭)可能都是通過將它們與激光雷達進行標(biāo)定,再與車身之間得到一個外參,可以看出激光雷達與車體的外參標(biāo)定是十分重要的。

上圖展示了標(biāo)定前和標(biāo)定后兩種情況,左邊是把激光雷達放在車輛上,同時工程師手量了一個外參,包括XYZ以及旋轉(zhuǎn)的角度,然后根據(jù)外參讓車輛動起來,將車在不同的pose下采集到的激光點云疊加,根據(jù)疊加的效果發(fā)現(xiàn)量出來的外參有時是很不準確的,從圖上可以看出,在右上角的位置應(yīng)該是有一面墻的,由于外參的不準確,所以導(dǎo)致點云疊加起來的墻非常模糊。

因此我們通過一些算法將激光與車體外參進行了充分的標(biāo)定,標(biāo)定后的結(jié)果就是右邊這幅圖。從這幅度可以看到標(biāo)定之后再將點云疊加,這時墻面已經(jīng)變得很薄了,同時這個直角已經(jīng)很明顯了,如果我沒有記錯,應(yīng)該是使用Velodyne16線激光雷達和車體的標(biāo)定。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

毫米波雷達的標(biāo)定:一直以來,毫米波雷達的標(biāo)定都是一個比較困難的問題,前面講過毫米波雷達的輸出是缺乏3D信息的,因此它檢測到的障礙物只是一個點,而這個點又不是物體上非常有規(guī)律的點,比如如果是一個正方形,那么它就會返回正方形的一個角點,通常是根據(jù)角度和毫米波發(fā)生的角度來返回一個能量最集中的點。

這種不確定性和缺乏3D信息會造成一種標(biāo)定的困難,這里有兩幅圖,同樣也是標(biāo)定前和標(biāo)定后。其中紅色的線是激光點云疊加后的線,黃色的大點是我們標(biāo)定時使用的一些柱子工具,我們想通過這些柱子來標(biāo)出毫米波雷達和激光雷達的位置,這些黃色的點是我們用來標(biāo)記出這些柱子在激光雷達點云中的位置。

如果大家放大圖片,可以看到左側(cè)圖像中黃色點附近有很多零零星星排布的小黃點,這些黃色的點就是當(dāng)我們的車繞著這些柱子開的時候,毫米波雷達在某些時刻記錄下來的障礙物的位置。

這些位置跟激光點云中的點還是比較分散的,如果把這種結(jié)果直接用來做后面的障礙物標(biāo)注,影響會非常大,很難將激光點云中黃色的點跟這些散列分布的小黃點進行融合到一起。

而我們是經(jīng)過一個毫米波雷達標(biāo)定,最后的標(biāo)定結(jié)果是呈右圖顯示,雖然沒有完全讓黃色的激光雷達點云和毫米波雷達障礙物的點重合到一起,但是目前他們已經(jīng)很集中了,因此再把這種的結(jié)果交還給后續(xù)的融合算法,就會得到一個比較好的效果。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

攝像頭的標(biāo)定:我們將攝像頭的位置與激光雷達的位置進行標(biāo)定,從而反推到車體坐標(biāo)系下攝像頭的位置。其中攝像頭的標(biāo)定分為內(nèi)參的標(biāo)定和外參的標(biāo)定。

內(nèi)參的標(biāo)定主要是體現(xiàn)在去畸變上,大家可以看左邊圖,我們選用的是一個廣角的相機,區(qū)別還是比較明顯的,在現(xiàn)實中,我們的棋盤格應(yīng)該是一個直角的棋盤格,但在相機上已經(jīng)產(chǎn)生了彎曲的弧線。

通過內(nèi)參的標(biāo)定把畸變?nèi)チ酥?,雖然圖片的尺寸發(fā)生了變化,但是這種現(xiàn)實生活中的直線在圖像中也會還原成直的,這樣能更加好地去進行外參的標(biāo)定,可以把激光雷達的點云投射在棋盤格上,包括投射在我們的工作人員身上,這樣就把攝像頭和激光雷達的外參位置給標(biāo)定出來了。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

接下來分享下傳感器的時間同步問題,有一些傳感器其硬件本身可能就具備時間同步的功能,比如激光雷達、GPS/IMU等傳感器,這類傳感器的同步可能會比較容易實現(xiàn),因此我們也不需要去考慮。比較麻煩的是CAN總線的時間同步,由于CAN總線沒有時間源,因此我們也只能使用一個接近的方法去推斷CAN總線的時間戳信息。

在這里我主要分享一下相機的時間同步,就像前面的相機實驗,并不是一個比較困難的事情,我們需要知道每一幀圖像的出發(fā)時間、相機的曝光時間,這樣才能知道相機的真正成像時間,當(dāng)然也可以把相機信息傳到電腦上的時間作為圖像的時間戳,但是這樣就變成了從出發(fā)時間到曝光成像時間,再加上從相機傳輸?shù)诫娔X的傳輸時間,而需要經(jīng)過這么長的延誤時間才能達成一個時間戳。

時間戳延誤會造成什么問題呢?大家可以看左邊的這幅圖,在上一張圖片中,我們看到了在靜止的狀態(tài)下,我們的點云跟相機上的圖片已經(jīng)可以很好地重合到一起了。但是在這幅圖中,由于車輛是在高速行駛狀態(tài)下,時間戳延誤會導(dǎo)致即便是標(biāo)定好的外參,但是點云投射到相機上也會出現(xiàn)不吻合的情況,也就是左邊這張圖。

如果我們把相機的同步時間做精準了之后,就可以通過剛才的外參把點云投射到相對應(yīng)的時間戳圖像中,這樣就會保證點云和圖像中的元素還是重合的,即右圖所展示的這樣。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

前面講了車輛線控上的問題以及遇到的坑、傳感器標(biāo)定和同步的問題,那在我們看來,適合L2-L5自動駕駛的硬件平臺是怎樣的呢?

首先從線控平臺來看,要保證功能的穩(wěn)定性以及控制的準確性、延時小、控制接口靈活,盡可能少的功能限制,同時控制也要有一定的安全保障,可復(fù)用性高。

其次,在傳感器系統(tǒng)上,需要有一套完整可靠的傳感器系統(tǒng),包括傳感器的供電要穩(wěn)定,各類傳感器及傳感器與車身的標(biāo)定要準確,傳感器的時間同步也要有一定的保證,并且要保證傳感器有穩(wěn)定的輸出。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

正是因為前面一些經(jīng)驗的痛點,通過自己的技術(shù)累積以及與國際主機廠和供應(yīng)商的多個合作項目經(jīng)驗,我們發(fā)現(xiàn)研發(fā)效率取決于研發(fā)平臺的完善度,并且是決定效率高低的因素之一,好的可搭載自動駕駛系統(tǒng)的車輛平臺稀缺是目前絕大部分同行的痛點。于是我們禾多科技在2017年11月份發(fā)布了軒轅平臺,并且認為軒轅平臺是適合L2到L5自動駕駛需求的平臺。

接下來我會給大家分享一段視頻,這是去年11月份我們發(fā)布軒轅平臺時的記錄視頻,在發(fā)布現(xiàn)場,兩款測試平臺車分別展示了八字繞樁、不剎車緊急變道、全車道無人接駁三個項目,大家可以看一下這個視頻。

視頻一(可以在車東西公眾號回復(fù)關(guān)鍵詞“禾多科技”獲取)

大家可以看到,在這個視頻里面,展示了兩款軒轅測試平臺,分別進行了三個項目:

第一個是在一個有限的場地里面進行八字繞樁,當(dāng)時的車速接近30km/h;
第二個是進行不減速變道,當(dāng)時的車速是在60km/h左右,車子在不減速的情況下做兩次連續(xù)的變道;
最后一個是在當(dāng)時的卡丁車場地,平均車速是在30到40km/h進行繞場地一圈。

這三個項目都是在軒轅平臺上通過自動駕駛的方式去實現(xiàn)的,其實當(dāng)時的控制算法遠遠沒有現(xiàn)在很多算法那么復(fù)雜,只是一些簡單的算法通過軒轅平臺的接口就能實現(xiàn)。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

目前軒轅平臺支持大眾邁騰和別克昂科威兩種車型,軒轅平臺除了提供最基本的線控功能之外,還能提供各種定制化的服務(wù),比如傳感器和多種硬件的集成以及定制化的模塊等服務(wù)。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

從線控車輛的性能上看,軒轅平臺在縱向控制上可以實現(xiàn)車速0-150Km/h的范圍,倒車時候可以到達-8Km/h速度上的控制,并且提供多種緊急減速機制,縱向控制包含多種退出機制,包括駕駛員的超越模式等。橫向控制可以達到方向盤從-450°到450°的功能實現(xiàn),包括前進和后退兩種操作,同樣也支持多種退出機制。需要強調(diào)的是縱向控制和橫向控制都是使用原車機構(gòu)實現(xiàn),所以在穩(wěn)定性和安全可靠性上有一定的保障。對于其他的控制方向,我們目前支持的有檔位切換、轉(zhuǎn)向燈和警示燈的點亮。

在硬件接口上,支持CAN總線和以太網(wǎng)通信接口。在電源的輸入方面,我們也做了一些工作,首先是做了一個12V的穩(wěn)壓模塊,保證車輛所提供的電源能夠穩(wěn)定在12V,誤差±10%范圍內(nèi)來滿足一些元器件的要求,而我們能夠提供的功率應(yīng)該是在1000W左右。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

除了線控車輛之外,軒轅平臺還能提供一些其他的硬件支持服務(wù),就像前面提到的電源管理設(shè)備,還可以提供一些計算平臺以及人機交互的設(shè)備等;在軟件方面,可以支持多種通信中間件,比如ROS等,還可以提供一些底層的控制模塊、傳感器驅(qū)動、傳感器融合模塊等。另外軒轅平臺支持的傳感器包括上面提到的所有自動駕駛基本的傳感器,比如激光雷達、毫米波雷達、相機、組合慣導(dǎo)以及超聲波雷達等。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

大家可以看一下我們對軒轅平臺的改裝,外加了一些傳感器,比如毫米波雷達和激光雷達,并做了一定的隱藏,從外觀上來看和普通車輛幾乎沒有差別,在保持車輛本身外觀和美觀的同時更符合車規(guī),同時后備箱改裝后也留出了足夠的空間,為今后的量產(chǎn)和落地做一些前期的準備工作。

我們認為如果要做真正的自動駕駛量產(chǎn)系統(tǒng),就要做封裝的自動駕駛,要做嵌入式、低價格、可量產(chǎn)的設(shè)備,只有這樣我們才能把方案提供給主機廠,才有機會量產(chǎn)面向大眾,因此不管在軟件上還是硬件上,禾多科技都是直接對量產(chǎn)服務(wù)的,對我們自己而言,軒轅平臺同時也支撐著我們可以量產(chǎn)落地的自動駕駛產(chǎn)品。

【PPT下載】如何快速搭建自動駕駛的硬件系統(tǒng)?禾多科技李文俊給出了答案!

這是禾多科技從成立到現(xiàn)在的發(fā)展歷程,大家可以看到,自從去年11月發(fā)布了軒轅平臺以后,在短短幾個月的時間里面,我們就完成了L3.5級別的高速公路自動駕駛解決方案HoloPilot;5月18日,我們在上海的汽車創(chuàng)新港發(fā)布了L4級別的智能代客泊車系統(tǒng)HoloParking。其中HoloPilot和HoloParking研發(fā)都是基于軒轅平臺的支撐。

接下來跟大家簡單介紹一下目前我們?yōu)槭裁催x擇聚焦于HoloPilot和HoloParking這兩個場景,主要有以下幾個原因:

首先,我們認為中國有自己本土化獨有的交通狀況和駕駛習(xí)慣,也意味著歐美的自動駕駛系統(tǒng)到了中國會有水土不服的情況,所以需要有適合中國人和道路情況的自動駕駛系統(tǒng)。

其次,我們把未來的出行場景分為三部分:1、高速公路,也就是我們的結(jié)構(gòu)化道路;2、城市工況;3、最后一公里,其中也包括代客泊車。從解決用戶的痛點、快速落地量產(chǎn)化的角度來看,我們認為高速公路和最后一公里可以說是整個行業(yè)內(nèi)發(fā)展的重點,因此我們也把這兩塊作為首先要聚焦的場景,而城市工況會在更遠的將來實現(xiàn)。

基于這樣的考慮,我們發(fā)布了HoloPilot和HoloParking。而在研發(fā)過程中,我們也深刻地感受到一個穩(wěn)定完善的自動駕駛研發(fā)平臺是多么重要,所以我們希望通過軒轅平臺與同行共享一個清晰有效的解決方案。自動駕駛生態(tài)覆蓋的細分領(lǐng)域眾多,除了各大車企外,比如初創(chuàng)公司、互聯(lián)網(wǎng)基因企業(yè)、共享運營企業(yè),甚至高校研發(fā)團隊,有研發(fā)平臺需求時,軒轅平臺都可以為之賦能。

視頻二(在車東西公眾號回復(fù)關(guān)鍵詞“禾多科技”獲?。?/strong>

接下來我們來看一段5月18日發(fā)布HoloParking的現(xiàn)場演示視頻。

大家在視頻里可以看到,在軒轅平臺上,在別克昂科威車型上我們已經(jīng)完成了在停車場入口自動尋找車位、泊車入位的功能,同時軒轅平臺也為HoloParking提供了一定的硬件支持。

我今天的分享就到這里結(jié)束了,謝謝大家。

Q&A環(huán)節(jié)

提問一
王學(xué)方-阿里-機器學(xué)習(xí)工程師

L4的量產(chǎn)車硬件成本短期內(nèi)會降低嗎?

李文?。?/strong>L4級別的量產(chǎn)車硬件方案成本,我認為短期內(nèi)不會降低。當(dāng)然這也要看L4級別具體用什么樣的傳感器配置?,F(xiàn)在有的是用激光雷達的方案,也有用其他方案的,比如Mobileye的視覺方案,這樣對比來看,純用視覺方案可能在成本上會有一些降低,而激光雷達就像我剛才前面說的,雖然提出固態(tài)激光雷達已經(jīng)有很長一段時間了,但是目前還看不到一個比較成熟的產(chǎn)品。除了傳感器之外,計算單元的成本也是一個非常嚴峻的問題,比如GPS在成本上也是比較高的。所以我認為L4級別的硬件成本在短期內(nèi)應(yīng)該不會有降低。

提問二
張軍良-電子科技大學(xué)-計算機視覺

自動駕駛的多傳感器(激光雷達,多攝像頭)做到時間的同步,空間上的對齊的,需要用到圖像拼接的知識嗎?

李文?。?/strong>我認為同步和標(biāo)定應(yīng)該是根據(jù)大家的算法來做的,目前來看,我們這邊并沒有用到圖像拼接的知識,相反,如果在標(biāo)定和同步上做到了一定的精度和準確度之后,反而會對后續(xù)的圖像拼接有一定的幫助,因為你已經(jīng)知道各個圖像之間的相對關(guān)系,再用這些相對關(guān)系來做圖像拼接,就會非常容易了。

提問三
曹宏為-四澤電子上海公司-工程師

1、關(guān)于車載以太網(wǎng)在L2-L5的系統(tǒng)中地位如何?
2、如果沒有車載以太網(wǎng)技術(shù)的應(yīng)用,L2-L5是否可以很好的實現(xiàn)?

李文?。?/strong>1,我個人比較看好車載以太網(wǎng)在自動駕駛系統(tǒng)中的應(yīng)用,比如前段時間VALEO量產(chǎn)的SCALA激光雷達,其實它的輸出接口就是BroadR-Reach的車載以太網(wǎng)。從現(xiàn)在的技術(shù)來看,不管是激光雷達還是前面所介紹到的下一代毫米波雷達,它們的數(shù)據(jù)量是CAN總線完全承受不了的,所以隨著傳感器的豐富,車載以太網(wǎng)將會是一個趨勢。以前在和主機廠的一些合作中,他們也有計劃把車身的整個通信全部轉(zhuǎn)移到車載以太網(wǎng)中,包括車的控制以及信號反饋之類的,所以我認為車載以太網(wǎng)在L2-L5系統(tǒng)中應(yīng)該會扮演著非常重要的角色。

2,如果沒有車載以太網(wǎng)技術(shù)的應(yīng)用,從傳感器數(shù)據(jù)這方面來說,從L2到L5的實現(xiàn)就很難得到很好的保障。

提問四
黃立明-踏歌智行-CTO

硬件系統(tǒng)的冗余可靠設(shè)計與成本價格如何平衡?

李文?。?/strong>硬件冗余可以分為兩部分,第一部分是車體本身執(zhí)行結(jié)構(gòu)的冗余,也是必不可少的,跟車輛的成本應(yīng)該是沒有關(guān)系的,比如博世的方案應(yīng)該是由iBooster和ESP兩套方案的,這個成本更多的是為車輛將來的系統(tǒng)穩(wěn)定性考慮的,因此我認為這個成本是省不了的。

另一個是傳感器的冗余,傳感器的冗余也是有必要的,所以我們的HoloPilot和HoloParking設(shè)計方案,在車輛的360°范圍內(nèi),每一個角度上至少有兩個傳感器的冗余,比如毫米波雷達+激光雷達冗余、相機+激光雷達冗余。至于成本的控制,很大程度上取決于自己的算法,如果自己的攝像頭算法很強,攝像頭+毫米波就可以達到車輛側(cè)方的檢測冗余,那么就會降低一些成本。

比起用激光雷達和毫米波雷達結(jié)合冗余方案,我們認為車輛的前方應(yīng)該保留激光雷達+毫米波雷達+攝像頭三個冗余,由于之前行業(yè)內(nèi)發(fā)生過的一些事故,都是因為毫米波雷達和視覺傳感器融合傳遞的信息沒有激光雷達那么精確所造成的,因此我們的方式是在車輛的每個方向上至少有兩個冗余,而在車輛的前方應(yīng)該有三個冗余。而冗余的成本也是不能減少的,只能通過挑選不同的傳感器來降低成本,比如側(cè)面的激光雷達換成攝像頭。