對自動駕駛來說，多傳感器融合感知一直是個難題。蘑菇車聯(lián)與清華大學(xué)猛獅團隊組成研究組，構(gòu)建了融合感知框架InterFusion，能夠更好地結(jié)合4D毫米波雷達和激光雷達優(yōu)勢，更準確地感知周圍環(huán)境。測試結(jié)果顯示，InterFusion的表現(xiàn)要明顯優(yōu)于多個主流感知算法。此項研究成果被IROS 2022收錄為大會論文。

　　IROS、ICRA和ROBIO一并被業(yè)界公認為人工智能領(lǐng)域最具影響力的國際學(xué)術(shù)會議，蘑菇車聯(lián)今年的研究成果已被其中兩個會議收錄。今年IROS共收到3579投稿，其中的1716篇被接收，接收率為47.9%。此前，蘑菇車聯(lián)與清華聯(lián)手打造的路側(cè)數(shù)據(jù)集被ICRA 2022收錄。

　　激光雷達、毫米波雷達是自動駕駛車輛中常見的傳感器，二者分別通過發(fā)射激光束和毫米波來感知外部環(huán)境。激光雷達能夠提供3D感知數(shù)據(jù)，但其點云數(shù)據(jù)會受到距離影響，距離越遠越稀疏，在惡劣天氣下進一步惡化，穿透力強的毫米波雷達正好可以彌補這一缺點。

　　目前，4D毫米波雷達逐步進入市場，激光雷達與4D毫米波雷達的融合也受到更多關(guān)注。不過，現(xiàn)階段行業(yè)內(nèi)大多數(shù)方案都無法實現(xiàn)兩種模態(tài)的相互作用，這不利于感知數(shù)據(jù)的最佳應(yīng)用。

　　鑒于此，蘑菇車聯(lián)、清華的研究團隊提出一種低成本的融合感知框架InterFusion，能夠更好地發(fā)揮激光雷達、4D毫米波雷達各自優(yōu)勢。InterFusion包含有數(shù)據(jù)預(yù)處理方法，能夠消除4D毫米波雷達點云角度偏移誤差;受自注意力機制(Self-attention Mechanism)啟發(fā)，InterFusion框架聚合了來自兩種模態(tài)的特征，并有效地識別了4D毫米波雷達和16線激光雷達特征之間的跨模態(tài)關(guān)系。在Astyx HiRes 2019數(shù)據(jù)集的實驗評估中，InterFusion融合感知框架在3D mAP中表現(xiàn)優(yōu)于基線4.20% ，在BEV mAP中表現(xiàn)優(yōu)于基線10.76%。

　　圖片從上到下數(shù)據(jù)來源依次為：相機，參照用真實數(shù)據(jù)，4D毫米波雷達，激光雷達，采用InterFusion融合架構(gòu)的4D毫米波雷達+激光雷達

　　在上圖中，藍色點代表激光雷達點云，黃色點代表4D毫米波雷達點云，第一行是來自相機的原始圖像;第二行為作參照的、符合實際情況的真實數(shù)據(jù);第三行的4D毫米波雷達點云稀疏，存在誤檢和漏檢;第四行激光雷達點云在長距離時變得稀疏，這意味著其對遠程對象的一些誤檢或漏檢。最后一行則是采用了InterFusion融合感知架構(gòu)生成的激光雷達、4D毫米波雷達點云感知結(jié)果，可以看到其感知結(jié)果要優(yōu)于第三、四行的單模態(tài)方法，十分接近第二行的真實數(shù)據(jù)。

　　InterFusion融合感知框架能夠有效提升自動駕駛安全性。車輛只有準確識別環(huán)境，才能做出更安全、更合理的規(guī)劃與決策。

　　作為“車路云一體化”方案的先行者和踐行者，蘑菇車聯(lián)積極探索自動駕駛前沿技術(shù)，公司與清華大學(xué)的多項研究成果有效提高蘑菇車聯(lián)“車路云一體化”系統(tǒng)的安全性、可靠性，為大規(guī)模應(yīng)用提供有力支撐。