ADAS以汽車內單個、獨立的功能存在

僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。我們可以在每種傳感器中找到諸如此類的優缺點。

多傳感器融合技術中的“雷達”與“攝像頭”

傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類的輸入內容，并且使用組合在一起的信息來更加準確地感知周圍的環境。

相對于獨立系統，這樣可以做出更好、更安全的決策。雷達也許不具有光傳感器所具有的分辨率，不過它在測距和穿透雨、雪和濃霧方面具有很大優勢。這些天氣條件或光照不足的惡劣情況不利于攝像頭發揮作用，不過攝像頭能夠分辨顏色（可以想一想街道指示牌和路標），并且具有很高的分辨率。

目前路面上圖像傳感器的分辨率已經達到1百萬像素。在未來幾年內，圖像傳感器的發展趨勢將是2百萬，甚至4百萬像素。

“雷達”與“攝像頭”相互融合

雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。

使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。

即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。

然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。

多傳感器融合技術中的前融合、后融合

后融合算法典型結構

后融合算法：

1、每個傳感器各自獨立處理生成的目標數據。

2、每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。

3、當所有傳感器完成目標數據生成后，再由主處理器進行數據融合。

前融合算法典型結構

前融合算法：

1、只有一個感知的算法。對融合后的多維綜合數據進行感知。

2、在原始層把數據都融合在一起，融合好的數據就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，開發自己的感知算法，最后會輸出一個結果層的物體。

數據融合的算法

雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。

使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。

即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。

然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。