在談及自動駕駛感知系統(tǒng)時(shí)，經(jīng)常會看到一個專業(yè)詞匯，那便是“點(diǎn)云”。作為連接物理現(xiàn)實(shí)與數(shù)字世界的橋梁，它賦予機(jī)器一種超越人類視覺的深度感知能力，讓車輛得以精確地“理解”自身在環(huán)境中的位置與周遭物體的真實(shí)形態(tài)。今天智駕最前沿就帶大家深度了解下“點(diǎn)云”的含義。

什么是點(diǎn)云？

點(diǎn)云，簡單來說，就是用數(shù)字記錄三維空間中每個點(diǎn)的位置。在空間坐標(biāo)中，每個點(diǎn)都可以用x、y、z三個坐標(biāo)值表示，有些還會附帶反射強(qiáng)度或時(shí)間戳等信息。把一個場景中所有這樣的點(diǎn)集合在一起，就形成了點(diǎn)云。

激光雷達(dá)點(diǎn)云圖（右側(cè)），圖片源自：網(wǎng)絡(luò)

如上圖所示，就是激光雷達(dá)生成的點(diǎn)云圖，里面是由無數(shù)個小點(diǎn)“勾勒”出的街道、路口及車輛的輪廓，這些點(diǎn)能還原物體的形狀、距離和空間關(guān)系，從而讓自動駕駛汽車獲得更多的交通信息。與照片的像素網(wǎng)格不同，點(diǎn)云是稀疏或密集分布在三維空間中的獨(dú)立點(diǎn)集合，它能直接表達(dá)三維結(jié)構(gòu)，比二維圖像更直觀地反映物體在空間中的實(shí)際位置。

哪些傳感器會產(chǎn)生點(diǎn)云

在自動駕駛中，多個傳感器可以生成點(diǎn)云數(shù)據(jù)。激光雷達(dá)作為最核心的采集設(shè)備，通過發(fā)射激光束并精確測量其返回時(shí)間來計(jì)算距離，結(jié)合精密的掃描控制，能實(shí)時(shí)生成富含三維坐標(biāo)和反射強(qiáng)度信息的密集點(diǎn)云。

激光雷達(dá)，圖片源自：網(wǎng)絡(luò)

立體視覺系統(tǒng)則模仿人類雙眼視差原理，利用多攝像頭從不同角度拍攝同一場景，通過計(jì)算像素位置差異來推算深度，最終將二維圖像轉(zhuǎn)換為三維點(diǎn)云。這種方法在紋理豐富區(qū)域效果良好，但在特征缺失的平坦區(qū)域或遠(yuǎn)距離場景中精度會明顯下降。

基于飛行時(shí)間深度相機(jī)可以通過直接測量光脈沖的往返時(shí)間為每個像素計(jì)算深度值，也能快速生成點(diǎn)云，但其有效感知距離較短，多用于近場環(huán)境感知。

毫米波雷達(dá)則通過分析無線電波反射來探測目標(biāo)，提供距離、速度及角度信息，雖然生成的數(shù)據(jù)點(diǎn)稀疏且角度分辨率有限，卻在惡劣天氣下表現(xiàn)穩(wěn)定，常被用作特殊的“稀疏點(diǎn)云”參與目標(biāo)跟蹤和融合感知。

這些傳感器因工作原理各異，所生成的點(diǎn)云在密度、噪聲水平和信息維度上存在顯著差異，這會直接影響它們在系統(tǒng)中的具體應(yīng)用場景及后續(xù)的數(shù)據(jù)處理策略。

點(diǎn)云能做什么

既然這么多傳感器都可以生成點(diǎn)云，那點(diǎn)云到底能給自動駕駛做點(diǎn)啥？對于自動駕駛汽車來說，點(diǎn)云最主要的作用就是三維感知。與二維圖像相比，點(diǎn)云能直接提供物體的距離、高度和大致形狀，這對于判斷障礙物、識別路緣、檢測行人和車輛姿態(tài)至關(guān)重要。點(diǎn)云常用于目標(biāo)檢測與跟蹤，算法直接在三維空間中輸出三維邊界框，能更精確地估計(jì)距離和尺寸，從而提高定位和避障決策的可靠性。

點(diǎn)云還有一個作用就是建圖與定位，通過對齊連續(xù)幀的點(diǎn)云（即點(diǎn)云配準(zhǔn)），車輛可以在沒有高精地圖或GPS信號受干擾時(shí)，實(shí)現(xiàn)基于點(diǎn)云的定位（例如通過掃描匹配或基于特征的定位），這是很多自動駕駛系統(tǒng)的冗余定位方案。

圖片源自：網(wǎng)絡(luò)

點(diǎn)云還為自動駕駛系統(tǒng)提供了深層次的環(huán)境理解能力。通過對點(diǎn)云進(jìn)行語義分割，系統(tǒng)能夠精確區(qū)分道路、隔離帶、路燈和人行道等關(guān)鍵交通要素，這不僅實(shí)現(xiàn)了對場景的結(jié)構(gòu)化理解，更為路徑規(guī)劃提供了重要的語義約束，確保車輛行為符合交通規(guī)則和場景特性。

除此之外，點(diǎn)云還為規(guī)劃與控制模塊提供可靠的三維幾何信息，與依賴二維投影的方案相比，點(diǎn)云直接呈現(xiàn)了空間的高程變化和幾何特征，使車輛能夠準(zhǔn)確感知坡度、路緣高度等關(guān)鍵參數(shù)，借助這些數(shù)據(jù)，在路徑規(guī)劃時(shí)可以充分考慮實(shí)際地形因素，顯著提升了決策的準(zhǔn)確性和安全性。

點(diǎn)云處理的常見流程與算法要點(diǎn)

點(diǎn)云數(shù)據(jù)在生成后并不是直接就能使用的，從原始點(diǎn)云到可用的三維感知結(jié)果，需要經(jīng)過一系列處理步驟。第一步是要進(jìn)行預(yù)處理，預(yù)處理階段先要進(jìn)行噪聲過濾，消除因空氣中的塵埃、雨霧或傳感器自身誤差造成的異常數(shù)據(jù)點(diǎn)，確�；�礎(chǔ)數(shù)據(jù)的純凈度。然后就是要實(shí)施數(shù)據(jù)精簡，通過體素下采樣方法在保留場景主要幾何特征的前提下，降低數(shù)據(jù)總量，提升后續(xù)處理效率。預(yù)處理的最后一個步驟是要完成坐標(biāo)統(tǒng)一，將來自不同傳感器的點(diǎn)云數(shù)據(jù)經(jīng)過時(shí)間同步和坐標(biāo)變換，全部轉(zhuǎn)換到統(tǒng)一的車輛或世界坐標(biāo)系中，為后續(xù)的障礙物檢測、環(huán)境感知等高級處理任務(wù)奠定基礎(chǔ)。

預(yù)處理完整后要做的是進(jìn)行地面分割和地平面擬合，將道路表面剔除或標(biāo)記出來，便于分離出行人、車輛等非地面物體。分割之后是聚類與候選生成，通過歐氏聚類或基于語義的分割提取單個物體的點(diǎn)集，再為每個聚類擬合三維邊界框。

對于點(diǎn)云數(shù)據(jù)的處理，有兩種常見路線，一種是以PointNet/PointNet++為代表的點(diǎn)基方法，直接對原始點(diǎn)云數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，充分保留了每個點(diǎn)的三維坐標(biāo)信息；還有一種是將不規(guī)則的點(diǎn)云轉(zhuǎn)換為規(guī)整的體素網(wǎng)格或鳥瞰圖等結(jié)構(gòu)化表示，再利用成熟的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。這兩種方案各有優(yōu)勢，點(diǎn)基方法精度更高，而網(wǎng)格化方法計(jì)算效率更優(yōu)。

在獲得檢測結(jié)果后，系統(tǒng)需要通過目標(biāo)跟蹤技術(shù)將不同時(shí)刻檢測到的物體關(guān)聯(lián)起來，形成連續(xù)的運(yùn)動軌跡。這一過程可采用卡爾曼濾波等算法，通過建立運(yùn)動模型來預(yù)測和更新目標(biāo)位置。同時(shí)，為了融合多幀點(diǎn)云數(shù)據(jù)或不同傳感器的點(diǎn)云，還需要進(jìn)行點(diǎn)云配準(zhǔn)操作。常用的配準(zhǔn)方法有迭代最近點(diǎn)算法和基于特征的匹配方法，這些技術(shù)能夠有效解決點(diǎn)云之間的空間對齊問題。

點(diǎn)云的局限與挑戰(zhàn)

雖然點(diǎn)云可以提供直接的三維信息，但它也存在一些局限。點(diǎn)云密度會隨距離、角度和傳感器分辨率快速下降，遠(yuǎn)處和低反射率區(qū)域點(diǎn)云稀少，就會導(dǎo)致遠(yuǎn)距離小目標(biāo)檢測性能下降。

圖片源自：網(wǎng)絡(luò)

像是在雨、雪、霧、塵埃等異常天氣下，還會產(chǎn)生虛假回波或吸收激光，降低LiDAR的有效點(diǎn)數(shù)；同樣，立體視覺在低光照或反光表面上的深度估計(jì)效果也會變差。不同材料對激光的反射率差異也很大，某些暗色或吸光材料幾乎不產(chǎn)生回波。

此外，點(diǎn)云數(shù)據(jù)量大、計(jì)算密集，實(shí)時(shí)處理需要高效算法和專用硬件加速（如GPU、稀疏卷積加速器等）。點(diǎn)云的標(biāo)注也比圖像更耗時(shí)費(fèi)力，三維標(biāo)注工具和一致性要求更復(fù)雜，這將影響訓(xùn)練數(shù)據(jù)的規(guī)模。

若不同傳感器之間的時(shí)間同步與空間標(biāo)定存在誤差，更會直接導(dǎo)致點(diǎn)云數(shù)據(jù)在融合時(shí)產(chǎn)生系統(tǒng)性偏差。在時(shí)間維度上，即便是毫秒級的時(shí)間差，也會因?yàn)檐囕v和物體的快速運(yùn)動，導(dǎo)致同一目標(biāo)在不同傳感器中的空間位置無法精確對應(yīng)；在空間維度上，外參標(biāo)定的微小角度誤差會隨著距離增加而放大，使來自激光雷達(dá)、相機(jī)等不同傳感器的數(shù)據(jù)在空間上無法嚴(yán)絲合縫地對齊。

最后的話

點(diǎn)云的作用就是將三維空間中的幾何信息直接提供給自動駕駛系統(tǒng)，讓車輛能夠感知距離、形狀和空間關(guān)系，這是自動駕駛不可或缺的感知基礎(chǔ)。但點(diǎn)云存在稀疏性、對天氣敏感、依賴材料反射率等局限。因此，想讓自動駕駛系統(tǒng)獲得更好地感知效果，并不能僅依賴點(diǎn)云，而是要將其與相機(jī)、雷達(dá)等傳感器信息相結(jié)合，通過合適的表示方式和高效算法，充分發(fā)揮點(diǎn)云的優(yōu)勢，同時(shí)用其他傳感器彌補(bǔ)其短板。

-- END --

       原文標(biāo)題 : 一文講透自動駕駛中的“點(diǎn)云”