相信很多人小時候看動畫片的時候，一定看到過這么一個畫面，動畫片中的主角會在墻壁上畫出極其逼真的隧道，從而誤導(dǎo)對手撞向墻壁。就在去年，前美國國家航空航天局工程師馬克·羅伯就利用類似的手段，在泡沫塑料墻上繪制了一幅三維道路畫作，結(jié)果成功騙過了一輛處于自動輔助駕駛狀態(tài)的特斯拉（開啟Autopilot功能）。實(shí)驗(yàn)中，特斯拉在時速四十英里的情況下，完全沒有做出制動動作，直接穿透了這堵假墻，而另一輛配備了激光雷達(dá)的車輛就穩(wěn)穩(wěn)地停在了障礙物前。這一現(xiàn)象引發(fā)了公眾對純視覺技術(shù)安全性的強(qiáng)烈質(zhì)疑，也讓人們開始重新審視純視覺方案在面對極端光學(xué)幻覺時的識別能力。

從技術(shù)發(fā)展的眼光來看，早期的純視覺系統(tǒng)之所以無法識別這類場景，核心原因在于當(dāng)時的神經(jīng)網(wǎng)絡(luò)算法在處理三維空間時更像是在“看照片”而不是“感知世界”。攝像頭捕獲的是光子并將其轉(zhuǎn)化為二維的像素矩陣，深度信息在這一過程中其實(shí)是丟失的。傳統(tǒng)的視覺算法通過識別物體的特征紋理、邊緣輪廓以及透視關(guān)系來反推距離，逼真的三維畫作恰恰是利用了這些視覺線索來偽造深度。但隨著算法架構(gòu)從基于規(guī)則的模塊化設(shè)計(jì)演進(jìn)到現(xiàn)在的端到端神經(jīng)網(wǎng)絡(luò)，以及硬件系統(tǒng)的提升，視覺感知系統(tǒng)對真實(shí)三維空間的理解已經(jīng)發(fā)生了質(zhì)的變化。

空間建模邏輯的重構(gòu)與占用網(wǎng)絡(luò)的革新

視覺感知系統(tǒng)想理解三維畫作，首先需要解決如何從二維圖像中重建三維幾何信息的問題。在自動駕駛發(fā)展的很長一段時間里，大多數(shù)車輛運(yùn)行的系統(tǒng)主要依賴于目標(biāo)檢測技術(shù)。這意味著神經(jīng)網(wǎng)絡(luò)會嘗試在圖像中尋找符合“車道線”、“車輛”或“行人”特征的像素塊，并為其框定一個三維邊界。當(dāng)畫作成功模擬了車道延伸的質(zhì)感和遠(yuǎn)方的地平線時，由于系統(tǒng)在庫中找不到匹配的“障礙物”模型，檢測器會將這些像素識別為可行駛區(qū)域。

但隨著占用網(wǎng)絡(luò)的使用，純視覺自動駕駛的障礙物檢測能力得到了飛速提升。這一技術(shù)不再只是關(guān)注特定的物體分類，而是將車輛周圍的空間整體切分為成千上萬個微小的立方體單元，即體素。占用網(wǎng)絡(luò)的任務(wù)是預(yù)測每一個體素單元在三維空間中是被物體占據(jù)了，還是處于空閑狀態(tài)。在最新的技術(shù)專利中，特斯拉更進(jìn)一步地引入了高保真占用確定技術(shù)，并采用了一種被稱為符號距離場的數(shù)學(xué)模型。與簡單的二進(jìn)制占用判斷不同，這種模型會計(jì)算三維空間中任意一點(diǎn)到最近物體表面的精確距離。如果該數(shù)值為正，則代表該點(diǎn)位于物體外部；如果為負(fù)，則代表位于物體內(nèi)部；而數(shù)值正好等于零的點(diǎn)，則代表物體的表面邊界。

這種基于距離場的建模方式賦予了視覺系統(tǒng)更強(qiáng)的幾何敏感性。通過處理來自八個不同角度攝像頭的視頻流，系統(tǒng)能夠計(jì)算出物體表面的細(xì)微曲率和起伏。即便畫作在顏色和紋理上做到了極致，但它在物理上依然是一個平滑的平面。當(dāng)占用網(wǎng)絡(luò)結(jié)合了符號距離場技術(shù)后，它能夠以亞體素級的精度識別出物體表面的平整度。在處理所謂的“三維假路”時，算法會就可以發(fā)現(xiàn)圖像中表現(xiàn)出的“遠(yuǎn)景深度”與感知到的“平面幾何”之間存在邏輯沖突。

此外，硬件的迭代對于識別能力的提升也起到了至關(guān)重要的作用。隨著硬件的不斷升級，攝像頭的像素密度也實(shí)現(xiàn)了大幅提升，這使得系統(tǒng)可以捕捉到3D畫作中的印刷網(wǎng)點(diǎn)、紙張接縫或是畫布表面的反光特性。這些微小的視覺特征在低分辨率時代會被算法作為噪點(diǎn)過濾掉，但在高分辨率時代，它們成為了判斷“這是否是一幅畫”的關(guān)鍵證據(jù)。同時，新的計(jì)算芯片也提供了更強(qiáng)的數(shù)據(jù)處理能力，支持系統(tǒng)以更高的頻率更新三維世界模型，從而實(shí)時修正對環(huán)境的認(rèn)知偏見。

運(yùn)動差與時空融合的識別機(jī)制

如果說靜態(tài)的占用網(wǎng)絡(luò)是從空間幾何的角度識破了偽裝，那么運(yùn)動差則是純視覺方案在動態(tài)環(huán)境下最強(qiáng)大的“測距儀”。在人類的視覺經(jīng)驗(yàn)中，當(dāng)我們移動時，離我們近的物體在視野中移動得快，而遠(yuǎn)處的物體移動得慢。這種相對速度的差異提供了極其可靠的深度線索。即使一個人閉上一只眼睛，只要他在移動，就不會被一面畫著路的墻壁騙到，因?yàn)殡S著距離墻壁越來越近，畫中所有的像素點(diǎn)都會以相同的速度擴(kuò)張，這與真實(shí)三維場景中不同深度景物的擴(kuò)張速度完全不符。

在最新的視覺軟件架構(gòu)中，這種生物學(xué)原理被轉(zhuǎn)化為強(qiáng)大的時空融合算法。以前的系統(tǒng)在處理每一幀畫面時，更像是處理一張獨(dú)立的照片，而現(xiàn)在的端到端網(wǎng)絡(luò)則是處理一段持續(xù)的視頻流。系統(tǒng)會識別一個包含過去幾秒鐘內(nèi)的數(shù)十幀圖像視頻隊(duì)列，通過對比不同時刻、不同角度的像素位移，神經(jīng)網(wǎng)絡(luò)可以精確地計(jì)算出每一個像素點(diǎn)的光流矢量。在面對畫著三維道路的墻面時，時空融合算法會發(fā)現(xiàn)一個邏輯漏洞，即畫作背景中表現(xiàn)出的“遠(yuǎn)方地平線”，其光流特征竟然和近處的“墻角”完全一致。在物理世界中，這是不可能發(fā)生的。

這種對物理一致性的判斷被整合進(jìn)了系統(tǒng)的世界模型中。所謂世界模型，是自動駕駛腦部的一個內(nèi)部仿真器，它不斷預(yù)測未來幾秒鐘內(nèi)周圍環(huán)境的演變。當(dāng)車輛加速駛向一堵畫著三維道路的墻時，世界模型會預(yù)期看到一個平面的快速擴(kuò)張。如果此時攝像頭捕捉到的紋理在可以表現(xiàn)深度，但其運(yùn)動特征符合平面的縮放規(guī)律，系統(tǒng)內(nèi)部的預(yù)測誤差就會激增。此時就會觸發(fā)系統(tǒng)的防御機(jī)制，將其識別為高風(fēng)險(xiǎn)的不確定區(qū)域。

通過這些復(fù)雜的算法協(xié)作，現(xiàn)階段的純視覺系統(tǒng)正在擺脫對簡單圖像分類的依賴。它學(xué)會通過觀察光影的變化、物體的位移以及幾何結(jié)構(gòu)的連貫性來解構(gòu)周圍的場景。這種能力的提升讓自動駕駛系統(tǒng)對整個物理世界規(guī)則理解不斷深化。

端到端架構(gòu)下的不確定性與安全性博弈

在討論視覺系統(tǒng)識別能力的同時，我們不得不提自動駕駛技術(shù)路徑的一次重大轉(zhuǎn)向，即從規(guī)則驅(qū)動轉(zhuǎn)向數(shù)據(jù)驅(qū)動的端到端模型。在規(guī)則驅(qū)動的架構(gòu)中，需要寫下成千上萬行代碼告訴汽車“如果看到紅色圓形標(biāo)志，就停下”。這種方法存在一定的局限性，由于現(xiàn)實(shí)世界有無窮無盡的組合，根本無法預(yù)測到每一個邊緣場景。而在現(xiàn)在的端到端系統(tǒng)中，感知和決策被整合進(jìn)了一個巨大的神經(jīng)網(wǎng)絡(luò)，它通過學(xué)習(xí)老司機(jī)的真實(shí)錄像來理解如何開車。

這種“模仿學(xué)習(xí)”賦予了自動駕駛系統(tǒng)更強(qiáng)的泛化能力。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中見過無數(shù)真實(shí)的隧道、立交橋和高速公路，也見過各種光影變幻下的平面墻壁。它通過大量的學(xué)習(xí)，自動駕駛會了解一個真實(shí)的物理開口在光線分布、紋理過渡以及隨著車輛靠近時的畫面細(xì)節(jié)變化上具有特定的統(tǒng)計(jì)特征。當(dāng)一個三維畫作出現(xiàn)時，雖然它在某些特征上模仿得很像，但在更多的維度上，它偏離了真實(shí)駕駛場景的統(tǒng)計(jì)分布。

當(dāng)然，只要聊到端到端，就不得不提“黑盒”問題。當(dāng)一輛處于端到端架構(gòu)下的車識別出了假墻并制動時，其實(shí)是數(shù)億個神經(jīng)元協(xié)同工作的結(jié)果，很難定位具體是哪個邏輯起到的作用。為了增加系統(tǒng)的透明度和安全性，研發(fā)人員在神經(jīng)網(wǎng)絡(luò)中添加了專門的“可視化頭”，將AI腦海中的構(gòu)思實(shí)時渲染在屏幕上。這種可視化不僅是給乘客看的，更是體現(xiàn)出系統(tǒng)內(nèi)部各模塊達(dá)成共識的過程。

最后的話

純視覺方案對三維畫作的識別能力正經(jīng)歷從“完全被動”到“主動解構(gòu)”的進(jìn)化。隨著占用網(wǎng)絡(luò)的細(xì)化、時空融合技術(shù)的應(yīng)用以及硬件計(jì)算能力的爆發(fā)，現(xiàn)在的視覺系統(tǒng)已經(jīng)初步具備了識破三維圖像的能力。雖然無法做到百分百的識別，但純視覺自動駕駛的技術(shù)演進(jìn)邏輯已經(jīng)非常清晰，純視覺不再是看圖說話，而是一種建立在物理規(guī)律和動態(tài)觀察基礎(chǔ)上的全感官重建。隨著數(shù)據(jù)的進(jìn)一步積累和模型規(guī)模的擴(kuò)大，未來的自動駕駛汽車將擁有比人類更敏銳的眼力，能識破各類的邊緣場景。

-- END --

       原文標(biāo)題 : 純視覺自動駕駛能識別出3D圖像嗎？