如果將自動駕駛的發(fā)展史比作人類的學(xué)習(xí)歷程，那么在過去很長一段時間里，這個“學(xué)生”其實一直都在背誦極其繁瑣的教條。這一階段的自動駕駛系統(tǒng)使用的是模塊化架構(gòu)，它的運行高度依賴于手寫的成千上萬條邏輯規(guī)則。比如如果遇到行人過馬路，你就剎車；如果前面的車打左轉(zhuǎn)向燈，你就稍微減速；如果看到黃燈閃爍，你就判斷距離是否足夠停車。這種方式在邏輯簡單的封閉園區(qū)或是結(jié)構(gòu)化程度極高的高速公路上或許管用，但在充滿隨機性的城市鬧市區(qū)，這套系統(tǒng)就會有些吃力。

自動駕駛行業(yè)之所以在近兩年集體轉(zhuǎn)向“端到端”架構(gòu)，本質(zhì)上是因為大家終于意識到，真實世界的復(fù)雜程度是不可能通過人工窮舉來覆蓋的。端到端架構(gòu)的核心在于它實現(xiàn)了一種從“信號輸入”到“控制輸出”的直接映射。用通俗的話說，它讓汽車不再是按照指令執(zhí)行程序的機器，而是變成了一個擁有“駕駛直覺”的智能體。

這種駕駛直覺是一行行敲出來的代碼決定的，而是神經(jīng)網(wǎng)絡(luò)通過觀察數(shù)百萬小時的人類駕駛視頻，自己悟出來的肌肉記憶。特斯拉的FSD v12版本通過用一個統(tǒng)一的神經(jīng)網(wǎng)絡(luò)替換掉之前三十多萬行復(fù)雜的C++代碼，徹底打破了傳統(tǒng)算法的上限，讓智駕表現(xiàn)出了前所未有的絲滑感。

傳統(tǒng)架構(gòu)與端到端的區(qū)別

要理解端到端到底解決了什么，我們得先知道傳統(tǒng)架構(gòu)具體有什么問題。在傳統(tǒng)架構(gòu)中，感知模塊就像是汽車的“眼睛”，它盯著畫面看，然后把看到的障礙物轉(zhuǎn)化成一個個簡單的幾何體，并給出一組坐標(biāo)，再傳給規(guī)控模塊。

但這種方式有個致命的問題，一旦感知模塊認(rèn)定前方是一個“矩形框”，它會把這個物體背后的很多細(xì)節(jié)信息都給抹掉。比如看到一個行人正回頭看車，或者正準(zhǔn)備加速奔跑，這些細(xì)微的動態(tài)在被簡化成坐標(biāo)的過程中就消失了。規(guī)控模塊拿到的只會是這些干巴巴的、甚至可能帶有錯誤的抽象數(shù)據(jù)，這就像是一個人蒙著眼睛聽別人轉(zhuǎn)述路況，聽到的還是經(jīng)過劣質(zhì)翻譯后的信息，決策起來自然畏手畏腳。

在端到端架構(gòu)下，數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)內(nèi)部是以高維特征的形式流動的，沒有任何信息會被強行“翻譯”或“截斷”。這意味著系統(tǒng)能直接感知到那些難以用語言定義的微妙環(huán)境，像是夕陽照在路面上的反光、積水倒映出的虛影，或者是前方車輛剎車燈亮起的瞬間等都可以直接轉(zhuǎn)化成決策控制的依據(jù)。

模塊化與端到端自動駕駛區(qū)別，圖片源自：網(wǎng)絡(luò)

這種“感知-決策”一體化的設(shè)計，使自動駕駛系統(tǒng)在訓(xùn)練時不再是各個模塊自掃門前雪，而是會朝著一個終極目標(biāo)，也就是“像人類一樣平穩(wěn)安全地開車”，并進行全局優(yōu)化。

這種全局優(yōu)化的邏輯帶來的提升是顛覆性的。在傳統(tǒng)架構(gòu)中，感知模塊報錯可能僅僅是因為某個目標(biāo)的識別率掉了百分之二，但這百分之二的錯誤傳到規(guī)控模塊可能就觸發(fā)一次急剎。但在端到端架構(gòu)里，系統(tǒng)具備了極強的容錯和“自我修復(fù)”能力，它在學(xué)習(xí)時就理解了哪些視覺特征是對駕駛結(jié)果至關(guān)重要的，哪些是可以忽略的噪聲。

以UniAD模型為例，它在一個統(tǒng)一的Transformer框架下，將目標(biāo)檢測、軌跡跟蹤、建圖和規(guī)劃等任務(wù)全整合在一起。大家在同一個BEV（鳥瞰圖）特征空間里交流，預(yù)測模塊在推算別人的路線時，會同時參考自車正打算往哪兒開，這使得自動駕駛感知與決策過程極其高效，可以讓智駕系統(tǒng)在處理復(fù)雜的變道擠入、無保護左轉(zhuǎn)等場景時，表現(xiàn)得更像一個經(jīng)驗豐富的老司機。

架構(gòu)對比維度

傳統(tǒng)模塊化架構(gòu)(Modular System)

端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)(End-to-End System)

邏輯基礎(chǔ)

基于“If-Then”的人工硬編碼規(guī)則

基于大規(guī)模人類駕駛數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)

信息損耗

模塊間通過定義接口傳輸（如坐標(biāo)、標(biāo)簽），信息丟失大

全局特征向量流動，保留了原始傳感器的細(xì)微語義

長尾場景處理

嚴(yán)重依賴補丁代碼，難以覆蓋邊緣案例

具備跨場景的泛化能力，能處理未見過的異常工況

優(yōu)化策略

局部優(yōu)化，各模塊目標(biāo)不一致甚至沖突

以軌跡規(guī)劃為唯一終極目標(biāo)進行全局聯(lián)合優(yōu)化

更新速度

極其緩慢，需人工調(diào)試參數(shù)并驗證邏輯鏈條

極快，通過增加高質(zhì)量數(shù)據(jù)和算力自動進化

響應(yīng)時延

模塊串行處理，疊加時延高且不穩(wěn)定

單次推理周期固定，響應(yīng)時間通常在毫秒級

傳統(tǒng)架構(gòu)與端到端的區(qū)別

端到端賦予機器物理直覺

如果端到端只是簡單地模仿人類的操作，那它還算不上完全的智能。想要成為真正的老司機，那一定是要能夠“預(yù)判”未來，也就是在腦子里模擬未來幾秒鐘可能發(fā)生的所有情景。在端到端技術(shù)的發(fā)展路徑中，世界模型（World Models）的加入相當(dāng)于給系統(tǒng)裝上了一個“大腦模擬器”。

這種模型不再死記硬背路面長什么樣，而是通過觀察海量的視頻數(shù)據(jù)，學(xué)會現(xiàn)實世界的物理規(guī)律。它知道一個球滾出來之后大概率會有個孩子跟上來，也知道在雨天剎車距離會變長。世界模型的本質(zhì)是一種生成式的人工智能，它能夠根據(jù)當(dāng)前的畫面，預(yù)測并生成出未來各種可能的演化路徑。

這種預(yù)測能力對于解決自動駕駛最頭疼的“長尾場景”至關(guān)重要。傳統(tǒng)的算法在遇到從未見過的施工工地或者奇形怪狀的交通事故現(xiàn)場時，會因為沒有對應(yīng)的代碼指令而直接“罷工”或是亂開。但具備世界模型的端到端系統(tǒng)，能夠基于它對物理世界的常識性理解，推斷出那些障礙物是不可逾越的。

更有意思的是，世界模型不僅能輔助決策，它還是一個極其強大的“數(shù)據(jù)模擬器”。在現(xiàn)實中采集極端的危險場景成本極高且非常危險，但在神經(jīng)網(wǎng)絡(luò)內(nèi)部，世界模型可以憑空創(chuàng)造出成千上萬個符合邏輯的險情場景，讓端到端模型在這些創(chuàng)造出的場景中瘋狂演練。這種從真實中提煉規(guī)律，再用規(guī)律反哺虛擬訓(xùn)練的閉環(huán)，使得自動駕駛的進化速度比以前單純靠實車跑里程要快上百倍。

與世界模型相輔相成的是3D占用網(wǎng)絡(luò)（Occupancy Network）。這是端到端架構(gòu)在空間感知上的另一大利器。以前的自動駕駛系統(tǒng)習(xí)慣于把世界看成是一個個如車、人、樹等特定種類的“物體”。但這種思維方式太狹隘了，如果在路上遇到一個形狀怪異的雕塑，或者是從卡車上掉落的一個大木箱，系統(tǒng)可能因為認(rèn)不出它是什么而選擇無視它。

3D占用網(wǎng)絡(luò)則粗暴且有效地解決了這個問題，它不管障礙物到底是什么，它只會把空間切碎成無數(shù)個微小的體素（Voxel），然后判斷每一個格子里到底有沒有東西。這就賦予了汽車一種“幾何直覺”，只要那個空間被占用了，無論它是什么東西，系統(tǒng)都會繞著走。這種不依賴語義標(biāo)簽的避障方式，極大地增強了端到端系統(tǒng)的安全底線，讓自動駕駛汽車在面對千奇百怪的城市場景時，依然能保持良好的行駛表現(xiàn)。

端到端不得不面對的黑盒問題

雖然端到端系統(tǒng)可以展現(xiàn)出老司機的“車感”，但它有一個不得不面對的問題，那就是不可解釋的“黑盒”。如果傳統(tǒng)的模塊化系統(tǒng)出了事故，可以翻看日志，精準(zhǔn)地定位到故障點。但在一個擁有數(shù)億參數(shù)的神經(jīng)網(wǎng)絡(luò)里，方向盤往左轉(zhuǎn)一度，可能是受到多個因素的影響，沒人能說得清到底為什么。這種“不可解釋性”是端到端落地的最大攔路虎。

為了解決這個問題，有技術(shù)嘗試引入一種擬人的架構(gòu)設(shè)計，那就是借鑒諾貝爾獎得主丹尼爾·卡尼曼提出的“快慢系統(tǒng)”理論。在這種架構(gòu)里，端到端神經(jīng)網(wǎng)絡(luò)充當(dāng)?shù)氖?ldquo;系統(tǒng)1”，負(fù)責(zé)毫秒級的直覺反應(yīng)。而為了制衡這種直覺，又在外面套上了一個“系統(tǒng)2”，也就是基于視覺語言模型（VLM）或者是硬編碼規(guī)則的安全防御層。

系統(tǒng)2就像是一個坐在副駕駛的教練，它不僅能理解“別闖紅燈”、“單行道不能進入”這些明確的符號規(guī)則，還能通過邏輯推理來判斷系統(tǒng)1的操作是否符合規(guī)范。如果端到端模型因為某些特征誤導(dǎo)做出危險的動作，系統(tǒng)2就會通過預(yù)設(shè)的物理安全規(guī)則強制切斷控制權(quán)，并做出安全的動作或緊急剎停。這種“神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)上限，傳統(tǒng)規(guī)則負(fù)責(zé)下限”的策略，是目前端到端技術(shù)量產(chǎn)落地的最優(yōu)解。

順著這個邏輯看下去，端到端的進化也正在重塑整個汽車產(chǎn)業(yè)。以前自動駕駛團隊里最多的是寫邏輯代碼的C++工程師，但現(xiàn)在，最核心的角色變成了數(shù)據(jù)和算力運維專家。自動駕駛系統(tǒng)的強弱不再取決于誰寫的代碼更精妙，而取決于誰能更高效地篩選出高質(zhì)量的駕駛視頻，誰能搭建出規(guī)模更大的GPU訓(xùn)練集群。這種轉(zhuǎn)變，讓自動駕駛的競爭徹底變成了一場資源的較量。只有那些擁有百萬級裝機量、能形成閉環(huán)數(shù)據(jù)流的企業(yè)，才能通過不斷的迭代，讓系統(tǒng)在每一次版本更新中變得越來越像一名“老司機”。

端到端落地會帶來哪些挑戰(zhàn)？

當(dāng)我們從更高維度俯瞰自動駕駛的發(fā)展，我們就會發(fā)現(xiàn)端到端架構(gòu)其實是在嘗試解決人工智能的一個終極難題，那就是如何讓機器理解常識。像是看到路邊有皮球滾過要小心有小孩、雨天不能離大貨車太近等在人類看來是常識的場景，以前是需要工程師絞盡腦汁去設(shè)計邏輯條件的。

而端到端通過對海量真實數(shù)據(jù)的學(xué)習(xí)，在神經(jīng)網(wǎng)絡(luò)中沉淀出了一種“物理世界的常識”。當(dāng)這種常識積累到一定程度，系統(tǒng)就會表現(xiàn)類人的智能，它會知道應(yīng)如何禮讓行人，如何在復(fù)雜的并線中尋找空隙。這種進化是不受人工編程限制的，它唯一的邊界就是數(shù)據(jù)的豐富度和算力的天花板。

當(dāng)然，端到端架構(gòu)對數(shù)據(jù)質(zhì)量的要求近乎苛刻，如果喂給它的是大量平庸甚至沒有借鑒性的駕駛視頻，訓(xùn)練出來的模型也只會是一個“平庸的司機”。此外，為了支撐這種超大規(guī)模模型的推理，車載芯片的內(nèi)存帶寬和算力開銷也成了必須面對的硬成本。

尤其是當(dāng)系統(tǒng)變得越來越像人時，人類社會該如何構(gòu)建一套全新的評估和定責(zé)標(biāo)準(zhǔn)？當(dāng)一個黑盒模型做出了違規(guī)操作，我們該如何對其進行精準(zhǔn)的修正而又不產(chǎn)生副作用？這些問題目前都還在探索之中。

但不可否認(rèn)的是，端到端架構(gòu)已經(jīng)為自動駕駛指明了通往更高階智能的方向。它通過消除模塊間的信息壁壘，利用全局優(yōu)化打破了人類邏輯的上限。隨著世界模型、大語言模型與端到端架構(gòu)的進一步深度融合，未來的智駕系統(tǒng)將不僅能看清路，更能“讀懂”這個復(fù)雜多變的人類世界。這種從“機器駕駛”向“類人智能駕駛”的跨越，正是端到端技術(shù)帶給我們的核心答案。

-- END --

       原文標(biāo)題 : 端到端是怎么讓自動駕駛更像老司機的？