在自動(dòng)駕駛的技術(shù)路線之爭(zhēng)中，純視覺(jué)方案憑借其更接近人類駕駛邏輯、更低的成本以及更具擴(kuò)展性等優(yōu)勢(shì)，成為很多主機(jī)廠的主要選擇。但純視覺(jué)系統(tǒng)在隧道進(jìn)出的明暗劇變、夜晚逆光下的強(qiáng)光直射、以及城市街道隨處可見(jiàn)的LED信號(hào)燈頻閃等極端光照條件下表現(xiàn)有時(shí)不盡人意，這也成為很多人推崇激光雷達(dá)方向的原因。

最近在討論極端光照條件對(duì)攝像頭影響時(shí)（相關(guān)閱讀：極端光照條件如何影響自動(dòng)駕駛攝像頭？），就有小伙伴提出了橫向溢出積分電容（Lateral Overflow Integration Capacitor，簡(jiǎn)稱LOFIC）技術(shù)，今天就帶大家來(lái)聊一聊。

光電轉(zhuǎn)換的物理邊界與傳統(tǒng)HDR的短板

在聊LOFIC技術(shù)之前，我們必須先了解攝像頭傳感器捕捉光線的原理。圖像傳感器的每一個(gè)像素，實(shí)際上都可以被看作是一個(gè)用來(lái)收集光子并將其轉(zhuǎn)化為電荷的“蓄水桶”。在理想狀態(tài)下，光線越強(qiáng)，桶里的電荷就越多，轉(zhuǎn)化出的圖像信號(hào)也就越明亮。

然而，這種物理結(jié)構(gòu)存在一個(gè)天然的限制，即“滿阱容量”（Full Well Capacity,FWC）。當(dāng)光線極其強(qiáng)烈時(shí)，像素桶中的電荷會(huì)迅速填滿并溢出，導(dǎo)致圖像出現(xiàn)大面積的過(guò)曝和細(xì)節(jié)丟失。在自動(dòng)駕駛的場(chǎng)景中，有一個(gè)場(chǎng)景可以很好地體現(xiàn)這一特征，那就是車輛從黑暗的隧道駛向陽(yáng)光刺眼的出口時(shí)，攝像頭會(huì)經(jīng)歷短暫的“失明”，無(wú)法識(shí)別前方的路況或障礙物。

為了應(yīng)對(duì)這種極端的光照?qǐng)鼍埃�行業(yè)內(nèi)普遍采用高動(dòng)態(tài)范圍（High Dynamic Range,HDR）技術(shù)。最常見(jiàn)的做法是“多重曝光合成”，即讓傳感器在極短的時(shí)間內(nèi)連續(xù)拍攝幾張曝光時(shí)間長(zhǎng)短不一的照片，然后再通過(guò)后期算法將它們拼接在一起。通過(guò)這種方式，曝光時(shí)間短的照片保留了高光細(xì)節(jié)，曝光時(shí)間長(zhǎng)的照片則看清了暗部陰影。

但在自動(dòng)駕駛這種高速運(yùn)動(dòng)場(chǎng)景中，這種合成方式帶來(lái)了一個(gè)致命的缺陷，即運(yùn)動(dòng)偽影（Ghosting）。由于多張照片的拍攝存在時(shí)間差，即使只是幾毫秒，對(duì)于時(shí)速百公里的車輛來(lái)說(shuō)，畫面中的物體已經(jīng)發(fā)生了顯著的位移。合成后的圖像邊緣會(huì)出現(xiàn)重影、虛影，這會(huì)嚴(yán)重干擾自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)模型對(duì)物體邊緣、深度和運(yùn)動(dòng)軌跡的判斷，甚至可能導(dǎo)致算法對(duì)前方障礙物識(shí)別失誤。

除了運(yùn)動(dòng)偽影，自動(dòng)駕駛還面臨著另一個(gè)由于曝光邏輯產(chǎn)生的難題，那就是LED信號(hào)燈的頻閃。現(xiàn)如今，交通信號(hào)燈、路牌以及汽車尾燈幾乎全部采用LED光源。由于LED是通過(guò)脈沖寬度調(diào)制（PWM）來(lái)控制亮度的，它們實(shí)際上是在極高頻率下不斷閃爍，只是人眼無(wú)法察覺(jué)。如果攝像頭的曝光時(shí)間太短，恰好抓拍到了LED燈熄滅的那個(gè)瞬間，那么在系統(tǒng)輸出的畫面里，信號(hào)燈看起來(lái)就是滅的，或者在持續(xù)跳動(dòng)。這種不穩(wěn)定的視覺(jué)輸入，對(duì)于依賴視覺(jué)信號(hào)進(jìn)行紅綠燈識(shí)別和車距保持的感知算法而言，無(wú)疑是巨大的干擾源。

下表展示了不同動(dòng)態(tài)范圍技術(shù)在處理高速自動(dòng)駕駛場(chǎng)景時(shí)的表現(xiàn)差異，從中可以清晰地看到傳統(tǒng)方案的局限性。

LOFIC技術(shù)的物理機(jī)制

LOFIC技術(shù)，其實(shí)是對(duì)圖像傳感器像素結(jié)構(gòu)進(jìn)行了一次重組。它的全稱是“橫向溢出積分電容”，顧名思義，就是在每個(gè)像素的光電二極管（PD）旁邊，額外增加了一個(gè)用來(lái)承接“溢出電荷”的高密度電容。

如果把傳統(tǒng)的像素桶比作一個(gè)容易裝滿的水箱，那么LOFIC技術(shù)就是在主水箱的側(cè)面開(kāi)了一個(gè)溢流口，并連接了一個(gè)容量大得多的備用蓄水桶。當(dāng)外界光線變強(qiáng)、主水箱的電荷快要滿溢時(shí)，多出來(lái)的電子會(huì)通過(guò)一個(gè)受控的晶體管開(kāi)關(guān)，流進(jìn)這個(gè)側(cè)向的積分電容中，而不會(huì)導(dǎo)致信號(hào)丟失白或信號(hào)飽和。

從電路層面上看，這種設(shè)計(jì)允許傳感器在單次曝光的過(guò)程中，同時(shí)利用兩種不同的模式來(lái)采集光信號(hào)。在光線較暗的區(qū)域，傳感器關(guān)閉溢流開(kāi)關(guān)，利用高轉(zhuǎn)換增益（HCG）模式捕捉極其微弱的光信號(hào)，確保暗部圖像純凈、噪聲降低。而在光線極強(qiáng)的區(qū)域，傳感器開(kāi)啟溢流路徑，讓電容介入工作，進(jìn)入低轉(zhuǎn)換增益（LCG）模式，從而大幅度擴(kuò)充像素能夠容納的電子總數(shù)。這種“單次曝光、雙路并行”的處理邏輯，使得單個(gè)像素的滿阱容量（FWC）可以從傳統(tǒng)的3萬(wàn)個(gè)電子，躍升至27萬(wàn)個(gè)甚至更多。

這種物理電荷收集方式帶來(lái)的最直接好處就是，傳感器在極強(qiáng)光下不再需要縮短曝光時(shí)間。既然有了“副蓄水池”來(lái)承載溢出的電子，完全可以延長(zhǎng)快門時(shí)間，讓攝像頭在每一幀中都能捕捉到一個(gè)完整的LED閃爍周期。這意味著，LOFIC從物理層面上完美解決了LED頻閃的問(wèn)題（LFM），讓交通信號(hào)燈在視頻流中始終保持穩(wěn)定的常亮狀態(tài)。

由于所有亮部和暗部的信息都是在同一次快門開(kāi)合的過(guò)程中完成收集的，圖像中就不存在任何的時(shí)間錯(cuò)位，從而徹底消除了運(yùn)動(dòng)重影。對(duì)于時(shí)速超過(guò)100公里的自動(dòng)駕駛車輛而言，這種“時(shí)空一致”的高清畫面是感知算法進(jìn)行精確決策的前提。

在實(shí)際應(yīng)用中，這種動(dòng)態(tài)范圍的擴(kuò)展是極其驚人的。衡量動(dòng)態(tài)范圍的單位是分貝（dB），傳統(tǒng)車載傳感器的動(dòng)態(tài)范圍通常在60dB到90dB之間。而采用LOFIC技術(shù)的傳感器，單次曝光下的動(dòng)態(tài)范圍可以輕松突破120dB，甚至達(dá)到140dB。從視覺(jué)效果上看，意味著在同一個(gè)畫面里，既能看清隧道內(nèi)黑暗處的墻壁紋理，也能看清隧道外陽(yáng)光下遠(yuǎn)方車輛的牌照。這種對(duì)真實(shí)世界的極致還原，為純視覺(jué)系統(tǒng)在復(fù)雜光影環(huán)境下的安全駕駛提供了堅(jiān)實(shí)的保障。

我們可以通過(guò)動(dòng)態(tài)范圍的數(shù)學(xué)定義來(lái)更直觀地理解這種提升。動(dòng)態(tài)范圍DR通常定義為最大可測(cè)信號(hào)（即飽和信號(hào)N_{sat}）與最小可測(cè)信號(hào)（即暗噪聲N_{dark}）的比值：

在LOFIC結(jié)構(gòu)下，N_{sat}因?yàn)殡娙莸囊�入而增加了近一個(gè)數(shù)量級(jí)，同時(shí)配合雙轉(zhuǎn)換增益技術(shù)（DCG）降低了N_{dark}，雙管齊下可以讓結(jié)果實(shí)現(xiàn)了指數(shù)級(jí)的跨越。這種硬件層面的進(jìn)化，讓原本依賴后期復(fù)雜算法修補(bǔ)的視覺(jué)方案，回歸到了“獲取高質(zhì)量原始信號(hào)”的初心上。

LOFIC對(duì)自動(dòng)駕駛算法的深度優(yōu)化

高質(zhì)量的硬件數(shù)據(jù)輸入是算法模型的營(yíng)養(yǎng)來(lái)源。在自動(dòng)駕駛感知的架構(gòu)中，基于Transformer的BEV（Bird's Eye View，鳥(niǎo)瞰圖）模型已成為主流。這類算法的核心邏輯是將安裝在車身周圍的多個(gè)攝像頭捕獲的2D圖像特征提取出來(lái)，然后通過(guò)一個(gè)復(fù)雜的空間變換網(wǎng)絡(luò)，把它們“縫補(bǔ)”到一個(gè)統(tǒng)一的、俯視角的3D空間中。如果把這個(gè)過(guò)程比作拼圖，那么攝像頭提供的每一張照片就是拼圖的碎塊。如果碎塊本身是模糊的、過(guò)曝的或帶有頻閃干擾的，那么最后拼出來(lái)的3D感知結(jié)果就會(huì)出現(xiàn)各種邏輯漏洞。

LOFIC技術(shù)對(duì)感知算法的賦能，首先體現(xiàn)在特征提取的穩(wěn)定性上。在進(jìn)入神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)（Backbone）之前，圖像數(shù)據(jù)需要經(jīng)過(guò)預(yù)處理。如果傳感器輸出的數(shù)據(jù)在明暗交替處有明顯的“底噪”，或者在高光區(qū)域細(xì)節(jié)全無(wú)，那么神經(jīng)網(wǎng)絡(luò)在提取車道線、路沿或者行人輪廓等特征時(shí)，置信度就會(huì)大幅下降。

特別是在BEV架構(gòu)下，系統(tǒng)需要對(duì)不同視角的畫面進(jìn)行融合，LOFIC提供的高線性度、無(wú)運(yùn)動(dòng)偽影的圖像，使得各視角之間在特征對(duì)齊時(shí)變得異常平滑。這顯著提升了系統(tǒng)對(duì)遠(yuǎn)距離物體的檢測(cè)精度，使車輛能夠在更遠(yuǎn)的地方提前預(yù)判前方光照異常區(qū)域的潛在危險(xiǎn)。

對(duì)于3D占位網(wǎng)絡(luò)（Occupancy Network）這種前沿算法，LOFIC的重要性更是不言而喻。占位網(wǎng)絡(luò)的目標(biāo)是判斷空間中每一個(gè)體積單位（Voxel）是否被占據(jù)。這需要模型對(duì)場(chǎng)景的深度信息有極強(qiáng)的感知力。深度感知在很大程度上依賴于圖像中的紋理和對(duì)比度細(xì)節(jié)。當(dāng)視覺(jué)傳感器在強(qiáng)光下發(fā)生飽和時(shí)，圖像中的紋理會(huì)消失，變成一團(tuán)白色，導(dǎo)致算法無(wú)法推算出那塊區(qū)域的深度。LOFIC保留了高光區(qū)域的精細(xì)紋理，使得算法在處理諸如“正午陽(yáng)光直射下的雪地”或“濕滑路面的強(qiáng)光反射”等場(chǎng)景時(shí)，依然能準(zhǔn)確識(shí)別出路面的起伏和障礙物的形狀，避免感知系統(tǒng)出現(xiàn)“真空區(qū)”。

此外，自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)性要求極其嚴(yán)苛。多重曝光合成HDR不僅會(huì)增加傳感器的功耗，還會(huì)給后端圖像信號(hào)處理器（ISP）帶來(lái)巨大的計(jì)算負(fù)荷。每一幀圖像的合成都需要消耗寶貴的計(jì)算資源，并產(chǎn)生一定的處理延遲。對(duì)于每秒鐘需要處理數(shù)十幀畫面、車速極快的自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，毫秒級(jí)的延遲就可能導(dǎo)致危險(xiǎn)。LOFIC技術(shù)通過(guò)硬件電路一次性完成了高動(dòng)態(tài)范圍信息的收集，極大地簡(jiǎn)化了后端的處理邏輯，降低了系統(tǒng)整體的功耗和延遲，讓算力能夠更多地分配給更高級(jí)的規(guī)劃和控制任務(wù)。

產(chǎn)業(yè)趨勢(shì)與未來(lái)展望

隨著自動(dòng)駕駛技術(shù)向L3、L4級(jí)別演進(jìn)，行業(yè)對(duì)視覺(jué)感知的容錯(cuò)率正在趨近于零。在這一背景下，傳感器廠商的技術(shù)競(jìng)賽已經(jīng)從單純的“比拼像素多少”轉(zhuǎn)變?yōu)椤氨绕聪袼刭|(zhì)量”。LOFIC技術(shù)在提升像素動(dòng)態(tài)范圍和消除頻閃中有明顯的優(yōu)勢(shì)，正迅速?gòu)膶?shí)驗(yàn)室走向大規(guī)模量產(chǎn)。

從市場(chǎng)發(fā)展來(lái)看，LOFIC技術(shù)的應(yīng)用正在重塑車載攝像頭的標(biāo)準(zhǔn)參數(shù)。未來(lái)的主流車載攝像頭將不再只是簡(jiǎn)單的成像單元，而是集成多種增益模式、自帶電荷管理電容、具備硬件級(jí)LFM能力的精密智能感知節(jié)點(diǎn)。雖然這種技術(shù)的引入會(huì)帶來(lái)單個(gè)傳感器硬件成本的提升，但它為整車帶來(lái)的價(jià)值是巨大的。它減少了對(duì)冗余傳感器的依賴，降低了算法訓(xùn)練中由于處理噪聲數(shù)據(jù)而產(chǎn)生的研發(fā)成本，更重要的是，它為純視覺(jué)方案補(bǔ)齊了一塊“光學(xué)短板”，讓視覺(jué)方案能夠在更多極端環(huán)境下挑戰(zhàn)激光雷達(dá)的地位。

最后的話

展望未來(lái)，隨著傳感器技術(shù)的進(jìn)一步微縮化和3D堆疊工藝的成熟，LOFIC技術(shù)有望與片上AI處理單元更緊密地結(jié)合。未來(lái)的傳感器可能在電荷離開(kāi)像素的那一刻，就已經(jīng)完成了初步的語(yǔ)義篩選和特征增強(qiáng)。在這個(gè)演進(jìn)過(guò)程中，橫向溢出積分電容作為底層的物理創(chuàng)新，將持續(xù)發(fā)揮其“副水箱”的作用，讓自動(dòng)駕駛無(wú)論在何種光影變幻中，都能始終如一地看清前方的道路。對(duì)于純視覺(jué)自動(dòng)駕駛而言，LOFIC不僅僅是一項(xiàng)硬件改良，更是通往全天候自動(dòng)駕駛時(shí)代的入場(chǎng)券。

-- END --

       原文標(biāo)題 : LOFIC技術(shù)如何攻克純視覺(jué)自動(dòng)駕駛復(fù)雜光照下的感知瓶頸？