二、問(wèn)題規(guī)范化

該論文考慮的是如下圖所示的POMDP 問(wèn)題：系統(tǒng)處于連續(xù)的狀態(tài)－動(dòng)作－觀測(cè)空間中，而系統(tǒng)的狀態(tài)轉(zhuǎn)移除了受到上一時(shí)刻的狀態(tài)和動(dòng)作影響，還由一個(gè)離散的隱變量z 決定，而每一時(shí)刻的觀測(cè)量則由當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)以及隱變量共同決定。其中隱變量z 可用于表示系統(tǒng)中不確定性的不同模態(tài)，如旁側(cè)車輛駕駛者的性格、不同行進(jìn)路線的路況、路面的物理狀況等。

對(duì)隱變量z 的不同可能性的置信度b（z），我們可以通過(guò)如下定義進(jìn)行更新。

問(wèn)題的最終目標(biāo)是對(duì)行為策略π 進(jìn)行優(yōu)化，從而使得累計(jì)損失函數(shù)值 J 達(dá)到最低。

其中l(wèi) 和lf分別為根據(jù)置信度b 加權(quán)平均得到的過(guò)程損失函數(shù)和最終損失函數(shù)。由該公式取最優(yōu)行為策略π＊ 后得出的值函數(shù)V 可以表示成貝爾曼方程形式，進(jìn)行遞歸處理。

三、方 法

論文提出了一種新的微分動(dòng)態(tài)規(guī)劃（DDP）算法，Partially Observable Differential Dynamic Programming （PODDP），可用于解決連續(xù)空間下的POMDP 問(wèn)題。與一般的iLQG／DDP 算法相似，PODDP 也把流程分為了前向過(guò)程（Forward Pass）和后向過(guò)程（Backward Pass），并對(duì)動(dòng)作序列進(jìn)行迭代優(yōu)化。

1． 前向過(guò)程在前向過(guò)程進(jìn)行前，動(dòng)作序列U ＝ ｛ u0， u1， …， uT－1 ｝ 需要預(yù)先給定。在初始化的前向過(guò)程中，一般使用隨機(jī)生成的動(dòng)作序列，或者通過(guò)某些前導(dǎo)知識(shí)有規(guī)律地生成動(dòng)作序列。在此后的過(guò)程中，將使用前一次優(yōu)化得到的動(dòng)作序列，進(jìn)行迭代優(yōu)化。

在確定性系統(tǒng)中，由于狀態(tài)轉(zhuǎn)移過(guò)程是確定的，故給定的動(dòng)作序列將衍生出一條鏈?zhǔn)降臓顟B(tài)序列。但在我們考慮的系統(tǒng)中，由于多模態(tài)不確定性的存在，類比于離散空間下的POMDP 問(wèn)題，每一個(gè)節(jié)點(diǎn)都可以根據(jù)隱變量z 的不同取值可能性，延伸出多個(gè)分支，最終形成一個(gè)樹狀的軌跡推演，即軌跡樹（trajectory tree），如上圖所示。

為了更直觀地理解，我們可以考慮一個(gè)公路上的變道場(chǎng)景。如下圖，我們的汽車（紅色）希望變道到左側(cè)車道，可是左側(cè)車道上已經(jīng)有一輛車了。我們?cè)谶M(jìn)行軌跡優(yōu)化的時(shí)候，將未來(lái)可能獲得的關(guān)于旁側(cè)車輛駕駛者性格的觀測(cè)納入考慮當(dāng)中，對(duì)方可能是合作性格的，也可能是激進(jìn)性格的，這兩種性格分別對(duì)應(yīng)兩個(gè)不同的模態(tài)。在向前推演的時(shí)候，根據(jù)這兩種不同模態(tài)的最大似然值進(jìn)行分支，獲得軌跡推演樹。每一條從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的完整支路對(duì)應(yīng)一條可能發(fā)生的軌跡。

2． 后向過(guò)程為了對(duì)軌跡樹進(jìn)行優(yōu)化，我們首先定義值函數(shù)擾動(dòng)方程Qt以描述在某一時(shí)刻t 下系統(tǒng)狀態(tài)和動(dòng)作的擾動(dòng)對(duì)值函數(shù)的影響。