孫 科，鄢 府，范勇強，牟利平，謝海兵

(1. 數(shù)字瀘州產(chǎn)業(yè)投資集團有限公司，四川 瀘州 646004；2. 四川省金科成地理信息技術(shù)有限公司，四川 成都 610095；3. 成都市生態(tài)環(huán)境數(shù)智治理中心，四川 成都 610015；4. 四川省煙草公司瀘州市公司，四川 瀘州 646004；5.中國人民解放軍聯(lián)勤保障部隊，湖北 武漢 430013)

0 引言

通常，行人在行走時可能會受到多種因素的影響，如行人的預期目標位置、預期行動路線上的障礙物，以及附近其他行人的移動狀態(tài)等。近年來，傳統(tǒng)的行人軌跡預測技術(shù)并沒有考慮與其他行人的交互關(guān)系[1-4]。基于學習的方法也存在一定局限性，如沒有充分利用時空圖的結(jié)構(gòu)信息，無法理解不同時間段各個行人空間坐標的變化關(guān)系，導致軌跡預測模型的性能下降[3]。

時空圖被廣泛應(yīng)用于路線規(guī)劃、定位和導航等領(lǐng)域[5-11]。目前，已經(jīng)有許多將時空圖應(yīng)用于軌跡預測的案例[1, 3, 5, 8]，并且取得了不錯的成果。然而，上述方法并沒有充分利用時空圖中的所有信息，只是傾向于使用可以從時空圖中獲得的部分特征信息。例如，ST-LSTM[1]只使用固定時間步長的空間信息，而忽略了長短期空間依賴關(guān)系的特征。

關(guān)系路徑應(yīng)用于社交網(wǎng)絡(luò)分析等領(lǐng)域[12]，能夠顯式地捕獲節(jié)點之間的長短期關(guān)系。利用關(guān)系路徑來準確捕捉時空圖中的結(jié)構(gòu)信息，能夠為行人軌跡預測任務(wù)提供新的思路。

本文提出了一種基于時空圖聯(lián)合關(guān)系路徑的行人軌跡預測框架(Spatio-Temporal Graphs with Relationship Path Trajectory Prediction Framework，STRP-TPF)。STRP-TPF利用關(guān)系路徑來準確捕捉時空圖的結(jié)構(gòu)特征。STRP-TPF基于時空圖構(gòu)建關(guān)系路徑，并基于關(guān)系路徑構(gòu)建因子圖。STRP-TPF將因子圖作為EdgeRNN和NodeRNN模型的輸入，輸出行人的預測軌跡。STRP-TPF充分學習行人在不同時間和空間點的軌跡關(guān)系，相比目前最先進的方法能表現(xiàn)出更好的性能。在行人軌跡預測任務(wù)中，STRP-TPF的預測軌跡更加符合真實的行人軌跡。

本文第1節(jié)介紹了時空圖、關(guān)系路徑以及軌跡預測的相關(guān)工作；第2節(jié)介紹了STRP-TPF的架構(gòu)；第3節(jié)介紹了實驗流程和實驗結(jié)果；第4節(jié)進行了總結(jié)與展望。

1 相關(guān)工作

1.1 時空圖

時空圖不僅被應(yīng)用于機器人任務(wù)，而且被廣泛應(yīng)用于交通預測、路線規(guī)劃和軌跡預測等領(lǐng)域[13-14]。時空圖中存在多個交互實體，這些實體的屬性往往與時間和空間相關(guān)。在時空圖中，頂點代表實體在場景中不同時刻的屬性；空間邊描述了同一時刻不同頂點之間的位置關(guān)系；時間邊描述了不同時刻同一頂點位置的變化關(guān)系。行人場景如圖1所示。

圖1 行人場景Fig.1 Pedestrian scene graph

1.2 關(guān)系路徑

關(guān)系路徑是指連接2個實體的一個關(guān)系序列。如圖2所示。連接2個author可以有不同的關(guān)系路徑，例如author1→paper1→author3，表示author1和author3之間的合作關(guān)系；author1→paper1→venue→paper2→author2，表示author1和author2參加同一個會議的關(guān)系。關(guān)系路徑包含豐富的語義關(guān)系，能夠指示2個沒有直接連接的實體之間的語義關(guān)系。因此，關(guān)系路徑應(yīng)用于知識圖譜[15]以及社交網(wǎng)絡(luò)分析。關(guān)系路徑對于尋找圖中的新模式和語義關(guān)系至關(guān)重要。

圖2 關(guān)系路徑示例Fig.2 Example diagram of relationship path

1.3 軌跡預測

傳統(tǒng)的軌跡預測方法主要是基于物理的方法[16]，但規(guī)則復雜、約束性強以及可擴展性較差[17]，往往只能應(yīng)用于特定領(lǐng)域?；趯W習的軌跡預測方法不依賴于專家經(jīng)驗的物理規(guī)則，而是基于數(shù)據(jù)驅(qū)動，根據(jù)觀察的軌跡數(shù)據(jù)來學習不同時間段的各個空間位置之間的變化規(guī)則?；趯W習的方法(如基于RNN[18])已經(jīng)在軌跡預測任務(wù)中有良好的表現(xiàn)，例如ST-LSTM[1]，ST-Transformer[3]，Social GAN[4]，SR-LSTM[19]和Social Attention[20]。然而，上述方法并不顯示使用時空圖中的結(jié)構(gòu)信息，導致軌跡預測模型的性能下降。

2 STRP-TPF架構(gòu)

首先，定義行人軌跡預測任務(wù)；其次，介紹如何基于行人軌跡預測任務(wù)構(gòu)建時空圖；接著，介紹如何在時空圖中構(gòu)建關(guān)系路徑并且基于關(guān)系路徑構(gòu)建因子圖；然后，介紹如何基于因子圖構(gòu)建EdgeRNN模型和NodeRNN模型；最后，介紹STRP-TPF的工作機制。

2.1 行人軌跡預測任務(wù)定義

2.2 行人軌跡預測任務(wù)時空圖的構(gòu)建

在行人軌跡預測任務(wù)中，根據(jù)行人的空間坐標集來構(gòu)建時空圖G，行人被視為時空圖中的頂點，行人軌跡預測任務(wù)的時空圖G如圖3所示，紅線代表空間邊，黑線代表時間邊。

圖3 行人場景的時空圖Fig.3 Spatio-temporal graph of pedestrian scenes

時空圖G表示為：

G=(V,Es,Et)，

(1)

式中，V表示一組頂點集；Es表示連接2個頂點的空間邊集，空間邊是指將同一時刻的不同頂點進行連接；Et表示連接2個頂點的時間邊集，時間邊是指將同一頂點在不同時間的空間坐標進行連接。V,Es,Et的定義如下：

(2)

(3)

(4)

(5)

(6)

(7)

2.3 時空圖聯(lián)合關(guān)系路徑

在復雜的行人軌跡預測場景中，各個行人的軌跡往往相互影響，預測行人軌跡取決于以下3個關(guān)鍵因素：① 其他行人的位置在過去時間中如何變化；② 其他行人的位置與之前時刻的位置發(fā)生了怎樣的變化；③ 在預測時間內(nèi)與其他行人位置的空間關(guān)系。這3個關(guān)鍵因素基于一個事實：人們在移動中會觀察周圍其他的主體，并通過與其他主體的時空關(guān)系做出決策。換句話說，人們不僅關(guān)注當前其他行人的距離，還考慮其他行人的移動方式。基于時空圖的關(guān)系路徑正好契合這種觀點。

在時空圖中，從一個頂點到另一個頂點有多條不同的路徑。連接任意2個頂點的路徑為關(guān)系路徑，路徑可包含不同類型的邊，如時間邊和空間邊。在時空圖G中，長度為k的關(guān)系路徑M被定義為頂點vi和頂點vj之間的路徑。例如，有一條從頂點vi到頂點vj的路徑為vi→v1→…→vj，共包含k條不同類型的邊，關(guān)系路徑M為m1-m2-…-mk，其中m1對應(yīng)頂點vi和頂點v1之間的邊。

通常，若圖中包含b種類型的邊，對于給定長度為l的路徑，共有bl種不同類型的關(guān)系路徑。在時空圖中共有2種類型的邊：空間邊和時間邊。因此，對于給定長度為2的關(guān)系路徑，在時空圖中共有4種關(guān)系路徑，分別是時間邊→時間邊、時間邊→空間邊、空間邊→空間邊、空間邊→時間邊。每種類型的關(guān)系路徑均可以表示不同的信息。例如，一條關(guān)系路徑為空間邊→時間邊，可以表示行人相對其鄰居是如何進行跨時間移動；關(guān)系路徑為時間邊→時間邊，可以表示行人的空間位置在一段時間內(nèi)的移動情況；關(guān)系路徑為時間邊→空間邊，可以表示行人在一段時間內(nèi)的位置相對其鄰居的位置如何變化；關(guān)系路徑為空間邊→空間邊，可以表示行人與其鄰居的位置關(guān)系。4種關(guān)系路徑的表示方式如下：

在時空圖中可以構(gòu)造長度更長的關(guān)系路徑。但是，在本文中，僅限于長度為2的關(guān)系路徑，因為增加關(guān)系路徑的長度往往會增加模型的復雜性。此外，長度較短的關(guān)系路徑往往會比長度較長的關(guān)系路徑產(chǎn)生更多關(guān)鍵的特征[21]。主要是因為長度較短的關(guān)系路徑往往包含更準確的結(jié)構(gòu)特征信息，更容易描述不同時空內(nèi)各個行人之間的位置關(guān)系，能夠提供更多關(guān)鍵的特征。長度較長的關(guān)系路徑雖然能夠包含更多的特征信息，但是往往無法準確地捕捉行人與其鄰居之間的多種位置關(guān)系，進而容易忽略關(guān)鍵的結(jié)構(gòu)特征信息。需要注意的是，長度為1的關(guān)系路徑只是時空圖中的邊。

基于時空圖中的關(guān)系路徑構(gòu)建因子圖，如圖4所示。設(shè)定關(guān)系路徑的長度為1和2。共有7種類型的因子，分別是節(jié)點因子、空間關(guān)系路徑因子、時間關(guān)系路徑因子、空間→空間關(guān)系路徑因子、時間→時間關(guān)系路徑因子、時間→空間關(guān)系路徑因子、空間→時間關(guān)系路徑因子。

圖4 基于關(guān)系路徑的因子圖Fig.4 Factor graph based on relationship path

因子圖中同類型的因子均由一個RNN模塊處理，如多個空間關(guān)系路徑因子、多個時間關(guān)系路徑因子、多個節(jié)點因子分別由單個RNN模塊進行處理。因此，RNN模塊的數(shù)量不會隨時空圖中頂點數(shù)量的變化而變化，進而STRP-TPF不用考慮行人的數(shù)量，可以擴展到復雜的行人軌跡預測場景。

2.4 基于因子圖構(gòu)建EdgeRNN和NodeRNN模型

為了構(gòu)建STRP-TPF中的EdgeRNN模型，根據(jù)因子的類型，將每種因子由EdgeRNN模型進行處理生成不同類型的特征向量。EdgeRNN模型處理同類型的關(guān)系路徑因子的過程如圖5所示。

圖5 EdgeRNN模型處理關(guān)系路徑因子的過程Fig.5 Process of EdgeRNN model processing relationship path factors

EdgeRNN模型將同一類型的所有關(guān)系路徑因子作為輸入，并輸出一個表示該類型的所有關(guān)系路徑的特征向量。首先，EdgeRNN將所有輸入的關(guān)系路徑因子相加，生成一個累加向量；然后，將累加向量輸入到編碼器生成編碼向量；最后，將編碼向量輸入到RNN模塊中。RNN模塊將同一類型所有關(guān)系路徑的編碼向量和上一時刻輸出的隱藏向量作為輸入，輸出當前時刻的隱藏向量。當前時刻的隱藏向量作為EdgeRNN模型的輸出再傳遞出去作為下一時刻的輸入，直到終止狀態(tài)。

(8)

(9)

(10)

圖6 NodeRNN模型處理節(jié)點因子的過程Fig.6 Process of NodeRNN model processing node factors

NodeRNN模型將EdgeRNN模型輸出的隱藏向量作為輸入。首先，NodeRNN模型將隱藏向量和表示頂點位置的編碼向量進行串聯(lián)，生成一個串聯(lián)向量；其次，將串聯(lián)向量輸入到RNN模塊中。RNN模塊將串聯(lián)向量和上一時刻輸出的隱藏向量作為輸入，輸出當前時刻的隱藏向量；最后，將隱藏向量輸入到偏移解碼器，生成一個偏移量，偏移量與當前時刻頂點的空間坐標相加來預測下一時刻的頂點位置。

NodeRNN模型負責匯總從時空圖中收集的所有信息，并預測下一時刻的頂點位置。NodeRNN模型的學習參數(shù)包括節(jié)點編碼器的參數(shù)NEncoder，RNN模塊的參數(shù)NRNN以及偏移解碼器的參數(shù)NDecoder。

(11)

(12)

(13)

(14)

(15)

2.5 STRP-TPF的工作機制

STRP-TPF的工作機制如圖7所示，由EdgeRNN模型和NodeRNN模型組成。EdgeRNN模型和NodeRNN模型的編碼器由一個linear層、tanh激活函數(shù)層以及一個dropout層組成。NodeRNN模型的解碼器包括一個linear層和tanh激活函數(shù)層。

圖7 STRP-TPF工作機制Fig.7 Working mechanism of STRP-TPF

STRP-TPF將當前時刻頂點的位置和各種類型的關(guān)系路徑因子作為EdgeRNN模型和NodeRNN模型的輸入。STRP-TPF預測下一時刻的頂點位置(行人空間坐標)，并輸出EdgeRNN模型和NodeRNN模型中所有的隱藏狀態(tài)，為進一步預測后續(xù)時刻的頂點位置做準備。

在觀測時間內(nèi)，STRP-TPF利用時空圖來獲取行人的當前位置，并且初始化EdgeRNN模型和NodeRNN模型的隱藏向量。首先，STRP-TPF基于時空圖來構(gòu)建關(guān)系路徑，預測下一時刻所有行人的位置；然后，將時空圖進行更新，并且基于時空圖來構(gòu)建新的關(guān)系路徑，進而繼續(xù)預測后續(xù)時刻所有行人的位置。

3 STRP-TPF應(yīng)用于行人軌跡預測

首先，介紹評估STRP-TPF性能的數(shù)據(jù)集；然后，介紹實驗的實施細節(jié)、所有基準對比方法以及定義評估指標；最后，將STRP-TPF與最先進的方法進行比較，并給出實驗結(jié)果及討論。

3.1 數(shù)據(jù)集

評估STRP-TPF性能的數(shù)據(jù)集為ETH[22]數(shù)據(jù)集和UCY[23]數(shù)據(jù)集。ETH數(shù)據(jù)集由2個子集組成：ETH-UNIV和ETH-HOTEL。UCY數(shù)據(jù)集由3個子集組成：UCY-ZARA01，UCY-ZARA02和UCY-UNIV。ETH數(shù)據(jù)集和UCY數(shù)據(jù)集中的軌跡以2.5幀/秒的速率采樣。首先，對ETH數(shù)據(jù)集進行預處理，獲得了3 837個8 s的場景，其中包含多個行人的互動關(guān)系和移動方向。為了評估STRP-TPF的泛化能力，僅使用4個子集對STRP-TPF進行訓練，并在余下的一個子集上對STRP-TPF進行測試。STRP-TPF預測了在整個觀測時間內(nèi)的每個場景中所有行人的軌跡。所有基準方法采用類似的方法進行實驗。

3.2 實驗設(shè)置

對每個場景的軌跡進行3.2 s的觀察，并預測后續(xù)4.8 s的軌跡。在訓練期間，輸入時空圖當前時刻所有行人的位置，并且結(jié)合Teacher Forcing機制來預測下一時刻所有行人的位置。訓練集占數(shù)據(jù)集的80%，測試集占數(shù)據(jù)集的20%。在STRP-TPF中，任何模型計算之前，所有軌跡均標準化為[-1,1]，并且預測期間的行人軌跡不使用標準化。

STRP-TPF經(jīng)過100個epoch的訓練，并且使用ADAM優(yōu)化器進行優(yōu)化，學習率為0.001，損失函數(shù)為均方差函數(shù)。實驗設(shè)備的主要配置為英特爾至強E-2388CPU，128 GB內(nèi)存以及NVIDIA RTX 3090 GPU。

3.3 基準方法

基準方法包括Vanilla-LSTM (VLSTM)[24]和Structural-RNN (SRNN)[25]。VLSTM是一個簡單的LSTM模型，其將當前時刻行人的位置作為輸入來預測下一時刻行人的位置。VLSTM作為基準方法是由于相比于線性模型和Social Force模型，能表現(xiàn)出更好的性能。SRNN由Jain等提出。SRNN與STRP-TPF的區(qū)別是SRNN沒有涉及到關(guān)系路徑。

3.4 評估指標

評估指標分別包括平均位移誤差(Average Displacement Error, ADE)和最終位移誤差(Final Displacement Error, FDE)。ADE是指在預測期間的每個時刻，計算預測軌跡和真實軌跡之間的L2距離的平均值。ADE的數(shù)值越小表示預測軌跡與真實軌跡越吻合。FDE是指在預測期間的最后時刻，計算預測軌跡和真實軌跡之間的歐氏距離。FDE的數(shù)值越低表示預測終點更接近真實終點。

3.5 實驗結(jié)果

(1)ADE分析

在ETH數(shù)據(jù)集上評估STRP-TPF與VLSTM以及SRNN的ADE，結(jié)果如圖8所示。

圖8 基于ETH數(shù)據(jù)集的不同方法的ADEFig.8 ADE of different methods based on ETH dataset

由圖8可以看出，STRP-TPF的ADE明顯小于VLSTM和SRNN。STRP-TPF的ADE比VLSTM和SRNN分別低65.6%和16.5%。這表明STRP-TPF的預測軌跡更吻合真實軌跡，VLSTM和SRNN的預測軌跡更偏離真實軌跡。主要是因為STRP-TPF將時空圖結(jié)合關(guān)系路徑能夠捕捉時空圖的整體結(jié)構(gòu)信息，并且理解各個行人軌跡之間的交互關(guān)系，使得STRP-TPF能夠預測更符合真實場景的軌跡。

在UCY數(shù)據(jù)集上評估STRP-TPF與VLSTM以及SRNN的ADE，結(jié)果如圖9所示。由圖9可以看出，STRP-TPF的ADE為最小，STRP-TPF的ADE比VLSTM和SRNN分別低80.5%和42.3%。這表明STRP-TPF能夠預測更加真實的軌跡。VLSTM和SRNN比STRP-TPF的ADE更大，表明VLSTM和SRNN的預測軌跡與真實軌跡偏離較大。主要原因在于STRP-TPF利用關(guān)系路徑捕捉了基于時空圖的關(guān)系路徑特征，能夠?qū)W習其他行人的移動軌跡對目標行人產(chǎn)生的影響，使得STRP-TPF的預測軌跡更加匹配復雜行人場景中的真實軌跡。

圖9 基于UCY數(shù)據(jù)集的不同方法的ADEFig.9 ADE of different methods based on UCY dataset

(2)FDE分析

在ETH數(shù)據(jù)集上評估STRP-TPF與VLSTM以及SRNN的FDE，結(jié)果如圖10所示。

圖10 基于ETH數(shù)據(jù)集的不同方法的FDEFig.10 FDE of different methods based on ETH dataset

由圖10可以看出，STRP-TPF的FDE小于VLSTM和SRNN。STRP-TPF的FDE比VLSTM和SRNN分別低70.4%和21.9%。這表明STRP-TPF的預測軌跡的最終位置更接近真實終點，VLSTM和SRNN更偏離真實終點。此外，相比于ADE，在FDE方面，STRP-TPF與VLSTM以及SRNN的差距更大。主要原因是STRP-TPF能夠提取時空圖的整體結(jié)構(gòu)信息，更好地預測行人的最終位置。

在UCY數(shù)據(jù)集上評估STRP-TPF與VLSTM以及SRNN的FDE，結(jié)果如圖11所示。由圖11可以看出，STRP-TPF的FDE為最小。STRP-TPF的FDE比VLSTM和SRNN分別低84.4%和50.4%。這表明STRP-TPF可以更精確地預測行人軌跡的最終位置。VLSTM和SRNN相比于STRP-TPF的FDE更大，表明VLSTM和SRNN的預測軌跡的最終位置遠遠偏離真實的終點位置。主要原因是STRP-TPF在預測軌跡的過程中結(jié)合關(guān)系路徑，能夠更好地理解行人最終會停留的位置。

圖11 基于UCY集的不同方法的FDEFig.11 FDE of different methods based on UCY dataset

(3)整體性能分析

為了更好地評估STRP-TPF的整體性能，在2個數(shù)據(jù)集上計算STRP-TPF的ADE的均值和FDE的均值，結(jié)果如圖12和圖13所示。

圖12 不同方法的ADE的均值Fig.12 Mean values of the ADE of different methods

圖13 不同方法的FDE的均值Fig.13 Mean values of the FDE of different methods

由圖12和圖13可以看出，STRP-TPF的ADE均值和FDE均值為最低，說明STRP-TPF的整體性能優(yōu)于其他2種基準方法。主要原因是STRP-TPF能夠利用時空圖的結(jié)構(gòu)信息來捕捉行人位置間的時空關(guān)系，并充分學習不同時間段各個行人的空間位置的變化關(guān)系，進而能夠準確地預測行人軌跡。STRP-TPF的ADE均值比VLSTM和SRNN分別低76.2%和32.6%，STRP-TPF的FDE均值比VLSTM和SRNN分別低79.3%和37.7%。主要原因在于時空圖結(jié)合關(guān)系路徑使得STRP-TPF的整體性能大大提升。SRNN的性能最接近STRP-TPF，主要原因在于STRP-TPF進一步考慮了時空圖的結(jié)構(gòu)信息，并且充分利用關(guān)系路徑來捕捉時空圖的關(guān)鍵特征，為后續(xù)EdgeRNN和NodeRNN模型提供更豐富的行人位置關(guān)系。此外，SRNN的性能優(yōu)于VLSTM的主要原因在于VLSTM沒有考慮行人容易受到鄰居軌跡的影響，進而沒有利用時空圖的信息，而是僅僅將當前時刻的行人位置作為序列模型的輸入，進而預測下一時刻的行人位置。

4 結(jié)束語

本文提出了新型基于時空圖聯(lián)合關(guān)系路徑的行人軌跡預測框架STRP-TPF。STRP-TPF利用時空圖構(gòu)建關(guān)系路徑，并基于關(guān)系路徑來構(gòu)建因子圖，能夠更好地捕捉時空圖的整體結(jié)構(gòu)信息。此外，基于因子圖構(gòu)建EdgeRNN和NodeRNN模型，最終預測行人下一時刻的位置，并且在時空圖中預測出所有行人的完整軌跡。大量實驗證明，STRP-TPF在行人軌跡預測任務(wù)上表現(xiàn)出最佳的性能，在ADE和FDE方面，均優(yōu)于當前主流方法。未來還將考慮更長的關(guān)系路徑對行人軌跡預測任務(wù)的影響；使用更復雜的數(shù)據(jù)集來探索STRP-TPF的泛化能力；引入外部因素如行人的社會關(guān)系來研究復雜的行人軌跡預測場景。