曹君 葉辰萌 劉正華

摘 要：【目的】為解決車(chē)載全景影像在智慧城市、智慧城管、智慧交通等領(lǐng)域中應(yīng)用不足的問(wèn)題，提出了一種基于LM優(yōu)化的車(chē)載序列全景影像絕對(duì)測(cè)量的方法?！痉椒ā渴紫?，對(duì)待測(cè)目標(biāo)點(diǎn)在全景影像上的成像過(guò)程進(jìn)行分析，詳細(xì)推導(dǎo)了目標(biāo)點(diǎn)絕對(duì)坐標(biāo)測(cè)量的理論模型。其次，為解決該理論模型的優(yōu)化求解問(wèn)題，引入了對(duì)初值不敏感且收斂速度較快的LM算法，并對(duì)LM算法中的初值獲取、函數(shù)構(gòu)建、參數(shù)設(shè)置等問(wèn)題進(jìn)行了設(shè)計(jì)。最后，結(jié)合實(shí)際車(chē)載全景影像和目標(biāo)點(diǎn)位實(shí)測(cè)數(shù)據(jù)，對(duì)所提的方法進(jìn)行驗(yàn)證。【結(jié)果】該方法獲得的目標(biāo)點(diǎn)絕對(duì)坐標(biāo)平面中誤差和高程中誤差分別為0.123 m和0.118 m，符合《城市測(cè)量規(guī)范》（CJJ/T 8—2011）中的相關(guān)要求?！窘Y(jié)論】該方法能夠有效獲取全景影像范圍內(nèi)待測(cè)目標(biāo)點(diǎn)的絕對(duì)坐標(biāo)，從而為全景影像在城市部件普查、交通基礎(chǔ)設(shè)施測(cè)量等領(lǐng)域的應(yīng)用提供了可能。

關(guān)鍵詞：LM優(yōu)化；車(chē)載；全景影像；絕對(duì)測(cè)量

中圖分類(lèi)號(hào)：TP3? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? 文章編號(hào)：1003-5168（2024）07-0005-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.07.001

Absolute Measurement Method Of Vehicle Panoramic Image Based On LM Optimization

CAO Jun1 YE Chenmeng1 LIU Zhenghua2

（1. Wuhan City Polytechnic， Wuhan 430064， China;

2. Institute of Seismology， China Earthquake Administration， Wuhan 430071， China）

Abstract： [Purposes] Aiming at the problem of insufficient application of vehicle panoramic images in the fields of smart city， smart city management， smart transportation， etc.， a method of absolute measurement of vehicle sequence panoramic images based on LM optimization is proposed. [Methods] Firstly，by analyzing the imaging process of the target point to be measured on the panoramic image， the theoretical model of the absolute coordinate measurement of the target point was deduced in detail. Secondly， in order to solve the optimization problem of the theoretical model， the LM algorithm， which is insensitive to the initial value and has a fast convergence speed， is introduced， and the initial value acquisition， function construction and parameter setting in the LM algorithm are designed. Finally， the proposed method is verified by combining the actual vehicle panoramic image and the measured data of the target point. [Findings] The results show that the mean square errors of the plane and elevation coordinates of the target points obtained by this method are 0.123 m and 0.118 m， respectively， which meet the relevant requirements in the'Urban Surveying Specification （CJJ/T 8—2011）'. [Conclusions] This method can effectively obtain the absolute coordinates of the target points to be measured in the range of panoramic images， thus providing the possibility for the application of panoramic images in the fields of urban component survey and transportation infrastructure measurement.

Keywords： LM optimization; vehicle; panoramic images; absolute measurement

0 引言

隨著計(jì)算機(jī)技術(shù)、通信技術(shù)、傳感器技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，利用多視點(diǎn)組合式相機(jī)獲取后再經(jīng)過(guò)圖像拼接處理而形成的序列360°全景影像，以其全方位、沉浸式、高分辨率、場(chǎng)景真實(shí)等優(yōu)點(diǎn)，被廣泛應(yīng)用于街景地圖、公安應(yīng)急、城市管理等領(lǐng)域［1-7］。

盡管現(xiàn)在擁有360°全方位景觀表現(xiàn)能力，但是目前的全景影像卻往往只有漫游、查詢功能，不具備測(cè)量分析能力，極大地限制了其在城管部件普查、交通基礎(chǔ)設(shè)施測(cè)量等領(lǐng)域的應(yīng)用。近年來(lái)，基于全景影像的三維重建、位置獲取、幾何量測(cè)等問(wèn)題研究逐漸興起［8-17］。這些研究的原理大多數(shù)是共線條件方程、核線約束、光束法平差等傳統(tǒng)攝影測(cè)量方法的推導(dǎo)與沿用，主要用于在局部坐標(biāo)系下進(jìn)行距離、面積、體積、變形監(jiān)測(cè)等的相對(duì)測(cè)量，無(wú)法滿足智慧城市、智慧城管、智慧交通等領(lǐng)域中獲取目標(biāo)絕對(duì)位置的需要。

因此本研究提出一種基于LM優(yōu)化的車(chē)載序列全景影像絕對(duì)測(cè)量方法。該方法首先估計(jì)目標(biāo)初始位置，并計(jì)算其在多張序列全景影像上的坐標(biāo)；其次以計(jì)算坐標(biāo)和實(shí)際坐標(biāo)的差值構(gòu)建目標(biāo)函數(shù)；最后利用LM算法迭代優(yōu)化，求解目標(biāo)的最優(yōu)點(diǎn)位。通過(guò)實(shí)驗(yàn)分析，證明了基于LM優(yōu)化的全景影像絕對(duì)測(cè)量方法可以獲取目標(biāo)點(diǎn)在大地坐標(biāo)系下的絕對(duì)坐標(biāo)，滿足城市測(cè)量的精度要求。

1 全景影像絕對(duì)測(cè)量模型

為快速獲取連續(xù)序列全景影像數(shù)據(jù)，在數(shù)據(jù)采集過(guò)程中，通常需要將全景采集設(shè)備、定位定姿系統(tǒng)（Position and Orientation System，POS）、同步器等傳感器集成安裝在車(chē)輛等移動(dòng)載體上，組成車(chē)載全景采集系統(tǒng)。在車(chē)輛行駛過(guò)程中，該系統(tǒng)連續(xù)采集全景影像數(shù)據(jù)，并同步記錄各全景影像采集時(shí)車(chē)體的位置和姿態(tài)信息。

對(duì)上述序列全景影像成像范圍內(nèi)的目標(biāo)點(diǎn)[A]，設(shè)其在大地坐標(biāo)系下的絕對(duì)坐標(biāo)為[（XMA，YMA，ZMA）]。為計(jì)算其在第[i]張序列全景影像上對(duì)應(yīng)的像素坐標(biāo)[a（uci，vci）]，需要經(jīng)過(guò)一系列坐標(biāo)轉(zhuǎn)換：大地坐標(biāo)系（M系）[→]à載體坐標(biāo)系（B系）[→]à全景球體坐標(biāo)系（S系）[→]à全景像素坐標(biāo)系（P系），如圖1所示。

目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]在第[i]張序列全景影像對(duì)應(yīng)像素坐標(biāo)的計(jì)算過(guò)程，以如下兩步完成。

1.1 計(jì)算全景球在大地坐標(biāo)系M中的坐標(biāo)和姿態(tài)

1.1.1 計(jì)算全景球體中心S在大地坐標(biāo)系M中的位置，見(jiàn)式（1）。

[XMSYMSZMS=XMgYMgZMg+RMBXBSYBSZBS]? ? ?（1）

式中：[[XMgYMgZMg]] 為車(chē)載POS系統(tǒng)記錄的成像瞬間車(chē)體在大地坐標(biāo)系中的坐標(biāo)值；[RMB]為載體坐標(biāo)系B到大地坐標(biāo)系M的旋轉(zhuǎn)矩陣（可通過(guò)車(chē)載POS系統(tǒng)記錄的成像瞬間車(chē)體姿態(tài)角獲得）；[[XBSYBSZBS]]為全景球成像中心S在載體坐標(biāo)系B中的坐標(biāo)（可通過(guò)事先高精度檢校獲得）。

1.1.2? 計(jì)算大地坐標(biāo)系M到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣，見(jiàn)式（2）。

[RSM=RBM×RSB]? （2）

式中：[RBM]為大地坐標(biāo)系M到載體坐標(biāo)系B的旋轉(zhuǎn)矩陣（可通過(guò)車(chē)載POS記錄的成像瞬間車(chē)體姿態(tài)角獲得）；[RSB]為載體坐標(biāo)系B到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣（可通過(guò)事先高精度檢校獲得）。

1.2 計(jì)算點(diǎn)A在全景影像上的對(duì)應(yīng)點(diǎn)a的像素坐標(biāo)

1.2.1 計(jì)算點(diǎn)A在全景球體坐標(biāo)系S中的坐標(biāo)。對(duì)大地坐標(biāo)系下的目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]，其在全景球體坐標(biāo)系中的位置及成像關(guān)系，如圖2所示。

目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]在以全景成像中心S為原點(diǎn)的空間直角坐標(biāo)系中的坐標(biāo)，見(jiàn)式（3）。

[XSAYSAZSA=RSM×（XMAYMAZMA-XMSYMSZMS）]? （3）

式中：[[XMAYMAZMA]]為點(diǎn)A在大地坐標(biāo)系下的坐標(biāo)值；[[XMSYMSZMS]]為全景球中心S在大地坐標(biāo)系M中的位置；[RSM]為大地坐標(biāo)系M到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣。

獲得點(diǎn)A在全景空間直角坐標(biāo)系中的坐標(biāo)后，需將點(diǎn)A投影至單位全景球面上，其對(duì)應(yīng)的投影點(diǎn)A'的位置可以通過(guò)與X軸的夾角[φ]、與XSY平面的夾角[θ]來(lái)表示，見(jiàn)式（4）。

[φ=arccosXSA（XSA）2+（YSA）2θ=arcsinZSA（XSA）2+（YSA）2+（ZSA）2]? （4）

式中：[[XSAYSAZSA]]為目標(biāo)點(diǎn)A在以全景成像中心S為原點(diǎn)的空間直角坐標(biāo)系中的坐標(biāo)。

1.2.2 計(jì)算點(diǎn)A在全景像素坐標(biāo)系P中的坐標(biāo)。由于全景球?yàn)橐粋€(gè)三維球面，無(wú)法以圖片的形式直接存儲(chǔ)在計(jì)算機(jī)中，在實(shí)際存儲(chǔ)過(guò)程中，需要對(duì)其進(jìn)行降維處理，轉(zhuǎn)化成便于存儲(chǔ)的二維圖片［18-19］，如圖3所示。

全景球上的任一點(diǎn)A'，其在全景圖像中對(duì)應(yīng)的像素坐標(biāo)，見(jiàn)式（5）。

[uc=imgW2+φ×imgW2πvc=imgH2-θ×imgHπ] （5）

式中：[imgW]、[imgH]分別表示全景影像寬度、高度；[φ]、[θ]表示A'在全景球體坐標(biāo)系S中的位置。

2 目標(biāo)絕對(duì)位置優(yōu)化求解

2.1 目標(biāo)初始位置估計(jì)

車(chē)輛行駛過(guò)程中連續(xù)采集的全景影像，通常各相鄰影像間具有較大重疊度，即對(duì)于某觀測(cè)目標(biāo)點(diǎn)A，可在多張連續(xù)序列全景影像上被觀測(cè)到。設(shè)點(diǎn)A在N張序列全景影像上可清晰成像，通過(guò)POS系統(tǒng)記錄的各全景影像拍攝瞬間車(chē)體位置分別為[（X1 Y1 Z1）、（X2 Y2 Z2）…（XN YN ZN）]，則點(diǎn)A在大地坐標(biāo)系中的初始位置[A（XMA，YMA，ZMA）]可通過(guò)將各個(gè)成像瞬間的車(chē)體位置取平均值的方式粗略估計(jì)，見(jiàn)式（6）。

[XMAYMAZMA=（X1+X2+…+XN）/N（Y1+Y2+…+YN）/N（Z1+Z2+…+ZN）/N] （6）

2.2 LM優(yōu)化算法

由POS系統(tǒng)記錄的車(chē)體位置按照公式（6）求出目標(biāo)絕對(duì)位置的初值后，再利用公式（5）計(jì)算其分別在N張序列全景影像上的像素坐標(biāo)，以在N張影像上計(jì)算得到的像素坐標(biāo)與實(shí)際像素坐標(biāo)之間差值的平方和最小來(lái)構(gòu)建目標(biāo)函數(shù)，見(jiàn)式（7）。

[F（X）=f（XMA，YMA，ZMA）=i=1N（uci-ui）2+（vci-vi）2] （7）

式中：[（uci，vci）]為第[i]張影像上目標(biāo)點(diǎn)A的計(jì)算像素坐標(biāo)，可通過(guò)公式（5）表達(dá)為關(guān)于點(diǎn)A在大地坐標(biāo)系下的坐標(biāo)值[（XMA，YMA，ZMA）]的函數(shù)；[（ui，vi）]分別為第[i]張影像上目標(biāo)點(diǎn)A的實(shí)際像素坐標(biāo)。

針對(duì)這一非線性目標(biāo)函數(shù)的尋優(yōu)問(wèn)題，采用對(duì)初值不敏感且收斂速度較快的非線性優(yōu)化算法（Levenberg-Marquardt，LM）。該算法集成了高斯牛頓法和梯度下降法兩種算法的優(yōu)點(diǎn)，通過(guò)控制改變阻尼因子變量的值，調(diào)節(jié)每次算法迭代的步長(zhǎng)，從而有效提升迭代優(yōu)化效率，實(shí)現(xiàn)對(duì)目標(biāo)函數(shù)最小二乘法的優(yōu)化。設(shè)[Xk]為第[k]次迭代求得的點(diǎn)A坐標(biāo)，則對(duì)式（7）LM算法的步長(zhǎng)，見(jiàn)式（8）。

[dk=-[J（Xk）TJ（Xk）+λkI]-1J（Xk）TF（Xk）]? （8）

式中：[J（Xk）]為目標(biāo)函數(shù)的雅可比矩陣；[F（Xk）]為目標(biāo)函數(shù)的值；[I]為單位矩陣；[λk]為阻尼因子。

將式（6）獲得的點(diǎn)A粗略坐標(biāo)作為初值，利用LM算法進(jìn)行迭代計(jì)算，算法步驟［20］如下。

①輸入初值[X0]，初始阻尼因子[λk=0.01]，初始迭代次數(shù)[k=0]，終止誤差[ε=1×10-8]；

②計(jì)算[F（Xk）]、[J（Xk）]；

③計(jì)算步長(zhǎng)[dk]，求解[Xk+1=Xk+dk]、[F（Xk+1）]、[J（Xk+1）]；

④若[F（Xk+1）≥F（Xk）]，則令[k=k+1]，[λk=10λk]，轉(zhuǎn)入步驟③；

⑤若[F（Xk+1）

⑥若[F（Xk+1）

3 實(shí)驗(yàn)分析

為驗(yàn)證上述方法的有效性，本研究以一臺(tái)經(jīng)過(guò)系統(tǒng)檢校的車(chē)載全景測(cè)量采集系統(tǒng)為數(shù)據(jù)獲取平臺(tái)，采集了一組外業(yè)全景影像數(shù)據(jù)及各影像采集瞬間的車(chē)體位置、姿態(tài)數(shù)據(jù)。在整個(gè)行車(chē)路線范圍內(nèi)選取了5組序列影像，每組4張連續(xù)全景影像，相鄰影像間采集間隔約10 m。

在每組序列影像拍攝范圍內(nèi)分別選取一個(gè)目標(biāo)點(diǎn)，按本研究的方法，依次進(jìn)行初值獲取、坐標(biāo)轉(zhuǎn)換和迭代優(yōu)化，獲取其大地坐標(biāo)計(jì)算結(jié)果，并將計(jì)算結(jié)果與目標(biāo)點(diǎn)的GNSS實(shí)地量測(cè)結(jié)果進(jìn)行對(duì)比，結(jié)果見(jiàn)表1、表2。

4 結(jié)論

從上述結(jié)果可知，基于車(chē)載序列全景影像獲取目標(biāo)的絕對(duì)位置，其結(jié)果與GNSS實(shí)測(cè)結(jié)果相比，平面平均點(diǎn)位誤差（絕對(duì)值）為0.111 m，平面中誤差為0.123 m，高程平均誤差（絕對(duì)值）為0.116 m，高程中誤差為0.118 m，符合《城市測(cè)量規(guī)范》（CJJ/T 8—2011）中的相關(guān)要求。上述結(jié)果證實(shí)了本研究提出的方法能夠有效獲得全景影像范圍內(nèi)待測(cè)目標(biāo)點(diǎn)的絕對(duì)坐標(biāo)，從而為全景影像在城市部件普查、基礎(chǔ)交通設(shè)施測(cè)量等領(lǐng)域的應(yīng)用提供了可能。

參考文獻(xiàn)：

［1］曹君，劉正華，洪勇，等.車(chē)載魚(yú)眼圖像的全景圖拼接誤差分析［J］.測(cè)繪科學(xué)，2016，41（7）：202-204，172.

［2］LI L，YAO J，XIE R P，et al.A unified framework for street-view panorama stitching［J］.Sensors，2016，17（1）：1-1.

［3］王志豪，侯輝嬌子，田震.實(shí)景測(cè)量在智慧城管三維可視化中的應(yīng)用［J］.測(cè)繪通報(bào)，2020（S1）：268-270.

［4］成功.IP-S2車(chē)載移動(dòng)測(cè)量系統(tǒng)在數(shù)字城管信息系統(tǒng)中的應(yīng)用［J］.測(cè)繪與空間地理信息，2017，40（9）：109-113.

［5］張偉朋，姚佩超，李文博.車(chē)載移動(dòng)測(cè)量系統(tǒng)在城市街道整治中的應(yīng)用［J］.測(cè)繪通報(bào)，2021（S2）：264-266.

［6］LIU Y Z，CHEN M X，WANG M H，et al.An interpretable machine learning framework for measuring urban perceptions from panoramic street view images［J］.iScience，2023，26（3）：106132-106132.

［7］周長(zhǎng)江，杜洪濤，李欣，等.車(chē)載移動(dòng)測(cè)量系統(tǒng)在智慧城市建設(shè)中的應(yīng)用研究［J］.城市勘測(cè)，2023（2）：80-84.

［8］施并招，呂威.智慧城市街區(qū)虛擬全景影像三維快速重建研究［J］.計(jì)算機(jī)仿真，2021，38（7）：350-354.

［9］葛朋祥，王歡慶，朱奕磊，等.基于平面鏡成像的單相機(jī)數(shù)字圖像相關(guān)三維全景測(cè)量［J］.中國(guó)激光，2022，49（9）：92-100.

［10］凌家曜，鐘平，吳靖，等.全景相機(jī)與PTZ相機(jī)聯(lián)動(dòng)監(jiān)控系統(tǒng)及位置關(guān)聯(lián)模型［J］.計(jì)算機(jī)應(yīng)用與軟件，2021，38（3）：202-209.

［11］劉昱謙.基于雙目魚(yú)眼鏡頭的全景成像及三維測(cè)量算法研究［D］.成都：電子科技大學(xué)，2021.

［12］郭偉青.基于鏡面成像技術(shù)的單目全景立體感知三維重構(gòu)技術(shù)研究［D］.杭州：浙江工業(yè)大學(xué)，2019.

［13］王啟超，張維光，任永平.基于全景相機(jī)的3D坐標(biāo)測(cè)量方法［J］.電子測(cè)量技術(shù)，2017，40（12）：203-208.

［14］梅文勝，胡帥朋，李謀思，等.基于普通數(shù)碼相機(jī)的旋轉(zhuǎn)全景攝影測(cè)量方法［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2017，42（2）：243-249.

［15］LI Y R，ZHAO D，MA X Y，et al.Panoramic digital image correlation for 360-deg full-field displacement measurement［J］.Applied Sciences，2023，13（3）：2019-2019.

［16］ZHU K Y，PAN B.Panoramic/dual-surface digital image correlation measurement using a single camera［J］.Sensors，2022，22（9）：3266-3266.

［17］JIANG S，WANG Y J，ZHANG J，et al.Full-field deformation measurement of structural nodes based on panoramic camera and deep learning-based tracking method［J］.Computers in Industry，2023，146.

［18］曹君，洪勇.車(chē)載魚(yú)眼相機(jī)的間接法全景影像拼接［J］.地理空間信息，2016，14（10）：73-74，77，5.

［19］何林飛，朱煜，林家駿，等.基于球面空間匹配的雙目魚(yú)眼全景圖像生成［J］.計(jì)算機(jī)應(yīng)用與軟件，2020，37（2）：166-170，239.

［20］李國(guó)民，宿夢(mèng)瑤，朱代先.光束平差法中的一種改進(jìn)LM算法［J］.西安科技大學(xué)學(xué)報(bào)，2022，42（1）：152-159.

收稿日期：2023-09-14

基金項(xiàng)目：湖北省教育廳科學(xué)研究計(jì)劃項(xiàng)目（B2020425）；武漢市知識(shí)創(chuàng)新專(zhuān)項(xiàng)曙光計(jì)劃項(xiàng)目（2023020201020480）。

作者簡(jiǎn)介：曹君（1987—），女，碩士，講師，研究方向：地理信息分析與應(yīng)用。