黃 威，李志剛，侯欣雨，劉光堯，汪 磊， 藍(lán)楊惠，劉津宏，王 義

（1.首都師范大學(xué)，北京 100048；2.公安部鑒定中心，北京 100038； 3.光譜數(shù)據(jù)分析與應(yīng)用聯(lián)合研究中心，武漢 430000；4.中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100086）

進(jìn)入信息化時(shí)代以來(lái)，基于智能三維重建技術(shù)的物證數(shù)字化檢驗(yàn)已經(jīng)成為推動(dòng)大數(shù)據(jù)、人工智能等科技創(chuàng)新成果與司法工作深度融合的重點(diǎn)研究方向?；谟?jì)算機(jī)視覺(jué)的三維重建技術(shù)，在各類案件宏觀尺度下的研究與應(yīng)用取得豐富成果的同時(shí)[1-3]，也面臨著三維重建結(jié)果功能單一、應(yīng)用場(chǎng)景趨于同質(zhì)、數(shù)據(jù)信息利用不充分等瓶頸問(wèn)題。另一方面，以光譜成像為代表的新型數(shù)字影像技術(shù)雖然在檢驗(yàn)內(nèi)容、顯現(xiàn)能力、提取效率等方面彌補(bǔ)了傳統(tǒng)影像技術(shù)的不足[4-5]，但是由于其采集的僅是二維平面數(shù)據(jù)，對(duì)物證細(xì)節(jié)信息可能存在遺漏，也無(wú)法獲得物證立體空間位置關(guān)系,在檢驗(yàn)結(jié)果的表現(xiàn)形式和與人工智能創(chuàng)新融合等方面有待加強(qiáng)。因此，三維光譜成像技術(shù)將是物證數(shù)字化檢驗(yàn)重要的研究方向。目前國(guó)內(nèi)外尚未見(jiàn)成熟的三維光譜成像技術(shù)，主要原因有：

1）光譜信息無(wú)法直接用于三維重建。

為了能夠準(zhǔn)確獲取客體表面指紋、血跡等物證信息，光譜相機(jī)一般采用大光圈、近景深的拍攝方法，對(duì)于立體圖像或焦平面遠(yuǎn)端的場(chǎng)景成像質(zhì)量較差。如何將光譜信息準(zhǔn)確映射到高清三維模型上，解決方法尚不成熟。

2）傳統(tǒng)的三維重建特征描述符不適用于光譜信息映射。

例如尺度不變特征變換描述符（scale-invariant feature transform，SIFT）[6-7]和基于二進(jìn)制的特征提取描述符（binary robust invariant scalable keypoints, BRISK）[8-11]等，雖然能對(duì)光譜圖像進(jìn)行特征提取和描述計(jì)算，但是提取的精度和普通彩色圖像上提取的精度具有較大差距，給光譜信息在三維模型上的重定位和注冊(cè)帶來(lái)了困難。

3）光譜信息數(shù)據(jù)量巨大，匹配維度過(guò)大。

采集一個(gè)位姿就會(huì)有數(shù)十幅甚至上百幅不同波長(zhǎng)的光譜影像集，隨著尺度的增加，需要匹配的數(shù)據(jù)量將更加巨大，感知混疊的出現(xiàn)使得傳統(tǒng)方法的匹配變得模糊，削弱了定位的穩(wěn)健性。

為了同時(shí)獲取目標(biāo)的三維空間信息和光譜信息，筆者利用現(xiàn)有技術(shù)從數(shù)據(jù)采集源頭入手，探索過(guò)一種將立體成像與高光譜成像數(shù)據(jù)一體化獲取的方案，即利用激光三維掃描系統(tǒng)與高光譜成像儀獲取數(shù)據(jù)進(jìn)行融合的嘗試。但是由于成像機(jī)制和數(shù)據(jù)獲取連續(xù)性的差異，以及拍攝穩(wěn)定性不足的缺陷，增加了不同平臺(tái)獲取數(shù)據(jù)的配準(zhǔn)難度，使得多維數(shù)據(jù)融合處理精度與信息提取效率受到了較大的制約。而且由于需要使用特定的激光掃描設(shè)備進(jìn)行采集，靈活性和便攜性較差，不適合現(xiàn)場(chǎng)物證數(shù)據(jù)采集。

本文采用普通相機(jī)拍攝的彩色圖像完成三維重建，采用HF-Net架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)完成光譜圖像的視覺(jué)定位技術(shù)，將光譜信息準(zhǔn)確映射到高清三維模型上，最終實(shí)現(xiàn)三維光譜模型的構(gòu)建。不僅大大提升了物證采集的靈活性，而且三維重建模型的圖像分辨率會(huì)顯著高于激光三維掃描的重建分辨率。

1 材料與方法

1.1 樣本制作

普通紙質(zhì)藥盒1個(gè)，三邊尺寸為15 cm×9 cm×5 cm，隨機(jī)選擇3個(gè)表面，分別捺印紅色印泥手印（見(jiàn)圖1）。樣本制作完畢后，在自然條件下放置3 d。

圖1 紙質(zhì)藥盒表面捺印指紋原貌圖Fig. 1 Original appearance of fingerprint imprinted on the surface of paper package of medicine

1.2 儀器設(shè)備

HIMI-VIS光譜成像儀（廣州星博科儀有限公司）；鹵素?zé)簦ū本W億上佳照明公司）；小米11手機(jī)（小米科技有限責(zé)任公司）；數(shù)據(jù)處理運(yùn)行環(huán)境：GPU TESLA V100，顯卡內(nèi)存32 G，CPU Intel (R) Xeon (R) Silver 4114，系統(tǒng)內(nèi)存12 G。

1.3 數(shù)據(jù)采集方法

光譜影像集采集方法：使用鹵素?zé)艟鶆蚺涔猓ㄩL(zhǎng)范圍400～720 nm，波長(zhǎng)間隔10 nm，自動(dòng)曝光時(shí)間模式，分別采集紙質(zhì)藥盒6個(gè)平面各33張光譜圖像數(shù)據(jù)。

三維重建彩色圖像采集方法：使用手機(jī)拍照功能，從48個(gè)角度圍繞紙質(zhì)藥盒分別拍攝（圖2），得到48張2 800萬(wàn)像素彩色圖像。

1.4 數(shù)據(jù)分析方法

三維光譜成像過(guò)程如圖3所示，將物證材料分別通過(guò)普通彩色相機(jī)和光譜相機(jī)進(jìn)行拍攝，獲取彩色圖像和光譜圖像。

圖2 三維重建彩色照片采集示意圖（a：三維重建彩色照片采集位置；b：經(jīng)過(guò)SFM后估計(jì)的相機(jī)位姿）Fig. 2 Schematic of color photo acquisition for 3D reconstruction (a: sites for acquisition; b: SFM-estimated poses of camera)

圖3 三維光譜重建流程圖Fig. 3 Route of 3D spectral reconstruction

1）通過(guò)光譜影像分析實(shí)現(xiàn)光譜圖像分類，通過(guò)計(jì)算兩兩光譜圖像的夾角余弦相似系數(shù)，將相似的圖像歸為一類，通過(guò)將相似圖像分類，可以降低光譜圖像重定位的檢索空間，提升匹配效率。

2）通過(guò)運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法（structure-frommotion, SFM）[12]完成相機(jī)位姿估計(jì)，并通過(guò)蝙蝠算法（bat algorithm）[13]完成相機(jī)的迭代優(yōu)化，利用相機(jī)位姿反推獲得彩色圖像的三維點(diǎn)云，并通過(guò)泊松重建[14]和紋理貼圖，構(gòu)建物證的彩色三維重建模型。

3）將分類后的光譜影像通過(guò)基于HF-Net架 構(gòu)[15-16]的深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)光譜特征在三維彩色模型上的重定位。

4）通過(guò)紋理重貼圖，生成光譜三維模型。

1.4.1 光譜影像分析

使用MIsystem軟件光譜特征整體匹配方法對(duì)采集到的光譜影像集進(jìn)行指紋顯現(xiàn)處理。光譜特征整體匹配有很多方法，如基于幾何特征、統(tǒng)計(jì)特征、變換域特征的方法。這些方法都是采用某一度量距離函數(shù)進(jìn)行計(jì)算，如利用范數(shù)（常用的為歐氏范數(shù)）、相關(guān)系數(shù)、夾角余弦相似系數(shù)等方法、Hausdorff距離等。本文使用的是相關(guān)系數(shù)和夾角余弦兩種方法。

兩個(gè)隨機(jī)變量X,Y的相關(guān)系數(shù)ρXY定義如下：

其中Cov（X,Y）為X和Y的協(xié)方差；D（X），D（Y）分別為X、Y的方差。相關(guān)系數(shù)越大，表示X、Y存在線性關(guān)系的概率越大，當(dāng)相關(guān)系數(shù)為1時(shí)，表示存在確定的線性關(guān)系，即Y＝kX。相關(guān)系數(shù)定義簡(jiǎn)單，意義明確，在實(shí)際的光譜曲線匹配中經(jīng)常使用。兩個(gè)向量X、Y的夾角余弦系數(shù)CXY定義如下：

夾角余弦在圖像識(shí)別中的應(yīng)用比較廣泛，對(duì)于形狀相同而尺度不同的曲線也可以進(jìn)行匹配。在通用的光譜影像匹配中，夾角余弦作為一種有效度量方法，常常成為研究人員的首選方法。

1.4.2 彩色圖像三維重建

1）使用彩色圖像構(gòu)建稠密點(diǎn)云。通過(guò)彩色二維圖像的SFM算法，確定每張彩色二維圖像的相機(jī)位姿，并通過(guò)蝙蝠算法對(duì)相機(jī)的位姿圖進(jìn)行迭代優(yōu)化，得到可靠的相機(jī)位姿。在相機(jī)位姿的基礎(chǔ)上，融合每一個(gè)相機(jī)位姿對(duì)應(yīng)的深度圖，得到物體的稠密點(diǎn)云圖。

2）構(gòu)建模型。利用稠密點(diǎn)云完成立體模型重建，構(gòu)建三維網(wǎng)格（3D mesh）或者面元（Surfel）圖。常見(jiàn)的有泊松重建、Surfel重建、八叉樹(shù)地圖，VRIP算法。本文采用是的泊松重建方法[16]。

3）紋理貼圖。對(duì)沒(méi)有紋理的三維模型，需要通過(guò)立體貼圖得到最終的彩色模型，光線投射是立體貼圖的方法之一，它的理論基礎(chǔ)是觀察投射光線到物體上的每個(gè)點(diǎn)，查找阻擋光線的最近物體，也就是將圖像當(dāng)作一個(gè)屏風(fēng)，每個(gè)點(diǎn)就是屏風(fēng)上的一個(gè)正方形。成像平面每個(gè)像素沿著視線方向發(fā)出一條射線穿過(guò)體數(shù)據(jù)，沿著這條射線等距離重采樣，求出各重采樣的顏色值和阻光度，然后按照由前向后或由后向前的方式合成射線上各重采樣點(diǎn)的顏色和阻光度，即得到該像素顏色。本次實(shí)驗(yàn)中，三維重建運(yùn)行時(shí)間15 min。

1.4.3 光譜特征重定位

光譜圖像的視覺(jué)定位，關(guān)鍵要解決光譜相機(jī)位姿估計(jì)與三維模型的空間重定位問(wèn)題，最主要的挑戰(zhàn)是建立輸入光譜圖像數(shù)據(jù)與基準(zhǔn)三維點(diǎn)云數(shù)據(jù)之間的相關(guān)性。傳統(tǒng)的視覺(jué)定位方法被分為基于結(jié)構(gòu)或基于圖像兩類，大都采用判別的方法，依賴強(qiáng)有力的特征描述算子來(lái)建立各種觀測(cè)條件下同一關(guān)鍵點(diǎn)之間的聯(lián)系。然而，在實(shí)際情況下，觀測(cè)條件的不確定性使得現(xiàn)有特征描述算子很難準(zhǔn)確捕捉各個(gè)關(guān)鍵點(diǎn)的穩(wěn)定性，尤其在缺少特征的地方往往會(huì)發(fā)生定位失敗，缺乏魯棒性?；趫D像檢索的替代定位方法最近在穩(wěn)健性和效率方面顯示出不錯(cuò)的結(jié)果，但在準(zhǔn)確性方面沒(méi)有競(jìng)爭(zhēng)力。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵點(diǎn)檢測(cè)在使用較少的計(jì)算開(kāi)銷(xiāo)同時(shí)，表現(xiàn)出了無(wú)與倫比的魯棒性。

本文使用一種用于分層特征的新型神經(jīng)網(wǎng)絡(luò)HF-Net，可以實(shí)現(xiàn)高效的精細(xì)定位。它可以一次性檢測(cè)關(guān)鍵點(diǎn)并計(jì)算局部和全局描述符，從而最大限度地提高計(jì)算共享，同時(shí)保留較大基線網(wǎng)絡(luò)的性能。HF-Net架構(gòu)由單個(gè)編碼器和三個(gè)頭預(yù)測(cè)（關(guān)鍵點(diǎn)檢測(cè)分?jǐn)?shù)、密集局部描述符和全局圖像范圍描述符）組成。

1）訓(xùn)練過(guò)程。首先，通過(guò)MobileNet[17]實(shí)現(xiàn)三維重建彩色點(diǎn)云（point cloud）的提取特征，輸出的特征圖用于后續(xù)的全局描述子（global descriptor）、關(guān)鍵點(diǎn)得分（key point scores）、局部描述子（local descriptors）的預(yù)測(cè)。其次，通過(guò)SuperPoint解碼，使用一種非學(xué)習(xí)的固定方式得到三維重建彩色點(diǎn)云的關(guān)鍵點(diǎn)得分和局部描述子。然后，通過(guò)MobileNet和NetVLAD層實(shí)現(xiàn)對(duì)三維重建彩色點(diǎn)云的全局描述子的提取（圖4）。

圖4 HF net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 4 Structural illustration of HF-Net network

2）重定位過(guò)程。將光譜圖像放入HF-Net中進(jìn)行計(jì)算，分別得到全局描述子、局部描述子、關(guān)鍵點(diǎn)得分，使用光譜圖像的全局描述子，在三維重建彩色點(diǎn)云的數(shù)據(jù)集進(jìn)行全局檢索，檢索得到此光譜照片對(duì)應(yīng)的三維模型的大致位置。使用光譜圖像的局部描述子和關(guān)鍵點(diǎn)得分，進(jìn)行局部特征匹配，找到光譜圖像中的光譜信息，對(duì)應(yīng)三維模型點(diǎn)云中的匹配點(diǎn)，從而完成光譜信息和三維模型的映射。再通過(guò)HF-Net網(wǎng)絡(luò)實(shí)現(xiàn)光譜特征點(diǎn)的匹配，就可以將光譜信息完整地映射到三維重建的模型上去，從而實(shí)現(xiàn)三維光譜成像物證檢驗(yàn)的目標(biāo)（見(jiàn)圖5）。

圖5 光譜圖像的特征點(diǎn)在彩色圖像三維模型上的重定位Fig. 5 Relocation of feature points of spectral image onto threedimensional pattern of color image

此過(guò)程的運(yùn)行框架：Tensorflow 1.12；當(dāng)1張光譜影像處理結(jié)果匹配4張彩色照片時(shí)，HF-Net運(yùn)行時(shí)間：12 s。

2 結(jié)果

2.1 光譜影像分析結(jié)果

使用MIsystem軟件對(duì)紙質(zhì)藥盒三個(gè)不同表面處理結(jié)果和顯現(xiàn)的捺印指紋放大結(jié)果如圖6所示。通過(guò)光譜影像分析，可以將紙盒表面的潛在指紋全部顯現(xiàn)出來(lái)，并清晰放大，對(duì)于后續(xù)光譜特征重定位提供了較好的影像素材。

2.2 彩色圖像三維重建結(jié)果

通過(guò)多角度高清彩色圖像完成的物證三維重建效果見(jiàn)圖7。由于本文采用基于普通相機(jī)拍攝的彩色照片完成物證的三維重建，無(wú)需專業(yè)的激光掃描設(shè)備，應(yīng)用場(chǎng)景更靈活，更適合現(xiàn)場(chǎng)物證采集。而且三維重建模型的圖像分辨率顯著高于激光三維掃描的重建分辨率。本文重建的三維模型的彩色分辨率為6 016 × 4 512，約2 700萬(wàn)像素，而目前市場(chǎng)上分辨率最高的激光掃描重建設(shè)備，最大分辨率900萬(wàn)像素。

2.3 光譜特征重定位結(jié)果

紙質(zhì)藥盒表面指紋的光譜信息映射到三維建模點(diǎn)云效果見(jiàn)圖8。由于采用基于HF-Net框架的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行光譜特征匹配，匹配精度高于傳統(tǒng)的誤差平方和算法 (sum of squared differences，簡(jiǎn)稱SSD算法)，而且適合不同光照條件，魯棒性更好。

圖6 光譜成像顯現(xiàn)指紋結(jié)果圖Fig. 6 Fingerprint displayed out from spectral imaging

圖7 彩色圖像三維重建模型效果圖Fig. 7 RGB-formatted rendering into 3D-reconstruction of the original image

圖8 三維光譜重建模型效果圖Fig. 8 Spectral 3D-reconstructed rendering of the original image

3 討論

三維重建技術(shù)能夠記錄殺人、縱火、爆炸、交通肇事等各類案件現(xiàn)場(chǎng)立體空間信息，與虛擬現(xiàn)實(shí)技術(shù)結(jié)合可以實(shí)現(xiàn)異地同步現(xiàn)場(chǎng)勘查、現(xiàn)場(chǎng)環(huán)境以及物證幾何測(cè)量、數(shù)字化現(xiàn)場(chǎng)復(fù)勘與展示等功能。目前的研究工作主要集中在宏觀場(chǎng)景三維重建速度和精度等方面，對(duì)物證信息的深度挖掘和檢測(cè)識(shí)別等方面研究還不夠深入。光譜成像技術(shù)在痕跡物證的無(wú)損發(fā)現(xiàn)與識(shí)別等方面具有明顯的優(yōu)勢(shì)。針對(duì)作案工具、侵害對(duì)象、現(xiàn)場(chǎng)遺留物品等多尺度物證檢材，將三維重建與光譜成像相結(jié)合，建立物理空間與光譜信息融合的立體勘查取證技術(shù)，能夠發(fā)揮兩項(xiàng)技術(shù)的優(yōu)勢(shì)，檢驗(yàn)結(jié)果對(duì)于分析和理解各類痕跡物證的空間分布狀態(tài)、相互關(guān)系以及所反映的行為人特點(diǎn)等具有重要意義，為基于計(jì)算機(jī)視覺(jué)的現(xiàn)場(chǎng)快速記錄與智能重建技術(shù)提供了新的思路。

本文對(duì)規(guī)則的立方體樣本進(jìn)行了三維建模和光譜信息重定位實(shí)驗(yàn)研究。結(jié)果表明，本文提出的方法能夠?qū)崿F(xiàn)三維光譜成像融合檢驗(yàn)的目的，下一步將針對(duì)不同材質(zhì)的球體、圓柱體以及不同大小的不規(guī)則立體樣本進(jìn)行系統(tǒng)實(shí)驗(yàn)。另外，如何發(fā)揮三維光譜成像技術(shù)在現(xiàn)場(chǎng)和實(shí)驗(yàn)室檢驗(yàn)工作中的應(yīng)用能力，也是繼續(xù)研究的方向。

4 結(jié)論

本文研究了基于HF-Net架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)圖像目標(biāo)位姿估計(jì)方法，探索了三維建模與光譜信息相融合的智能重建技術(shù)，為建立物理空間與信息空間相結(jié)合的立體勘查取證模式進(jìn)行了有益的嘗試，實(shí)驗(yàn)結(jié)果證明三維光譜成像技術(shù)在物證綜合信息的深度挖掘和精準(zhǔn)測(cè)量方面具有較大的應(yīng)用潛力，拓展了三維重建技術(shù)和光譜成像技術(shù)在物證檢驗(yàn)中的應(yīng)用范圍。