張 飛,劉 珩,楊 潔,渠立永,呂 琪,黃 偉,李 浩

(1. 61606部隊, 北京 100093; 2.陸軍工程大學, 南京 210007)

0 引言

光譜反射率重建技術在顏色科學、文物保護、農業(yè)、醫(yī)學、藝術、紡織等領域具有重要的科學應用價值[1-8]。光譜反射率是指地物在某波段反射通量與入射通量之比[9],是表征物質特有屬性的主要特征之一。通過目標樣本周圍環(huán)境信息、光照條件、相機光譜特征以及輸出的多通道圖像可獲得物體的光譜反射率[10]。但顏色數(shù)據(jù)在采集-提取-傳輸-配色過程中容易產生失真的問題,因此需要運用光譜反射率重建技術實現(xiàn)準確校正和復制還原。

對光譜反射率重建技術的研究得到了社會各界的高度重視。Cohen測量了433個標準色卡的光譜反射率,利用主成分分析法(PCA)高度擬合出色卡的光譜反射率[11-12]。Hardeberg等[13]提出主特征向量法,解決了偽逆法在光譜重建中需要相機通道數(shù)多的問題。Tominaga[14]利用二色反射模型來描述物體反射的光,利用線性有限模型估計物體表面的光譜反射率。岑奕等[15]利用光譜重建技術對唐卡的礦物顏料進行分析,以確定唐卡主色中各顏料的用量,達到顏料修復的目的;張璐提出Sine-SSA-BP算法,主要將經過Sine混沌映射改進的麻雀搜索算法[16]和BP神經網絡相結合以提高光譜重建精度[17];孔祥偉[18]為了對紗線顏色進行測量,提出了基于反饋式多光譜成像方法對紗線顏色進行測量。龍群燕等[19]提出了一種基于R矩陣與正則化多項式相結合的光譜重建算法,能夠實現(xiàn)較高精度的壁畫顏色還原。王可等[20]運用主成分分析法、R矩陣和正則化R矩陣,利用壁畫色塊顏色進行驗證試驗,實驗結果表明,使用正則化R矩陣重建的光譜具備較高精度。趙海等[21]在主成分分析法基礎上引入加權系數(shù),以及誤差校正函數(shù),獲得了較高的光譜反射率重建精度。何鵬浩等[22]針對現(xiàn)有單圖像超分辨率卷積神經網絡存在模型參數(shù)過多以及重建失真過大的問題,提出了一種基于動態(tài)金字塔結構與子空間注意力模塊的輕量級單圖像超分辨率網絡模型,馬子杰等[23]為了得到置信度更高的超分辨率先驗模型,實現(xiàn)重建結果在噪聲和細節(jié)之間的平衡,建立了基于混合稀疏表達框架下的高斯—洛倫茲混合先驗模型。研究了該先驗模型在超分算法中的應用優(yōu)勢和具體的應用方案。

本文中提出的加權平均的光譜重建方法(TWA),基于數(shù)碼相機RGB值的背景光譜反射率重建及顏色校正開展研究,自制綠色和沙土色色板,采用多種重建方法進行光譜反射率重建實驗,分析對比重建效果,為實現(xiàn)背景顏色從采集-傳輸-配色-顯示全過程高精度校正還原奠定技術基礎。

1 基本原理和方法

光譜反射率重建技術主要有2種數(shù)據(jù)集的采集分類方式,第1種是通過分光光度計獲取數(shù)據(jù)集,其對應的主要為直接重建法,包括4種具體方法:偽逆法[24]、維納估計法[25]、有限維模型法、多項式回歸法[26]等。第2種是通過多光譜相機獲得數(shù)據(jù)集,主要對應3種重建方法:插值重建法、 基于人工智能的重建算法[27-28]以及組合重建法。

1.1 傳統(tǒng)最小二乘法(OLS)

傳統(tǒng)最小二乘法就是將圖像的數(shù)字信號進行多項式拓展獲得多通道的數(shù)字信號,然后以多通道的數(shù)字信號為基礎,利用指定的訓練樣本按照式(1)求解光譜反射率重建矩陣。

Q=Rtrain(Dtrain)-1

(1)

其約束條件為:

(2)

式(2)中:Q為光譜反射率重建矩陣;Rtrain為訓練樣本的光譜反射率矩陣;Dtrain表示數(shù)碼相機的RGB拓展值;“-1”表示偽逆運算,“‖·‖”表示矩陣或向量的范數(shù)。獲得光譜反射率重建矩陣之后再進行光譜反射率重建。

1.2 正則化最小二乘法(RLS)

為了解決訓練數(shù)據(jù)過擬合問題,正則化最小二乘法(RLS)采用Tikhonov正則化方法對光譜反射率重建矩陣的求解進行優(yōu)化,以達到求解偽逆矩陣系數(shù)穩(wěn)定的目的。如式(3)所示:

Dtrain=UWVT

(3)

W=S+αE

(4)

其中,α為正則化參數(shù),是一個極小值,需要在實驗過程中綜合分析數(shù)據(jù)進行求解。

1.3 偏最小二乘法(PLS)

偏最小二乘法將經過多項式拓展的響應值矩陣Dtrain分解為得分矩陣M和載荷矩陣N,如式(5)所示:

Dtrain=MNT+I

(5)

式(5)中:I表示殘余矩陣;符號“T”表示矩陣的轉置。同樣的方法可以將訓練樣本的光譜反射率矩陣Rtrain分解為得分矩陣H和載荷矩陣K,如式(6)所示:

Rtrain=HKT+F

(6)

式(6)中:F為殘余矩陣。偏最小二乘法的實質就是使得得分矩陣M和H之間的協(xié)方差最大化,如式(7)所示:

H=MB

(7)

式(7)中:B為回歸矩陣。利用迭代的方式求出得分矩陣M之后,即可利用式(8)計算出光譜反射率矩陣,進而計算得出光譜反射率重建矩陣。

QT=D(NTD)-1(MTM)-1MTRT

(8)

1.4 主成分分析法(PCA)

主成分分析法通過對訓練樣本進行主成分分析,通過比較各成分對計算結果的影響程度(通常以百分占比的形式呈現(xiàn)),影響程度最大的即為主成分,其余為次成分。得到訓練樣本集的光譜反射率矩陣的系數(shù)矩陣和特征矩陣。如式(9)所示:

Rtrain=UkM

(9)

式(9)中:Uk表示由前k個特征向量組成的特征矩陣;M為相對應的系數(shù)矩陣。對于隨機的測試樣本,均可由式(10)計算出其對應的特征向量。

(10)

式(10)中:α為隨機測試樣本在主成分分析特征向量空間中的特征向量;m表示多項式的階數(shù);al表示各多項式的系數(shù);r、g、b為隨機測試樣本的數(shù)碼相機響應值。最后通過式(11)計算出測試樣本的光譜數(shù)據(jù)。

Rtest=Ukα

(11)

1.5 加權平均法(TWA)

根據(jù)專業(yè)背景顏色特點,對傳統(tǒng)的偽逆法進行改進,提出加權平均的光譜重建方法,引入加權函數(shù)對每一個訓練樣本賦予不同的權值。使得訓練后更加逼近真實反射率,確定每一塊訓練樣本所對應的權值之后,構建隨機測試樣本的光譜重建矩陣。

首先,根據(jù)式(12)計算測試樣本與所有訓練樣本的色差。

(12)

式(12)中: ΔEi為測試樣本與第i個訓練樣本之間的色差;Ltest、atest、btest為測試樣本在CIE1976L*a*b*均勻顏色空間中的L*a*b*值;Li、ai、bi為第i個訓練樣本的L*a*b*值,n=1,2,3,…,N,N為訓練樣本的個數(shù)。然后,按照式(13)對色差進行歸一化處理,并按照式(14)計算權值:

(13)

(14)

式(13)中: ΔEi為測試樣本與訓練樣本的色差;ΔEimax為測試樣本與訓練樣本色差的最大值;mi即為加權系數(shù)。構建的加權矩陣為

(15)

獲得加權函數(shù)之后,對測試樣本和訓練樣本的RGB值進行拓展,以一階線性拓展為例,拓展之后的響應值可由dexp表示。

dexp=[R,G,B,1]T

(16)

式(16)中:R、G、B表示樣本的數(shù)碼相機響應值,符號“T”表示矩陣的轉置。然后利用訓練樣本的光譜反射率矩陣,響應值拓展矩陣以及加權矩陣,由式(17)計算該測試樣本的光譜反射率重建矩陣Q。

Q=RtrainM(Dtrain,expM)+

(17)

式(17)中:Rtrain表示訓練樣本的光譜反射率矩陣;M表示加權矩陣;Dtrain,exp表示訓練樣本的響應值拓展矩陣。符號“+”表示求矩陣的偽逆矩陣。最后,由式(18)完成對測試樣本的光譜反射率重建。

Rtest=QDtest,exp

(18)

2 實驗

基于數(shù)碼相機RGB值的光譜反射率重建研究是基于訓練的方式進行的,首先需利用數(shù)碼相機和光譜儀分別獲取訓練樣本的RGB值和光譜反射率數(shù)據(jù),再對所提取的RGB值和光譜反射率數(shù)據(jù)進行訓練,獲得光譜反射率重建矩陣,最后利用光譜重建矩陣對測試樣本響應值進行光譜反射率重建。

2.1 儀器與標準色板

實驗儀器:NikonD90相機、OHSP-660光譜透反射率測試儀、Az-Pro100全光譜光源。

標準色板:自制沙土色系列色板(115塊),規(guī)格:5 cm×15 cm;色系列色板(98塊),規(guī)格:30 cm×30 cm。

2.2 實驗環(huán)境設置

實驗中的成像設備選用NikonD90數(shù)碼相機1臺,光源選用Az-Pro100全光譜光源,實驗環(huán)境在暗室中進行,以保證所選用的光源為實驗中的唯一光源,排除其他光源的干擾。在暗室內垂直拍攝沙土色色板和綠色色板的數(shù)字圖像,相機的拍攝參數(shù)分別設置為相機的最佳參數(shù),相機距離色板的距離為50 cm。

2.3 實驗步驟

1) 標定相機的光譜靈敏度,得到相機在最佳參數(shù)時的光譜靈敏度;

2) 利用NikonD90數(shù)碼相機在搭建的實驗環(huán)境下,獲取訓練樣本數(shù)碼相機響應值,利用光譜儀獲取訓練樣本的光譜反射率數(shù)據(jù);

3) 利用訓練樣本的數(shù)碼相機響應值與光譜反射率數(shù)據(jù),采用傳統(tǒng)偽逆法求解訓練樣本的光譜反射率矩陣;

4) 采用基于加權平均的光譜反射率重建方法,對測試樣本的光譜反射率進行重建;

5) 從光譜評價指標和色度評價指標2方面實驗樣本的光譜反射率重建精度及色差值進行分析評價。

3 實驗結果分析

利用115塊自制沙土色和98塊綠色色板作為訓練樣本,隨機選取一塊色板作為測試樣板,分別運用傳統(tǒng)最小二乘法(OLS)、正則化最小二乘法(RLS)、偏最小二乘法(PLS)、主成分分析法(PLS)和加權平均法進行光譜反射率重建,并將重建之后的光譜與用光譜儀測試出來的真實光譜反射率比較。首先以115塊自制沙土色色板為訓練樣本進行光譜反射率重建。

3.1 使用不同方法重建光譜反射率

3.1.1傳統(tǒng)最小二乘法(OLS)

首先利用光譜儀獲取訓練樣本的光譜反射率矩陣R,利用數(shù)碼相機拍攝訓練樣本并獲取色板的響應值(RGB)矩陣D,之后按照式Q=Rtrain(Dtrain)-1求解出光譜反射率重建矩陣QOLS:

(19)

之后,對于任意的一塊色板即可計算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.2正則化最小二乘法(RLS)

首先利用Matlab將數(shù)碼相機的響應值矩陣進行奇異值分解,分別求出數(shù)碼相機響應值矩陣D的奇異值矩陣S、正交矩陣U和V,通過對奇異矩陣S加入一個極小值,來解決過擬合問題,之后求解出光譜反射率重建矩陣QRLS:

(20)

獲得光譜反射率重建矩陣之后,對于任意的一塊色板分別計算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.3偏最小二乘法(PLS)

首先將光譜反射率矩陣R和數(shù)碼相機響應值矩陣D分解為得分矩陣和載荷矩陣,在Matlab中以得分矩陣M和H之間的協(xié)方差最大為約束條件,求出得分矩陣M,進而求解出光譜反射率重建矩陣,并將重建之后的光譜反射率繪制成曲線見圖1。

圖1 各種方法重建之后的沙土色光譜反射率曲線

3.1.4主成分分析法(PCA)

利用Matlab中的princomp函數(shù)對訓練樣本的光譜反射率矩陣進行主成分分析,選取前3個特征值,求解出系數(shù)矩陣進而獲得重建的光譜反射率。并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.5加權平均法(TWA)

首先利用光譜儀獲取訓練樣本的光譜反射率矩陣R,利用數(shù)碼相機拍攝訓練樣本并獲取色板的響應值(RGB)矩陣D,然后分別將訓練樣本與測試樣本(隨機選取一塊色板作為測試樣本)的顏色值轉化為L*a*b*值,并且在CIE 1976L*a*b*顏色空間中計算測試樣本與每一塊色板之間的色差,共有115個色差值;獲得色差之后計算出每一塊訓練樣本對應的權值,利用所有的權值構建一個115×115的加權矩陣M:

(21)

獲得加權矩陣之后計算得到一個401×3的光譜反射率重建矩陣QTWA。

(22)

最后完成對測試樣本光譜反射率的重建,并將重建之后的光譜反射率繪制成曲線如圖1所示,real線表示真實的光譜反射率,其他表示經過各種方法重建之后的光譜反射率,從圖中可看出,采用加權平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實的光譜反射率曲線最為接近,在接近趨勢以及曲線平滑度上均優(yōu)于現(xiàn)有方法。

綠色(及其他色彩)色板的計算方法與沙土色計算方法一致,所獲得的光譜反射率重建矩陣為一個401×98的矩陣。并將重建之后的光譜反射率繪制成曲線見圖2。圖中real線表示真實的光譜反射率曲線,其他表示經過各種方法重建之后的光譜反射率,從圖中可看出,采用加權平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實光譜反射率重合程度最高。

圖2 各種方法重建之后的綠色光譜反射率曲線

3.2 光譜反射率重建精度及色差分析

(23)

(24)

式(23)和式(24)中:R1表示由重建的光譜反射率組成的向量;R2表示由真實的光譜反射率組成的向量;N表示在可見光范圍內采樣點的數(shù)量;“T”表示矩陣的轉置。

(25)

各方法對實驗樣本的光譜反射率重建精度及色差值計算結果如表1所示。表中OLS1、OLS2、OLS3和OLS4為分別采用一階、二階、三階和四階多項式對實驗樣本進行處理計算。

表1 各方法對實驗樣本的光譜反射率重建精度計算結果

續(xù)表(表1)

4 結論

運用本文中提出的加權平均法(TWA)與現(xiàn)有的主成分分析法(PCA)等方法對沙土色和綠色色板的光譜反射率進行重建,并對重建效果進行分析比較: