陳 拔,顏全勝
(華南理工大學土木與交通學院,廣東 廣州 510640)
在實際工程中,拉索的自振頻率是頻率法索力測量[1]和拉索損傷識別[2]的重要指標,在進行索力測量或損傷檢測工作前,都有必要事先對拉索進行振動測試以識別其自振頻率。傳統(tǒng)的振動測試方法是將加速度計安裝在拉索表面,采集環(huán)境激勵或人工激勵作用下的拉索動力響應,通過線纜將加速度計振動信號傳輸給數(shù)字信號采集儀,輸出測點的振動數(shù)字信號。傳統(tǒng)方法雖然準確,但對于大型斜拉橋來說,該方法涉及到繁重的加速度計安裝拆卸和布線工作,測量效率低下且常常需要中斷交通。
與傳統(tǒng)的接觸式振動測試方法相比,基于計算機視覺的振動測試方法(簡稱視覺測振方法)具有非接觸式、遠距離和多點測量等優(yōu)點,能夠有效減少測量成本,目前已成功應用到實際工程當中[3-4]。該方法是將拉索局部區(qū)域或位于測點處的人工標靶作為跟蹤目標,結(jié)合計算機視覺領(lǐng)域的目標跟蹤算法對相機拍攝的拉索振動視頻圖像幀序列進行分析,獲取目標在圖像平面上的運動軌跡,進而得到目標的振動位移時程數(shù)據(jù)。季云峰[5]采用計算機視覺理論中的光流法,對圖像中的拉索局部區(qū)段進行光流分析,識別測點運動位移和方向,提出了一種基于無目標計算機視覺技術(shù)的拉索振動測試方法。該方法僅適用于背景和光照條件變化小的場景,計算量大且易受到圖像噪聲的影響。Sung-Wan等[4]根據(jù)NCC(normalized cross correlation)模板匹配法開發(fā)了一套視覺監(jiān)測軟件系統(tǒng),用以測試斜拉索的動力特性,結(jié)合頻率法估算索力,并探究了該系統(tǒng)在不同天氣條件下的測量精度。模板匹配法涉及到大量的模板與圖像子區(qū)域的相關(guān)性計算,實時性差,且該算法采用的是圖像灰度特征,會出現(xiàn)錯誤匹配到背景的情況。Zhao等[6]將智能手機用于斜拉索振動視頻的采集和分析,通過霍夫直線檢測識別斜拉索的傾斜角度,根據(jù)圖像局部區(qū)域像素灰度輪廓函數(shù)的一階有限差分值對斜拉索邊緣直線進行定位。雖然該方法成功實現(xiàn)了對拉索自振頻率的識別,但是在測量前需要進行繁瑣的圖像旋轉(zhuǎn)和邊緣直線檢測等處理,難以保證測量效率。
盡管基于計算機視覺的拉索振動測試方法研究目前取得了一定的成果,但是仍處于發(fā)展階段,所采用的跟蹤算法通常計算效率較低,很難滿足實時性的要求,對光照條件變化、運動模糊和遮擋等不利因素的抗干擾性也有待改進。
近年來,相關(guān)濾波類跟蹤算法表現(xiàn)出了優(yōu)秀的跟蹤性能,具有高效、魯棒性強和實時跟蹤的優(yōu)點,是目前的計算機視覺目標跟蹤領(lǐng)域的主流跟蹤算法[7]。相關(guān)濾波類跟蹤算法的基本思想是訓練一個相關(guān)濾波器,使得該濾波器在目標處響應最大,并抑制濾波器對于背景的響應,然后通過該濾波器檢測下一幀圖像中的目標位置。Bolme等[8]在2010年提出了最小化平方和誤差(MOSSE,minumum out sum of squared error)算法,首次將相關(guān)濾波思想引入目標跟蹤領(lǐng)域。該算法跟蹤計算速度可達669幀/秒,展現(xiàn)了相關(guān)濾波用于目標跟蹤的巨大優(yōu)勢和潛力。Henriques等[9]在MOSSE基礎(chǔ)上提出了循環(huán)結(jié)構(gòu)核(CSK,circulant structure kernels)算法,引入了核函數(shù)和循環(huán)矩陣。該算法采用循環(huán)移位密集采樣策略,解決了樣本冗余問題,通過嶺回歸和核函數(shù)訓練復雜的非線性模型,使得跟蹤更為準確,同時結(jié)合循環(huán)卷積理論提高訓練和檢測過程的計算效率。CSK算法被認為是核相關(guān)濾波跟蹤算法的基礎(chǔ)。Henriques等[10]在2015年對CSK算法進行了進一步完善,提出核相關(guān)濾波(KCF,kernelized correlation filters)算法,將原本采用的單通道灰度特征擴展到多通道,并使用了對目標外觀描述性更強的FHOG特征,大幅提升了跟蹤模型的精度和魯棒性。Danelljan等[11]改進了CSK算法的模型更新機制,并采用顏色名(CN,color name)特征擴展CSK算法,結(jié)合主成分分析對高維顏色特征進行自適應降維,使算法同時滿足實時性和準確性的要求。KCF算法和CN算法奠定了核相關(guān)濾波跟蹤算法的基本框架,后續(xù)研究大多是在其基礎(chǔ)上進行改進。
鑒于目前視覺測振方法所用跟蹤算法存在效率和精度較低的問題,研究引入KCF和CN這兩種經(jīng)典核相關(guān)濾波跟蹤算法用于對視頻圖像序列中的運動目標進行跟蹤分析,并介紹了視覺測振方法的具體流程,以及核相關(guān)濾波跟蹤算法原理,且基于MATLAB開發(fā)了視覺測振系統(tǒng)軟件,用于拉索的振動測量。以單端張拉的鋼絞線作為簡化的拉索模型,在實驗室開展鋼絞線振動試驗,分別選用KCF和CN跟蹤算法對圖像序列中位于鋼絞線表面的人工標靶進行跟蹤,對比它們識別出的標靶振動像素位移時程曲線和頻譜圖,分析這兩種跟蹤算法用于振動測量的可行性。同時,將視覺測振方法的各階頻率識別結(jié)果與加速度計測試結(jié)果進行對比分析,驗證所提出方法的可靠性。
視覺測振系統(tǒng)由安置在拉索表面測點處的人工標靶、相機和裝有視頻圖像分析處理軟件(如MATLAB)的計算機組成?;谟嬎銠C視覺目標跟蹤算法的拉索振動測試方法主要包括視頻采集與分解、圖像序列分析和拉索振動頻率識別3個階段,具體流程如圖1所示。
圖1 基于計算機視覺目標跟蹤算法的拉索振動測試流程
首先,將人工標靶安置在拉索表面測點處,通過計算機控制相機在遠處拍攝拉索振動視頻,結(jié)合視頻處理軟件(如MATLAB)將傳入的視頻數(shù)據(jù)分解為連續(xù)的圖像序列。標靶形狀可自由選擇,但其外觀顏色與拉索表面顏色之間需要有明顯的區(qū)分度,以保證測量的準確性。
然后,根據(jù)目標跟蹤算法設(shè)計圖像分析程序,以圖像中的標靶作為跟蹤目標,識別出它在圖像中的位置,按圖像序列號輸出標靶中心在圖像平面的像素坐標x。其中相鄰兩幀圖像的時間間隔為視頻幀率fps(幀/秒)的倒數(shù),相當于信號處理領(lǐng)域的采樣間隔。根據(jù)目標(標靶中心)在每幀時刻的像素坐標x得到拉索測點相對于像素坐標系y軸的豎向像素位移時程數(shù)據(jù),即測點的振動信號。
當所拍攝的目標的位置與相機光軸接近,且深度變化遠小于其到相機的距離時,則其從真實世界到圖像平面的位置映射關(guān)系近似為線性,目標的像素位移和真實世界位移成比例[12]。由于測量對象是拉索的自振頻率而不是位移,因此無需進行圖像平面到真實世界的坐標變換,可直接通過FFT將測點的振動信號變換到頻域,得到頻譜圖。然后結(jié)合常用的直接峰值法[13]對頻譜圖進行分析,拾取頻譜圖的峰值,得到拉索的多階自振頻率。
圖像序列分析主要用于獲取標靶的振動軌跡,是視覺測振方法的核心部分。目標跟蹤算法的選取直接影響圖像序列的分析速度和目標的跟蹤精度。
核相關(guān)濾波跟蹤算法主要涉及到機器學習和相關(guān)濾波領(lǐng)域的知識,其目標在于訓練學習一個對跟蹤目標響應最大的相關(guān)濾波器。該算法主要包括模型訓練、模型更新和在線檢測3個部分,算法整體思路如圖2所示。
圖2 核相關(guān)濾波跟蹤算法整體思路
首先根據(jù)當前幀圖像中目標的位置給定一個矩形框,矩形框以目標為中心,第一幀的矩形框由目標檢測算法或人工框定。然后分割出矩形框區(qū)域的圖像塊,提取該圖像塊多通道特征,并添加余弦窗以平滑邊緣數(shù)據(jù)。再以上一步得到的特征數(shù)據(jù)作為訓練基樣本,通過循環(huán)移位生成虛擬樣本,得到循環(huán)矩陣形式的訓練樣本集,根據(jù)虛擬樣本相對基樣本的移位距離和高斯函數(shù)定義訓練樣本的標簽,結(jié)合嶺回歸方法對相關(guān)濾波器模型進行訓練。
當前幀濾波器模型訓練完成之后,根據(jù)前一幀的濾波器對當前幀訓練得到的濾波器進行更新,從而得到用于檢測下一幀目標位置的濾波器。
最后采用訓練樣本集的生成方式在下一幀時刻同樣得到循環(huán)矩陣形式的候選樣本集,使用更新后的濾波器對候選樣本集進行相關(guān)濾波得到相關(guān)響應圖,根據(jù)響應圖的峰值點更新下一幀目標的位置和矩形框。重復上述過程直至跟蹤結(jié)束,由此得到每一幀時刻目標在圖像平面的運動軌跡。
(1) 循環(huán)移位采樣 核相關(guān)濾波算法的訓練和候選樣本集都是通過對基樣本進行循環(huán)移位生成的,循環(huán)移位生成虛擬樣本的過程相當于在目標周圍滑動密集采樣。
以N×1維的向量x=[x1,x2,x3,…,xN]T作為基樣本進行單通道特征的核相關(guān)濾波推導,最終結(jié)果同樣適用于二維圖像。循環(huán)矩陣C(x)定義為
(1)
其中:x稱為循環(huán)矩陣的生成向量,將x中元素向右循環(huán)移位即可得到循環(huán)矩陣C(x)。
引入置換矩陣P∈RN×N:
(2)
其中:P稱為循環(huán)移位算子;(P(m-1)x)T代表將行向量xT向右循環(huán)移動m-1個元素,循環(huán)矩陣C(x)的第m行的向量可以表示為(P(m-1)x)T。
通過離散傅里葉矩陣可以在傅里葉域?qū)ρh(huán)矩陣進行對角化[14]:
(3)
(2) 核嶺回歸 從回歸的角度看,核相關(guān)濾波跟蹤算法的目標是訓練一個回歸模型使得回歸模型在訓練樣本上的輸出與樣本期望輸出的誤差平方和最小。
核相關(guān)濾波跟蹤算法通過核嶺回歸對相關(guān)濾波模型進行訓練。設(shè)訓練樣本集為X,X中第i個樣本記為xi,與樣本xi對應的標簽(期望輸出)記為yi,i=1,2,…,N。嶺回歸的目標是尋找一個函數(shù)f(x)=wTx,使得該函數(shù)在訓練樣本上的輸出和樣本標簽值的平方差的和最小:
(4)
其中:λ為正則化系數(shù),用于防止過擬合,可提高模型的泛化能力。標簽yi由高斯函數(shù)定義。
(5)
其中:K為核矩陣;Kij=κ(xi,xj);y中元素為yi。
將式(5)最優(yōu)化問題的目標函數(shù)對α求導,令梯度向量為零,即核嶺回歸的解為
α=(K+λI)-1y,
(6)
得到解α后可以計算核嶺回歸模型對于新樣本z的輸出為
(7)
(3) 快速訓練和檢測 式(6)的求解涉及到復雜的矩陣求逆運算,當樣本數(shù)量較多時,計算代價非常昂貴。不過,若訓練和候選樣本集都是循環(huán)矩陣形式,則相應的核矩陣也是循環(huán)矩陣,適用的核函數(shù)有線性核、多項式核、高斯核和指數(shù)核等[10]?;谶@一點,可以結(jié)合循環(huán)矩陣可被對角化的特性避免式(6)的求逆過程,簡化運算。
將訓練基樣本和候選基樣本分別記為x和z,x,z∈N。通過對x和z進行循環(huán)移位生成訓練樣本集X和候選樣本集Z,X=C(x),Z=C(z)。訓練樣本集X對應的核矩陣為循環(huán)矩陣,
根據(jù)式(3)中循環(huán)矩陣可被離散傅里葉矩陣對角化的性質(zhì)對式(6)進行簡化得
(8)
其中:除法為向量對應元素點除。模型訓練求解過程中的復雜求逆運算已經(jīng)轉(zhuǎn)換為簡單的點除。
而在檢測階段可以采用同樣的操作,加速檢測運算。設(shè)候選樣本集中第j個待檢測樣本為zj,響應值向量[f(z1),f(z2),…,f(zN)]T記為r,由式(7)得
r=Kzα,
(9)
(10)
其中:⊙代表向量對應元素點乘。新一幀中的目標相對上一幀的目標的位移由響應r的最大值元素所在的位置確定。
(11)
其中:F-1為離散傅里葉逆變換;σ為高斯核函數(shù)的帶寬。
(4) 模型更新 考慮到前一幀訓練的濾波器和目標外觀模型與當前幀具有一定的相關(guān)性,采用線性插值的方式對濾波器參數(shù)α和目標外觀模型x進行更新,更新方式為
(12)
(13)
其中:0<γ<1為學習因子;n為圖像序列號。需要注意的是,在第n+1幀圖像檢測目標的過程中,使用的是更新后的模型。
(5) 多通道特征 在目標跟蹤過程中,目標特征提取是影響算法準確性和魯棒性的關(guān)鍵部分[16]。因而,選取適當?shù)奶卣魇窃O(shè)計視頻目標跟蹤框架需要重點考慮的問題。CSK算法[9]采用的是單通道灰度特征,容易受到光照變化、噪聲、形變和運動模糊等的影響。KCF算法[10]采用FHOG特征(Felzenszwalb's HOG feature)對CSK算法進行改進,CN算法[11]采用CN特征對CSK算法進行改進,這兩種特征在大多數(shù)場景中都具有一定的不變性,能很好地表征目標的外觀信息。
FHOG特征[17]描述了目標的局部形狀輪廓信息,由Felzenszwalb提出,是對方向梯度直方圖(HOG,historgram of oriented gradients)特征[18]的改進,將原HOG特征的信息進行了壓縮,并且摒棄了塊的概念,保留了單元格的空間信息。顏色名(CN)由語言學家Berlin等[19]提出,包含11種基本顏色:黑、藍、棕、灰、綠、橙、粉紅、紫、紅、黃和白。Weijer等[20]在Berlin的理論基礎(chǔ)上,通過搜索的大量谷歌圖像數(shù)據(jù)建立了從RGB顏色值到這11種基本顏色的映射關(guān)系,提出了CN特征。
接下來將基于單通道特征的核相關(guān)濾波拓展到多通道。用x表示從基樣本提取得到的多通道特征:x=[x1,x2,…,xN]T,其中xi∈m為將m個通道的特征串聯(lián)起來的特征向量。根據(jù)式(11)以及離散傅里葉變換的線性,得到多通道特征核矩陣的生成向量為
kxx′=
(14)
試驗以單端張拉的單束預應力鋼絞線作為簡化版的拉索,實驗室拉索模型如圖3所示。模型右端安裝穿心式千斤頂作為張拉端,左端通過錨具進行固定。左右兩端的混凝土錨塊下部都安置了與地面固接的鋼制擋板,以防止混凝土錨塊在張拉過程中向內(nèi)側(cè)滑移(左側(cè)錨固區(qū)與擋板見圖3)。
圖3 試驗裝置
試驗選用公稱直徑為15.2 mm的7根鋼絲捻制的標準型預應力鋼絞線,其線質(zhì)量為1.101 kg/m,有效截面面積為140 mm2,彈性模量為1.95×105MPa。鋼絞線左右2個錨固點間距為11.8 m。
試驗的主要設(shè)備有:計算機、相機、加速度計、數(shù)字信號采集儀、穿心式千斤頂和2000型標準負荷測量儀。計算機CPU型號為Intel Core i5-7300HQ @2.5 GHz。相機型號為佳能EOS-5D-Mark Ⅲ,分辨率設(shè)置為1 280×720,幀率為50幀/秒。數(shù)字信號采集儀采樣頻率設(shè)置為200 Hz,采用揚州晶明科技有限公司的振動測試專業(yè)軟件JMTEST動態(tài)信號測試分析軟件導出加速度計的振動數(shù)據(jù)。
實際拉索模態(tài)試驗中,通常將測點設(shè)置在索的四分之一點附近,以獲取較為理想的頻域結(jié)果[21]。該試驗以距右側(cè)錨固點2.5 m處作為測點,采用初位移的方式在鋼絞線距右側(cè)錨固點5 m處進行人工激勵,分別通過視覺測振方法和加速度計方法拾取測點的振動信號。
試驗時裁剪一小段綠色的聚氯乙烯絕緣膠帶作為人工標靶,安裝在鋼絞線上的測點處。將遠處的相機對準標靶,使得標靶在相機視場中心,隨后把相機固定。在標靶附近安置加速度計,使用聚氯乙烯絕緣膠帶將其緊密固定在鋼絞線之上(見圖3)。通過計算機控制相機和數(shù)字信號采集儀同時進行數(shù)據(jù)采集。
為測試不同張拉力工況下視覺振動測量方法的精度,進行了4次試驗,張拉力分別為3.5 kN、4.5 kN、5 kN和7 kN,張拉力由與千斤頂相連的負荷測量儀進行測定。
根據(jù)核相關(guān)濾波跟蹤算法原理,基于MATLAB平臺開發(fā)了拉索振動視頻分析程序和基于快速傅里葉變換算法的頻譜分析程序,并結(jié)合MATLAB App Designer設(shè)計了可交互的軟件,實現(xiàn)了視頻測振過程的可視化,App軟件界面如圖4所示。軟件支持振動視頻的導入以及將視頻分解為連續(xù)圖像序列的功能,可人工框選首幀圖像中的跟蹤目標,選擇跟蹤算法類型,并且能夠?qū)崟r輸出跟蹤結(jié)果和振動時程曲線,在跟蹤結(jié)束后輸出幅值譜圖。
圖4 視覺測振系統(tǒng)軟件
結(jié)合視覺測振系統(tǒng)軟件,分別選擇KCF算法和CN算法對相同的視頻圖像序列分析,跟蹤圖像中鋼絞線表面的人工標靶,輸出其像素振動位移時程曲線,采用快速傅里葉變換算法獲取其振動頻譜。該過程相當于鋼絞線的單點振動測量。然后,將所得結(jié)果與加速度計時域和頻域數(shù)據(jù)進行對比,以驗證視覺測振方法的精度。限于篇幅,僅展示3.5 kN以及7.0 kN張拉力工況下的時域和頻域數(shù)據(jù),如圖5和圖6所示。
圖5 3.5 kN張拉力工況下測點振動時域曲線和幅值譜
圖6 7.0 kN張拉力工況下測點振動時域曲線和幅值譜
由圖5和圖6的時域曲線可知,KCF的時域曲線中部分點附近的位移不發(fā)生變化,整個曲線呈一種平整的形狀,而CN識別的目標像素位移更為精細和準確。其原因為:KCF算法所采用的FHOG特征描述的是圖像塊局部單元格的梯度統(tǒng)計信息,當目標在相鄰兩幀間的實際像素位移差很小時,會使得跟蹤框內(nèi)訓練和候選基樣本的FHOG特征幾乎一致,從而導致下一幀目標檢測得到的響應圖的峰值點與當前幀相同,于是檢測得到的目標位置在連續(xù)兩幀或兩幀以上的圖像中保持不變。另外,基于FHOG特征的核相關(guān)濾波跟蹤算法計算出的相鄰兩幀目標像素位移差只能為圖像塊局部單元格尺寸的整數(shù)倍(FHOG特征的單元格尺寸最小為2×2像素),這意味著當圖像塊局部單元格尺寸選取較大時,將會造成位移信息的大量丟失。在拉索振動幅度較小時,應避免采用FHOG特征。
由圖5和圖6的頻域幅值譜圖可知,KCF和CN的幅值譜圖峰值顯著,峰值點對應的頻率與加速度計基本相同,說明視覺測振方法用于拉索振動頻率識別是可靠的。
通過直接峰值法提取不同張拉力工況下的幅值譜圖峰值作為鋼絞線的自振頻率,所得到的各階頻率結(jié)果如表1所列。表1中KCF和CN分別表示將KCF算法或CN算法用于視覺測振系統(tǒng)得到的鋼絞線各階振動頻率結(jié)果,且二者的結(jié)果基本相同。
表1 基于視覺測振方法與加速度計方法的振動頻率識別結(jié)果
表1中最大頻率相對誤差的計算公式為
(1) 基于計算機視覺的振動測試方法通過相機、計算機和安置于拉索表面的人工標靶即可完成振動測量,無需接觸拉索,具有非接觸式、快速準確和經(jīng)濟實用的優(yōu)點。
(2) 通過視覺測振方法對實驗室鋼絞線進行振動試驗,并與加速度計進行對比,試驗結(jié)果表明:視覺測振方法與加速度計方法均能識別出拉索的前三階自振頻率,兩種方法所識別出的各階頻率的最大相對誤差為-0.12%,驗證了研究方法的準確性和可行性。
(3) 采用KCF和CN這兩種經(jīng)典核相關(guān)濾波跟蹤算法對拉索振動視頻進行分析,能夠快速計算出跟蹤結(jié)果,且頻域峰值結(jié)果基本一致。但是采用FHOG特征的KCF算法會造成目標時域位移信息的丟失,當拉索振動幅度較小時,不建議使用KCF算法。