摘 "要： 風能是一種重要的可再生資源，因此對風力發(fā)電機組進行損傷檢測具有重要意義。由于葉片圖像的清晰度對損傷檢測有很大影響，因此需要通過自動調(diào)焦步驟獲得清晰的圖像。不停機風力發(fā)電機葉片追蹤圖像中葉片的位置和尺寸改變，無法準確評估圖像清晰度。因此，通過聚焦搜索策略無法實現(xiàn)自動聚焦步驟。文中提出一種基于改進的清晰度評價方法的自動調(diào)焦系統(tǒng)。通過基于面積補償系數(shù)的方法補償清晰度評價，并進行仿真實驗和風力發(fā)電機模型實驗。葉片目標變化對清晰度評價的影響從0.218降至0.030，葉片目標變化對清晰度的影響大大降低。在改進的清晰度評價方法的基礎上，采用爬山法的搜索策略實現(xiàn)自動調(diào)焦步驟，同時，由于需要考慮算法程序?qū)τ诓煌C風力發(fā)電機的實時性，計算了自動調(diào)焦步驟的消耗時間，通過降低圖像分辨率和調(diào)用NumPy庫，將耗時從13.79 s減小到0.1 s以下。最后，實現(xiàn)了不停機風力發(fā)電機葉片追蹤圖像的自動調(diào)焦步驟，為提高自動調(diào)焦技術的性能提供了借鑒。

關鍵詞： 風力發(fā)電機； 自動調(diào)焦； 葉片變化； 清晰度評價； 調(diào)焦搜索； 損傷檢測

中圖分類號： TN911?34 " " " " " " " " " " " " " 文獻標識碼： A " " " " " " " " " " " "文章編號： 1004?373X（2024）21?0139?10

Improved auto?focusing system for non?stop wind turbine blade

TIAN Hang， CHEN Guo， ZHAO Hui， TAO Wei， Lü Na

（School of Sensing Science and Engineering， School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China）

Abstract： Wind energy is an important renewable resource， so the damage detection of wind turbines is of great significance. Since the definition of the blade image has a great influence on damage detection， it is necessary to obtain clear images by the step of auto?focusing. The blade position and size of the blade in the blade tracking image of the non?stop wind turbine are changing， so it is difficult to evaluate the image definition accurately. As a result， the step of auto?focusing cannot be realized by focusing search strategy. In this paper， an auto?focusing system based on the improved definition evaluation method is proposed. The definition evaluation is compensated by the method based on the area compensation coefficient. The simulation experiments and wind turbine model experiments are carried out. The experimental results show that the influence of the change of blade （the object） on definition evaluation decreases from 0.218 to 0.030. It can be seen that the effect from change of blade （the object） on definition is reduced greatly. Then， based on the improved definition evaluation method， the search strategy of mountain climbing method is used to realize the step of auto?focusing. It is necessary to take into account the real?time performance of the algorithm program for the non?stop wind turbine， so the consuming time of the step of auto?focusing is calculated， and the consuming time is reduced from 13.79 s to less than 0.1 s by reducing the image resolution and calling NumPy library. Finally， the step of auto?focusing for the blade tracking image of the non?stop wind turbine is realized. To sum up， it provides a reference for improving the auto?focusing technology.

Keywords： wind turbine; auto?focusing; change of blade; definition evaluation; focus search; damage detecting

0 "引 "言

風能在許多國家的能源結(jié)構(gòu)中占很大比例，風能產(chǎn)業(yè)是幫助世界找到擺脫當前能源危機的可行途徑的關鍵資源。風機在使用過程中，不可避免地會發(fā)生損壞，包括葉片表面裂紋、雷擊和腐蝕等。放置不顧葉片損傷將導致嚴重后果，因此有必要對葉片損傷進行早期檢測和預警?，F(xiàn)有的研究大多是在風力發(fā)電機停機狀態(tài)下進行的。為了降低甚至消除停機狀態(tài)下葉片損傷檢測的成本，有必要實現(xiàn)風力發(fā)電機運行狀態(tài)下的損傷檢測。

在風力發(fā)電機運行狀態(tài)下，通過葉片追蹤可以獲得葉片目標圖像。但是，此時獲得的圖像可能不是最高清晰度的圖像，因此無法準確識別葉片表面的損傷。為了準確識別葉片表面損傷，有必要對追蹤葉片目標圖像的清晰度進行評估，并利用焦點搜索方法實現(xiàn)自動調(diào)焦系統(tǒng)。

自動調(diào)焦系統(tǒng)包含圖像清晰度評價和調(diào)焦搜索方法兩部分。

圖像清晰度評價是視覺圖像質(zhì)量測量的核心，對視覺圖像清晰度評價的研究是實現(xiàn)視覺檢測的關鍵技術之一[1?3]。大多數(shù)清晰度評價方法[4]都是基于空間域的，基于空間域的清晰度方法主要是通過圖像灰度和邊緣信息對圖像進行評價[5?6]。大多數(shù)基于頻域的方法使用變換方法[7]，如傅里葉變換和小波變換，計算圖像的頻域特征來表示圖像的清晰度評價[8]?；趯W習的方法從機器學習發(fā)展到深度學習。此外，學者們還研究開發(fā)了幾種方法相結(jié)合的方法[9]。為了提高自動調(diào)焦技術的性能，近年來人們研究了各種改進的圖像清晰度評價函數(shù)。文獻[10]在模糊濾波的基礎上，計算了相鄰像素在垂直和水平方向上的灰度差絕對值之和，并將兩者的最大值作為圖像清晰度評價指標，取得了較好的效果。文獻[11]提出了基于四鄰域多向兩階段梯度函數(shù)的自動調(diào)焦函數(shù)和基于感興趣區(qū)域融合卷積神經(jīng)網(wǎng)絡智能窗口的瞳孔定位函數(shù)。文獻[12]結(jié)合Brenner函數(shù)和Roberts函數(shù)，提高了微納結(jié)構(gòu)邊緣取向分辨函數(shù)的穩(wěn)定性和靈敏度。文獻[13]采用Tenengrad梯度函數(shù)分兩步搜索焦點位置，可有效提高三軸視覺測量系統(tǒng)的聚焦效率和精度。調(diào)焦搜索方法也很重要，常用的調(diào)焦搜索方法[14]包括函數(shù)逼近法、斐波那契法和爬山法，在實際應用中結(jié)合圖像清晰度評價實現(xiàn)自動調(diào)焦。此外，通過結(jié)合Sobel算子圖像清晰度評價的變步長兩階段快速搜索方法，最終實現(xiàn)了精度高、實時性好的自動調(diào)焦方法[15]。

對于運行中的風力發(fā)電機，通過葉片追蹤方法可以獲得風力發(fā)電機的局部葉片圖像，但是，當前追蹤圖像和下一追蹤圖像中的葉片目標發(fā)生了變化，包括葉片目標位置和面積的變化。當葉片目標在圖像序列中發(fā)生變化時，會對清晰度評價產(chǎn)生很大的影響，背景中白云的存在也會對清晰度評價產(chǎn)生干擾?，F(xiàn)有方法的精度和魯棒性都得到了很大的提高，但在目標物體變化時的清晰度評價方法存在一定的不足，清晰度評價的結(jié)果容易受到目標對象變化的影響，并且清晰度評價會隨著目標對象的變化而變化，圖像清晰度評價沒有統(tǒng)一的標準。

本文提出了一種改進的清晰度評價方法，以減少同一目標運動引起目標變化時對圖像清晰度的影響。然后采用調(diào)焦搜索法分析了自動調(diào)焦過程中所花費的時間。最后，實現(xiàn)了自動調(diào)焦步驟，得到了在目標變化時最清晰的葉片圖像。

1 "清晰度評價方法與實驗

1.1 "三種經(jīng)典的清晰度評價方法

本文介紹了三種經(jīng)典的清晰度評價方法，包括方差法、Brenner法和Laplace法。

1） 方差法

采用方差法實現(xiàn)圖像清晰度的評價，方差法的計算公式如下：

[Fvariance=1m×nf（x，y）-u2] （1）

式中：[m]和[n]表示圖像的尺寸；[f（x，y）]表示圖像中點處的灰度值；[u]表示圖像灰度的均值。[u]的計算公式如下：

[u=1m×nf（x，y）] （2）

當圖像中的物體發(fā)生變化時，圖像中對應位置的點或區(qū)域的像素灰度值也會發(fā)生變化。當整個圖像的灰度均值和方差發(fā)生變化時，方差法計算的清晰度評價值也隨之發(fā)生變化。

2） Brenner法

采用Brenner法計算圖像清晰度評價的公式如下：

[FBrenner=1m×nf（x+2，y）-f（x，y）2] （3）

式中：[f（x，y）]和[f（x+2，y）]分別表示圖像中點[（x，y）]和點[（x+2，y）]處的灰度值。Brenner方法通過計算[f（x，y）]相距2個像素位置處的差值，最終得到圖像清晰度的評價值。

3） Laplace法

采用Laplace法計算圖像清晰度評價的公式如下：

[FLaplace=1m×n4f（x，y）-f（x，y+1）-f（x，y-1）- " " " " " " " " " " f（x+1，y）-f（x-1，y）2 " " " " " " " " （4）]

式中[f（x，y）]表示圖像中點[（x，y）]的灰度值。Laplace方法通過計算[f（x，y）]及其周圍4個像素點的灰度值的差值，最終得到圖像清晰度的評價值。

本文采用方差進行清晰度評價，在方差法的基礎上進行補償?shù)玫礁倪M的清晰度評價方法。

1.2 "改進的清晰度評價方法

1.2.1 "清晰度評價方法的局限性

在葉片的清晰度評價過程中，圖像中的背景會影響清晰度評價，圖像中葉片目標的變化會導致葉片目標位置、葉片目標大小等的變化，位置和大小也影響清晰度的評價。

1） 風力發(fā)電機的葉片背景干擾

圖1為包含葉片目標和背景的風電葉片圖像。背景包括藍天、白云等，白云與葉片目標灰度接近，使用圖像灰度方法進行清晰度評價時，白云會對計算葉片目標清晰度的評價造成干擾。

2） 風力發(fā)電機葉片位置的影響

圖2為風力發(fā)電機運行中葉片位于不同位置時的圖像。葉片運行時，葉片目標在多次追蹤的圖像中位置不同，圖像中葉片目標的位置改變對圖像清晰度評價有影響。如圖2所示，當葉片目標在圖像中處于不同位置時，在葉片目標旋轉(zhuǎn)后，葉片高度、水平等的變化會導致與檢測裝置的距離發(fā)生變化，造成葉片目標與檢測裝置在三維空間中的距離發(fā)生變化，從而影響圖像清晰度評價。

3） 風力發(fā)電機葉片面積的影響

圖3為風力發(fā)電機運行中不同面積大小葉片目標的圖像。當風力發(fā)電機葉片運行時，在多次追蹤的圖像中，葉片目標面積是不同的，這對圖像清晰度評價有影響。對于方差法，圖像中葉片目標區(qū)域的變化導致目標區(qū)域灰度值的變化，從而造成圖像的平均灰度值和對應區(qū)域的灰度值方差的變化，最后，影響方差法的清晰度評價結(jié)果。

1.2.2 "改進的清晰度評價方法

針對之前提出的圖像清晰度評價的局限性，提出解決的方法。

1） 針對圖像中背景的影響干擾

對于圖像中的背景，采用差分和圖像分割的方法獲取葉片目標的區(qū)域。

將葉片目標圖像與背景圖像進行差分后，在差分圖像中消除背景中白云的干擾，然后通過閾值分割得到目標連通域，即葉片目標的區(qū)域。

2） 針對葉片目標位置的影響

對于圖像中葉片位置的變化影響清晰度評價，根據(jù)葉片目標位置計算位置補償系數(shù)。

當葉片目標位于圖像中不同位置時，清晰度評價值不同。利用葉片目標的位置補償系數(shù)獲得葉片目標在圖像中心位置的清晰度評價值。

3） 針對葉片目標面積的影響

由于圖像中葉片目標面積的變化影響清晰度評價，根據(jù)葉片目標面積計算面積補償系數(shù)，實現(xiàn)對清晰度評價的補償。

當葉片目標面積發(fā)生變化時，對方差法計算的清晰度評價有較大影響。通過對葉片目標面積的計算，實現(xiàn)基于目標面積的補償系數(shù)對清晰度評價的補償。

4） 方差法的清晰度評價值與葉片目標改變之間的關系

葉片目標的變化包括葉片目標位置和面積大小的變化等。對于葉片目標位置的變化，可以從葉片目標的不同位置計算位置補償系數(shù)，最后補償為葉片目標位于圖像中心時的清晰度評價。本文主要采用方差法考慮葉片目標面積變化與清晰度評價之間的關系，從葉片目標面積計算面積補償系數(shù)，得到補償后的圖像清晰度評價。

針對葉片目標面積改變與方差法計算圖像清晰度評價的關系，分析如下。

圖4為包括目標和背景的圖像。其中，圖像中目標的灰度均為[u1]，背景的灰度均為[u2]。背景部分占圖像總面積的比例為[k1]，目標部分占圖像總面積的比例為[k2]，并且[k1+k2=1]。

圖像灰度均值的計算公式如下：

[u=k1u1+k2u2=（1-k2）u1+k2u2] （5）

圖像灰度方差的公式如下：

[σ2=k1（u1-u）2+k2（u2-u）2] （6）

整理式（5）、式（6）之后的公式如下：

[σ2=（1-k2）k2C] （7）

式中，[C=（u1-u2）2]，是一個與目標灰度均值與背景灰度均值相關的常值。所以，表示方差[σ2]與目標面積的比例[k2]存在公式（7）的函數(shù)關系。

補償葉片目標面積之后的清晰度評價公式如下：

[Fcompensated=Fvariance*kcompensated=1m×nf（x，y）-u2*kcompensated] （8）

式中[kcompensated=1k2（1-k2）]是面積補償系數(shù)。通過補償系數(shù)[kcompensated]來減小目標面積對圖像清晰度評價的影響，最終得到補償之后的清晰度評價結(jié)果。

1.3 "清晰度評價實驗

本節(jié)介紹了圖像清晰度評價實驗，包括：采用方差法、Brenner法和Laplace法對同一葉片目標進行的清晰度評價實驗；變換葉片目標圖像清晰度評價改進的圖像清晰度評價實驗；改進了不同焦點下的圖像清晰度評價實驗。

實驗包括仿真實驗和風力發(fā)電機葉片模型實驗。通過Matlab軟件實現(xiàn)了仿真實驗。在圖5中，風力發(fā)電機模型實驗使用風電葉片模型和檢測裝置。檢測裝置包括鏡頭、相機、云臺等。檢測裝置與風力發(fā)電機葉片模型之間的長度為1 m。

相機為大恒水星系列，1 220萬像素，幀率為9 f/s，在分辨率降低的情況下可以提高幀率，最大幀率為14 f/s，實驗中，相機增益為24 dB，曝光時間為10 ms。鏡頭支持電動聚焦、變焦和可調(diào)光圈，焦距范圍為10～200 mm，實驗中，將光圈調(diào)節(jié)到最大，調(diào)整變焦和聚焦，得到風電模型的圖像。

云臺支持水平和垂直方向的旋轉(zhuǎn)，實驗中，可以改變檢測裝置的水平方向和垂直方向。轉(zhuǎn)速檢測時，轉(zhuǎn)動機頭使檢測裝置面向風電葉片模型，垂直角度分別調(diào)整為0°、30°和45°。

圖6為上位機界面，包括參數(shù)部分和自動調(diào)焦部分。經(jīng)過葉片追蹤步驟，得到位于葉片目標中心附近的圖像。為了獲得具有最高清晰度評價的圖像，自動調(diào)焦部分在啟動調(diào)焦步驟后，調(diào)整控制鏡頭的焦距來實現(xiàn)自動調(diào)焦步驟。

實驗部分包括仿真實驗與風電模型實驗兩部分。仿真實驗中，使用了Matlab軟件，針對目標位置與目標面積改變兩種情況，進行了實驗并得到實驗結(jié)果。風電模型實驗中，采用檢測裝置采集風電模型的圖像，并使用方差法和改進后的方差法進行清晰度評價，驗證改進后清晰度評價方法的有效性。

1.3.1 "仿真實驗

使用Matlab軟件進行仿真實驗。仿真實驗中，分別得到如圖7a）和圖8a）所示的目標位置與目標面積改變的圖像序列，并采用方差法的清晰度評價方法，得到相應的清晰度評價曲線分別如圖7b）和圖8b）所示。

圖7a）和圖8a）分別為目標位置與目標面積改變的圖像序列，目標為灰色，背景為白色。圖7a）中，目標的面積不變，目標位置改變，目標位于圖像中9個不同的位置。圖8a）中，目標位置基本不變，目標面積改變，每次目標面積增加整個圖像的[116]。

圖7b）和圖8b）的圖像清晰度曲線中，橫坐標為第[n]張圖像，縱坐標為歸一化后的清晰度。圖7b）中，歸一化的清晰度評價的改變張度小于0.007，所以目標位置對圖像清晰度評價的影響很小。圖8b）中，歸一化的清晰度評價的改變范圍是0～1，所以目標面積對圖像清晰度的影響很大。

由仿真實驗結(jié)果得到，目標位置對圖像清晰度評價影響很小，目標面積對圖像清晰度的影響很大。

1.3.2 "改進方法前后的風電葉片模型實驗

對于風電葉片模型，通過采集不同焦點下的圖像得到圖像序列。

表1中采集三組圖像序列，三組圖像序列中葉片目標的面積不同。在圖像序列中，從第1張圖像到第5張圖像，葉片目標的清晰度評價升高；從第5張圖像到第8張圖像，葉片目標的清晰度評價降低。

對三組圖像序列進行清晰度評價，得到如圖9所示的清晰度評價曲線。其中，圖9a）為補償前的清晰度評價曲線，圖9b）為補償后的清晰度評價曲線。

在圖9a）中，三組圖像的清晰度評價曲線均顯示第五組圖像清晰度最高，但在同一焦點下，不同葉片目標區(qū)域的清晰度評價存在一定差異。計算相同焦點下不同目標清晰度評價的最大差值，最終差值的平均值為0.218。在圖9b）補償后的清晰度評價曲線中，不同葉片目標的清晰度差異小于補償前，計算差值的平均值為0.030。雖然在第一組和第二組的清晰度評價曲線中，第六張圖像的清晰度評價與第五張圖像的清晰度評價接近，但通過計算不同葉片目標的圖像清晰度評價的平均值，可以獲得最高清晰度的圖像。

風電葉片模型實驗結(jié)果中，經(jīng)過面積補償后的改進的清晰度評價方法不同葉片目標的圖像清晰度評價差距明顯減小，所以通過補償后的清晰度評價可以減小葉片目標變化對清晰度評價的影響。

1.4 "不同焦點圖像中的葉片損傷

風力發(fā)電機在使用過程中葉片表面會產(chǎn)生很多損傷，包括葉片表面裂紋、磨損、雷電焦痕等。因此，在風力發(fā)電機模型中設計了不同寬度的線段標記作為損傷。較窄的線段代表不同寬度的裂紋損傷，最寬的線段代表磨損或雷擊焦痕等損傷。在獲得不同焦點下的葉片損傷圖像后，計算改進方法的清晰度評價，在此基礎上，建立清晰度評價與葉片損傷之間的關系。

圖10顯示不同寬度的線段標志。線段寬度是1磅、2磅、4磅、8磅、16磅。因此，線寬的比例為1∶2∶4∶8∶16。最寬的線段標志表示葉片磨損損傷，其他較窄的線段標志表示葉片裂紋損傷。

圖11為風力發(fā)電機模型葉片損傷情況。由于葉片磨損主要存在于葉尖，因此在同一葉片上添加標志，且線標最寬的位置在葉尖。將較窄的線段作為葉片的裂紋損傷，線段分布在葉片根部和葉片中部之間。

在不同焦點下得到不同清晰度評價的圖像，圖像中存在不同的損傷。

圖12為不同焦點下葉片損傷圖像。在圖12a）～圖12f）中，損傷數(shù)分別為5、4、3、2、2、0。同時，葉片損傷區(qū)域和邊緣變得模糊。如圖12所示，葉片目標位置尺寸發(fā)生了變化。此時，采用改進的清晰度評價方法，圖12a）～圖12f）的清晰度評價分別為412.5、254.5、229.7、144.2、76.3、63.8，清晰度評價不斷降低。

因此，采用改進的清晰度評價方法，當清晰度評價值最高時，葉片損傷最清晰、數(shù)量最多。

采用改進的清晰度評價方法，對不同焦點下的圖像進行相應的清晰度評價。結(jié)果表明，不同清晰度評價的圖像對應的葉片損傷程度不同。當清晰度評價值最高時，可以識別出最多的損傷。所以，通過風力發(fā)電機模型實驗，當獲得清晰度評價最高的葉片目標圖像時，有利于后續(xù)的葉片損傷識別。

2 "調(diào)焦搜索方法與實驗

2.1 "調(diào)焦搜索方法

搜索策略是基于圖像處理的自動調(diào)焦過程中的一項關鍵技術。調(diào)焦搜索策略應當合理，盡量避免重復搜索或搜索失敗，目前常見的幾種方法包括：函數(shù)逼近法、斐波那契搜索法以及爬山法。

1） 函數(shù)逼近法

采集不同位置的評價函數(shù)值，由二階或三階函數(shù)進行曲線擬合實現(xiàn)逼近評價曲線。自動調(diào)焦過程中，通過求取擬合曲線的極值點實現(xiàn)自動調(diào)焦。

函數(shù)逼近法的特點：曲線局部波動影響極值的搜索，可能出現(xiàn)增加調(diào)焦時間以及誤調(diào)焦的現(xiàn)象；當某個或某部分數(shù)據(jù)出現(xiàn)較大誤差時，會導致曲線擬合的結(jié)果產(chǎn)生較大誤差，極大地影響調(diào)焦結(jié)果，可靠性不強。

2） 斐波那契搜索法

搜索區(qū)間為[[a0，b0]]，由斐波那契數(shù)減小區(qū)間長度，最終得到評價曲線極值對應的區(qū)間，從而實現(xiàn)自動調(diào)焦。

該方法的優(yōu)點是：不確定區(qū)間可預測，采樣的實驗點是有限的且收斂性比較好；不足之處：當評價曲線出現(xiàn)大量局部極大值時，容易無法跳脫局部極大值的區(qū)域?qū)е抡`調(diào)焦。

3） 爬山法

通過評價曲線的走勢，在最佳聚焦位置到達峰值，遠離時評價函數(shù)減小。

爬山法的特點：由實際需要調(diào)整搜索步長，通常第一次進行大范圍搜索確定目標范圍，第二次搜索時，范圍較小以便目標定位。

函數(shù)逼近法與斐波那契搜索法易受局部極大值的影響，爬山法可以采用調(diào)整搜索步長的方式減小局部極大值的影響，本文采用的調(diào)焦搜索策略為爬山法。

2.2 "自動調(diào)焦實驗

自動調(diào)焦包括清晰度評價方法與調(diào)焦搜索策略兩部分。完成葉片追蹤步驟后，獲取圖像中葉片目標發(fā)生的改變，本文通過基于面積補償系數(shù)的方法實現(xiàn)圖像清晰度評價，減小了目標改變對清晰度評價的影響，之后，基于改進的清晰度評價方法使用爬山法實現(xiàn)調(diào)焦搜索，并實現(xiàn)自動調(diào)焦。

在檢測過程中，葉片旋轉(zhuǎn)周期為1.5 s，經(jīng)過葉片追蹤步驟后，獲取了自動調(diào)焦過程的視頻結(jié)果，并且檢測過程中一直在執(zhí)行葉片追蹤步驟，自動調(diào)焦步驟在完成調(diào)焦后結(jié)束。其中，圖13為自動調(diào)焦在視頻中第4 s時的結(jié)果，圖14為自動調(diào)焦在視頻中第12 s時的結(jié)果。

圖13與圖14中的葉片圖像存在差別：葉片目標面積與位置發(fā)生改變；葉片圖像的清晰度發(fā)生改變，圖14中葉片圖像清晰度更高。

圖15為自動調(diào)焦過程中的清晰度評價曲線，記錄第4 s、第7 s、第10 s、第12 s和第13.5 s時的清晰度評價結(jié)果，繪制清晰度評價曲線。從第4 s～第12 s，清晰度評價逐漸升高；第12 s～第13.5 s，清晰度評價降低；第12 s時清晰度評價最高，此時的圖像也最清晰。

自動調(diào)焦實驗結(jié)果中，葉片目標發(fā)生改變，通過改進的清晰度評價方法與爬山法搜索策略，最終獲取到清晰度評價最高的葉片圖像，此時圖像也最清晰，實現(xiàn)了自動調(diào)焦。

3 "自動調(diào)焦系統(tǒng)的耗時

3.1 "計算耗時的原因與降低耗時的方法

本文建立一套不停機的風力發(fā)電機葉片損傷檢測系統(tǒng)，需要考慮采集圖像與處理的實時性。在風力發(fā)電機運行過程中，葉片追蹤步驟持續(xù)被調(diào)用來進行葉片目標追蹤，自動調(diào)焦步驟則需要對每次追蹤到的葉片圖像進行清晰度評價與調(diào)焦搜索控制，自動調(diào)焦步驟需要在兩次葉片追蹤到的圖像之間完成，因此考慮自動調(diào)焦部分的耗時是一個重要的步驟。

使用筆記本電腦計算耗時，系統(tǒng)為Windows 10，CPU為R7?5800H，顯卡為RTX3050，Python版本為3.10。當圖像分辨率為3 000×2 200時，使用累加方法計算清晰度評價，經(jīng)過灰度化與方差法后程序耗時為13.79 s，耗時太長不能應用在實際的自動調(diào)焦過程中。

因此尋找降低調(diào)焦部分耗時的方法。采用降低圖像分辨率和調(diào)用Python的科學計算庫——NumPy（Numerical Python）來降低程序耗時。

1） 降低圖像分辨率。通過降低圖像分辨率來降低程序運行耗時。但是，降低分辨率后是否會影響圖像清晰度評價，降低分辨率對圖像均值與方差等影響較小，對于圖像細節(jié)影響也較小。不同分辨率下，對不同焦點下的圖像進行清晰度評價實驗。

圖16為不同分辨率下的圖像序列。將分辨率為3 000×2 200的圖像序列降低分辨率，得到分辨率為300×220的圖像序列。從圖像序列中可以看出，分辨率對清晰度評價較小。采用方差法進行清晰度評價。

圖17為不同分辨率下的清晰度評價曲線。清晰度評價曲線中，在分辨率分別為300×220與3 000×2 200下均得到第5張圖像清晰度評價最高，不同分辨率下清晰度評價的變化趨勢一致。所以，不同分辨率的圖像對清晰度評價的影響較小。

2） 調(diào)用Python的科學計算庫——NumPy。NumPy是一個開源的Python庫，是用于科學計算的基礎庫之一，提供了高性能的多維數(shù)組對象和處理數(shù)組的函數(shù)。

3.2 "耗時結(jié)果

分辨率分別為3 000×2 200與300×220時，計算單張圖像的清晰度評價耗時。表2為分辨率為3 000×2 200時的清晰度評價耗時，由表中數(shù)據(jù)可知，調(diào)用NumPy庫后單張圖像耗時明顯減小。

表3為分辨率為300×220的耗時結(jié)果。與分辨率為3 000×2 200類似，在調(diào)用NumPy庫之后，耗時明顯減小。

當分辨率由3 000×2 200到300×220變化時，單張圖像的耗時明顯減小，同時在調(diào)用NumPy庫后也降低了程序耗時。

本節(jié)計算了圖像清晰度評價時的耗時，同時采用降低圖像分辨率與調(diào)用NumPy庫的方法實現(xiàn)了降低程序耗時的目的。調(diào)焦搜索策略的耗時主要在控制鏡頭電機中，額外耗時包括通過設置的電機運行時間控制鏡頭焦點移動步距的耗時等，額外耗時影響較小。

4 "結(jié) "論

對于運行中的風力發(fā)電機，通過葉片追蹤方法可以獲得風力發(fā)電機局部葉片的圖像，但葉片目標在當前追蹤圖像和下一次追蹤圖像之間發(fā)生變化，包括葉片目標位置和尺寸等的變化。當葉片目標在圖像中發(fā)生變化時，會對清晰度評價產(chǎn)生很大的影響。

本文提出了一種自動調(diào)焦方法，包括改進的清晰度評價方法和爬山搜索方法兩部分。針對圖像中目標發(fā)生變化時，本文提出一種改進的清晰度評價方法。首先，在方差法計算清晰度評價的基礎上，加入葉片目標區(qū)域面積補償系數(shù)，得到補償后的清晰度評價；然后，進行了仿真實驗和風力發(fā)電機葉片模型實驗，結(jié)果表明，目標變化時對清晰度評價的影響很大，為0.218，改進后的方法對清晰度評價的影響明顯減小，為0.030。本文在改進的清晰度評價方法的基礎上，采用爬山搜索方法實現(xiàn)自動調(diào)焦步驟。本文分析了自動調(diào)焦步驟的耗時，針對不停機風電機組需要考慮檢測系統(tǒng)的實時性，因此分析了自動調(diào)焦步驟的耗時，并考慮了降低耗時的方法，結(jié)果中耗時明顯降低，控制在0.1 s以內(nèi)。最后，在圖像中葉片目標發(fā)生改變時，得到了清晰度評價最高的葉片圖像，同時也是最清晰的葉片圖像，實現(xiàn)了自動調(diào)焦。

當外界光照發(fā)生變化，圖像整體亮度發(fā)生變化時，也會對清晰度評價產(chǎn)生很大的影響，可利用現(xiàn)有圖像目標的亮度標定方法對其進行改進。同時，可結(jié)合多種方法對改進后的圖像清晰度進行評價。在清晰度評價方法的基礎上，找到合適的搜索策略，快速準確地找到評價最高的圖像。

注：本文通訊作者為趙輝、呂娜。

參考文獻

[1] KE F， LIU H， ZHAO D， et al. A high precision image registration method for measurement based on the stereo camera system [J]. Optik， 2020， 204： 164186.

[2] LIU T J， LIU H H， PEI S C， et al. A high?definition diversity?scene database for image quality assessment [J]. IEEE access， 2018， 6： 45427?45438.

[3] VARGA D. No?reference image quality assessment with convolutional neural networks and decision fusion [J]. Applied sciences， 2022， 12（1）： 101.

[4] ZHAI G， MIN X. Perceptual image quality assessment： A survey [J]. Science China information sciences， 2020， 63（11）： 1?52.

[5] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE transactions on image processing， 2012， 21（12）： 4695?4708.

[6] LI Q H， LIN W S， FANG Y M. No?reference quality assessment for multiply?distorted images in gradient domain [J]. IEEE signal processing letters， 2016， 23（4）： 541?545.

[7] BOVIK A C， LIU S Z. DCT?domain blind measurement of blocking artifacts in DCT?coded images [C]// 2001 IEEE International Conference on Acoustics， Speech， and Signal Processing. New York： IEEE， 2001： 1725?1728.

[8] HOU W L， GAO X B， TAO D C， et al. Blind image quality assessment via deep learning [J]. IEEE transactions on neural networks and learning systems， 2015， 26（6）： 1275?1286.

[9] ZHU M Q， YU L J， WANG Z B， et al. Review： A survey on objective evaluation of image sharpness [J]. Applied sciences， 2023， 13（4）： 2652.

[10] BAHY R M. Autofocus microscope system based on blur measurement approach [J]. Journal of physics： Conference series， 2021， 1721（1）： 012058.

[11] 汪路涵，鞏巖，張艷微，等.人眼自動對焦及瞳孔中心自動對準系統(tǒng)[J].光學學報，2023，43（5）：118?126.

[12] 熊銳，顧乃庭，徐洪艷.一種適應多方向灰度梯度變化的自動對焦評價函數(shù)[J].激光與光電子學進展，2022，59（4）：373?380.

[13] 周鵬，胡成海，畢超，等.三軸視覺測量系統(tǒng)自動對焦技術[J].紅外與激光工程，2021，50（12）：443?450.

[14] 尤玉虎，劉通，劉佳文.基于圖像處理的自動對焦技術綜述[J].激光與紅外，2013，43（2）：132?136.

[15] 潘宏亮，孫金霞，韓希珍.圖像清晰度評價與變步長融合調(diào)焦方法[J].紅外與激光工程，2023，52（1）：248?253.

作者簡介：田 "航（1999—），男，河北保定人，碩士研究生，主要從事視覺檢測、圖像處理方面的研究。

陳 "果（2000—），男，江西撫州人，碩士研究生，主要從事焊縫檢測等方面的研究。

趙 "輝（1965—），男，黑龍江哈爾濱人，博士研究生，教授，主要從事新型傳感器、光電與視覺檢測等方面的研究。

陶 "衛(wèi)（1975—），女，遼寧大連人，博士研究生，教授，主要從事光電視覺檢測、生物信息傳感等方面的研究。

呂 "娜（1983—），女，陜西西安人，博士研究生，副研究員，碩士生導師，主要從事視覺檢測、多信息傳感技術等方面的研究。