摘 "要： 傳統(tǒng)的殘差網(wǎng)絡在復原運動目標模糊圖像時，在模糊程度較嚴重的情況下，存在特征提取不充分、噪聲干擾等問題，導致恢復出的圖像無法完全達到原始圖像的清晰度和細節(jié)。對此，提出基于改進殘差網(wǎng)絡的運動目標模糊圖像復原方法。對采集到的運動目標模糊圖像，采用多損失函數(shù)融合方法改進傳統(tǒng)殘差塊結(jié)構(gòu)，構(gòu)建編碼器?解碼器網(wǎng)絡訓練結(jié)構(gòu)，訓練損失函數(shù)，提升網(wǎng)絡的特征學習能力。通過完成訓練的網(wǎng)絡，輸出運動目標模糊圖像復原結(jié)果。實驗結(jié)果表明，該方法復原運動目標模糊圖像的峰值信噪比高于30 dB，結(jié)構(gòu)相似性高于0.9。

關鍵詞： 改進殘差網(wǎng)絡； 運動目標； 多損失函數(shù)融合； 模糊圖像； 編輯器?解碼器網(wǎng)絡； 復原方法

中圖分類號： TN911.73?34； TP391 " " " " " " " "文獻標識碼： A " " " " " " " " " " 文章編號： 1004?373X（2024）15?0086?05

Moving object blurred image restoration method based on improved residual networks

SUN Ling

（Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： When restoring blurred images of the moving objects， the traditional residual networks often suffer from insufficient feature extraction and noise interference in the case of serious blur occurs， so that the restored images fail to fully achieve the sharpness and details of the original images. Therefore， an improved residual network based method for restoring blurred images of moving objects is proposed. For the collected blurred images of moving objects， a multi loss function fusion method is adopted to improve the traditional residual block structure， construct an encoder?decoder network training structure， train the loss function， and enhance the feature learning ability of the networks. By the trained network， the restoration results of blurred images of the moving objects are output. The experimental results show that the peak signal?to?noise ratio （PSNR） of the restored blurred images of the moving objects is higher than 30 dB， and the image structural similarity is higher than 0.9.

Keywords： improved residual network; moving object; multi loss function fusion; blurred image; encoder?decoder network; restoration method

0 "引 "言

運動目標模糊圖像是指在成像過程中由于拍攝目標或相機的運動，導致目標在圖像中的成像不清晰，呈現(xiàn)出模糊的狀態(tài)[1]。這種模糊會導致圖像質(zhì)量下降，使得圖像中的關鍵信息變得難以提取。圖像復原技術(shù)可以有效解決這一問題，通過復原算法顯著提高圖像的清晰度和辨識度，使得圖像中的關鍵信息得以有效提取和利用[2?4]。因此，運動目標模糊圖像復原技術(shù)常被應用于航空航天、醫(yī)學影像、交通監(jiān)控、公共安全等多個領域，為相關應用提供高質(zhì)量的圖像數(shù)據(jù)支持[5?6]。這對于提高工作效率、保障安全、促進科學研究等方面都具有重要意義。

文獻[7]采用多尺度循環(huán)注意力網(wǎng)絡提高模糊圖像復原效果，有助于網(wǎng)絡更好地學習和理解圖像中的復雜模式，提升復原圖像的質(zhì)量和細節(jié)。但是多尺度循環(huán)注意力網(wǎng)絡需要采用適當?shù)恼齽t化策略防止過擬合，否則影響復原結(jié)果的一致性。文獻[8]將多尺度網(wǎng)絡應用于模糊圖像復原中，能夠同時處理不同尺度的圖像信息，從而捕獲更豐富的細節(jié)和特征。但是多尺度網(wǎng)絡處理圖像時，容易受到噪聲干擾的影響，無法準確地提取和整合不同尺度的特征信息，導致復原效果下降。文獻[9]將生成對抗網(wǎng)絡應用于圖像目標復原中，該方法能夠模擬圖像的真實環(huán)境，包括光線衰減、顏色失真等特性，為圖像應用提供數(shù)據(jù)支持。但是該方法與真實場景的數(shù)據(jù)相比，生成的數(shù)據(jù)在紋理細節(jié)、光照條件等方面存在質(zhì)量差異。文獻[10]通過自適應地選擇對任務有用的層間連接，針對圖像中不同類型的模糊進行靈活處理，提高了方法的通用性和自適應性，恢復出了更清晰、細節(jié)豐富的圖像。但是該方法在訓練過程中存在波動和不確定性，影響最終的去模糊效果。

為了解決以上問題，本文提出基于改進殘差網(wǎng)絡的運動目標模糊圖像復原方法，通過多損失函數(shù)融合方法改進傳統(tǒng)殘差塊結(jié)構(gòu)，降低了梯度衰減現(xiàn)象。在此基礎上，利用序列識別網(wǎng)絡結(jié)構(gòu)構(gòu)建編碼器?解碼器殘差網(wǎng)絡訓練結(jié)構(gòu)，提升殘差網(wǎng)絡的特征學習性能，確保了殘差網(wǎng)絡改進后的穩(wěn)定性和收斂性，極大地提升了運動目標模糊圖像的復原效果。

1 "運動目標模糊圖像復原方法

1.1 "運動目標模糊圖像采集

運動目標模糊圖像復原是一個從退化圖像中重構(gòu)出原始圖像的過程，而模糊圖像本身則是這一復原過程的基礎和起點。殘差網(wǎng)絡在處理圖像復原等任務時，要為其提供大量的訓練數(shù)據(jù)。采集運動目標模糊圖像不僅增加了訓練數(shù)據(jù)的多樣性，還有助于提高殘差網(wǎng)絡對模糊圖像的識別和處理能力。

本文采用反向針孔相機模型作為攝像機成像的數(shù)學模型，采集運動目標模糊圖像。利用投影平面和光心平面組成攝像機的圖投影空間[11]，將光心投射至投影平面上的垂直投影點，作為運動目標成像主點。用光心表示攝像機成像模型的坐標原點，設[q]點存在于投影平面上，該點與攝像機光心形成投影光線。投影光線上隨機三維點[O]與[q]點的坐標轉(zhuǎn)換關系表達式如下：

[q～KRtO] （1）

式中：[q]與[O]分別表示旋轉(zhuǎn)矩陣以及平移向量；[K]表示攝像機的內(nèi)部參數(shù)矩陣。

結(jié)合公式（1），[K]的表達式如下：

[K=φλu00?v0001] （2）

式中：[φ]與[?]分別表示鏡頭焦距以及攝像機發(fā)光單元尺寸；[λ]與[u0v0]分別表示變形系數(shù)以及運動目標坐標。這些參數(shù)共同決定了攝像機對圖像的縮放、偏移和畸變等特性。在實際應用中代入?yún)?shù)確定，即可得出利用反向針孔相機模型采集到的運動目標模糊圖像。這種方法不僅提高了圖像采集的準確性，還為后續(xù)的圖像處理和分析提供了堅實的基礎。

1.2 "基于多損失函數(shù)融合方法改進殘差網(wǎng)絡

由于殘差網(wǎng)絡的算法復雜性較高，存在特征提取不充分、噪聲干擾等問題，在模糊程度較嚴重或噪聲干擾較大的情況下，導致恢復出的圖像往往無法完全達到原始圖像的清晰度和細節(jié)[12?13]。對此本文利用多損失函數(shù)融合方法對殘差網(wǎng)絡的殘差塊結(jié)構(gòu)進行改進，提升該網(wǎng)絡復原運動目標模糊圖像時的學習性能。傳統(tǒng)的殘差塊在解決圖像復原問題時存在梯度衰減情況，其由兩個權(quán)重層與ReLU激活函數(shù)組成，具體結(jié)構(gòu)圖如圖1所示。

針對上述問題，本文對殘差塊進行改進，結(jié)構(gòu)圖如圖2所示。

改進的殘差塊由全連接層與三個卷積核為3×3的卷積層組成，與傳統(tǒng)的殘差塊相比，它刪除了跳躍連接塊的批歸一化處理層，這使得整個網(wǎng)絡結(jié)構(gòu)更加簡潔，也減少了計算復雜度。此外，使用3×3的卷積層可以更好地捕捉圖像的局部特征，有效減少了梯度衰減問題，使得模型在訓練過程中更加穩(wěn)定、容易收斂。同時，簡化的網(wǎng)絡結(jié)構(gòu)減少了計算量，可以更有效地區(qū)分運動目標模糊圖像樣本以及生成去模糊化復原圖像，提高了模型的訓練效率。

1.3 "采用改進殘差網(wǎng)絡實現(xiàn)運動目標模糊圖像復原

基于改進的殘差模塊，本文利用序列識別網(wǎng)絡結(jié)構(gòu)構(gòu)建編碼器?解碼器殘差網(wǎng)絡訓練結(jié)構(gòu)，通過訓練殘差網(wǎng)絡思維損失函數(shù)提升網(wǎng)絡的特征學習能力。傳統(tǒng)殘差網(wǎng)絡在訓練過程中，由于網(wǎng)絡層數(shù)增加，梯度在反向傳播時可能會逐漸消失或爆炸，導致深層網(wǎng)絡難以訓練。通過引入改進的殘差模塊，使得梯度能夠直接回傳到較淺的層，有效緩解了梯度消失和爆炸的問題，使得網(wǎng)絡能夠?qū)Ｗ⒂趯W習輸入與輸出之間的殘差部分。這種學習方式有助于網(wǎng)絡更好地捕捉圖像中的細節(jié)和紋理信息，更好地恢復出清晰的目標邊緣和細節(jié)。

本文采用堆疊的小卷積核代替原有的大卷積核，減少了網(wǎng)絡參數(shù)數(shù)量，使其更易于訓練。具體的殘差網(wǎng)絡訓練結(jié)構(gòu)如圖3所示。

圖3所構(gòu)建的網(wǎng)絡結(jié)構(gòu)中，在網(wǎng)絡的編碼器部分，將3個殘差塊設置于卷積層后、解碼器的去卷積層前。網(wǎng)絡的中間部分設置各尺度的殘差塊作為圖像去模糊處理的子問題。將前一個尺度上采樣獲取的圖像去模糊結(jié)果作為下一個尺度網(wǎng)絡的輸入，在該尺度上獲取更清晰的運動目標圖像。各尺度輸出圖像的表達式如下：

[xi，hi=Myi，xi+1，hi+1;γ] （3）

式中：[i]與[M]分別表示殘差塊的尺度編號及多尺度循環(huán)網(wǎng)絡；[yi]與[xi]分別表示尺度[i]下的運動目標模糊圖片以及清晰圖片；[γ]與[hi]分別表示模型訓練參數(shù)以及編碼器的隱藏狀態(tài)特征。

所構(gòu)建網(wǎng)絡復原模糊圖像的運算過程如下：

[fi=MEyi，xi+1;γE] （4）

[hi，gi=ConvLSTMhi+1，fi;γLSTM] （5）

[xi=MDgi;γD] （6）

式中：[ME]與[MD]分別表示編碼器以及解碼器；[γE]與[γD]分別表示編碼器與解碼器的訓練參數(shù)；[gi]表示解碼器的隱藏狀態(tài)特征；[fi]表示映射函數(shù)；[γLSTM]表示ConvLSTM循環(huán)模塊對應的參數(shù)。

在網(wǎng)絡編碼器中結(jié)合1.2節(jié)中改進殘差塊的訓練結(jié)果，改進殘差塊的損失函數(shù)的表達式如下：

[LE=-αMDMEy] （7）

式中[α]表示平衡系數(shù)。

網(wǎng)絡解碼器中，改進的殘差塊的損失函數(shù)表達式如下：

[LD=-αMDx-αMDMEy] （8）

綜合以上公式，獲取運動目標模糊圖像復原的殘差損失表達式如下：

[L=LEMEy+LD1-MDx] （9）

通過訓練殘差網(wǎng)絡損失函數(shù)，最終輸出運動目標模糊圖像復原結(jié)果。

2 "實驗分析

將本文方法應用于某體育院校的籃球運動訓練中。該體育院校為了提升籃球運動的訓練效果，采用圖像傳感器采集運動員的籃球運動圖像，為制定籃球運動訓練計劃提供依據(jù)。由于運動員在籃球運動中運動速度較快，傳感器采集圖像過程中存在大量的模糊圖像，為了更好地確定運動員的運動效果，運動目標模糊圖像的復原效果極為重要。采集運動員運動圖像的傳感器參數(shù)設置如表1所示。

采用該傳感器采集的原始籃球運動模糊圖像如圖4所示。

分析圖4的原始籃球運動模糊圖像，由于運動員的運動速度較快，圖像采集傳感器采集的原始運動圖像較模糊，無法精準分析運動員的投籃動作。

采用本文方法對運動目標模糊圖像復原，復原處理結(jié)果如圖5所示。

由圖5實驗結(jié)果可以看出，本文方法利用改進殘差網(wǎng)絡對運動目標模糊圖像進行復原處理后，圖像的清晰度有了明顯的提升，圖像中的運動目標模糊情況被有效復原。本文方法對運動目標圖像去模糊化處理，處理后的圖像與原始模糊圖像相比，其細節(jié)信息得到更好的恢復，邊緣更加清晰，顏色失真減少。復原處理后的圖像直觀表達了運動員的投籃動作，為進行籃球技術(shù)分析與制定訓練計劃提供了可靠的圖像依據(jù)。

統(tǒng)計采用本文方法對運動目標模糊圖像進行復原后的性能。根據(jù)PSNR指標衡量圖像質(zhì)量，較高的PSNR值表示復原圖像與原始圖像之間的差異較小，即復原效果較優(yōu)。復原前后圖像的峰值信噪比變化統(tǒng)計結(jié)果如圖6所示。

峰值信噪比用于衡量數(shù)字圖像與原始圖像之間的質(zhì)量差異。分析圖6實驗結(jié)果可知，原始圖像質(zhì)量較差。本文方法采用改進的殘差塊進行模糊圖像復原，圖像的峰值信噪比均高于30 dB，明顯高于殘差塊改進前的原始圖像。對比結(jié)果驗證本文方法通過改進殘差網(wǎng)絡，實現(xiàn)了圖像的復原處理，提升了圖像質(zhì)量，為運動目標圖像的實際應用，提供了可靠的基礎。

去模糊化復原的目標是恢復圖像中因運動產(chǎn)生的模糊，使圖像的邊緣和細節(jié)更加清晰。利用結(jié)構(gòu)相似性指數(shù)衡量去模糊化算法對圖像結(jié)構(gòu)信息的恢復能力。統(tǒng)計采用本文方法對運動目標模糊圖像復原前后圖像的結(jié)構(gòu)相似性變化，統(tǒng)計結(jié)果如圖7所示。

較高的結(jié)構(gòu)相似性表示復原處理后的圖像與原始圖像在結(jié)構(gòu)上具有較高的相似性，即去模糊化復原處理后，成功地保留了原始圖像的結(jié)構(gòu)信息。采用本文方法后，圖像的結(jié)構(gòu)相似性均高于0.9。復原后的圖像具有更高的結(jié)構(gòu)相似度，表明運動目標模糊圖像復原結(jié)果與原圖像的接近程度更高，能夠獲取更高質(zhì)量的適用于體育訓練應用中的圖像。

3 "結(jié) "語

本文將改進殘差網(wǎng)絡應用于運動目標模糊圖像復原中，有效提升了網(wǎng)絡對模糊圖像的特征提取能力和噪聲抑制能力。殘差網(wǎng)絡的改進使得網(wǎng)絡能夠自動關注到圖像中的重要特征，忽略了不重要的噪聲干擾。實驗驗證了該方法在復原運動目標模糊圖像方面取得了顯著的效果，復原后的圖像質(zhì)量得到了顯著提升。

參考文獻

[1] 李尋尋，李旭健.基于GAN的自適應殘差密集網(wǎng)絡圖像去模糊方法[J].計算機仿真，2022，39（11）：457?462.

[2] 林椹尠，張夢凱，吳成茂.利用殘差密集網(wǎng)絡的運動模糊復原方法[J].智能系統(tǒng)學報，2021，16（3）：442?448.

[3] 陳輝，王碩，許家昌，等.基于多尺度特征融合生成對抗網(wǎng)絡的水下圖像增強[J].計算機工程與應用，2023，59（21）：231?241.

[4] 陳喬松，隋曉旭，官旸珺，等.基于多尺度殘差生成對抗網(wǎng)絡的單圖像盲去運動模糊方法[J].計算機應用研究，2021，38（3）：919?922.

[5] 聶敏，田波.多尺度殘差注意網(wǎng)絡的真實圖像復原方法[J].重慶郵電大學學報（自然科學版），2022，34（6）：1021?1031.

[6] 方睿，周愉，劉鵬，等.基于多尺度循環(huán)殘差神經(jīng)網(wǎng)絡的圖像去運動模糊[J].計算機工程與設計，2022，43（3）：786?793.

[7] 王向軍，歐陽文森.多尺度循環(huán)注意力網(wǎng)絡運動模糊圖像復原方法[J].紅外與激光工程，2022，51（6）：460?468.

[8] 魏海云，鄭茜穎，俞金玲.基于多尺度網(wǎng)絡的運動模糊圖像復原算法[J].計算機應用，2022，42（9）：2838?2844.

[9] PANETTA K， KEZEBOU L， OLUDARE V. Comprehensive underwater object tracking benchmark dataset and underwater image enhancement with GAN [J]. IEEE journal of oceanic engineering， 2022， 47（1）： 59?75.

[10] 金燕，黃夢佳，姜智偉.基于聚集殘差生成對抗網(wǎng)絡的圖像去模糊[J].計算機輔助設計與圖形學學報，2022，34（1）：84?93.

[11] 李亞超，劉可文，馬圓，等.基于殘差注意力網(wǎng)絡的圖像超分辨率重建方法[J].武漢理工大學學報，2022，44（3）：87?93.

[12] 魏丙財，張立曄，孟曉亮，等.基于深度殘差生成對抗網(wǎng)絡的運動圖像去模糊[J].液晶與顯示，2021，36（12）：1693?1701.

[13] 楊愛萍，李磊磊，張兵，等.基于輕量化漸進式殘差網(wǎng)絡的圖像快速去模糊[J].電子與信息學報，2022，44（5）：1674?1682.