《中國圖象圖形學(xué)報》圖像融合?？喗?/h1>
2023-03-09 13:52:22李樹濤吳小俊馬佳義白相志劉羽李輝韓向娣
中國圖象圖形學(xué)報 2023年1期
李樹濤，吳小俊，馬佳義，白相志，劉羽，李輝，韓向娣
1.湖南大學(xué)，長沙 410082；2.江南大學(xué)，無錫 214122；3.武漢大學(xué)，武漢 430072；4.北京航空航天大學(xué)，北京 102206；5.合肥工業(yè)大學(xué),合肥 230009；6.《中國圖象圖形學(xué)報》編輯部, 北京 100190
圖像融合技術(shù)旨在提取和整合多源圖像中的互補(bǔ)信息，以生成具有完整場景表達(dá)能力的融合圖像，從而提升決策系統(tǒng)在目標(biāo)檢測、場景解析等高層視覺任務(wù)上的準(zhǔn)確性及可靠性，在醫(yī)學(xué)、安防、遙感、數(shù)碼攝影等安全和民用領(lǐng)域具有廣泛的應(yīng)用前景。
典型的圖像融合任務(wù)包括多模態(tài)醫(yī)學(xué)圖像融合、紅外與可見光圖像融合、多聚焦圖像融合、多曝光圖像融合、高光譜/多光譜/全色圖像融合及超分等。然而，多源圖像融合目前仍然面臨多方面挑戰(zhàn)，包括對信息源的不同理解定義、對后端任務(wù)有益信息的定義、信息分解的方式、互補(bǔ)和冗余信息的區(qū)分、有效融合規(guī)則的設(shè)計、多源圖像的配準(zhǔn)、融合圖像的質(zhì)量評估等。近年來，人工智能和高性能計算快速發(fā)展，大規(guī)模多媒體數(shù)據(jù)的智能應(yīng)用需求日趨廣泛，多媒體數(shù)據(jù)的融合、轉(zhuǎn)換、理解、搜索、推理與推薦等方向的新問題也不斷涌現(xiàn)，推動了多媒體智能處理與分析技術(shù)的迅速發(fā)展，在學(xué)術(shù)界和產(chǎn)業(yè)界均引起極大關(guān)注。
為深入探討和研究上述問題，展示我國學(xué)者在圖像融合技術(shù)方面的重要進(jìn)展，《中國圖象圖形學(xué)報》邀請業(yè)內(nèi)專家共同策劃推出“圖像融合”?？珍浽摲较蚓哂袆?chuàng)新性、突破性的研究成果。以期為相關(guān)領(lǐng)域的研究人員提供參考。
?？盏筋I(lǐng)域內(nèi)相關(guān)學(xué)者積極踴躍的投稿。經(jīng)過嚴(yán)格評審，“圖像融合”?？彩珍泴W(xué)術(shù)論文20篇，包括“綜述”6篇、“紅外與可見光圖像融合”6篇、“醫(yī)學(xué)圖像處理”4篇、“遙感圖像處理”3篇以及“多模態(tài)信息融合”1篇。
“綜述”欄目中，《基于深度學(xué)習(xí)的圖像融合方法綜述》對不同融合任務(wù)場景下的前沿深度融合算法進(jìn)行全面論述和分析。首先，介紹圖像融合的基本概念以及不同融合場景的定義。針對多模圖像融合、數(shù)字?jǐn)z影圖像融合以及遙感影像融合等不同的融合場景，從網(wǎng)絡(luò)架構(gòu)和監(jiān)督范式等角度全面闡述各類方法的基本思想，并討論各類方法的特點。其次，總結(jié)各類算法的局限性，并給出進(jìn)一步改進(jìn)方向。再次，簡要介紹不同融合場景中常用的數(shù)據(jù)集，并給出各種評估指標(biāo)的具體定義。對于每一種融合任務(wù)，從定性評估、定量評估和運(yùn)行效率等多角度全面比較其中代表性算法的性能。論文提及的算法、數(shù)據(jù)集和評估指標(biāo)已匯總至https://github.com/Linfeng-Tang/Image-Fusion。最后，給出了結(jié)論以及圖像融合研究中存在的一些嚴(yán)峻挑戰(zhàn)，并對未來可能的研究方向進(jìn)行了展望。
《多模態(tài)視覺跟蹤方法綜述》以闡述可見光—紅外跟蹤方法為主，從信息融合的角度將現(xiàn)有方法劃分為結(jié)合式融合和判別式融合，分別進(jìn)行了詳細(xì)介紹和分析，并對不同類方法的優(yōu)缺點進(jìn)行了分析和比較。然后，對其他多模態(tài)視覺跟蹤任務(wù)的研究工作進(jìn)行了介紹，并對不同多模態(tài)視覺跟蹤任務(wù)的優(yōu)缺點進(jìn)行了分析和比較。最后，對多模態(tài)視覺跟蹤方法進(jìn)行了總結(jié)以及對未來發(fā)展進(jìn)行展望。
《遙感圖像全色銳化的卷積神經(jīng)網(wǎng)絡(luò)方法研究進(jìn)展》回顧當(dāng)前遙感圖像全色銳化問題在卷積神經(jīng)網(wǎng)絡(luò)方面的一些進(jìn)展，并針對前述問題發(fā)布相關(guān)數(shù)據(jù)集和代碼編寫框架。1)詳細(xì)介紹7種典型的基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化方法，并在統(tǒng)一數(shù)據(jù)集上進(jìn)行公平比較(包括與典型傳統(tǒng)方法的比較)；2)詳細(xì)介紹訓(xùn)練—測試數(shù)據(jù)集的仿真細(xì)節(jié)，并發(fā)布相關(guān)衛(wèi)星(如WorldView-3，QuickBird，GaoFen2，WorldView-2)的全色銳化訓(xùn)練—測試數(shù)據(jù)集；3)針對本文介紹的7種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，發(fā)布基于Pytorch深度學(xué)習(xí)庫的Python代碼統(tǒng)一編寫框架，便于后來初學(xué)者的入門、開展研究以及公平比較；4)發(fā)布統(tǒng)一的全色銳化傳統(tǒng)—深度學(xué)習(xí)方法MATLAB測試軟件包，便于后來學(xué)者進(jìn)行公平的實驗測試對比；5)對本領(lǐng)域的未來研究方向進(jìn)行討論和展望。相關(guān)數(shù)據(jù)集和代碼詳見：https://liangjiandeng.github.io/PanCollection.html。
《深度學(xué)習(xí)多聚焦圖像融合方法綜述》對基于深度學(xué)習(xí)的多聚焦圖像融合方法進(jìn)行系統(tǒng)綜述，將現(xiàn)有方法分為基于深度分類模型的和基于深度回歸模型的兩大類，對每一類的代表性方法進(jìn)行介紹；然后基于3個多聚焦圖像融合數(shù)據(jù)集和8個常用的客觀質(zhì)量評價指標(biāo)，對25種代表性融合方法進(jìn)行了性能評估和對比分析；最后總結(jié)了該研究方向存在的一些挑戰(zhàn)性問題，并對后續(xù)研究進(jìn)行展望。旨在幫助相關(guān)研究人員了解多聚焦圖像融合領(lǐng)域的研究現(xiàn)狀，促進(jìn)該領(lǐng)域的進(jìn)一步發(fā)展。
《深度學(xué)習(xí)時代圖像融合技術(shù)進(jìn)展》首先介紹了圖像融合問題建模，并從傳統(tǒng)方法視角逐漸向深度學(xué)習(xí)視角過渡。具體地，從數(shù)據(jù)集生成、神經(jīng)網(wǎng)絡(luò)構(gòu)造、損失函數(shù)設(shè)計、模型優(yōu)化和性能評估等方面總結(jié)了基于深度學(xué)習(xí)的圖像融合研究現(xiàn)狀。此外，討論了選擇性圖像融合這類衍生問題建模(比如，基于高分辨率紋理圖融合的深度圖增強(qiáng))，回顧了一些基于圖像融合實現(xiàn)其他視覺任務(wù)的代表性工作。最后，根據(jù)現(xiàn)有技術(shù)的缺陷，提出目前圖像融合技術(shù)存在的挑戰(zhàn)，并對未來發(fā)展趨勢進(jìn)行了展望。
《醫(yī)學(xué)圖像融合方法綜述》對近年國內(nèi)外發(fā)表的相關(guān)文獻(xiàn)進(jìn)行綜述。對醫(yī)學(xué)圖像融合技術(shù)進(jìn)行分類，將融合方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩類并總結(jié)其優(yōu)缺點。結(jié)合多模態(tài)醫(yī)學(xué)圖像成像原理和各類疾病的圖像表征，分析不同部位、不同疾病的融合方法的相關(guān)技術(shù)并進(jìn)行定性比較?？偨Y(jié)現(xiàn)有多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)庫，并按分類對25項常見的醫(yī)學(xué)圖像融合質(zhì)量評價指標(biāo)進(jìn)行概述?？偨Y(jié)22種基于傳統(tǒng)方法和深度學(xué)習(xí)領(lǐng)域的多模態(tài)醫(yī)學(xué)圖像融合算法。此外，本文進(jìn)行實驗，比較基于深度學(xué)習(xí)與傳統(tǒng)的醫(yī)學(xué)圖像融合方法的性能，通過對3組多模態(tài)醫(yī)學(xué)圖像融合結(jié)果的定性和定量分析，總結(jié)各技術(shù)領(lǐng)域醫(yī)學(xué)圖像融合算法的優(yōu)缺點。最后，對醫(yī)學(xué)圖像融合技術(shù)的現(xiàn)狀、重難點和未來展望進(jìn)行討論。
我們期待廣大讀者和科技人員通過“圖像融合”?？?，能夠更深入、更全面地了解該領(lǐng)域的最新方法和應(yīng)用，吸引更多學(xué)者從事相關(guān)研究并產(chǎn)生具有國際影響力的優(yōu)秀成果，為本領(lǐng)域的發(fā)展做出新的貢獻(xiàn)。
?？幬瘯?/p>
李樹濤，湖南大學(xué)教授，主要研究方向為圖像處理、信息融合、稀疏表示、壓縮感知，模式識別、機(jī)器學(xué)習(xí)。
吳小俊，江南大學(xué)教授，主要研究方向為人工智能、模式識別、計算機(jī)視覺。
馬佳義，武漢大學(xué)教授，主要研究方向為計算機(jī)視覺、圖像處理、模式識別和信息融合。
白相志，北京航空航天大學(xué)教授，主要研究方向為人工智能、數(shù)學(xué)形態(tài)學(xué)、模糊理論、生物醫(yī)學(xué)圖像分析。
劉羽，合肥工業(yè)大學(xué)副教授，主要研究方向為圖像處理、醫(yī)學(xué)圖像分析、機(jī)器學(xué)習(xí)和信息融合。
李輝，江南大學(xué)講師，主要研究方向為深度學(xué)習(xí)，圖像處理，多模態(tài)信息融合。
?？?zé)編：
韓向娣，副編審，主要研究方向為學(xué)術(shù)出版和媒體傳播。E-mail：hanxd201310@aircas.ac.cn
猜你喜歡
三星“享映時光 投已所好”4K全色激光絢幕品鑒會成功舉辦家庭影院技術(shù)(2021年7期)2021-08-14 02:58:40 海信發(fā)布100英寸影院級全色激光電視家庭影院技術(shù)(2020年8期)2020-09-11 06:45:26 淺談書畫裝裱修復(fù)中的全色技法收藏界(2019年4期)2019-10-14 00:31:10 SEBS改性瀝青綜述石油瀝青(2018年6期)2018-12-29 12:07:04 NBA新賽季綜述NBA特刊(2018年21期)2018-11-24 02:47:52 JOURNAL OF FUNCTIONAL POLYMERS功能高分子學(xué)報(2016年1期)2016-04-26 01:39:05 電影故事(2015年51期)2015-01-11 09:17:17 電影故事(2015年49期)2015-01-09 04:52:58 全色影像、多光譜影像和融合影像的區(qū)別太空探索(2014年11期)2014-07-12 15:16:52 綜述江蘇年鑒(2014年0期)2014-03-11 17:09:58
李樹濤，吳小俊，馬佳義，白相志，劉羽，李輝，韓向娣
1.湖南大學(xué)，長沙 410082；2.江南大學(xué)，無錫 214122；3.武漢大學(xué)，武漢 430072；4.北京航空航天大學(xué)，北京 102206；5.合肥工業(yè)大學(xué),合肥 230009；6.《中國圖象圖形學(xué)報》編輯部, 北京 100190
圖像融合技術(shù)旨在提取和整合多源圖像中的互補(bǔ)信息，以生成具有完整場景表達(dá)能力的融合圖像，從而提升決策系統(tǒng)在目標(biāo)檢測、場景解析等高層視覺任務(wù)上的準(zhǔn)確性及可靠性，在醫(yī)學(xué)、安防、遙感、數(shù)碼攝影等安全和民用領(lǐng)域具有廣泛的應(yīng)用前景。
典型的圖像融合任務(wù)包括多模態(tài)醫(yī)學(xué)圖像融合、紅外與可見光圖像融合、多聚焦圖像融合、多曝光圖像融合、高光譜/多光譜/全色圖像融合及超分等。然而，多源圖像融合目前仍然面臨多方面挑戰(zhàn)，包括對信息源的不同理解定義、對后端任務(wù)有益信息的定義、信息分解的方式、互補(bǔ)和冗余信息的區(qū)分、有效融合規(guī)則的設(shè)計、多源圖像的配準(zhǔn)、融合圖像的質(zhì)量評估等。近年來，人工智能和高性能計算快速發(fā)展，大規(guī)模多媒體數(shù)據(jù)的智能應(yīng)用需求日趨廣泛，多媒體數(shù)據(jù)的融合、轉(zhuǎn)換、理解、搜索、推理與推薦等方向的新問題也不斷涌現(xiàn)，推動了多媒體智能處理與分析技術(shù)的迅速發(fā)展，在學(xué)術(shù)界和產(chǎn)業(yè)界均引起極大關(guān)注。
為深入探討和研究上述問題，展示我國學(xué)者在圖像融合技術(shù)方面的重要進(jìn)展，《中國圖象圖形學(xué)報》邀請業(yè)內(nèi)專家共同策劃推出“圖像融合”?？珍浽摲较蚓哂袆?chuàng)新性、突破性的研究成果。以期為相關(guān)領(lǐng)域的研究人員提供參考。
?？盏筋I(lǐng)域內(nèi)相關(guān)學(xué)者積極踴躍的投稿。經(jīng)過嚴(yán)格評審，“圖像融合”?？彩珍泴W(xué)術(shù)論文20篇，包括“綜述”6篇、“紅外與可見光圖像融合”6篇、“醫(yī)學(xué)圖像處理”4篇、“遙感圖像處理”3篇以及“多模態(tài)信息融合”1篇。
“綜述”欄目中，《基于深度學(xué)習(xí)的圖像融合方法綜述》對不同融合任務(wù)場景下的前沿深度融合算法進(jìn)行全面論述和分析。首先，介紹圖像融合的基本概念以及不同融合場景的定義。針對多模圖像融合、數(shù)字?jǐn)z影圖像融合以及遙感影像融合等不同的融合場景，從網(wǎng)絡(luò)架構(gòu)和監(jiān)督范式等角度全面闡述各類方法的基本思想，并討論各類方法的特點。其次，總結(jié)各類算法的局限性，并給出進(jìn)一步改進(jìn)方向。再次，簡要介紹不同融合場景中常用的數(shù)據(jù)集，并給出各種評估指標(biāo)的具體定義。對于每一種融合任務(wù)，從定性評估、定量評估和運(yùn)行效率等多角度全面比較其中代表性算法的性能。論文提及的算法、數(shù)據(jù)集和評估指標(biāo)已匯總至https://github.com/Linfeng-Tang/Image-Fusion。最后，給出了結(jié)論以及圖像融合研究中存在的一些嚴(yán)峻挑戰(zhàn)，并對未來可能的研究方向進(jìn)行了展望。
《多模態(tài)視覺跟蹤方法綜述》以闡述可見光—紅外跟蹤方法為主，從信息融合的角度將現(xiàn)有方法劃分為結(jié)合式融合和判別式融合，分別進(jìn)行了詳細(xì)介紹和分析，并對不同類方法的優(yōu)缺點進(jìn)行了分析和比較。然后，對其他多模態(tài)視覺跟蹤任務(wù)的研究工作進(jìn)行了介紹，并對不同多模態(tài)視覺跟蹤任務(wù)的優(yōu)缺點進(jìn)行了分析和比較。最后，對多模態(tài)視覺跟蹤方法進(jìn)行了總結(jié)以及對未來發(fā)展進(jìn)行展望。
《遙感圖像全色銳化的卷積神經(jīng)網(wǎng)絡(luò)方法研究進(jìn)展》回顧當(dāng)前遙感圖像全色銳化問題在卷積神經(jīng)網(wǎng)絡(luò)方面的一些進(jìn)展，并針對前述問題發(fā)布相關(guān)數(shù)據(jù)集和代碼編寫框架。1)詳細(xì)介紹7種典型的基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化方法，并在統(tǒng)一數(shù)據(jù)集上進(jìn)行公平比較(包括與典型傳統(tǒng)方法的比較)；2)詳細(xì)介紹訓(xùn)練—測試數(shù)據(jù)集的仿真細(xì)節(jié)，并發(fā)布相關(guān)衛(wèi)星(如WorldView-3，QuickBird，GaoFen2，WorldView-2)的全色銳化訓(xùn)練—測試數(shù)據(jù)集；3)針對本文介紹的7種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，發(fā)布基于Pytorch深度學(xué)習(xí)庫的Python代碼統(tǒng)一編寫框架，便于后來初學(xué)者的入門、開展研究以及公平比較；4)發(fā)布統(tǒng)一的全色銳化傳統(tǒng)—深度學(xué)習(xí)方法MATLAB測試軟件包，便于后來學(xué)者進(jìn)行公平的實驗測試對比；5)對本領(lǐng)域的未來研究方向進(jìn)行討論和展望。相關(guān)數(shù)據(jù)集和代碼詳見：https://liangjiandeng.github.io/PanCollection.html。
《深度學(xué)習(xí)多聚焦圖像融合方法綜述》對基于深度學(xué)習(xí)的多聚焦圖像融合方法進(jìn)行系統(tǒng)綜述，將現(xiàn)有方法分為基于深度分類模型的和基于深度回歸模型的兩大類，對每一類的代表性方法進(jìn)行介紹；然后基于3個多聚焦圖像融合數(shù)據(jù)集和8個常用的客觀質(zhì)量評價指標(biāo)，對25種代表性融合方法進(jìn)行了性能評估和對比分析；最后總結(jié)了該研究方向存在的一些挑戰(zhàn)性問題，并對后續(xù)研究進(jìn)行展望。旨在幫助相關(guān)研究人員了解多聚焦圖像融合領(lǐng)域的研究現(xiàn)狀，促進(jìn)該領(lǐng)域的進(jìn)一步發(fā)展。
《深度學(xué)習(xí)時代圖像融合技術(shù)進(jìn)展》首先介紹了圖像融合問題建模，并從傳統(tǒng)方法視角逐漸向深度學(xué)習(xí)視角過渡。具體地，從數(shù)據(jù)集生成、神經(jīng)網(wǎng)絡(luò)構(gòu)造、損失函數(shù)設(shè)計、模型優(yōu)化和性能評估等方面總結(jié)了基于深度學(xué)習(xí)的圖像融合研究現(xiàn)狀。此外，討論了選擇性圖像融合這類衍生問題建模(比如，基于高分辨率紋理圖融合的深度圖增強(qiáng))，回顧了一些基于圖像融合實現(xiàn)其他視覺任務(wù)的代表性工作。最后，根據(jù)現(xiàn)有技術(shù)的缺陷，提出目前圖像融合技術(shù)存在的挑戰(zhàn)，并對未來發(fā)展趨勢進(jìn)行了展望。
《醫(yī)學(xué)圖像融合方法綜述》對近年國內(nèi)外發(fā)表的相關(guān)文獻(xiàn)進(jìn)行綜述。對醫(yī)學(xué)圖像融合技術(shù)進(jìn)行分類，將融合方法分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩類并總結(jié)其優(yōu)缺點。結(jié)合多模態(tài)醫(yī)學(xué)圖像成像原理和各類疾病的圖像表征，分析不同部位、不同疾病的融合方法的相關(guān)技術(shù)并進(jìn)行定性比較?？偨Y(jié)現(xiàn)有多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)庫，并按分類對25項常見的醫(yī)學(xué)圖像融合質(zhì)量評價指標(biāo)進(jìn)行概述?？偨Y(jié)22種基于傳統(tǒng)方法和深度學(xué)習(xí)領(lǐng)域的多模態(tài)醫(yī)學(xué)圖像融合算法。此外，本文進(jìn)行實驗，比較基于深度學(xué)習(xí)與傳統(tǒng)的醫(yī)學(xué)圖像融合方法的性能，通過對3組多模態(tài)醫(yī)學(xué)圖像融合結(jié)果的定性和定量分析，總結(jié)各技術(shù)領(lǐng)域醫(yī)學(xué)圖像融合算法的優(yōu)缺點。最后，對醫(yī)學(xué)圖像融合技術(shù)的現(xiàn)狀、重難點和未來展望進(jìn)行討論。
我們期待廣大讀者和科技人員通過“圖像融合”?？?，能夠更深入、更全面地了解該領(lǐng)域的最新方法和應(yīng)用，吸引更多學(xué)者從事相關(guān)研究并產(chǎn)生具有國際影響力的優(yōu)秀成果，為本領(lǐng)域的發(fā)展做出新的貢獻(xiàn)。
?？幬瘯?/p>
李樹濤，湖南大學(xué)教授，主要研究方向為圖像處理、信息融合、稀疏表示、壓縮感知，模式識別、機(jī)器學(xué)習(xí)。
吳小俊，江南大學(xué)教授，主要研究方向為人工智能、模式識別、計算機(jī)視覺。
馬佳義，武漢大學(xué)教授，主要研究方向為計算機(jī)視覺、圖像處理、模式識別和信息融合。
白相志，北京航空航天大學(xué)教授，主要研究方向為人工智能、數(shù)學(xué)形態(tài)學(xué)、模糊理論、生物醫(yī)學(xué)圖像分析。
劉羽，合肥工業(yè)大學(xué)副教授，主要研究方向為圖像處理、醫(yī)學(xué)圖像分析、機(jī)器學(xué)習(xí)和信息融合。
李輝，江南大學(xué)講師，主要研究方向為深度學(xué)習(xí)，圖像處理，多模態(tài)信息融合。
?？?zé)編：
韓向娣，副編審，主要研究方向為學(xué)術(shù)出版和媒體傳播。E-mail：hanxd201310@aircas.ac.cn
猜你喜歡
家庭影院技術(shù)(2021年7期)2021-08-14 02:58:40
家庭影院技術(shù)(2020年8期)2020-09-11 06:45:26
收藏界(2019年4期)2019-10-14 00:31:10
石油瀝青(2018年6期)2018-12-29 12:07:04
NBA特刊(2018年21期)2018-11-24 02:47:52
功能高分子學(xué)報(2016年1期)2016-04-26 01:39:05
太空探索(2014年11期)2014-07-12 15:16:52
江蘇年鑒(2014年0期)2014-03-11 17:09:58
