雷雨果 梁楠 劉春梅
摘 ?要:將計算機機器視覺、圖像處理及圖像分析技術緊密結合起來并用于圖像紋理特征的分析,通過總結已有的研究成果,研究分析圖像在區(qū)域化、邊緣化、數(shù)學變換化等不同算法思想下提取的紋理特征,并總結提出了一種計算成本趨向實時處理的圖像紋理特征處理方案。該方案研究了更為精細的紋理分類、紋理分割、紋理拼接和紋理配準等算法,并可實現(xiàn)圖像紋理特征提取的準確性和良好的擴展性,實現(xiàn)后續(xù)分類、分割、拼接和配準等基本應用的及時性、準確性和高效性。
關鍵詞:圖像紋理特征分析;計算機機器視覺;圖像處理
中圖分類號:TP391.4 ? ? 文獻標識碼:A
Image Texture Feature Analysis and Extraction Method
LEI Yuguo1,2, LIANG Nan1,2, LIU Chunmei1,2
(1.Institute of Applied Physics, Henan Academy of Sciences, Zhengzhou 450008,China;
2.Henan Province Internet of Things Perception Technology and Systems Key Laboratory, Zhengzhou 450008, China)
710952005@qq.com; 149016898@qq.com; 49072544@qq.com
Abstract: This paper proposes to closely combine computer machine vision, image processing and image analysis technologies, which is used for analyzing image texture features. By summarizing the existing research results, image texture features, which are extracted by different algorithm ideas such as regionalization, marginalization and mathematical transformation, are studied and analyzed. An image texture feature processing scheme whose computational cost tends to be processed in real time is proposed. More refined algorithms of texture classification, texture segmentation, texture splicing and texture registration are studied in this scheme, which can achieve the accuracy and good scalability of image texture feature extraction. This scheme also achieve timeliness, accuracy and efficiency of subsequent essential applications, such as classification, segmentation, splicing and registration, etc..
Keywords: analysis of image texture features; computer machine vision; image processing
1 ? 引言(Introduction)
近年來,圖像紋理特征分析得到了越來越多研究人員的關注,并且在許多領域得到應用,如圖像紋理分類、圖像紋理分割、圖像紋理檢索和圖像紋理匹配,具體到人臉識別、自然圖像拼接、自然圖像合成、道路檢測、圖像目標搜索匹配和醫(yī)學影像分析等,并使許多行業(yè)受益,包括工業(yè)、農(nóng)業(yè)、教育、醫(yī)學、交通、航空、娛樂、環(huán)境等[1]。同時,新的圖像紋理技術的出現(xiàn)又會使一些應用得到完善和不斷推廣,另外還會開拓出更多、更新的應用領域。
本文從圖像紋理分類、圖像紋理分割、圖像紋理合成、圖像紋理檢索、圖像紋理拼接配準五個方面進行圖像紋理特征分析關鍵技術研究,并提出了一種圖像紋理特征處理方案。
2 ? 圖像紋理分類(Image texture classification)
應用圖像紋理特征分類可以有效地區(qū)分不同紋理特征信息的目標,其差異化的定量可以通過有效的計算分析方法來獲取。目前,統(tǒng)計分析法、結構分析法、模型法以及基于數(shù)學變換的分析法是常用的紋理分析方法?;镜慕y(tǒng)計分析法中包括灰度共生矩陣(GLCM)和局部二元模式(LBP)[2],灰度共生矩陣反映了圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息;而局部二元模式計算簡單,紋理信息反映較準確。基本的結構分析法[3]是建立在紋理基元(基本的紋理元素)理論基礎上的一種紋理特征分析方法。基本的模型法以圖像的構造模型為基礎,采用模型的參數(shù)作為紋理特征,典型的方法是隨機場模型法[4],如馬爾可夫(Markov)隨機場(MRF)模型法?;镜臄?shù)學變換常采用傅里葉變換、Gabor變換和小波變換等。
圖1(a)為一幅5×5像素大小的四級灰度水平的GLCM特征向量描述圖,其中為間距,為方向,灰度共生矩陣特征參數(shù)選取依據(jù)分析GLCM計算問題中得到的幾個不相關且分辨力最好的特征:對比度、熵、相關性。圖1(b)為局部二元模式中點的不同個數(shù)和半徑的LBPPR的描述。
3 ? 圖像紋理分割(Image texture segmentation)
紋理分割是計算機視覺與圖像處理的一個基礎研究課題,其要求同質紋理區(qū)內區(qū)域一致性好,無誤分;另一方面,要求不同紋理區(qū)域間的邊界保持良好,無誤判。共有四種紋理特征的統(tǒng)計法,包括粗糙度、對比度、方向性和梯度四種特征,其采用形態(tài)學的一些方法消除目標孔洞和平滑邊界,并保留更完整的信息,然后從背景中分割出感興趣的陶瓷目標。離散Gabor小波變換是一種很好的分析信息特質能量分布的工具,采用Gabor濾波器的紋理分析是一種空間-頻率域聯(lián)合分析的方法,通過Gabor濾波器提取紋理特征的前期要設置合適的尺度和方向參數(shù),使得提取的紋理特征具有最佳紋理信息表征能力。由于紋理圖像具有微觀不規(guī)則但宏觀存在某種統(tǒng)計規(guī)律性的特點,因此人們越來越關注紋理圖像的多尺度特征[5],從不同的尺度層次來捕捉紋理的微觀和宏觀特性。
灰度共生矩陣[6]是從圖像中提取紋理特征的一種方法,主要以條件概率提取紋理的特征,獲取像素級灰度紋理在空間上的相互關系。而馬爾可夫隨機場是從另一途徑的空間依存關系來進行有效處理的,通過高斯馬爾可夫隨機場計算像素之間的空間依賴關系,建立紋理圖像的強度場模型,然后對二維紋理圖像建模表示一維隱馬爾可夫自回歸模型的行列,在Brodatz紋理庫中的Mosaic 1#圖像的分割實驗中達到了預期的正確識別率,如圖2所示。
圖像紋理特征提取既可以在空域中進行,又可以在變換域中進行。在變換域中是對變換系數(shù)值進行某種操作以提取特征,如傅里葉變換、Gabor變換和小波變換等,不僅魯棒性強,而且能很好地反映紋理信息。利用小波變換獲取圖像的紋理特征也得到了廣泛的應用及良好的效果[7]。
4 ? 圖像紋理合成(Image texture synthesis)
二維紋理[8]的合成在近幾年不斷地得到了發(fā)展,由于還缺乏統(tǒng)一的參數(shù)化方法,紋理合成還不夠成熟,在研究方法上,一般分為基于像素點的合成方法和基于像素塊的合成方法?;谙袼攸c的合成在計算新點的顏色時,根據(jù)該點周圍已經(jīng)合成出來的鄰居點,在種子紋理中尋找擁有和該點最大相似的鄰居點的像素點,然后用種子紋理中的對應點的顏色賦給該像素點?;谙袼貕K的合成首先根據(jù)人眼的視覺特性,然后根據(jù)優(yōu)選工具從樣本紋理中抽取不規(guī)則塊,最后將其合成到目標紋理中。研究人員整理出隨機相位信號和漸近離散點信號模型的隨機相位紋理合成方法,并對給定的任意尺寸樣本合成紋理圖像,如圖3所示。
5 ? 圖像紋理檢索(Image texture retrieval)
在醫(yī)學領域,神經(jīng)性疾病和老齡化人口的增加使得腦部MRI圖像紋理的特征分析研究受到極大的重視,提出了兩種互補特征的圖像分析方法,即局部二元模式(LBP)和Kanade-Lucas-Tomasi特征(KLT),通過自動提取DLBP(Dominant LBP)特征在MRI圖像紋理分析上取得了較好的效果[9],如圖4所示。
然而,由于在病理影像數(shù)據(jù)資料中存在非常相似的物質,這給圖像的紋理檢索研究帶來了很大的困難,同時,這一固有難題在沒有找到很好的解決辦法之前也給后面的研究者提供了空間。紋理特征分類在臨床病理學中的皮膚外傷和皮下組織損傷方面也有廣泛的應用。
在道路交通領域,道路作為地理數(shù)據(jù)庫中的重要元素之一,廣泛應用于區(qū)域規(guī)劃、汽車導航、交通管理等方面,因此,自動快速地提取精確的道路信息是該領域的研究熱點。道路的檢測配準常用的方法有基于形態(tài)學的方法和基于多光譜融合信息的方法等,通過兩個主要步驟實現(xiàn)圖像中道路的檢測,首先對主干道的沒影點進行估計,然后就檢測估計到的沒影點道路進行有效分割。其主要利用Gabor濾波計算出圖像的紋理特征方向,并用于估算局部道路區(qū)域,而道路邊界的檢測用到了有約束沒影點邊界檢測技術[10],該方案在大量的道路圖像檢測試驗中有良好的檢測效果。
6 ?圖像紋理拼接配準(Image texture splicing registration)
近年來,動態(tài)場景紋理的視頻序列配準[11]吸引了許多研究者的注意。動態(tài)場景包括但不限于一些非剛性目標,如煙花、風中飛舞的旗幟等,由于這些動態(tài)場景的復雜多變使得這一工作極具挑戰(zhàn)性。張衛(wèi)國等提出了一種動態(tài)紋理的視頻影像配準方法[12],它不要求攝像機是同步的,也不是基于逐幀的或是逐列的配準,而是將視頻看作線性動態(tài)系統(tǒng)的輸出,并將視頻的配準任務變換到相關的動態(tài)模型參數(shù)配準。由于這些參數(shù)不能唯一定義,因此并不能直接將這些參數(shù)與視頻影像配準相對照,還要變換成標準形式才可行。
7 ?圖像紋理特征處理方案及結果(Image texture feature processing scheme and results)
本文提出的研究方案是在熟悉圖像處理、圖像分析、機器視覺和模式識別的基本理論、基本方法的基礎上,研究目標圖像紋理特征的提取算法,具體方案如圖5所示。
具體實施步驟如下:
(1)圖像紋理分類。研究的首要任務就是要從圖像中找到能夠有效表征圖像紋理特征的方法,這是后續(xù)紋理分類處理的基礎。提取圖像紋理特征因目標對象(人臉、織物、道路、核磁共振影像等)不同,可以通過采用與之對應的單一方法或是融合的方法來進行。一般來說,融合的方法效果會更好一些,但單一的方法時效性更好,可根據(jù)具體的問題來展開。由于背景環(huán)境和圖像本身的局部周期性或非周期性等諸多可變復雜因素的干擾,會給圖像的有效紋理特征提取帶來新的挑戰(zhàn)。另外,紋理分類也應考慮前期特征提取的方案而采用合適的分類規(guī)則(二分類或多分類識別算法),在傳統(tǒng)的分類方法基礎上研究新穎的分類模式。
(2)圖像紋理分割。在上一階段得到的圖像紋理特征可以直接用作圖像紋理分割的特征,這只是一種包含關系,但并不限于上一階段的工作。這一階段還可以繼續(xù)研究某一局部所需的紋理特征(往往只是要找出某個具體的目標,如人臉、道路等),也會涉及全局的多模式的紋理特征分割(如街道、居民區(qū)、學校等)。在圖像的紋理分割過程中,需要研究有監(jiān)督和無監(jiān)督兩種不同場合的圖像紋理分割途徑。
(3)圖像紋理拼接和配準。這一階段是在前面兩個階段的工作理論基礎之上進行的,在掌握圖像的紋理特征提取、紋理分類和分割理論之后,能夠將感興趣區(qū)域的目標紋理檢索(給定樣本中檢索出與目標紋理相似的子樣本集)出來,其與紋理分類有一定的相似性,但又有本質的區(qū)別。紋理的拼接和配準與紋理的有效特征提取和分析性能密切相關,在前期的基礎之上,研究數(shù)學變換和自適應分類相結合的紋理檢索方法,研究半自動的或全自動的結合了相位特征和線特征的紋理配準方法。
在理論分析基礎上,本文利用圖像處理、圖像分析、機器視覺和模式識別的基本理論,從基礎的圖像建庫、圖像紋理特征提取的效果和適用性、圖像分類分割、圖像拼接配準等方面逐一深入地通過不同的測試環(huán)境驗證研究的成果,最后應用算法解決問題的實際應用。該方案縮短了圖像紋理特征處理的時間,使得研究結果更加及時、準確,提高了研究效率。
8 ? 結論(Conclusion)
本文對圖像紋理分析技術進行了研究與總結,并介紹了一種整體解決方案。該方案研究了更為魯棒精細的紋理分類、紋理分割、紋理拼接和紋理配準等算法,并可實現(xiàn)圖像紋理特征提取的準確性和良好的擴展性,實現(xiàn)后續(xù)分類、分割、拼接和配準等基本應用的實時性、高效性。
經(jīng)過以上的研究探討,在一定的基礎上對圖像紋理分析技術的一些關鍵問題做出如下展望:研究出一種能夠最佳合理地表示各種不同紋理對象的紋理特征參數(shù)化模型,根據(jù)對象的不同,該紋理特征參數(shù)化模型是可調的,有較好的泛化能力,計算復雜度能降低到可實時操作,同時該紋理特征參數(shù)化模型應具有較好的穩(wěn)定性,不會同化也不會異化;研究如何提高不同應用領域紋理分類、分割的性能,找出不同應用領域紋理分類、分割的存在關系和可能存在的制約因素,促使圖像紋理分類和分割的能力進一步增強;圖像的拼接和配準有很大的相似性,需要找到有效的相位特征和線特征,細微的誤差都會導致效果不好或失敗,因此,前期的特征提取是關鍵,后期的有效匹配算法也尤為重要,這些都要注意。
參考文獻(References)
[1] 劉麗,趙凌君,郭承玉.圖像紋理分類方法研究進展和展望[J].自動化學報,2018,44(04):584-607.
[2] 朱葉,申鉉京,陳海鵬.基于彩色LBP的隱蔽性復制-粘貼篡改盲鑒別算法[J].自動化學報,2017,43(03):390-397.
[3] 劉光宇,黃懿,曹禺.基于灰度共生矩陣的圖像紋理特征提取研究[J].科技風,2021,12(03):61-64.
[4] 孟月波,劉光輝,徐勝軍.一種具有邊緣保持的多尺度馬爾可夫隨機場模型圖像分割方法[J].西安交通大學學報,2019,53(03):56-65.
[5] 郭恒光,朱默,趙亮.基于多尺度方向分解的紋理特征提取方法研究[J].計算技術與自動化,2021,40(04):102-107.
[6] LIU L Y, FAN X J. The design of system to texture feature analysis based on gray level co-occurrence matrix[J]. Applied Mechanics and Materials, 2015, 3759(727):904-907.
[7] 時慶濤,朱興宇,于超.多光譜圖像紋理特征數(shù)據(jù)挖掘方法仿真[J].計算機仿真,2020,37(02):247-250.
[8] 吳俊.基于計算機視覺的彩色圖像二維紋理識別方法[J].黑龍江工業(yè)學院學報,2020,20(1):31-36.
[9] 舒明軍,樊曉明,徐世道.不同級別腦膠質瘤患者MRI圖像紋理特征分析[J].河南醫(yī)學研究,2021,30(9):1679-1681.
[10] 郭航宇,景曉軍,尚勇.基于小波變換和數(shù)學形態(tài)法的車牌定位方法研究[J].計算機技術與發(fā)展,2010,20(5):13-16.
[11] 張琳娜,陳建強,吳妍.基于雙匹配配準算法的多重復紋理圖像拼接[J].數(shù)據(jù)采集與處理,2021,36(02):334-345.
[12] 張衛(wèi)國,李景妹.改進的基于紋理特征的圖像配準算法[J].計算機工程與應用,2016,52(06):214-218.
作者簡介:
雷雨果(1994-),女,本科,工程師.研究領域:電子信息.本文通信作者.
梁 ?楠(1981-),男,博士,副研究員.研究領域:控制科學與工程.
劉春梅(1983-),女,本科,實驗師.研究領域:計算機科學與電子技術研究.