王垚 潘盛輝 林川
摘? 要:仿生型輪廓檢測的研究已逐漸成為計算機視覺的研究熱點.生物視覺機制研究中,空間總和特性將視覺細胞分為線性的X型細胞和非線性的Y型細胞.受該機制啟發(fā),提出一種仿生型輪廓檢測模型,該模型通過模擬計算X、Y型細胞不同的感受野響應,并根據(jù)亮度對比度信息有效地融合X、Y通道的輪廓特征.實驗結果表明:本文的模型能有效地保留弱輪廓并抑制紋理背景,將為基于視覺機制的圖像分析提供一種新的思路.
關鍵詞:輪廓檢測;X細胞;Y細胞
中圖分類號:TP391.41? ? ? ? ?DOI:10.16375/j.cnki.cn45-1395/t.2021.01.005
0? ? 引言
輪廓檢測是計算機視覺和圖像分析領域中的基礎工作,準確檢測自然圖像中目標的輪廓信息,對后續(xù)圖像分割[1]等高級視覺任務有著重大意義.對復雜的自然圖像而言,目標輪廓通常被大量干擾信息所環(huán)繞,因此,準確區(qū)分目標輪廓和背景紋理信息成為提高輪廓檢測效果的關鍵問題.隨著神經科學的發(fā)展,基于生物視覺信息處理機制的輪廓檢測模型逐漸受到越來越多研究者的關注.2003年,Grigorescu等[2]采用具有方向選擇性的Gabor濾波器來模擬初級視皮層(V1區(qū))神經元經典感受野(CRF)的興奮作用,并利用高斯差(DOG)模擬非經典感受野(NCRF)的抑制作用.基于該模型,學者們在NCRF抑制計算上做了大量工作.Cao等[3]利用歸一化的DOG和sigmoid函數(shù)提取局部中心環(huán)繞對比度信息來計算抑制項,能夠更快、更準確地抑制紋理.杜曉鳳等[4]提出一種基于復合感受野的輪廓檢測仿生模型,通過距離和角度特征來計算易化和抑制的權重,有效地減少抑制對輪廓的破壞.2014年,Yang等[5]根據(jù)多尺度信息引導策略整合特征信息(包括方向、亮度和亮度對比度)的抑制權重,再將組合的權重用于調節(jié)神經元的周邊抑制,使得模型在抑制紋理的同時更好地保留輪廓信息.感受野尺度在圖像局部信息表達上有著重要作用,因此,部分學者從感受野尺度信息著手改進輪廓檢測模型.潘亦堅等[6]利用改進的sigmoid函數(shù)計算局部最優(yōu)尺度,與DOG函數(shù)相結合獲得動態(tài)的NCRF抑制權重.Lin等[7]通過模擬神經元動態(tài)特性優(yōu)化了經典感受野的濾波過程,并利用Log函數(shù)調制高斯函數(shù)模擬非經典感受野的抑制過程.Wei等[8]通過Gabor濾波器預處理得到多尺度初級輪廓圖,再經過不同空間位置上不同尺度的抑制和去抑制得到輪廓響應,移除了大量無意義的紋理信息,取得了良好的檢測結果.Fang等[9]從視覺信息傳遞通路著手,提出一種基于視覺通路的雙側不對稱感受野機制的輪廓檢測模型(BAR),引入不對稱感受野結構,增強局部區(qū)域的對比度差異,并提出基于雙側不對稱感受野多尺度抑制的權重信息融合策略,更好地檢測顯著輪廓.灰度圖像包含的信息十分有限,Yang等[10]基于顏色拮抗機制提出雙拮抗模型(CO),檢測亮度邊緣和顏色邊緣,隨后引入紋理稀疏約束(SCO)[11],提升模型性能.Li等[12]提出了一種受多視覺通道和多層次視覺信息的生物特性啟發(fā)的前饋輪廓檢測模型(MCH),將圖像分為顏色信息和亮度信息,然后模擬視網(wǎng)膜-LGN-視皮層這一視覺通路分別對兩種信息進行處理,最后根據(jù)最優(yōu)方向計算顏色和亮度通道響應的融合權重,獲得更好的檢測性能.
目前,大多數(shù)仿生輪廓檢測研究都是基于X細胞感受野的生理特性來進行的.而生理機制表明[13]:根據(jù)空間總和特性的不同,初級視皮層神經元分為X型細胞(X細胞)和Y型細胞(Y細胞).X細胞感受野空間總和性質是線性的,其感受野的興奮作用和抑制作用可以線性疊加,并且對光柵的反應存在零位置[14],可以由Rodieck模型表達,如圖1(a)所示.而Y細胞感受野的空間總和性質是非線性的,由于對光柵的出現(xiàn)和消失有著強烈的短暫反應而不存在零位置[15],其感受野除了存在中心-周邊拮抗式的Rodieck模型,還存在許多非線性亞單位,如圖1(b)所示.其中,非線性亞單位被用于解釋Y細胞空間頻率上的二次諧頻成分.在感受野上每個亞單位僅覆蓋很小的一片區(qū)域,但其在空間上的分布從中心的經典感受野區(qū)域一直蔓延至周邊區(qū),或者更大一些[15].造成X細胞和Y細胞感受野空間總和特性不同的主要原因在于:除了經典同心圓結構的中心興奮區(qū)和外周抑制區(qū)外,Y細胞感受野還存在分布范圍大于周邊區(qū)的非線性亞單位.
綜上所述,本文提出一種基于X、Y細胞感受野視覺神經機制的輪廓檢測模型,以期進一步解決輪廓信息與背景信息的區(qū)分問題.其中,本文提出模型的處理過程分為模擬線性X細胞特性的X通道響應以及模擬非線性Y細胞特性的Y通道響應.X通道先計算CRF響應,然后利用NCRF響應進行抑制得到X通道響應;Y通道則是在經典感受野響應經過亞單位調制后,再進行非經典感受野抑制,得到Y通道響應.最后,本文結合對比度增益機制,提出一種通道信息融合策略,模擬視野內圖像對比度對X、Y細胞輸出的調控,在保護輪廓的同時抑制紋理.
1? ? 檢測模型
本文提出的輪廓檢測模型如圖2所示,輸入圖像分別經過X通道和Y通道的響應處理,最后模擬視野內圖像對比度對X、Y細胞輸出的調控,融合X、Y通道響應.其中,X、Y通道均為先模擬視皮層V1區(qū)神經元CRF提取圖像的局部邊緣響應(CRF響應),再利用DOG函數(shù)模擬NCRF計算圖像局部區(qū)域的紋理抑制強度.不同之處在于,Y通道CRF響應經過亞單位抑制去除細小繁多的紋理信息后,再經過NCRF的局部區(qū)域環(huán)形抑制去除目標物體上多余的邊緣信息.
1.1? ? X通道響應
1.1.1? ?經典感受野響應
感受野對不同朝向和位置的刺激都十分敏感[2],對于特定的條形刺激,初級視皮層的單個神經元的響應會隨著刺激朝向的變化而產生變化,當刺激的朝向和感受野的最優(yōu)朝向一致時,響應最大.因此,本文采用有方向選擇性的二維Gabor濾波器來模擬X細胞的CRF:
1.1.2? ?非經典感受野響應
神經生理學研究表明[14],在經典感受野的外周存在對其有抑制作用的區(qū)域稱為非經典感受野,同時刺激CRF區(qū)域和NCRF區(qū)域,NCRF會對CRF的響應進行抑制.本文利用DOG函數(shù)來計算NCRF的抑制權重[wXx, y;σX]:
1.2? ? Y通道響應
1.2.1? ?經典感受野響應
造成X細胞和Y細胞感受野空間總和特性不同的主要原因在于:除了經典同心圓結構的中心區(qū)和外周抑制區(qū)外,Y細胞感受野還存在具有整流特性的非線性亞單位.在電生理實驗中,Y細胞反應的二次諧頻成分就是非線性亞單位的貢獻,基頻反應則與Y細胞感受野的中心-周邊機制有關[15].綜上,非線性亞單位的貢獻可從Y細胞反應中分離出來,即非線性亞單位的存在不影響感受野中心-周邊機制的模擬方式.Gaudian等[17]提出造成X、Y細胞特性差異的主要因素是感受野大小的不同.用[σY]替換式(1)—式(5)中的[σX]得到Y細胞經典感受野響應[EYx, y;σY],再將[EYx, y;σY]代入式(7)—式(8)得到Y細胞的最優(yōu)方向角[θYx, y].
1.2.2? ?非線性亞單位響應
為了符合Y細胞的響應特性(如圖1(b)所示),在擬合X細胞中心-周邊機制的高斯差感受野模型上加入了非線性亞單位,每一個亞單位的直徑與感受野相比都十分微小,其中亞單位的響應強度呈現(xiàn)一種中間朝周邊遞減的趨勢.受此啟發(fā),本文采用高斯函數(shù)來模擬亞單位生理特性,考慮單個亞單位的響應大小與其到中心點距離的關系,結合圖像局部特征信息,計算獲得Y細胞亞單位響應.
首先,根據(jù)亞單位模板(大小為[m×n])上的高斯函數(shù)的大小與其到中心點距離的關系,建立一個大小為[m×n]的模板[Lsx, y]來計算模板上每一個高斯函數(shù)的標準差[σs]:
其中:[(x0, y0)]表示模板的中心點.[Lsx, y]上的值即表示為在[Subunit1(x, y;σs)]模板上以對應點為中心的高斯函數(shù)的標準差[σs].
在亞單位模板[Subunit1(x, y;σs)] 上一個高斯函數(shù)表示一個亞單位,以模板(大小為[m×n])上的每一個像素點為中心創(chuàng)建[m×n]個高斯函數(shù),來模擬整個亞單位模型.
其中:[Dxy]表示感受野上亞單位的分布范圍;[(xj, yj)]表示分布范圍[Dxy]中的第j個元素;[σs]表示每一點所對應的高斯函數(shù)的標準差.
感受野周邊抑制區(qū)存在軸向不對稱,中心區(qū)一側的感受野抑制區(qū)大于另一側,即感受野一側區(qū)域的抑制作用大于另一側.本文利用sigmoid函數(shù)控制權重來模擬這一現(xiàn)象.由于感受野上的兩側無法確定具體的方位,本文構建旋轉的二維sigmoid函數(shù)對其進行模擬.
其中:[x=xcosθ+ysinθ,? y=-xsinθ+ycosθ], 旋轉角度[θ]的計算同式(3).亞單位模板[Subunit1x, y;σs]點乘不同旋轉角度的二維sigmoid函數(shù),得到多方位的亞單位模板.
由于高斯函數(shù)經過了歸一化(式(19))過程,隨著標準差的增大,分布范圍增加,峰值減小,造成亞單位模板的整體結構不符合中間高周邊低的結構.因此,本文建立一個和亞單位模板一樣大[(m×n)]的高斯函數(shù)來對亞單位模板進行調制:
亞單位模板構建完成后進行亞單位響應的計算,計算過程如圖3所示:首先,利用灰度圖像調制CRF響應,弱化輪廓、增強紋理;其次,利用調制后的圖像與亞單位模板卷積得到多個方位的亞單位響應;然后,對每個像素進行max運算得到[ressmax(x, y)],進行min運算得到[ressmin(x, y)];最后,用兩個尺度的CRF響應對最大、最小響應進行信息處理,得到紋理信息顯著的亞單位響應.
本文充分考慮Y細胞亞單位的生理特征以及生理特性,得到多方位的Y細胞非線性亞單位響應[ress(x, y)]:
通常,在大尺度下的經典感受野包括顯著輪廓,但遺漏了詳細的邊緣;小尺度下的經典感受野響應則能夠更好地提取輪廓細節(jié),同時也涵蓋許多紋理邊緣信息,造成提取的紋理過多.因此,為了取得更好的紋理抑制效果,本文依據(jù)? ? ? ? ? ? 式(1)—式(5)計算了兩個尺度的經典感受野? ? ? ? ? ? 響應[E(x, y;σlar)]和[E(x, y;σsma)]來對最小響應? ? ? ? [ressmin] [(x, y)]和最大響應[ressmax(x, y)]進行信息處理,得到Y細胞非線性亞單位的響應,其中[σlar=2σsma].
其中:[Ex, y;σlar-Ex, y;σsma≥0]的部分大概率是雜亂的紋理信息,而[E(x, y;][σlar)-E(x, y;σsma)<0]的部分則更有可能是需要的目標輪廓.本文采取這樣的策略,在后續(xù)的抑制中能夠加大對無意義邊緣的抑制,減少對目標輪廓的影響.
Y細胞非經典感受野的計算以經典感受野和亞單位響應的差作為輸入,再根據(jù)式(10)—式(12)得到Y細胞輪廓響應[rYx, y;σY].
1.3? ?信息融合
研究表明[18],視覺細胞在低空間頻率時存在對比增益機制(contrast gain control),且圖像對比度更易影響Y細胞的反應.受此啟發(fā),本文考慮對比度增益機制,提出一種通道信息融合策略,模擬視野內圖像對比度對X、Y細胞輸出的調控.其中,對比度增益由圖像的局部亮度對比度(luminance contrast)決定.圖像局部亮度對比度[Cx, y]計算方式如下:
2.2? ?提出模型的性能分析
為了驗證本文提出的Y細胞響應計算模型的有效性,從BSDS數(shù)據(jù)集取出5幅圖像對單獨的X通道響應、Y通道響應和本文模型進行定性地對比,其中X通道響應為式(13)的輸出響應進行非極大值抑制處理后的結果.為了簡便起見,本文模型表示為YS;其中,X通道響應表示為X-Response;Y通道響應表示為Y-Response.圖4展示了X-Response、Y-Response和YS 3種模型部分測試圖像的結果對比.如圖4所示,X-Response的測試圖像上紋理邊緣很少,有較好的紋理抑制效果,但不能很好地區(qū)分紋理和弱輪廓,使得弱輪廓無法被提取出來.Y-Response的測試圖像上輪廓比X-Response更為完整,但在保留輪廓信息的同時也減弱了對紋理的抑制.與X-Response和Y-Response相比,YS模型結合了X、Y兩通道的優(yōu)點,在紋理抑制的同時更好地保留了弱輪廓信息,增加主體輪廓完整性,取得更好的檢測性能.由于構成數(shù)據(jù)集的圖片十分復雜,提升算法的性能是一項極其困難的任務,而本文模型的ODS指標比X通道響應提高4%,比Y通道響應提高8%,如圖5所示.
2.3? ?模型對比分析
為了評價本文模型的檢測性能,選擇了3個經典的仿生型輪廓檢測模型在RUG40數(shù)據(jù)集進行結果對比:ISO模型[2]、BF模型[22]和MCI模型[5].部分實驗結果如圖6所示.
從圖6可以看出,ISO模型雖然考慮了NCRF對CRF的調制作用,但檢測結果還存在嚴重的紋理干擾.BF模型對NCRF進行了分區(qū),在一定程度上解決了對輪廓的抑制問題,但紋理對目標輪廓的干擾仍然嚴重.MCI模型結合了朝向、亮度、亮度對比度3種特征,對紋理信息有著很好的抑制效果,但對目標輪廓的檢測仍存在不足.本文模型盡可能地保證目標輪廓的檢測結果與人工檢測結果相同,增強對紋理信息的抑制,以取得更好的檢測性能.為了保證對比公平性,對比模型均采用最優(yōu)參數(shù)下的實驗結果,定量分析結果如表2所示.
實驗結果表明,本文模型能夠在復雜的自然圖像中有效區(qū)分輪廓和紋理邊緣,減弱紋理信息對輪廓判定的干擾,保護弱輪廓信息,保證主體輪廓的完整性,以取得更優(yōu)的輪廓檢測性能.
3? ? 結論與討論
近年來,許多學者都重點關注視皮層V1區(qū)在視覺系統(tǒng)中的作用,并根據(jù)其思路建立輪廓提取的模型,取得了不菲的成績.但其大多是在符合中心-周邊線性機制的前提下進行的,沒有考慮到由于空間總和特性的不同,還存在非線性的Y型細胞.針對這一現(xiàn)象,提出基于X、Y細胞感受野視覺神經機制的輪廓檢測模型.該模型首先通過提取非線性亞單位響應對多余紋理進行抑制,然后通過X、Y細胞的輪廓信息融合,使得提取到的輪廓線條更為清晰,同時紋理信息的殘留更少,有效地提升了檢測模型的精確度,取得了較好的輪廓檢測效果.
本文所提出的模型只模擬了視皮層V1區(qū)X、Y細胞感受野的生理特性,僅僅對V1區(qū)神經元在輪廓檢測中的應用進行研究,并沒有考慮到更高層(視皮層V2區(qū)等更高級的區(qū)域)的信息處理機制在輪廓檢測中的作用.實際上,次級視皮層(V2區(qū))也是生物視覺系統(tǒng)獲取輪廓的重要步驟,V1和V2區(qū)一旦受到損傷會影響大腦對物體的識別能力.因此,如何整合從視網(wǎng)膜到更高級別皮質中的視覺信息仍有待進一步的研究.
參考文獻
[1]? ? ?閆夏,譚光興,林川.基于免疫聚類算法的MRI膝關節(jié)圖像分割[J].廣西科技大學學報,2015,26(1):70-74.
[2]? ? ?GRIGORESCU C,PETKOV N,WESTENBERG M A. Contour detection based on nonclassical receptive field inhibition[J]. IEEE Transactions on Image Processing,2003,12(7):729-739.
[3]? ? ?CAO Y J,LIN C,PAN Y J,et al. Application of the center-surround mechanism to contour detection[J]. Multimedia Tools and Applications,2019,78(17):25121-25141.
[4]? ? ?杜曉鳳,李翠華,李晶.基于復合感受野的輪廓檢測算法[J].電子與信息學報,2009,31(7):1630-1634.
[5]? ? ?YANG K F,LI C Y,LI Y J. Multifeature-based surround inhibition improves contour detection in natural images[J].IEEE Transactions on Image Processing,2014,23(12):5020-5032.
[6]? ? ?潘亦堅,林川,郭越,等.基于非經典感受野動態(tài)特性的輪廓檢測模型[J].廣西科技大學學報,2018,29(2):77-83.
[7]? ? ?LIN C,LI F Z,CAO Y J,et al. Bio-inspired contour detection model based on multi-bandwidth fusion and logarithmic texture inhibition[J]. IET Image Processing,2019,13(12):2304-2313.
[8]? ? ?WEI H,LANG B,ZUO Q S. Contour detection model with multi-scale integration based on non-classical receptive field[J]. Neurocomputing,2013,103:247-262.
[9]? ? ?FANG T,F(xiàn)AN Y L,WU W. Salient contour detection on the basis of the mechanism of bilateral asymmetric receptive fields[J]. Signal,Image and Video Processing,2020,14:1461-1469.
[10]? ?YANG K F,GAO S B,LI C Y,et al. Efficient color boundary detection with color-opponent mechanisms[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition(CVPR),IEEE,2013.
[11]? ?YANG K F,GAO S B,GUO C F,et al. Boundary detection using double-opponency and spatial sparseness constraint[J]. IEEE Transactions on Image Processing,2015,24(8):2565-2578.
[12]? ?LI F Z,LIN C,ZHANG Q,et al. A biologically inspired contour detection model based on multiple visual channels and multi-hierarchical visual information[J]. IEEE Access,2020,8:15410-15422.
[13]? ?孫超. 貓外膝體神經元非經典感受野與經典感受野各亞區(qū)的空間反應特性及其相互作用[D].上海:復旦大學,2004.
[14]? ?MAYFORTH G R. An introduction to neural information processing[J]. Computing Reviews,2016,57(8): 481-482.
[15]? ?壽天德. 視覺信息處理的腦機制[M]. 合肥:中國科學技術大學出版社,2010.
[16]? ?YANG Y,TONG S,HUANG S Y,et al. Log-gabor energy based multimodal medical image fusion in NSCT domain[J]. Computational and Mathematical Methods in Medicine,2014,2014:1-12.
[17]? ?GAUDIANO P. Simulations of X and Y retinal ganglion cell behavior with a nonlinear push-pull model of spatiotemporal retinal processing[J]. Vision Research,1994,34(13):1767-1784.
[18]? ?李國榮.貓外膝體的對比度適應及皮層反饋對其的影響[D].合肥:中國科學技術大學,2010.
[19]? ?ALPERT S,GALUN M,BRANDT A,et al. Image segmentation by probabilistic bottom-up aggregation and cue integration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(2):315–326.
[20]? ?MARTIN D,F(xiàn)OWLKES C,TAL D,et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of 8th IEEE International Conference on Computer Vision,2001.
[21]? ?MARTIN D R,F(xiàn)OWLKES C C,MALIK J. Learning to detect natural image boundaries using local brightness,color,and texture cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(5):530-549.
[22]? ?ZENG C,LI Y J,YANG K F,et al. Contour detection based on a non-classical receptive field model with butterfly-shaped inhibition subregions[J]. Neurocomputing,2011,74(10):1527-1534.