唐超穎

(南京航空航天大學(xué)自動(dòng)化學(xué)院，南京　210016)

?

一種基于近紅外-可見光映射的快捷靜脈提取算法

唐超穎

(南京航空航天大學(xué)自動(dòng)化學(xué)院，南京210016)

摘要:針對可見光圖像開發(fā)了一種快捷的靜脈提取算法．采用可見光－近紅外同步相機(jī)拍攝一組皮膚圖像，利用限制對比度自適應(yīng)直方圖均衡化方法調(diào)整近紅外圖像的對比度．采用Gabor濾波器自動(dòng)提取其中的靜脈信息，在此基礎(chǔ)上獲取可見光－近紅外圖像中靜脈及普通皮膚的對應(yīng)像素值．以此作為樣本，訓(xùn)練一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)，模擬可見光到近紅外像素值的映射關(guān)系，實(shí)現(xiàn)對可見光圖像中靜脈的提?。槍θ肷涔鈴?qiáng)度變化對可見光圖像中像素值的影響，提出一種圖像亮度自適應(yīng)調(diào)節(jié)算法．實(shí)驗(yàn)結(jié)果表明，該方法對于不同條件下拍攝的圖像具有良好的魯棒性，對于不同時(shí)間拍攝的圖像也具有較好的穩(wěn)定性．運(yùn)算過程簡單快捷，有助于開發(fā)應(yīng)用于醫(yī)療的低成本便攜式靜脈顯像儀．

關(guān)鍵詞:靜脈提取;可見光圖像;近紅外圖像;神經(jīng)網(wǎng)絡(luò); Gabor濾波器

引用本文:唐超穎．一種基于近紅外－可見光映射的快捷靜脈提取算法［J］．東南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016，46(1) : 35－41．DOI: 10．3969/j．issn．1001－0505．2016．01．007．

靜脈穿刺是醫(yī)學(xué)界廣泛采用的一種治療手段．目前，臨床使用的定位靜脈方法主要有目視法和觸摸法．有些患者的皮膚不利于尋找靜脈，如膚色較深、皮下脂肪較多、體表毛發(fā)較多等;有些患者則靜脈較細(xì)，如兒童，這就給治療帶來很大的困難，反復(fù)穿刺也給患者帶來很大的痛苦．近年來，研究人員研制出了檢測靜脈位置的儀器，但這些儀器均依賴于附加設(shè)備，如近紅外成像、多光譜相機(jī)、超聲波技術(shù)等，這就增加了儀器的體積、重量和成本．Prabhu等［1］和Kavitha等［2］都利用紅外光源照射皮膚，利用近紅外成像設(shè)備獲取靜脈圖像．周雅等［3］利用紅外光源發(fā)出一種或多種近紅外光照射在被檢測區(qū)域，2個(gè)攝像機(jī)可采集到不同角度的皮膚圖像，經(jīng)計(jì)算處理后可得到靜脈的位置與深度圖．Wieringa等［4］采用立體成像技術(shù)提取皮下淺表靜脈，利用3D顯示設(shè)備觀察靜脈．Shahzad等［5］將人體皮膚分為4類，利用多光譜相機(jī)針對每一類皮膚尋找最優(yōu)近紅外波長，使靜脈圖像的對比度達(dá)到最大．屈學(xué)民等［6］把幾兆至十幾兆的高頻超聲脈沖發(fā)射到人體，利用發(fā)射脈沖與回波脈沖之間的時(shí)間間隔決定皮膚表面和靜脈的距離．王薇等［7］利用顯微超聲的斷層成像方法將血管變化以圖像的形式表現(xiàn)出來．

本文針對可見光圖像開發(fā)了一種快捷的靜脈提取算法，不需要額外的裝置和設(shè)備，利用可見光和近紅外同步圖像中的像素對應(yīng)關(guān)系，采用前向神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)二者之間的映射，進(jìn)而實(shí)現(xiàn)對靜脈的提?。?/p>

1　近紅外－可見光圖像數(shù)據(jù)庫

1．1近紅外圖像的預(yù)處理

采用JAI-AD080CL相機(jī)拍攝了一組手臂圖像．該相機(jī)同步獲取可見光－近紅外的光譜，可見光和近紅外光通過同一鏡頭進(jìn)入2個(gè)感光芯片，2幅圖像完全同步．在近紅外光源的照射下，拍攝的近紅外皮膚圖像中可以看到靜脈的位置．采集了20人前臂內(nèi)側(cè)圖像(每人1組可見光－近紅外圖像)，然后選擇其中8組質(zhì)量最好、靜脈位置最清晰的圖像．盡管近紅外圖像中可以看到靜脈，但具體位置并不很清晰，因此，利用限制對比度自適應(yīng)直方圖均衡化(CLAHE)方法對近紅外圖像進(jìn)行預(yù)處理，每幅圖像被劃分為8×8像素的區(qū)域，將均勻分布作為目標(biāo)直方圖［8］．圖1(a)為一幅前臂的近紅外圖像，圖1(b)為采用CLAHE方法對圖像進(jìn)行預(yù)處理的結(jié)果．由圖可見，該方法在抑制噪聲的基礎(chǔ)上提升了圖像的對比度．

圖1　Gabor濾波及靜脈提取結(jié)果

1．2近紅外圖像中靜脈的提取

Gabor濾波器與人類視覺系統(tǒng)的紋理認(rèn)知機(jī)制一致，能很好地表達(dá)紋理的方向特征，因此被廣泛應(yīng)用于計(jì)算機(jī)視覺的許多領(lǐng)域，如紋理分割、邊緣檢測等［9］．本文利用Gabor濾波器自動(dòng)提取預(yù)處理后近紅外圖像中的靜脈信息，由于近紅外圖像中靜脈為黑色線條，故采用16個(gè)含有不同尺度和方向的Gabor濾波器的實(shí)部對圖像進(jìn)行處理［10］，其空域數(shù)學(xué)表達(dá)式為

式中，x' = xcosθk+ ysinθk，y' =－xsinθk+ ycosθk;θk= kπ/8為濾波器方向角;λmk為正弦分量的波長; σm為橢圓形高斯窗口沿x'方向的標(biāo)準(zhǔn)方差;γ為空域中的比例; m∈{ 1，2}為濾波器的尺度集合; k∈{ 1，2，…，8}為濾波器的方向集合．為了提高對圖像亮度變化的魯棒性，去除濾波器的直流分量，得到濾波器GDC．設(shè)N(x，y)為一幅近紅外圖像，利用下式對該圖像進(jìn)行Gabor濾波:

式中，*表示二維卷積運(yùn)算．通過式(2)計(jì)算共得到16幅濾波結(jié)果圖．

由于每個(gè)濾波器能感受到特定方向和尺度的信息，因此在每一個(gè)像素位置，選用響應(yīng)最大的濾波器的方向和尺度來表示該位置的方向和尺度信息．靜脈具有連續(xù)性，因而可從濾波結(jié)果圖中觀察到靜脈位置．為了消除光照和拍攝角度對濾波的影響，將點(diǎn)(x，y)附近的局部圖像能量Pm從Fλmk，θk，σm，γ中除去，即用Fλmk，θk，σm，γ/Pm(x，y)來估計(jì)圖像中的局部信息［10］．因此，Gabor濾波得到的方向圖和能量圖分別為

圖1給出了一組Gabor濾波的結(jié)果圖，其中，圖1(c)和(d)分別為對圖1(b)進(jìn)行Gabor濾波后得到的能量和方向結(jié)果圖．從圖中可以觀察到靜脈的位置．

在Gabor濾波的基礎(chǔ)上，進(jìn)一步對靜脈位置進(jìn)行增強(qiáng)［10］．為了自動(dòng)提取靜脈像素，采用Otsu閾值分割算法對結(jié)果圖進(jìn)行二值化處理，結(jié)果如圖1 (e)所示．對二值圖進(jìn)行細(xì)化，得到靜脈的線狀表示圖，如圖1(f)所示．

2　近紅外－可見光映射模型

將靜脈線狀圖疊加于近紅外圖像上，沿著黑色線條提取9×9像素的近紅外像素塊;同理，將靜脈線狀圖疊加于可見光圖像上，沿著黑色線條提取9 ×9×3像素的可見光像素塊(RGB三個(gè)顏色通道)．得到一組可見光/近紅外對應(yīng)像素塊，這些像素塊表征了含有靜脈的皮膚在可見光和近紅外圖像中像素值的對應(yīng)關(guān)系．針對圖像庫中的每一組可見光/近紅外手臂圖像，提取100組對應(yīng)像素塊．僅有靜脈像素的特征還不能構(gòu)成有效的訓(xùn)練數(shù)據(jù)，為此，在靜脈線狀圖的空白區(qū)域(對應(yīng)了非靜脈位置的普通皮膚)提取了同樣數(shù)量的可見光/近紅外對應(yīng)像素塊．最終得到1 600組像素塊，構(gòu)成了訓(xùn)練數(shù)據(jù)庫．

采用一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)來模擬可見光到近紅外像素值的映射關(guān)系，輸入層包含3個(gè)神經(jīng)元，以訓(xùn)練數(shù)據(jù)庫中的可見光像素值作為輸入;輸出層包含1個(gè)神經(jīng)元，以近紅外像素值作為輸出;隱含層包含5個(gè)神經(jīng)元．隱含層和輸出層分別采用tan-sigmoid和線性函數(shù)，利用Levenberg-Marquardt反向傳播法進(jìn)行訓(xùn)練［11］．對于一幅待測可見光圖像，將其RGB三個(gè)通道的像素值輸入給訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，從其輸出的映射圖像中即可實(shí)現(xiàn)對靜脈的提取．

3　圖像亮度自適應(yīng)調(diào)節(jié)算法

可見光圖像中RGB三個(gè)通道的像素值是由入射光、皮膚反射率和相機(jī)響應(yīng)函數(shù)共同決定的，即

式中，R，G，B分別為RGB三個(gè)通道的像素值; I(λ)為入射光光譜; R123(λ)為皮膚反射率; SR(λ)，SG(λ)，SB(λ)為數(shù)碼相機(jī)的響應(yīng)函數(shù)．可見，入射光的強(qiáng)度變化對可見光圖像中的像素值有很大的影響．在不同光照條件下，相同的皮膚和相機(jī)會(huì)產(chǎn)生不同亮度值的圖像，這將影響靜脈提取的結(jié)果．設(shè)I(λ)和aI(λ)為2個(gè)具有相同光譜但是不同強(qiáng)度的光源，根據(jù)式(5)～(7)，由這2種光源產(chǎn)生的顏色值分別為和，其中τ= { R，G， B}．本文采用一種圖像亮度自適應(yīng)調(diào)節(jié)算法來降低光照強(qiáng)度的影響，即

式中，V為待測的可見光圖像; a為圖像亮度調(diào)整算子; f為神經(jīng)網(wǎng)絡(luò)映射函數(shù); C為神經(jīng)網(wǎng)絡(luò)輸出的映射圖像．當(dāng)映射圖像的局部方差最大時(shí)，靜脈的位置也最為清晰，因此，通過調(diào)整映射圖像的局部方差求得a的最優(yōu)值，即

式中，A為算子待選值集合; Cb，i為映射近紅外圖像中第i個(gè)5×5像素的鄰域; M為鄰域總數(shù); (x，y)為像素的位置; Sb，i為Cb，i中皮膚像素的集合．

4　實(shí)驗(yàn)結(jié)果和討論

4．1近紅外圖像中靜脈提取方法的比較

在建立近紅外－可見光訓(xùn)練數(shù)據(jù)庫時(shí)，本文利用Gabor濾波器自動(dòng)提取預(yù)處理后近紅外圖像中的靜脈線條．首先對這種提取方法進(jìn)行比較驗(yàn)證，通過簡單的閾值方法分割靜脈．圖2(a)～(c)分別為對圖1(b)采用Otsu方法、區(qū)域增長法和水平集法進(jìn)行分割的結(jié)果圖．對比圖1(f)可見，這些簡單的閾值分割方法無法有效地提取近紅外圖像中的靜脈．

4．2靜脈提取算法的主觀評(píng)價(jià)

用一批可見光皮膚圖像對本文所提算法進(jìn)行驗(yàn)證．首先對圖像亮度進(jìn)行自適應(yīng)調(diào)節(jié)，然后將其輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行靜脈提?。袑?shí)驗(yàn)圖像的采集對象均不在訓(xùn)練數(shù)據(jù)庫人員中．前臂內(nèi)側(cè)圖像的部分實(shí)驗(yàn)結(jié)果如圖3所示，圖中的近紅外圖像用于對提取結(jié)果進(jìn)行驗(yàn)證．利用限制對比度自適應(yīng)直方圖均衡化方法對結(jié)果圖像的對比度進(jìn)行了調(diào)整，同時(shí)采用了雙邊濾波對噪聲進(jìn)行平滑．第1組實(shí)驗(yàn)圖像的采集對象為中國人，其皮膚黑色素含量較少，皮下脂肪層較薄，所以其靜脈位置較淺，盡管如此，用目視法還是不容易從可見光圖像中尋找全部的靜脈(見圖3(a) )．用本文所提算法可以得到很好的提取結(jié)果(見圖3(b) )，與近紅外圖像(見圖3 (c) )比較后發(fā)現(xiàn)，從圖3(b)中可以清晰地看到所有靜脈的位置，包括一些細(xì)小的靜脈．第2組實(shí)驗(yàn)圖像的采集對象為伊朗人，其皮膚上有濃密的毛發(fā)，嚴(yán)重影響了目視法對靜脈的觀測效果(見圖3 (d) )．第3組實(shí)驗(yàn)圖像的采集對象為印度人，其皮膚黑色素含量較高，膚色很深，目視法幾乎無法找到靜脈(見圖3(g) )，這2組實(shí)驗(yàn)近紅外圖像中的靜脈都不是很清楚(見圖3(f)、(i) )，但在圖3 (e)、(h)的提取結(jié)果中可以看到靜脈的位置．

圖2　靜脈提取方法的比較驗(yàn)證

圖3　前臂的靜脈提取實(shí)驗(yàn)結(jié)果

本文所用的訓(xùn)練數(shù)據(jù)采集自前臂內(nèi)側(cè)的圖像，為了驗(yàn)證該算法的通用性，用不同相機(jī)拍攝的不同部位的皮膚圖像對其進(jìn)行實(shí)驗(yàn)，部分結(jié)果見圖4．第1組實(shí)驗(yàn)圖像采集自上臂的外側(cè)(見圖4(a) )，第2組實(shí)驗(yàn)圖像采集自大腿的前側(cè)(見圖4(d) )，第3組實(shí)驗(yàn)圖像采集自小腿的前側(cè)(見圖4(g) )，其中可見光圖像是由Nikon D70相機(jī)拍攝的(與近紅外圖像非同步對應(yīng))，相機(jī)型號(hào)和光照條件都與訓(xùn)練數(shù)據(jù)有很大差別．3組實(shí)驗(yàn)中，由提取結(jié)果可以清晰地找到靜脈的位置(見圖4(b)、(e)、(h) )，部分靜脈甚至比近紅外圖像還要清晰(見圖4(c)、(f)、(i) )．從上述實(shí)驗(yàn)結(jié)果可見，本文所提的靜脈提取算法對于不同人種、不同身體部位、不同光照條件和不同特性相機(jī)拍攝的圖像都能有較好的提取結(jié)果．

4．3靜脈提取算法的客觀評(píng)價(jià)

為了對本文算法進(jìn)行更好的驗(yàn)證，設(shè)計(jì)了如下的客觀評(píng)價(jià)方法．首先針對一幅可見光手臂圖像(見圖5(a) )獲得提取結(jié)果圖(見圖5(d) )，接著利用前述Gabor濾波器提取靜脈位置二值圖(見圖5(g) )．同時(shí)，針對與可見光圖像對應(yīng)的近紅外圖像(見圖5(b) )也提取其靜脈位置二值圖(見圖5(e) )，進(jìn)一步可以得到該近紅外圖像與提取結(jié)果中靜脈位置的交集(見圖5(h) )．作為對比，選取另一幅手臂的近紅外圖像(見圖5(c) )，提取其靜脈位置二值圖(見圖5(f) )，并得到其與提取結(jié)果中靜脈位置的交集(見圖5(i) )．觀察2幅交集圖像可以發(fā)現(xiàn)，提取結(jié)果與對應(yīng)的近紅外圖像有著很高的重合度，而與其他近紅外圖像的重合區(qū)域極少．將交集圖像與近紅外圖像中靜脈的面積之比定義為靜脈重合度，作為算法性能的客觀評(píng)價(jià)．圖5 (h)的靜脈重合度為49．88%，而圖5(i)的靜脈重合度只有8．81%．具體步驟如下:

圖4　其他身體部位的靜脈提取實(shí)驗(yàn)結(jié)果

圖5　提取結(jié)果的客觀評(píng)價(jià)

1)對一個(gè)含有20幅手臂圖像(不包含采集訓(xùn)練圖像的人員)的測試圖庫進(jìn)行了實(shí)驗(yàn)．分別求出結(jié)果圖像與對應(yīng)近紅外圖像及其余近紅外圖像的靜脈重合度．圖6(a)為實(shí)驗(yàn)結(jié)果．可見，用本文算法得到的靜脈位置與對應(yīng)近紅外圖像的重合度遠(yuǎn)高于與其余近紅外圖像的重合度，利用該算法可以較為準(zhǔn)確地找到可見光圖像中的靜脈．

2)驗(yàn)證本文算法的魯棒性．對另一個(gè)含有22幅手臂圖像的測試圖庫進(jìn)行了實(shí)驗(yàn)，該圖庫的圖像是在不同拍攝條件下獲得的，光照及拍攝角度都有較大差異，圖6(b)為實(shí)驗(yàn)結(jié)果．可見，對于不同拍攝條件下的圖像，用本文算法得到的靜脈位置與對應(yīng)近紅外圖像仍有較高的重合度．

3)驗(yàn)證本文算法的穩(wěn)定性．對一組含有15人手臂圖像的測試圖庫進(jìn)行了實(shí)驗(yàn)，其中每人拍攝了2次，平均時(shí)間間隔為2周，2次拍攝的光照、拍攝角度均不同，部分圖像如圖7所示，圖6(c)為2次測試的平均結(jié)果．可見，對于不同時(shí)間拍攝的圖像，本文算法具有較穩(wěn)定的提取效果．

圖6　靜脈重合度測試結(jié)果

圖7　2次拍攝時(shí)段獲得的測試圖像

以上的多組實(shí)驗(yàn)結(jié)果證明了本文算法的有效性．另外，該算法運(yùn)算簡單，利用Matlab7．11軟件對一幅1 024×768像素的可見光圖像進(jìn)行測試，運(yùn)行時(shí)間僅為0．338 s．

5　結(jié)語

本文針對可見光圖像開發(fā)了一種快捷的靜脈提取算法．首先采集了一組可見光－近紅外的同步皮膚圖像，通過預(yù)處理和Gabor濾波器提取靜脈及普通皮膚的對應(yīng)像素值，作為樣本訓(xùn)練一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)，模擬可見光到近紅外像素值的映射關(guān)系．采用了一種圖像亮度自適應(yīng)調(diào)節(jié)算法來降低入射光強(qiáng)度變化對可見光圖像的影響．實(shí)驗(yàn)結(jié)果表明，該方法對于不同人種、不同身體部位、不同光照條件和不同特性相機(jī)拍攝的圖像都能有較好的提取結(jié)果，并且運(yùn)算簡單快捷，易于實(shí)現(xiàn)．另外，該方法在實(shí)際使用中不需要任何輔助裝置和設(shè)備，將基于該算法的軟件植入醫(yī)護(hù)人員的智能手機(jī)中，即成為小巧便攜的靜脈顯像儀．該方法能顯著提高首次靜脈穿刺成功率，提高了醫(yī)護(hù)人員的工作效率，有望為中西部偏遠(yuǎn)落后地區(qū)的患者提供幫助．

參考文獻(xiàn)(References)

［1］Prabhu V，Mohanavelu K，Sundersheshu B S，et al．Vein identification and localization for automated intravenous drug delivery system［M］/ /Wireless Networks and Computational Intelligence．Heidelberg，German: Springer Berlin，2012: 270－281．

［2］Kavitha R，F(xiàn)lower L．Localization of palm dorsal vein pattern using image processing for automated intra-venous drug needle insertion［J］．International Journal of Engineering Science＆Technology，2011，3(6) : 4833 －4838．

［3］周雅，胡曉明，林俊清，等．一種多光譜三維靜脈圖像顯示裝置:中國，CN102813504A［P］．2012-12-12．

［4］Wieringa F P，Mastik F，Cate F J，et al．Remote noninvasive stereoscopic imaging of blood vessels: First invivo results of a new multispectral contrast enhancement technology［J］．Annals of Biomedical Engineering，2006，34(12) : 1870－1878．DOI: 10．1007/s10439-006-9198-1．

［5］Shahzad A，Walter N，Saeed M A，et al．Multispectral venous images analysis for optimum illumination selection［C］/ /IEEE International Conference on Image Processing．Melbourne，Australia，2013: 2383－2387．

［6］屈學(xué)民，卞正中．靜脈血管超聲定位檢測儀的研制［J］．中國醫(yī)學(xué)物理學(xué)雜志，2000，17(1) : 32－33．Qu Xuemin，Bian Zhengzhong．The design of ultrasonic location for vein vessel［J］．Chinese Journal of Medical Physics，2000，17(1) : 32－33．(in Chinese)

［7］王薇，曹宏梅，周鵬，等．基于顯微超聲成像的脈搏波檢測研究［J］．中國生物醫(yī)學(xué)工程學(xué)報(bào)，2010，29(4) : 531 －537．DOI:10．3969/j．issn．0258-8021．2010．04．009．Wang Wei，Cao Hongmei，Zhou Peng，et al．Pulse wave detection for ultrasound imaging microscopy［J］．Chinese Journal of Biomedical Engineering，2010，29 (4) : 531－537．DOI: 10．3969/j．issn．0258-8021．2010．04．009．(in Chinese)

［8］Zuiderveld K．Contrast limited adaptive histogram equalization［C］/ /Graphic Gems IV．Burlington，USA，1994: 474－485．

［9］Daugman J G．Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression ［J］．IEEE Transactions on Acoustics，Speech＆Signal Processing，1988，36(7) : 1169－1179．

［10］Zhang H，Tang C，Kong W K，et al．Matching vein patterns from color images for forensic investigation ［C］/ /IEEE Conference on Biometrics: Theory，Applications and Systems．Arlington，USA，2012: 77－84．

［11］Haykin S．Neural networks: A comprehensive foundation［M］．New York: Macmillan Publishing，1994: 183－189．

A fast vein detection algorithm based on near infrared-visible light mapping

Tang Chaoying
(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

Abstract:A fast vein detection algorithm is proposed for visible images．Pairs of skin images are captured by using a visible-near infrared (NIR) synchronized camera．The contrast of the NIR images is adjusted by the contrast limited adaptive histogram equalization method．Gabor filters are adopted to automatically detect veins information．Based on it，the corresponding pixel values of veins and general skin are exacted from the visible-NIR images and used as samples to train a threelayered feed-forward neural network，which approximates the mapping from RGB (red，green and blue) values to NIR intensities．Veins can be observed from the mapped images．To eliminate the influence of illumination variations on pixel values in visible images，an image intensity adjustment algorithm is proposed．The experimental results show that the proposed algorithm is robust to images taken from different people under different illumination and camera conditions．It also has a stable performance on images taken at different times．The computation is simple and fast，and it is helpful to develop low-cost portable vein imaging device for medical treatment．

Key words:vein detection; visible image; near infrared image; neural network;Gabor filter

基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(61403196)、教育部博士點(diǎn)基金資助項(xiàng)目(20133218120018)、江蘇省自然科學(xué)基金資助項(xiàng)目(BK20140837)．

收稿日期:2015-07-15．

作者簡介:唐超穎(1979—)，女，博士，講師，cytang@ nuaa．edu．cn．

DOI:10．3969/j．issn．1001－0505．2016．01．007

中圖分類號(hào):TP391．41

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001－0505(2016) 01-0035-07