【作 者】解程程，陸燕玉，古隕，王靜，柴新禹

上海交通大學生物醫(yī)學工程學院，上海市，200240

視覺為人類認識世界提供了80%以上的外界信息，因此失明與視力損傷將嚴重影響人類的生存質(zhì)量。近年來，開展了藥物、基因和干細胞移植等防盲治盲療法的研究，但目前還尚無突破性進展，特別是對視網(wǎng)膜色素變性（Retinitis Pigmentosa, RP）、老年黃斑變性（Age-related Macular Degeneration,AMD）等主要致盲疾病還缺乏有效治療措施。這兩種退行性疾病主要損傷視網(wǎng)膜中的光感受器細胞（photoreceptors）導致失明，而視網(wǎng)膜的其它部分及視覺通路相對完好[1]。視覺假體是當今國際上對RP和AMD 失明患者進行視覺功能修復的研究熱點，它主要由外置微攝像機采集外界圖像信息，通過信息處理器把圖像轉(zhuǎn)換為對應的電刺激模式，再由植入體內(nèi)的微電流刺激器將多路電脈沖加載到微電極陣列，對視覺神經(jīng)系統(tǒng)進行電刺激，在視覺中樞產(chǎn)生光幻視（phosphenes），從而實現(xiàn)視覺功能修復[2-7]。

目前，國際上多個國家數(shù)十個研究團隊正在深入開展視覺假體的研究工作，取得了不同程度的進展。依據(jù)對視覺通路中的不同刺激位置，視覺假體基本上可以分為視網(wǎng)膜假體、視皮層假體和視神經(jīng)假體。視網(wǎng)膜假體按其具體的刺激部位，又可以分為視網(wǎng)膜上假體、視網(wǎng)膜下假體及脈絡膜上假體。盡管存在方法上的差異，但所有視覺修復方法的視覺假體都具有一些相同的組成單元，圖像處理就是其中重要的一環(huán)。

在視覺假體中，圖像處理模塊接收攝像頭采集到的圖像信息，實時地進行處理和編碼，然后通過無線傳輸方式發(fā)射到體內(nèi)微電流刺激器，最終驅(qū)動微電極陣列對神經(jīng)組織進行電刺激。目前，由于植入電極數(shù)量的限制，視覺假體只能在視野里誘發(fā)有限的光幻視點，形成低分辨率的光幻視陣列。因此，最終的圖像結果必須按照植入電極陣列的數(shù)量，處理成低分辨率形式，然后進行刺激編碼及傳輸編碼，無線發(fā)射到體內(nèi)部分。

早期的視覺假體圖像處理系統(tǒng)一般基于筆記本電腦工作，缺乏便攜性與實時性?？紤]到假體植入者日常活動的實際需求，本文提出一種基于高性能數(shù)字信號處理器DM642的視覺假體圖像處理系統(tǒng)。該系統(tǒng)具有便攜性、低功耗等特點，而且數(shù)據(jù)計算能力強，滿足實時處理的要求。

1 圖像處理系統(tǒng)

1.1 硬件平臺

構建的視覺假體圖像處理系統(tǒng)平臺的原理結構框圖如圖1所示，主要由北京瑞泰創(chuàng)新科技有限責任公司開發(fā)的DM642最小系統(tǒng)（ICETEK-DM642-B）與自行研制的射頻發(fā)射電路板組成。其中ICETEKDM642-B板主要包括：一片TI公司的TMS320DM642專用視頻信號處理芯片；一片PHILIPS公司的高級精簡指令系統(tǒng)處理器芯片（ARM）LPC2214，4 M*64bit同步動態(tài)存儲器可存儲多達32幀圖像，8-32M位 Flash具備自啟動功能，板上JTAG仿真接口和單+5V電壓供電等。射頻發(fā)射電路板以模擬前端集成電路芯片EM4094為核心構成13.56 MHz載波頻率的RFID基站，輸出與發(fā)射線圈相連，用于發(fā)射能量與數(shù)據(jù)信息，同時還擴展了一個連接攝像頭的視頻輸入口和一個用于顯示圖像處理編碼結果的視頻輸出端口。圖像處理系統(tǒng)裝置的體積為135 mm×108 mm×35 mm(圖2)。

圖1 圖像處理系統(tǒng)的原理結構框圖Fig.1 Structure of image processing system

圖2 圖像處理系統(tǒng)硬件實物圖Fig.2 Hardware platform of image processing

DM642提供豐富的用于多媒體處理的視頻處理接口，主頻達到600 MHz，最大峰值速度達4800MIPS，在本系統(tǒng)中完成圖像的實時處理工作，并按照無線傳輸協(xié)議和刺激器要求格式對圖像信息進行編碼；ARM的工作主頻最高可以達60 MHz，具有片內(nèi)PLL，可實現(xiàn)自定義的倍頻/分頻。ARM模塊一方面控制射頻發(fā)射電路，同時把來自DM642的圖像編碼信息通過串口傳輸?shù)缴漕l芯片EM4094進行無線發(fā)射。

1.2 圖像處理算法

圖3 圖像處理軟件算法流程Fig.3 Flow of the image processing software algorithm

1.2.1 圖像采集

由于假體植入者感受到的光幻視大多為灰度信息，因此在視覺假體圖像處理中一般使用灰度圖。本系統(tǒng)采用一帶有數(shù)模轉(zhuǎn)換模塊的微型黑白CMOS攝像頭采集圖像，分辨率為380線，視角為42o×35o，成像效果穩(wěn)定，尺寸為8.5 mm×8.5 mm。

1.2.2 視角轉(zhuǎn)換

由于目前電極制造和能量傳輸技術的限制，能夠植入的電極數(shù)量有限。視網(wǎng)膜上微電極陣列一般植入在人眼黃斑區(qū)，對應20o的中心視野[1]。攝像頭本身的視角為42o×35o，獲得的每一幀圖像經(jīng)圖像處理系統(tǒng)的視頻解碼器解碼后，得到的分辨率為720×576像素，將其中央?yún)^(qū)域?qū)?0o×20o圖像信息截取出來，得到中間336×336像素的圖像。

1.2.3 降低采樣

在視覺假體的圖像處理中，為了保證獲得視覺圖像信息的實時性，要求系統(tǒng)具有較高的數(shù)據(jù)處理能力。圖像本身的分辨率直接影響圖像處理的速度，為了評估系統(tǒng)對不同分辨率圖像的處理效率與性能，在不改變20o×20o視角的情況下對圖像進行降低采樣處理，分辨率分別降低到32×32、96×96和288×288像素，再對這些圖像分別進行后續(xù)處理。

1.2.4 預處理

通過圖像采集系統(tǒng)獲得實時圖像信息，經(jīng)過圖像預處理過程來增強對比度及去除噪聲，主要包括直方圖均衡化和中值濾波等。

(1) 灰度校正

由于環(huán)境因素，攝像頭采集的圖像會存在曝光不足或曝光過度的情況。直方圖均衡化是常用且有效的圖像增強方法，原理為計算圖像的直方圖，經(jīng)過變換后，使其灰度分布均勻或者基本均勻[8]。通過直方圖均衡化，能夠很好的改善圖像的全局對比度，完成對圖像灰度的校正。這在外界光線過強或者不足的時候特別有效，它能夠?qū)⒃居捎诠饩€問題而表達不明顯的特征再次凸顯出來。

(2) 中值濾波

環(huán)境光線、攝像頭、傳輸電纜、電路系統(tǒng)等因素都有可能引入噪聲，這就需要對圖像進行濾波去噪處理。中值濾波是常用的非線性濾波方法，它在平滑脈沖噪聲方面非常有效，同時也能保護圖像尖銳的邊緣[8-9]。在一定的條件下，它可以克服線性濾波器如最小均方濾波、平均值濾波（平滑濾波）等所帶來的圖像細節(jié)模糊，而且對濾除脈沖干擾及圖像掃描噪聲最為有效。在實際運算過程中并不需要圖像的統(tǒng)計特性，簡化了處理算法。

1.2.5 邊緣提取

邊緣是指其周圍像素灰度有階躍變化或屋頂狀變化的那些像素的集合，是圖像的最基本的特征。邊緣廣泛的存在于物體與背景之間、物體與物體之間，對于物體與場景來說是非常重要的識別信息。由于有限數(shù)量的刺激電極僅能誘發(fā)有限光幻視點的假體視覺信息，因此提取的邊緣信息是假體視覺中的主要特征信息，能夠用有限的信息表達假體視覺下物體與場景的最重要特征，而且能夠提高有限刺激電極的使用效率，減小過多電極刺激對神經(jīng)組織造成的損傷，同時可降低系統(tǒng)的功率損耗。目前用于視覺假體中圖像處理的邊緣算子有Canny和Sobel兩種[10]，Canny計算復雜度高，但能反映更多的細節(jié)；Sobel計算復雜度低，而能較完整地提取邊緣?；诜抡婕袤w視覺的最小信息需求研究發(fā)現(xiàn)，這兩種圖像處理算法在像素化圖像識別中沒有顯著性的差異[11]?？紤]到系統(tǒng)實時性的要求，選用Sobel算子進行邊緣提取。Sobel算子利用像素的上、下、左、右鄰域的灰度加權算法，根據(jù)在邊緣點處達到極值進行邊緣檢測的。

1.2.6 邊緣膨脹

在進行邊緣提取之后的圖像中，線條難免比較細且會遇到斷裂不連續(xù)的問題，此時膨脹算法能夠很好的改善圖像效果。膨脹算法屬于數(shù)學形態(tài)學，基本思想是用具有一定形態(tài)的結構元素去度量和提取圖像中的對應形狀，以達到對圖像分析和識別的目的[12]。經(jīng)過膨脹處理之后，圖像的邊緣線條特征會更明顯，并且能改善邊緣斷裂處的不連續(xù)現(xiàn)象，產(chǎn)生較好的閉合效果。

1.2.7 低像素化

作為修復視覺感受的基本形式，光幻視點被認為是構成“假體視覺”的最基本組成單元，即像素點。目前視覺假體植入到體內(nèi)的微電極數(shù)目有限，僅能誘發(fā)有限數(shù)量的離散光幻視點，提供基本的視覺信息。因此，要對圖像進行低像素化處理，以使圖像中的每個像素點分別對應同一位置的刺激電極。

Thompson等人[13]的研究表明，4級灰度以上的光幻視點組成的圖像將大大提高識別率。同時臨床實驗表明，假體植入者能辨認10個等級的光亮度[4]。本文將灰度級設定為4級(灰度值為0、85、170、255)，根據(jù)原圖每個像素點所處的灰度范圍為其賦新的灰度值。

1.2.8 編碼傳輸

DM642完成圖像處理后，將對低像素化的圖像按照無線傳輸協(xié)議和體內(nèi)刺激器的要求格式進行編碼。圖像中每一個像素點的信息都會被賦予在一個32位的數(shù)據(jù)幀中，包括起始位1位，模式位1位，刺激電流幅值信息12位，脈寬信息6位，刺激電極1位置信息，刺激電極2位置信息5位，奇偶校驗位1位以及填充位1位。DM642將一幀圖像編碼完成后送到SDRAM數(shù)據(jù)區(qū)，ARM從該存儲區(qū)將整幀圖像信息讀取后，按照PWM波格式通過GPIO口發(fā)送給與其連接的射頻芯片EM4094。EM4094連接發(fā)射線圈以ASK調(diào)制方式進行無線傳輸，將圖像編碼信息發(fā)送給體內(nèi)線圈，最終刺激器驅(qū)動微電極陣列對神經(jīng)組織進行電刺激。

2 性能評估與結果

本文選用DM642芯片作為圖像處理系統(tǒng)的核心，是為了滿足視覺假體圖像處理的實時性要求。針對以上圖像處理算法，對ICETEK-DM642-B板的實時處理性能進行了評估。在不同的初始分辨率下（32×32、96×96、288×288），DM642的C編譯器和集成開發(fā)環(huán)境Code Composer Studio 2.21（CCS2.21）中的Profiler工具可統(tǒng)計出算法流程中每個步驟處理一幀圖像的時間，據(jù)此可精確計算每種算法的處理幀率。將各種算法的處理時間串行加在一起可得到一幀圖像完成所有處理所需要的時間，即對應的圖像處理系統(tǒng)的處理幀率，以此評估它的實時處理性能。表1是DM642對各種算法在這3種分辨率下處理幀率（Frames per second, fps）的比較。

表1 不同分辨率下DM642對各種圖像算法處理幀率（fps）比較Tab.1 Comparison among fps of different image processing algorithms under different resolutions

結果表明，在各種圖像分辨率下，DM642都能高速地完成各種算法處理。各種算法串行處理后，在32×32分辨率下處理幀率為1632fps；在96×96分辨率下為184fps；在288×288分辨率下仍可達到20fps，完全能夠滿足視覺假體圖像處理實時性的需求[14]。

圖4展示了基于DM642的圖像處理算法對簡單物體（椅子）的處理結果。初始分辨率為32×32、96×96和288×288的圖像，經(jīng)過一系列圖像處理，最后處理成32×32分辨率的仿真光幻視陣列組成的圖像。初始分辨率為288×288像素時，圖像信息比較完整，因此邊緣提取效果較好，最后的低像素化效果也優(yōu)于前兩者。

本文同時對開發(fā)板的功耗進行了測試。在單+5V電壓供電下，輸出電流約為550 mA，也就意味著功耗約2.7 W。一塊5000 mAh容量的電池能提供開發(fā)板約10小時的工作時間。

3 討論與總結

本文提出了基于數(shù)字信號處理器DM642的視覺假體圖像處理系統(tǒng)，目的在于研發(fā)適合于假體植入者便于攜帶的體積小、功耗低、實時性強的體外圖像處理裝置。由于目前視覺假體的研究還處于初期的臨床實驗階段，神經(jīng)接口刺激電極數(shù)量較少，僅能夠傳遞給植入患者簡單的視覺信息，所以本文中僅涉及圖像的視角變換、降低采樣、預處理、邊緣提取與膨脹、低像素化等基本的幾個步驟作為視覺假體的圖像處理策略。對這些基本算法，DM642能夠達到較高的處理速度，滿足了實時性的要求。文中算法的實現(xiàn)是采用C語言和少量匯編語言混合編程。在未來進一步的研究中，我們將采用更多的DSP匯編語言編寫程序，并對算法和代碼進一步優(yōu)化，可望能進一步提高系統(tǒng)的運算性能。

隨著視覺假體研究的進一步深入及臨床實驗的廣泛開展，對其中圖像處理將提出更高的要求。在今后的研究工作中，不規(guī)則光幻視陣列矯正、基于視覺注意機制的圖像特征提取等復雜算法，也將逐步引入到視覺假體的圖像處理中，進一步優(yōu)化信息處理策略，使假體植入者在有限的光幻視點陣列情況下獲得更加有效的視覺信息。但是，這些復雜處理方法具有較大的計算量，將對視覺假體圖像處理的實時性提出更大的挑戰(zhàn)，要求研究者繼續(xù)不斷完善圖像處理策略及算法優(yōu)化。

[1] Weiland JD, Humayun MS. Visual prosthesis [J]. Proceedings of the IEEE, 2008, 96(7): 1076-1084.

[2] Brindley GS, Lewin WS. The sensations produced by electrical stimulation of the visual cortex [J]. J Physiol, 1968, 196 (2): 479-493.

[3] Dobelle WH, Mladejovsky MG. Phosphenes produced by electrical stimulation of human occipital cortex, and their application to the development of a prosthesis for the blind [J]. J Physiol, 1974, 243(2): 553-576.

[4] Humayun MS, Weiland JD, Fujii GY, et al. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J].Vision Res, 2003, 43(24): 2573-2581.

[5] Veraart C, Raftopoulos C, Mortimer JT, et al. Visual sensations produced by optic nerve stimulation using an implanted self-sizing spiral cuff electrode [J]. Brain Res, 1998, 813 (1): 181-186.

[6] Zrenner E. Will retinal implants restore vision? [J]. Science,2002,295 (5557): 1022-1025.

[7] Chai X, Li L, Wu K, et al. C-sight visual prostheses for the blind [J].IEEE Eng Med Biol Mag, 2008, 27 (5): 20-28.

[8] Acharya T, Ray AK. Image processing: principles and applications[M]. Wiley-Interscience, 2005.

[9] Dagnelie G, Thompson RW, Barnett GD, et al. Visual perception and performance under conditions simulating prosthetic vision [J].Perception, 2000: 84 (Abstract).

[10] Snaith M, Lee D, Probert P. A low-cost system using sparse vision for navigation in the urban environment [J]. Image and Vision Computing, 1998, 16(4): 225-233.

[11] Dowling J, Maeder A, Boles W. Mobility enhancement and assessment for a visual prosthesis [J]. Proceedings SPIE Medical Imaging 2004: Physiology, Function, and Structure from Medical Images, 2004, 5(23): 780-791.

[12] Gonzales R, Woods R. Digital image processing[M]. Addision-Wesley Publishing Company, 1992

[13] Thompson RW, Jr., Barnett GD, Humayun MS, et al . Facial recognition using simulated prosthetic pixelized vision [J]. Invest Ophthalmol Vis Sci, 2003, 44 (11): 5035-5042.

[14] Fink W, You CX, Tarbell MA. Microcomputer-based artificial vision support system for real-time image processing for cameradriven visual prostheses [J]. J Biomed Opt, 2010, 15 (1): 016013.