【作 者】康明洪，嚴(yán)壯志,，徐寧遠(yuǎn)，朱泳

1 上海大學(xué)通信與信息工程學(xué)院，上海市，200072

2 上海大學(xué)生物醫(yī)學(xué)工程研究所，上海市，200072

0 引言

內(nèi)窺鏡在五官科（耳鼻咽喉）疾病診療過(guò)程中有廣泛的應(yīng)用。早期五官科診療器械包括耳鏡、間接鼻咽鏡、間接喉鏡等，屬于第一代產(chǎn)品，目前仍然是許多醫(yī)院的常用基本設(shè)備；而為了滿足更精準(zhǔn)的診療需要，五官科診療領(lǐng)域出現(xiàn)了一些新器械和新設(shè)備，并逐漸出現(xiàn)了一些將這些器械和設(shè)備整合形成的綜合診療臺(tái)，是目前主要的五官科檢查設(shè)備，屬于第二代產(chǎn)品[1-3]；隨著技術(shù)的進(jìn)步，市場(chǎng)上也出現(xiàn)了一些數(shù)字化高清五官科內(nèi)窺鏡綜合診療工作站[4-6]，可以提供高清五官科內(nèi)窺鏡視頻，還可以實(shí)現(xiàn)臨床病例的收集、統(tǒng)計(jì)、分析和存儲(chǔ)，屬于第三代產(chǎn)品。

目前國(guó)外僅有少數(shù)廠家生產(chǎn)耳鼻喉診療工作站，如荷蘭Entermed高檔耳鼻喉綜合診療臺(tái)、美國(guó)Medtronic耳鼻喉動(dòng)力視頻系統(tǒng)、德國(guó)Richard-Wolf公司數(shù)字高清（HD）攝像系統(tǒng)、德國(guó)ATMOS高檔耳鼻喉綜合診療臺(tái)、韓國(guó)MEDSTAR耳鼻喉科綜合診療臺(tái)、韓國(guó)MEGA耳鼻喉科綜合診療臺(tái)等，這些設(shè)備一般都及其昂貴，而國(guó)內(nèi)的類似產(chǎn)品比較少，導(dǎo)致五官科綜合診療設(shè)備在國(guó)內(nèi)醫(yī)院的配置率比較低，不能滿足現(xiàn)代五官科醫(yī)療的需求。

本文研發(fā)數(shù)字化高清五官科—頭頸外科綜合診療工作站配套的高清內(nèi)窺鏡視頻圖像系統(tǒng)，提供臨床檢查、診斷、診療和教學(xué)所需求的高清視頻或圖像采集、處理、顯示、存儲(chǔ)和傳輸?shù)裙δ?，并配合圖文工作站進(jìn)行工作。

1 系統(tǒng)設(shè)計(jì)

本系統(tǒng)作為五官科綜合診療工作站的基礎(chǔ)和核心系統(tǒng)，是綜合考慮五官科綜合診療工作站的應(yīng)用環(huán)境設(shè)計(jì)的。圖1描述了一般的五官科患者就診流程。

視頻圖像系統(tǒng)和圖文工作站共同構(gòu)成數(shù)字化高清五官科—頭頸外科綜合診療工作站，本文主要涉及視頻圖像系統(tǒng)的設(shè)計(jì)，提供高清內(nèi)窺鏡視頻的采集、顯示、存儲(chǔ)、傳輸，和諸如凍結(jié)、白平衡、放大等多種臨床所需的處理。通過(guò)中央處理器（CPU）和圖形處理器（GPU）協(xié)同工作實(shí)現(xiàn)了高清內(nèi)窺鏡視頻的實(shí)時(shí)處理。圖2是視頻圖像系統(tǒng)的框架設(shè)計(jì)圖。

圖2 視頻圖像系統(tǒng)的框架設(shè)計(jì)圖Fig.2 Architecture design of video image system

圖2中手柄中的高清相機(jī)可輸出1920×1080像素的全高清內(nèi)窺鏡視頻，高清相機(jī)和高清視頻采集卡構(gòu)成視頻采集單元；CPU和GPU構(gòu)成視頻處理單元；高清視頻回放卡和高清醫(yī)用監(jiān)視器構(gòu)成視頻顯示單元；手柄中的手柄鍵盤、腳踏板和鍵盤解碼模塊構(gòu)成人機(jī)交互單元。此外，通過(guò)網(wǎng)絡(luò)接口實(shí)現(xiàn)視頻圖像系統(tǒng)和圖文工作站的交互。系統(tǒng)的數(shù)據(jù)流圖如圖3所示。

圖3 視頻圖像系統(tǒng)的數(shù)據(jù)流圖Fig.3 Data flow diagram of video image system

根據(jù)系統(tǒng)的框架設(shè)計(jì)圖和數(shù)據(jù)流圖，將視頻圖像系統(tǒng)劃分為5個(gè)主要的功能模塊，即相機(jī)控制模塊、視頻處理模塊、視頻顯示和存儲(chǔ)模塊、人機(jī)交互模塊、圖文工作站交互接口模塊。共有10個(gè)主要的處理功能，即凍結(jié)、白平衡、測(cè)光模式、亮度、對(duì)比度、放大、旋轉(zhuǎn)、翻轉(zhuǎn)、雙屏顯示和輪廓強(qiáng)調(diào)。

2 模塊設(shè)計(jì)

本節(jié)重點(diǎn)介紹上述5個(gè)功能模塊的實(shí)現(xiàn)方法，主要包括硬件支持和軟件設(shè)計(jì)。

2.1 相機(jī)控制

控制相機(jī)可以實(shí)現(xiàn)高清視頻的白平衡和亮度調(diào)節(jié)兩個(gè)系統(tǒng)功能。視頻圖像系統(tǒng)通過(guò)串口控制高清相機(jī)。對(duì)于白平衡，主要是由于內(nèi)窺鏡光源“色溫”的不同會(huì)導(dǎo)致內(nèi)窺鏡視頻顏色失真，從而影響醫(yī)生的觀察，一般高色溫的光源下拍攝的內(nèi)窺鏡視頻偏藍(lán)，低色溫下則偏紅。為了消除“色溫”的影響，需要在內(nèi)窺鏡檢查之前對(duì)相機(jī)進(jìn)行白平衡調(diào)整。具體做法是將相機(jī)對(duì)準(zhǔn)“標(biāo)準(zhǔn)白色卡紙”，然后按動(dòng)手柄鍵盤上的白平衡鍵，高清相機(jī)會(huì)自動(dòng)進(jìn)行白平衡，在結(jié)束之前，高清相機(jī)需一直對(duì)準(zhǔn)“標(biāo)準(zhǔn)白色卡紙”，直到高清醫(yī)用監(jiān)視器上顯示的“標(biāo)準(zhǔn)白色卡紙”呈現(xiàn)正常的白色為止。

對(duì)于亮度調(diào)節(jié)，是通過(guò)調(diào)節(jié)相機(jī)的快門實(shí)現(xiàn)的。五官科內(nèi)窺鏡檢查過(guò)程中一般使用的都是短焦距鏡頭，由于硬管鏡前端和耳鼻咽喉內(nèi)腔表面的距離比較近，一般監(jiān)視器上顯示的內(nèi)窺鏡視頻亮度比較高，影響醫(yī)生的觀察和判斷，需要通過(guò)調(diào)整相機(jī)的快門使得采集到的內(nèi)窺鏡視頻亮度在合理范圍之內(nèi)。

2.2 視頻處理

視頻處理提供醫(yī)生內(nèi)窺鏡檢查所需的多種實(shí)用功能。本系統(tǒng)使用NVIDIA CUDA架構(gòu)的GPU協(xié)同CPU實(shí)現(xiàn)高清內(nèi)窺鏡視頻的實(shí)時(shí)處理[7]。在10個(gè)系統(tǒng)功能中，除白平衡和亮度調(diào)節(jié)外，其余8個(gè)功能都是在本模塊中實(shí)現(xiàn)的，其中凍結(jié)和測(cè)光在CPU中完成，其余6個(gè)在GPU中完成。此外GPU還設(shè)計(jì)有明度（以區(qū)別之前的亮度調(diào)節(jié)）處理，主要是完成測(cè)光功能。下面分三部分介紹，即凍結(jié)部分、GPU視頻處理部分和測(cè)光部分。

圖4 凍結(jié)程序設(shè)計(jì)流程圖Fig.4 Software flow chart of freezing

（1）凍結(jié)部分 凍結(jié)在本系統(tǒng)中的定義是將凍結(jié)鍵按下瞬間的視頻幀保存在“臨時(shí)幀內(nèi)存”，并以此幀進(jìn)行后續(xù)處理。凍結(jié)時(shí)并不會(huì)將視頻幀存儲(chǔ)下來(lái)，醫(yī)生根據(jù)診斷需要自行決定是否存儲(chǔ)該視頻幀，如需存儲(chǔ)，則通過(guò)操作腳踏板完成。凍結(jié)的程序設(shè)計(jì)流程圖如圖4所示。

（2）GPU視頻處理部分 該部分實(shí)現(xiàn)了高清內(nèi)窺鏡視頻的多種并行處理，極大縮減了處理耗時(shí)，使得高清視頻的實(shí)時(shí)處理成為了可能。圖5顯示了GPU處理的輸入和輸出。

圖5 GPU處理的輸入和輸出Fig.5 Input and output of GPU process

從圖5中可知，GPU視頻處理有4個(gè)輸入，即控制參數(shù)、視頻幀、參考圖和菜單圖。控制參數(shù)決定了明度、對(duì)比度、放大、旋轉(zhuǎn)、翻轉(zhuǎn)、雙屏顯示和輪廓強(qiáng)調(diào)的處理方式，其中明度處理是測(cè)光處理的一部分，將在測(cè)光部分詳細(xì)介紹。視頻幀是YUV格式的，高清視頻YUV(YCbCr)到RGB的轉(zhuǎn)換公式如式(1)所示。

參考圖系統(tǒng)默認(rèn)是將最后一張存儲(chǔ)的視頻幀作為參考圖，供醫(yī)生對(duì)比觀察使用，此外，參考圖可通過(guò)圖文工作站指定，將在圖文工作站交互接口模塊中詳細(xì)介紹。菜單圖是根據(jù)當(dāng)前系統(tǒng)的控制狀態(tài)繪制的，主要是為支持人機(jī)交互，將在人機(jī)交互模塊中詳細(xì)介紹。GPU視頻處理輸出兩張視頻幀，分別用于顯示和存儲(chǔ)，其中存儲(chǔ)幀格式為RGB可以節(jié)省存儲(chǔ)空間。

下面介紹上述7個(gè)GPU視頻處理的算法設(shè)計(jì)。根據(jù)處理特點(diǎn)將它們分為兩組，一組是調(diào)節(jié)像素值，包括明度、對(duì)比度和輪廓強(qiáng)調(diào)；一組調(diào)節(jié)像素坐標(biāo)，包括放大、旋轉(zhuǎn)、翻轉(zhuǎn)和雙屏顯示。其中明度和對(duì)比度的處理公式如式(2)所示。

式中B代表明度調(diào)節(jié)參數(shù)，B越大則輸出視頻明度越強(qiáng)，C代表對(duì)比度調(diào)節(jié)參數(shù)，C越大則對(duì)比度越強(qiáng)。輪廓強(qiáng)調(diào)可以通過(guò)拉普拉斯銳化實(shí)現(xiàn)。對(duì)于像素坐標(biāo)的處理，設(shè)變換前的像素坐標(biāo)為(m0,n0)，變換后的像素坐標(biāo)為(m1,n1)，那么放大、旋轉(zhuǎn)和翻轉(zhuǎn)的映射公式分別為式(3)～式(5)。

式中W和H分別代表視頻的寬度和高度。z,q,h,v分別代表放大系數(shù)、旋轉(zhuǎn)角度、水平翻轉(zhuǎn)系數(shù)和垂直翻轉(zhuǎn)系數(shù)，其中，翻轉(zhuǎn)系數(shù)為0表示不翻轉(zhuǎn)，為1表示翻轉(zhuǎn)。將式(3)～式(5)三式合并，則放大、旋轉(zhuǎn)和翻轉(zhuǎn)前后的像素坐標(biāo)映射關(guān)系為式(6)。

將放大、旋轉(zhuǎn)和翻轉(zhuǎn)的像素坐標(biāo)映射關(guān)系綜合考慮可以省去諸多中間的計(jì)算，軟件實(shí)現(xiàn)更簡(jiǎn)單更高效。

（3）測(cè)光部分 測(cè)光模式分三種，即低位、默認(rèn)和高位，醫(yī)生根據(jù)肉眼觀察選擇不同的測(cè)光模式，若內(nèi)窺鏡視頻亮度過(guò)高則選擇低位模式，反之選擇高位模式。醫(yī)生選定測(cè)光模式后，系統(tǒng)對(duì)內(nèi)窺鏡視頻的亮度水平進(jìn)行“評(píng)估”，若較高則調(diào)低明度控制參數(shù)，反之則調(diào)高，從而實(shí)現(xiàn)內(nèi)窺鏡視頻亮度的“自適應(yīng)”調(diào)整?？梢钥闯鰷y(cè)光功能是亮度調(diào)節(jié)的補(bǔ)充，都是為了防止內(nèi)窺鏡視頻中出現(xiàn)大范圍的“高亮區(qū)域”。測(cè)光程序設(shè)計(jì)流程圖如圖6所示。

2.3 視頻顯示和存儲(chǔ)

圖6 測(cè)光程序設(shè)計(jì)流程圖Fig.6 Software flow chart of metering

顯示和存儲(chǔ)是視頻圖像系統(tǒng)的基本功能。為了得到較好的顯示效果，采用了色彩還原性好、性價(jià)比高的高清醫(yī)用監(jiān)視器。高清內(nèi)窺鏡視頻的存儲(chǔ)是本模塊的重點(diǎn)，主要分存儲(chǔ)視頻和存儲(chǔ)圖像，作為臨床資料用于科研和教學(xué)。相比內(nèi)窺鏡視頻，內(nèi)窺鏡圖像的臨床應(yīng)用相對(duì)比較多，因此，系統(tǒng)默認(rèn)存儲(chǔ)高清內(nèi)窺鏡圖像。圖像存儲(chǔ)格式為JPEG，視頻存儲(chǔ)格式則為M-JPEG，兩種格式都能在保證視頻質(zhì)量的情況下達(dá)到較大的壓縮比。由于視頻的存儲(chǔ)相對(duì)復(fù)雜一些，下面重點(diǎn)介紹高清內(nèi)窺鏡視頻的存儲(chǔ)。

在存儲(chǔ)視頻時(shí)，一般會(huì)根據(jù)系統(tǒng)的性能設(shè)計(jì)一個(gè)視頻“緩沖區(qū)”。本系統(tǒng)中“緩沖區(qū)”為內(nèi)存空間中的一塊靜態(tài)內(nèi)存空間，大小為1.2 GB，最多可緩存200張視頻幀。分別建立視頻采集線程和存儲(chǔ)線程操作該“緩沖區(qū)”，其中采集線程用于將采集到的視頻幀存入“緩沖區(qū)”，存儲(chǔ)線程用于將“緩沖區(qū)”中的視頻幀存入存儲(chǔ)器。由于一般情況下采集線程比存儲(chǔ)線程工作速度更快，需要協(xié)調(diào)兩個(gè)線程的同步，并盡量減少“丟幀”。圖7顯示了采集線程和存儲(chǔ)線程的兩種工作狀態(tài)。

圖7中“入緩沖區(qū)”代表采集線程，“出緩沖區(qū)”代表存儲(chǔ)線程。對(duì)于狀態(tài)1，緩沖區(qū)有足夠的空間，不會(huì)發(fā)生“丟幀”；對(duì)于狀態(tài)2，當(dāng)“入緩沖區(qū)”和“出緩沖區(qū)”的操作內(nèi)存空間“重疊”時(shí)（圖中虛箭頭所指處）需要丟幀，否則會(huì)覆蓋掉之前采集的但尚未存儲(chǔ)的視頻幀，從而發(fā)生錯(cuò)誤，此時(shí)需要“丟幀”以保證視頻的連續(xù)性。

2.4 人機(jī)交互

本系統(tǒng)提供手柄控制鍵盤和腳踏板，供醫(yī)生操作和使用。其中手柄鍵盤上有5個(gè)按鍵，為凍結(jié)鍵、白平衡鍵、模式鍵、上選鍵和下選鍵。其中模式鍵、上選鍵和下選鍵構(gòu)成組合控制鍵，在手柄控制菜單的配合下工作，手柄控制菜單的設(shè)計(jì)如圖8所示。

圖7 視頻“緩沖區(qū)”的工作狀態(tài)Fig.7 Operating status of “video buffer”

圖8 手柄控制菜單的設(shè)計(jì)Fig.8 Design of handle shank control menu

手柄控制菜單分普通菜單和高級(jí)菜單，系統(tǒng)默認(rèn)菜單為普通菜單。模式鍵用于當(dāng)前菜單各菜單項(xiàng)間的切換，上選鍵和下選鍵用于當(dāng)前模式狀態(tài)的調(diào)整，特別的，若當(dāng)前選擇的菜單項(xiàng)為復(fù)位時(shí)，上選鍵為當(dāng)前菜單的復(fù)位，下選鍵用于普通菜單和高級(jí)菜單間的切換。此外腳踏板用于采集視頻和圖像，系統(tǒng)默認(rèn)采集圖像，通過(guò)“長(zhǎng)按”模式鍵可以實(shí)現(xiàn)采集圖像和采集視頻間的切換。手柄控制鍵盤和腳踏板通過(guò)鍵盤解碼模塊連接到視頻圖像系統(tǒng)。

2.5 圖文工作站交互接口

圖文工作站交互接口主要是供圖文工作站訪問(wèn)視頻圖像系統(tǒng)所用，以實(shí)現(xiàn)患者信息和數(shù)據(jù)的交互。圖文工作站是數(shù)字化高清五官科—頭頸外科綜合診療工作站的另一個(gè)子系統(tǒng)，與本系統(tǒng)不同，主要是實(shí)現(xiàn)患者信息的登記、圖文診斷報(bào)告的快速填寫、存儲(chǔ)或打印圖文診斷報(bào)告等功能。

待檢查患者首先在圖文工作站登記信息，如姓名、年齡、檢查號(hào)等。登記后可以將患者的姓名和ID發(fā)送給視頻圖像系統(tǒng)，此時(shí)就可以在視頻圖像系統(tǒng)端進(jìn)行內(nèi)窺鏡檢查，醫(yī)生使用視頻圖像系統(tǒng)采集患者的高清內(nèi)窺鏡視頻或圖像，在檢查過(guò)程中，助理醫(yī)生可以及時(shí)將檢查結(jié)果輸入圖文工作站，并從視頻圖像系統(tǒng)中獲取采集到的高清內(nèi)窺鏡圖像，以生成圖文診斷報(bào)告。此外在圖文工作站可以選擇某位患者的高清內(nèi)窺鏡圖像，并在視頻圖像系統(tǒng)中打開作為雙屏顯示時(shí)的參考圖，這在患者復(fù)診時(shí)特別有用，醫(yī)生可以對(duì)診療前后效果有更好的判斷。圖文工作站訪問(wèn)視頻圖像系統(tǒng)中的視頻和圖像是通過(guò)FTP文件傳輸方式實(shí)現(xiàn)，圖文工作站只需保存視頻和圖像才存儲(chǔ)信息即可。

除上述視頻和圖像的交互外，都是通過(guò)控制指令實(shí)現(xiàn)的，指令格式設(shè)計(jì)為“ENT指令類型:指令長(zhǎng)度:指令內(nèi)容END”，其中ENT是指令頭，END是指令尾，指令類型有PAT、OPEN、VIDEO、IMAGE四種，其中PAT指令包含了患者的姓名和ID信息，OPEN指令包含了待打開的圖像的存儲(chǔ)路徑，VIDEO和IMAGE指令分別包含視頻和圖像的存儲(chǔ)路徑。

3 系統(tǒng)測(cè)試

視頻圖像系統(tǒng)的測(cè)試效果，如圖9所示。

圖9 系統(tǒng)整體測(cè)試效果圖Fig.9 Overall test result of the system

圖9中左下角是一個(gè)小功率的光源，最后面的是視頻圖像系統(tǒng)主機(jī)，右手握住的是手柄，高清相機(jī)在手柄中，手柄上有控制鍵盤。監(jiān)視器左上角顯示的是待檢查患者的姓名和ID，左下角顯示的是手柄控制菜單，右上角顯示的是存儲(chǔ)模式，圖像存儲(chǔ)或視頻存儲(chǔ)，右小角顯示的是當(dāng)前日期和時(shí)間。圖10是雙屏顯示效果圖。

圖10中監(jiān)視器左半部分顯示的是參考圖，右半部分是實(shí)時(shí)圖像，通過(guò)對(duì)比醫(yī)生可以得到更準(zhǔn)確的判斷。特別地，在圖文工作站的配合下可以將患者之前的內(nèi)窺鏡圖像和當(dāng)前檢查所見的內(nèi)窺鏡圖像進(jìn)行對(duì)比，這對(duì)于復(fù)診患者特別有用。

圖10 雙屏顯示效果圖Fig.10 Result of double screen display

4 結(jié)束語(yǔ)

本文研發(fā)的高清視頻圖像系統(tǒng)主要是作為五官科診療工作站的配套系統(tǒng)使用的，基本滿足了第三代數(shù)字化高清五官科內(nèi)窺鏡診療工作站的設(shè)計(jì)要求。目前五官科診療工作站在國(guó)內(nèi)醫(yī)院的配置率還比較低，而國(guó)外的產(chǎn)品比較昂貴，國(guó)內(nèi)的類似產(chǎn)品較少，所以五官科診療工作站具有良好的市場(chǎng)前景。此外本文設(shè)計(jì)的高清視頻圖像系統(tǒng)也可以應(yīng)用到其他的內(nèi)窺鏡系統(tǒng)中。

[1]Kaplan MB,Ward DS,Berci G.A new video laryngoscope-an aid to intubation and teaching[J].J Clin Anesthes,2002,14(8): 620-626.

[2]Jones WS.Video otoscopy: bringing otoscopy out of the“black”box[J].Int J Pediatr Otorhinolaryngol,2006,70(11):1875-1883.

[3]Ye B,Wang L. A CMOS based image acquisition system for electronic endoscope[C].IEEE SOPO,2009:1-3.

[4]Tsunoda A,Hatanaka A,Tsunoda R,et al.A full digital,high definition video system (1080i)for laryngoscopy and stroboscopy[J].J Laryngol Otol,2008,122(01): 78-81.

[5]Strauss G,Bahrami N,Hofer M,et al.The HD-panoramic visualization system: a new visualization system for ENT surgery[J].Eur Arch Otorhinolaryngol,2009,266(9): 1475-1487.

[6]Aziz M,Brambrink A.The Storz C-MAC video laryngoscope:description of a new device,case report,and brief case series[J].J Clin Anesthes,2011,23(2): 149-152.

[7]Ono A,Kondo K,Inaba T,et al.A GPU-supported high-level programming language for image processing[C].IEEE SITIS,2011: 245-252.