王浩，孟祥峰，劉艷珍，任海萍

中國食品藥品檢定研究院 光機(jī)電室，北京 100050

醫(yī)療器械中的圖像拼接質(zhì)量評價(jià)方法

王浩，孟祥峰，劉艷珍，任海萍

中國食品藥品檢定研究院 光機(jī)電室，北京 100050

目的開發(fā)不同的計(jì)算方法，對圖像拼接的質(zhì)量進(jìn)行評價(jià)，為逐步建立醫(yī)療器械檢驗(yàn)檢測中圖像質(zhì)量評價(jià)的規(guī)范提供依據(jù)。方法以顯微鏡成像為例，在原始圖像內(nèi)部、粗糙拼接圖像邊界和改善后的拼接圖像邊界上分布計(jì)算了拼接圖像邊界的二范數(shù)誤差和相關(guān)系數(shù)，通過散點(diǎn)圖觀察計(jì)算結(jié)果的分布。結(jié)果圖像邊界的二范數(shù)誤差和相關(guān)系數(shù)的分布可用于區(qū)分粗糙拼接和平滑拼接。結(jié)論本文研究了圖像拼接面臨的問題和量化評價(jià)方法，提出了用分類方法評價(jià)拼接質(zhì)量的可行性，為探索客觀的評價(jià)指標(biāo)提供參考。

醫(yī)療器械；質(zhì)量控制；醫(yī)學(xué)成像；圖像處理

引言

圖像拼接[1-3]是成像、廣播電視、計(jì)算機(jī)視覺等領(lǐng)域較為常見的方法，顧名思義，主要作用是將空間位置相鄰的多幅圖像合并成一幅圖像，從而擴(kuò)大成像范圍。圖像拼接克服了成像設(shè)備視野的局限性，在地理測繪、衛(wèi)星遙感、工業(yè)成像等方面扮演著重要角色[4]。在醫(yī)療器械領(lǐng)域中，它的作用同樣顯著，典型應(yīng)用包括激光共聚焦顯微鏡、共聚焦內(nèi)窺鏡、超聲、光學(xué)相干斷層成像、病理切片掃描等設(shè)備[5-9]。

圖像拼接的具體實(shí)現(xiàn)方法有很多，基本的前提是相鄰兩幅圖像存在部分重疊。使用仿射變換、最小二乘、最大似然法等算法[10-11]，可以對兩幅圖像邊界附近的細(xì)節(jié)特征進(jìn)行匹配，找出最相似的結(jié)構(gòu)，從而確定重疊區(qū)域的范圍。使用線性插值、樣條曲線擬合等方法將重疊區(qū)域進(jìn)行平滑，即可完成兩幅圖像的拼接。在醫(yī)療器械領(lǐng)域，圖像拼接的質(zhì)量影響最終的診斷或治療效果，應(yīng)作為醫(yī)療器械有效性的一方面進(jìn)行考察。然而，目前醫(yī)療器械質(zhì)控領(lǐng)域并沒有針對圖像拼接的評價(jià)標(biāo)準(zhǔn)和方法。

本文從醫(yī)療器械質(zhì)控的角度出發(fā)，分析了圖像拼接技術(shù)的應(yīng)用情景，列舉了圖像拼接面臨的誤差或風(fēng)險(xiǎn)來源，討論了圖像拼接現(xiàn)有的評價(jià)方法，定量地比較了圖像拼接邊界與圖像內(nèi)部的差異，提出了一種新的圖像拼接的檢驗(yàn)方法，為進(jìn)一步探索如何建立圖像拼接的評價(jià)規(guī)范提供了參考思路。

1 醫(yī)療器械中圖像拼接的風(fēng)險(xiǎn)來源

1.1 應(yīng)用情景分析

醫(yī)療器械中的圖像拼接應(yīng)用情景，根據(jù)成像目標(biāo)區(qū)域可以簡單地分為兩大類：平面掃描和曲面掃描。

平面掃描指的是對一個(gè)平面進(jìn)行成像，例如載玻片、組織切片等。平面掃描在顯微鏡、體外診斷設(shè)備領(lǐng)域較為多見，以共聚焦顯微鏡、病理切片掃描儀為代表。這些技術(shù)獲得的圖像直觀，但視野小，需要借助于圖像拼接實(shí)現(xiàn)大范圍成像。B型超聲也可以看作平面掃描的一種，用圖像拼接技術(shù)擴(kuò)大視野。

曲面掃描指的是對一個(gè)曲面進(jìn)行成像，例如人體各種腔道如血管、消化道、呼吸道的表面。曲面掃描在內(nèi)窺鏡領(lǐng)域較為多見，尤其是探頭本身進(jìn)行螺旋運(yùn)動(dòng)的情況，例如光學(xué)相干斷層成像、超聲內(nèi)鏡、共聚焦內(nèi)窺鏡等。這些技術(shù)可以快速得到組織斷面圖像，需要借助于圖像拼接技術(shù)重建表面信息。傳統(tǒng)的電子內(nèi)窺鏡雖然也對曲面進(jìn)行成像，但對圖像拼接的需求較弱，后文不展開討論。

1.2 圖像拼接誤差來源

在實(shí)際的成像過程中，探頭的不規(guī)則運(yùn)動(dòng)會(huì)引起分辨率、對比度、亮度、成像重疊區(qū)域等參數(shù)的波動(dòng)，從而給圖像拼接帶來誤差，以下舉例說明。

病理切片掃描過程中發(fā)生的分辨率變化，見圖1。虛線左邊可以清晰地看到絲狀的蛋白纖維和細(xì)胞核，而虛線右邊明顯出現(xiàn)了模糊。

圖1 成像過程中的分辨率變化（病理切片掃描為例）

共聚焦顯微鏡進(jìn)行自動(dòng)掃描和拼接后得到的組織切片的白光圖像，見圖2?？梢钥吹礁鲯呙鑵^(qū)域有明顯的馬賽克效果，邊界明暗變化顯著，可能是組織切片跟焦平面存在一定的夾角，使光照呈現(xiàn)結(jié)構(gòu)化的差異。

熒光顯微鏡拼接后的圖像，見圖3。由圖可以看到虛線方框內(nèi)的區(qū)域亮度弱于周圍，可能是成像過程中該區(qū)域偏離焦點(diǎn)造成的。

OCT成像過程中的旋轉(zhuǎn)失真，見圖4。在圖像上0度角方向可以看到環(huán)形區(qū)域未重合。雖然該問題由曲面掃描產(chǎn)生，但同樣會(huì)給平面上的圖像拼接帶來誤差。

從以上各種誤差的示例來看，圖像拼接質(zhì)量評價(jià)應(yīng)關(guān)注拼接邊界兩邊的平滑性、重合性、分辨率和對比度的一致性。

2 評價(jià)方法

2.1 主觀評價(jià)

圖像的評價(jià)最直觀的實(shí)現(xiàn)是人眼的觀察，即主觀評價(jià)。它在圖像評價(jià)領(lǐng)域使用較早，影響較大，典型代表是國際電訊聯(lián)盟的ITU-R BT.1788《對多媒體視頻應(yīng)用中視頻質(zhì)量的主觀評價(jià)方法》。我國從GB/T 7401-1987《彩色電視圖像質(zhì)量主觀評價(jià)方法》開始采用基于主觀評價(jià)的五級評價(jià)方法，其中的五級損傷法被后續(xù)一批圖像和視頻相關(guān)標(biāo)準(zhǔn)沿用，例如GY/T134-1998《數(shù)字電視圖像質(zhì)量主觀評價(jià)方法》、GB50348-2004《安全防范工程技術(shù)規(guī)范》（2015年起開始修訂）、GB 50198-2011《民用閉路監(jiān)視電視系統(tǒng)工程技術(shù)規(guī)范》等。GB/T 7401-1987提供的五級損傷法的含義，見表1。

與電視和視頻行業(yè)不同，醫(yī)療器械中的圖像對比度、分辨率、圖像特征千差萬別，主觀評價(jià)受個(gè)人因素影響較大。如果依據(jù)主觀評價(jià)，需要耗費(fèi)大量的人力和時(shí)間，并需要繁瑣的比對和確認(rèn)，不滿足醫(yī)療器械檢驗(yàn)檢測的實(shí)際需求。

表1 GB/T 7401-1987給出的五級損傷法

圖2 成像過程中的對比度波動(dòng)（共聚焦顯微鏡為例）

圖3 成像過程中的亮度波動(dòng)（熒光顯微鏡圖像為例）

圖4 成像過程中重疊區(qū)域的改變（OCT圖像為例）

2.2 現(xiàn)有客觀評價(jià)方法

目前，圖像評價(jià)領(lǐng)域較為公認(rèn)的客觀評價(jià)方法有以下兩種[12-16]：

（1）基于像素誤差的峰值信噪比（Peak Signal to Noise Ratio，PSNR）方法，用于考察圖像的整體逼真程度（在GB 50198-2011中已有使用），但并不是針對圖像拼接的邊界。PSNR的數(shù)學(xué)表達(dá)式如公式(1)所示。

其中I、K為兩幅圖像的像素矩陣，M、N為圖像的行數(shù)和列數(shù)，n為圖像的位深。

（2）基于結(jié)構(gòu)相似度的SSIR方法，數(shù)學(xué)表達(dá)式如公式(2)所示。它由圖像的平均值、對比度和互相關(guān)系數(shù)共同決定，其中x、y為兩幅圖像的像素矩陣，μx、μy為兩幅圖像的平均值，σx、σy為兩幅圖像的標(biāo)準(zhǔn)差，σxy為兩幅圖像的協(xié)方差，C1、C2為常數(shù)。SSIR方法在文獻(xiàn)中的結(jié)果比PSNR更接近主觀評價(jià)，但依然體現(xiàn)圖像整體而不是拼接區(qū)域的質(zhì)量。

2.3 基于分類的邊界評價(jià)方法

直接評價(jià)拼接邊界質(zhì)量的計(jì)算過程分為如下主要步驟：

（1）計(jì)算拼接之后邊界兩側(cè)的相關(guān)系數(shù)和2-范數(shù)誤差，2-范數(shù)誤差計(jì)算公式為：

其中u、v為圖像上相鄰的兩條線，M為線的維度。

（2）以相關(guān)系數(shù)為橫坐標(biāo)，2-范數(shù)誤差為縱坐標(biāo)，繪制散點(diǎn)圖。

（3）在各圖像內(nèi)部中心位置計(jì)算相鄰兩條線的相關(guān)系數(shù)和2-范數(shù)誤差，通過聯(lián)合分布（散點(diǎn)圖）開展比對。在不考慮成像過程的跳變和中斷情況下，圖像內(nèi)部中心位置可看作理想的圖像拼接。

選取顯微鏡作為示例，由210幅單獨(dú)的圖像（7×30）拼接成一個(gè)組織切片的整體圖像。每個(gè)單獨(dú)的圖像為512×512像素。圖5所示為顯微鏡自動(dòng)生成的原始拼接圖像，在邊界上圖像有中斷和跳變，對比度變化明顯。

經(jīng)過計(jì)算，邊界和圖像內(nèi)部的相關(guān)系數(shù)和2-范數(shù)誤差的散點(diǎn)圖，見圖6。圖像內(nèi)部和拼接邊界的分布截然不同，可以用二次曲線進(jìn)行判別分析，得到靈敏度和特異性均為100%，這說明在圖6的拼接效果下，邊界與圖像內(nèi)部在相關(guān)系數(shù)和2-范數(shù)誤差上有顯著區(qū)別。

作為改善，參考業(yè)內(nèi)常見的算法[17-18]，選用仿射變換和線性擬合法對圖像重新進(jìn)行了拼接處理，整體結(jié)果，見圖7，具體細(xì)節(jié)上的比較，見圖8?？梢姼纳浦?，圖像在第一行、第二行均有明顯的漂移，邊界明暗變化劇烈；改善之后圖像邊界平滑，圖像結(jié)構(gòu)完整。當(dāng)然，圖像上依然有平滑和插值的痕跡，但不影響圖像信息的辨識。

經(jīng)過計(jì)算，重新拼接后的散點(diǎn)圖，見圖9。拼接邊界和內(nèi)部的相關(guān)系數(shù)、2-范數(shù)誤差的分布大量重疊，使用二次曲線進(jìn)行判別分析，發(fā)現(xiàn)靈敏度和特異性均低于50%，說明邊界的連續(xù)性和圖像內(nèi)部難以區(qū)分，邊界拼接的效果得到了顯著提高。

根據(jù)上述結(jié)果可見，邊界拼接越粗糙，邊界與內(nèi)部的2-范數(shù)誤差和相關(guān)系數(shù)的散點(diǎn)分布距離越大，容易區(qū)分；反之，邊界拼接越自然平滑，邊界與內(nèi)部的2-范數(shù)誤差和相關(guān)系數(shù)的散點(diǎn)分布越接近，難以區(qū)分。這在客觀上有助于評價(jià)圖像拼接的效果，也符合主觀觀察的結(jié)果。

圖5 顯微鏡生成的原始拼接圖像

圖6 原始拼接圖像的散點(diǎn)圖

圖7 重新拼接后的圖像

圖8 拼接改善前后的局部比對

圖9 圖像重新拼接后的散點(diǎn)圖

3 討論

從醫(yī)療器械質(zhì)控的角度看，圖像拼接的評價(jià)主要圍繞預(yù)期用途來考慮，檢驗(yàn)檢測需要一個(gè)客觀的閾值來判斷評價(jià)結(jié)果通過與否，因此難以用圖像領(lǐng)域傳統(tǒng)的主觀分級方法。

對整張圖像進(jìn)行拼接質(zhì)量評價(jià)的金標(biāo)準(zhǔn)，是可溯源的同尺寸同分辨率圖像，需要制備相應(yīng)的標(biāo)準(zhǔn)板，并進(jìn)行成像和圖像的標(biāo)定。對于顯微鏡等高分辨率設(shè)備而言，標(biāo)準(zhǔn)圖像的獲取過程可能同樣需要圖像拼接方法，因此基于圖像整體的評價(jià)方法的研究有待加強(qiáng)?，F(xiàn)有的光學(xué)成像分辨率板雖然可以提供標(biāo)準(zhǔn)的分辨率和圖形結(jié)構(gòu)，但分辨率數(shù)量級變化較大，邊界設(shè)計(jì)過于簡單，不完全符合拼接質(zhì)量評價(jià)的需求。超聲成像分辨率體模存在類似的問題。

用相關(guān)系數(shù)和2-范數(shù)誤差兩個(gè)量化指標(biāo)對圖像拼接的質(zhì)量進(jìn)行評價(jià)的思路，主要是基于圖像的拼接邊界信息，一方面考慮圖形結(jié)構(gòu)的相似性；另一方面兼顧圖像亮度、對比度方面的一致性。從硬件成像的過程來看，圖形結(jié)構(gòu)的相似性反映了成像系統(tǒng)移動(dòng)路徑的重復(fù)性和定位精度，路徑的漂移量越大，拼接的邊界兩側(cè)對應(yīng)的位置差異越大，反之亦然。圖像的亮度、對比度反映了成像探頭到物體的距離和功率的穩(wěn)定性。

在基于2-范數(shù)和相關(guān)系數(shù)邊界評價(jià)算法進(jìn)行的初步測試中，邊界的位置是預(yù)先設(shè)定的，左右兩側(cè)明確屬于不同的子圖像。在實(shí)際使用中，不同的圖像拼接算法可能影響最終圖像尺寸造成，使邊界位置發(fā)生變化。如何定義圖像邊界位置并評價(jià)邊界拼接質(zhì)量，需要對更大的區(qū)域開展分析，對現(xiàn)有算法進(jìn)行升級。

現(xiàn)有結(jié)果初步說明圖像拼接質(zhì)量的評價(jià)可以轉(zhuǎn)化為分類問題，下一步還需要建立數(shù)據(jù)庫系統(tǒng)，在醫(yī)學(xué)成像領(lǐng)域各分支收集拼接前后的圖像，建立訓(xùn)練集，開發(fā)分類算法，探討建立具有普遍性的分類器的可能性。

4 結(jié)論

針對醫(yī)療器械檢驗(yàn)中的圖像拼接質(zhì)量評價(jià)問題，本文用拼接邊界兩側(cè)的圖像矢量計(jì)算相關(guān)系數(shù)和2-范數(shù)誤差，發(fā)現(xiàn)二者的聯(lián)合分布能揭示不同拼接質(zhì)量的區(qū)別，初步說明統(tǒng)計(jì)分類的方法有助于建立客觀的圖像拼接質(zhì)量評價(jià)指標(biāo)。本研究下一步需要在更多更復(fù)雜的圖像支持下開展深入研究。

[1] Szeliski R.Image alignment and stitching: A tutorial[J].Foundat Trend Comp Graph Vision,2006,2(1):1-104.

[2] Chen C,Klette R.Image stitching-comparisons and newtechniques[A].Proceedings of the 8 th International Conference on Computer Analysis of Images and Patterns[C].London: springer-Verlag,1999:615-622.

[3] Lensch HPA,Heidrich W,Seidel HP.Automated texture registration and stitching for real world models[A].Computer Graphics and Applications 2000 Proceedings[C].New York:the Eighth Pacific Conference on IEEE Xplore,2000:317-452.

[4] Ghosh D,Kaabouch N.A survey on image mosaicing techniques[J].J Visual Commun Imag Repres,2016,34(c):1-11.

[5] Thevenaz P,Unser M.User-friendly semiautomated assembly of accurate image mosaics in microscopy[J].Microsc Res Tech,2007,70(2):135-146.

[6] Chang R,Changchien K,Takada E,et al.Rapid image stitching and computer-aided detection for multipass automated breast ultrasound[J].Med Phys,2010,37(5):2063-2073.

[7] Emmenlauer M,Ronneberger O,Ponti A,et al.XuvTools: free, fast and reliable stitching of large 3D datasets[J].J Micr, 2009,233(1):42-60.

[8] Ouyang M,Jeng W,Wu Y,et al.Image stitching and image reconstruction of intestines captured using radial imaging capsule endoscope[J].Opt Engin,2012,51(5):057004-1-057004-9.

[9] Wang L,Traub J,Weidert S,et al.Parallax-free long bone X-ray image stitching[A].International Conference on Medical Image Computing and Computer-Assisted Intervention[C]. Berlin:Springer-Verlag,2009:173-180.

[10] Zhang F,Liu F.Parallax-tolerant image stitching[A].IEEE Conference on Computer Vision and Pattern Recognition[C]. New York:IEEE,2014:3262-3269.

[11] Brown M,Lowe DG.Automatic Panoramic image stitching using invariant features[J].Int J Comput Vis,2007,74(1):59-73.

[12] 萬國挺,王俊平,李錦,等.圖像拼接質(zhì)量評價(jià)方法[J].通信學(xué)報(bào),2013,34(8):76-81.

[13] Huynh-Thu Q,Ghanbari M.Scope of validity of PSNR in image/ video quality assessment[J].Elect lett,2008,44(13):800-801.

[14] Silvestreblanes J.Structural similarity image quality reliability determining parameters and window size[J].Sign Proc,2011,91(4):1012-1020.

[15] Zou L,Chen J,Zhang J,et al.Assessment approach for image mosaicing algorithms[J].Opt Engin,2011,50(11):0501.

[16] Wu X,Peng J,Shan J,et al.Evaluation of semivariogram features for object-based image classification[J].Geospat Inform Sci, 2015,18(4):159-170.

[17] Qu Z,Lin S,Ju F,et al.The improved algorithm of fast panorama stitching for image sequence and reducing the distortion errors[J].Math Prob Engin,2015:1-12.

[18] Shaikh TS,Patankar AB.Multiple feature extraction techniques in image stitching[J].Int J Comput Appl,2015,123(15):29-33.

本文編輯 袁雋玲

Quality Evaluation Method of Image Stitching in Medical Device

WANG Hao, MENG Xiang-feng, LIU Yan-zhen, REN Hai-ping

Division of Active Medical Device and Medical Optics, National Institutes for Food and Drug Control, Beijing 100050, China

ObjectiveTo establish standard method for providing information to assess image stitching in medical device testing based on developing different calculation methods to evaluate the quality of image stitching.MethodsTaking microscopy as an example, this paper calculated 2-norm and correlation coefficients on the borders of original image interior border, roughly stitched image and improved stitched image. The results were shown in scatter plots.ResultsThe distribution of 2-norm and correlation coefficients on the image border could be used to differentiate rough stitching and smooth stitching.ConclusionThis paper studied the problems and quantified evaluation method, and proposed the feasibility to use classification method for evaluation. It provides reference for further exploration of quantified evaluation parameters.

medical device; quality control; medical imaging; image stitching

TH772; TH776

A

10.3969/j.issn.1674-1633.2017.08.006

1674-1633(2017)08-0020-04

2017-06-14

2017-06-26

國家科技支撐計(jì)劃項(xiàng)目（2015BAI43H00）；中國食品藥品檢定研究院中青年基金項(xiàng)目（2015C02）。

任海萍，主任技師，主要研究方向?yàn)樯镝t(yī)學(xué)工程，醫(yī)療器械檢定。

通訊作者郵箱：renhaiping@nifdc.org.cn