邵毅，邵慧妍，陳卉

首都醫(yī)科大學 生物醫(yī)學工程學院，北京 100069

0 前言

診斷試驗是指為受試者做出診斷所應用的各種實驗室檢查、影像設備檢查、醫(yī)生的主觀診斷以及其他診斷方法，如數(shù)學模型、計算機輔助診斷程序等。準確的診斷試驗能夠使患者得到更及時、更準確的治療。因此，正確而客觀地評價診斷試驗具有重要的臨床意義。評價診斷試驗的傳統(tǒng)方法是使用靈敏度、特異度、準確率等指標。由于這些指標受主觀選定的診斷分界點的影響，所以難以全面反映診斷試驗的優(yōu)劣。

受試者操作特征（Receiver Operating Characteristic，ROC）曲線與診斷分界點無關，能客觀、全面地反映診斷方法對疾病的鑒別能力，從而在診斷試驗評價中得到越來越廣泛的使用[1-2]，目前已成為國內外公認的標準臨床篩查與診斷評價統(tǒng)計學方法。生成ROC曲線的方法分為參數(shù)法和非參數(shù)法。參數(shù)法通過數(shù)學模型（雙正態(tài)模型[3]、累積Logit模型[4]、基于貝葉斯估計的ROC 曲線回歸模型[5]等）估計和建立ROC曲線，它要求診斷試驗數(shù)據不應明顯偏離正態(tài)分布。非參數(shù)法[6-8]則是通過試驗數(shù)據直接產生ROC曲線，它對診斷試驗數(shù)據沒有分布假設，特別是對于連續(xù)型診斷試驗數(shù)據能夠生成無偏的ROC曲線[9]。

目前，國外較權威和常用的醫(yī)學統(tǒng)計軟件，如SAS和SPSS均提供了非參數(shù)法ROC曲線分析的功能，但它們無法對兩個診斷試驗進行ROC曲線下面積的比較?？梢赃M行ROC曲線下面積比較的軟件，如ROCKIT采用了雙正態(tài)參數(shù)法ROC曲線估計，對于不符合條件的資料可能得到不正確的結果[10]。為此，我們利用Matlab軟件編制了非參數(shù)法ROC曲線分析軟件，它不僅能夠生成ROC曲線，還能對兩個診斷試驗進行比較，并能保存ROC曲線上操作點的坐標以便其他程序調用，其性能優(yōu)于其他基于Matlab的ROC曲線繪制程序[11]。

1 非參數(shù)法ROC曲線分析的基本思想

ROC曲線非參數(shù)分析法目前應用最廣泛的是Hanley和McNeil法。雖然也有人提出了其他非參數(shù)法，但因為其計算復雜，很少有人使用。而Hanley和McNeil法計算相對簡單，容易理解，適用于一般的有序分類資料與連續(xù)型資料，其基本原理如下。

1.1 靈敏度和特異度

選定某一診斷分解點后，將診斷試驗結果與金標準結果比較，可以得到以下診斷試驗評價四格表（表1），從而方便地計算靈敏度和特異度指標[10]。

表1 診斷試驗評價的四格表

1.2 ROC曲線

將診斷分界點遍歷所有可能的值，則得到由原始試驗數(shù)據對應的一系列靈敏度與特異度。以每一診斷分界點下的1－特異度和靈敏度為橫縱坐標生成一個點，稱之為操作點。依次連接所有操作點即得到ROC曲線。

1.3 ROC曲線下面積

ROC曲線下面積（Area Under The Curve，AUC）用于定量的評價和比較診斷試驗。假設正常組有n例試驗數(shù)據xni（i=1, 2, …,n），異常組有 m 例試驗數(shù)據 xmj（j=1, 2, …,m）。根據Wilcoxon Mann-Whitney統(tǒng)計量，AUC等于異常組每個試驗數(shù)據＞正常組每個試驗數(shù)據的概率[4]，即：

AUC的標準為：

其中，Q1是任意隨機選擇兩個異常組的試驗數(shù)據都將大于任意隨機選擇的一個正常組的試驗數(shù)據的概率，Q2是任意隨機選擇一個異常組的試驗數(shù)據都將大于任意隨機選擇的兩個正常組的試驗數(shù)據的概率。

當有兩個針對同一組對象的診斷試驗時，可以對兩個診斷試驗的AUC進行u檢驗，從而確定兩個診斷試驗差異的統(tǒng)計學意義。u檢驗的計算公式為[7]：

其中，r為兩個診斷試驗得到的AUC的相關系數(shù)，通過查表2得到。

在文獻[7]中，兩個診斷試驗ROC曲線下面積的相關系數(shù)表中并不包含表2中陰影部分的數(shù)字，即原文對于異常組和正常組診斷結果的平均相關系數(shù)最大為0.90。而在實際應用時，有可能出現(xiàn)平均相關系數(shù)＞0.90的情況。因此，我們對原文中某一平均面積下診斷結果平均相關系數(shù)與AUC的相關系數(shù)進行二次擬合（擬合方程的決定系數(shù)R2>0.999），并推算診斷結果平均相關系數(shù)為0.92～1.00時對應的AUC相關系數(shù)，即得到表2中陰影部分的數(shù)字。

2 基于Matlab的ROC曲線分析軟件

根據上述原理，我們利用Matlab軟件編寫程序，并設計出圖形用戶界面。

2.1 軟件功能

2.1.1 數(shù)據輸入

軟件提供了兩種輸入診斷評價數(shù)據的方法。用戶既可以直接從鍵盤錄入數(shù)據，也可以導入事先保存好的Excel數(shù)據文件。需要注意的是輸入和讀入的數(shù)據一定要與選擇的診斷試驗個數(shù)一致。數(shù)據的類型可以是有序分類型數(shù)據（等級資料），也可以是連續(xù)型數(shù)據。

2.1.2 ROC曲線分析

對單個診斷試驗，使用原始數(shù)據繪制ROC曲線，并利用非參數(shù)方法計算ROC曲線的AUC及該AUC與毫無診斷能力的AUC=0.5進行比較P值。

對于兩個配對設計的診斷試驗，使用原始數(shù)據繪制兩條ROC曲線，并利用非參數(shù)方法計算AUC并比較，給出AUC的值和檢驗統(tǒng)計量u及P值。

2.1.3 保存結果

軟件給出了ROC曲線中每個操作點的坐標值，即1-特異度和靈敏度。這些數(shù)據可以導出為Excel工作簿文件，供其他軟件調用和分析，如繪制更美觀的ROC曲線，計算最佳診斷分界點等。

表2 兩個ROC曲線下面積的相關系數(shù)[7]

2.2 軟件驗證

我們以文獻[6,8]的數(shù)據為例，分別用本軟件、SPSS以及Analyse-it（Analyse-it Software Ltd., http://www.analyse-it.com/）進行單個及兩個診斷試驗的非參數(shù)法ROC曲線分析，結果見表3～4。

表3 對文獻[6]中數(shù)據的分析結果

表4 對文獻[8]中數(shù)據的分析結果（AUC±SEAUC）

3 應用實例

現(xiàn)用A、B兩種技術檢測45例患者（其中21例確診患有洛磯山斑疹熱洛磯山斑疹熱（RMSF），24例為普通發(fā)熱）的血清鈉水平，想了解血清鈉水平對RMSF是否有診斷作用，以及哪種檢測技術更準確。數(shù)據來源于GehlBach（1988年），數(shù)據散點圖，見圖1。

從圖1可以看出，兩種技術檢測得到的血清鈉水平都不能將RMSF患者與普通發(fā)熱患者完全分開，且兩種檢測結果的區(qū)分度不同，方法1稍好于方法2。將原始數(shù)據保存為.xls格式文檔，在本軟件中導入數(shù)據后的結果，見圖2。

圖1 實例數(shù)據的分布散點圖

圖2 軟件運行實例的結果

圖2左下方為導入的原始數(shù)據，右上方為兩種技術檢測血清鈉水平對RMSF進行診斷對應的ROC曲線。兩種方法檢測結果診斷的ROC曲線下面積分別為0.8750±0.0507和0.8080±0.0644，均在0.7～0.9的范圍內，說明血清鈉水平對RMSF具有中等程度的診斷作用。

對兩條曲線下面積進行比較，u=3.183，P=0.0015，說明兩種檢測技術診斷RMSF的準確度確有差異，實線ROC曲線對應的方法1更準確。該結果與圖1的直觀反映完全吻合。

4 討論

傳統(tǒng)的診斷試驗評價指標包括正確率、靈敏度、特異度、約登指數(shù)、陽性/陰性預測值等。這些評價指標的共同不足是評價結果隨著診斷分界點選取的不同而改變，且易受到發(fā)病率的影響。ROC曲線綜合了特異度和靈敏度兩個指標，擺脫了患病率對評價結果的影響，特別是考慮到了所有可能的診斷分界點，曲線下面積還能夠用來對診斷試驗進行定量的評價和比較，從而成為公認的最佳診斷試驗評價工具。在本文的應用實例中，兩種血清鈉水平檢測方法所得結果的ROC曲線下面積分別為0.875和0.808，說明兩種方法測得的血清鈉水平均具有一定的診斷能力。對兩種檢測結果的診斷價值進行比較，得出P<0.05，即兩條曲線的曲線下面積之差為0.067，差異有統(tǒng)計學意義，方法1檢測得到的血清鈉水平診RMSF的準確性更高。

ROC曲線分析分為參數(shù)法和非參數(shù)法。一般認為非參數(shù)法因其沒有條件限制，所以可以應用于所有診斷試驗的準確度評價，但計算的ROC曲線下面積往往偏?。欢鴧?shù)法可較準確地估計ROC曲線下面積，但在樣本量較小或資料遠遠偏離其應用條件（服從雙正態(tài)分布）時，估計的結果可能嚴重偏離真實值；在樣本量較大且相同值較少時，參數(shù)法和非參數(shù)法估計的ROC曲線下面積則近似相等。因此，在實踐中，樣本量大時可選擇參數(shù)法或非參數(shù)法估計ROC曲線下面積，樣本量較小時選擇非參數(shù)法[13]。

由于目前較為權威的醫(yī)學統(tǒng)計軟件SPSS和SAS都只提供了非參數(shù)法計算ROC曲線下面積的功能，而不能對曲線下面積進行比較，為此，我們利用Matlab的圖形用戶界面編寫了具有導入、保存、圖形展示等功能的非參數(shù)法ROC曲線分析軟件，并補充了經典文獻提供的ROC曲線下面積相關系數(shù)表。本軟件具有計算準確、通用性強、界面友好、操作簡便、結果簡潔等特點，在實際工作中具有一定的實用價值。

[1]王忠周,張經建,王新怡,等.應用ROC曲線對比研究數(shù)字乳腺機不同靶面/濾過組合的輻射劑量及圖像質量[J].醫(yī)學影像學雜志,2011,21(3):429-432.

[2]張瑞,鄭玄中,靳宏星,等.應用ROC曲線評價DWI診斷直腸癌的價值[J].實用醫(yī)學影像雜志,2011,12(3):170-173.

[3]Charles E Metz.ROC analysis in medical imaging:a tutorial review of the literature[J].Radiological Physics and Technology,2008, 1(1):2-12.

[4]宇傳華,余松林,徐勇勇.比例優(yōu)勢模型實現(xiàn)ROC分析的方法及其應用前景分析[J].中國衛(wèi)生統(tǒng)計,2005,22(5):293-296.

[5]尉潔,宋嬌嬌,趙晉芳,等.基于貝葉斯估計的診斷試驗ROC曲線回歸模型[J].中國衛(wèi)生統(tǒng)計,2010,27(2):152-154.

[6]Hanley JA,McNeil BJ.The meaning and use of the area under a receiver operating characteristic (ROC) curve [J].Radiology,1982,143:29-36.

[7]Hanley JA,McNeil BJ.A method of comparing the areas under a receiver operating characteristic curves derived from the same cases [J].Radiology,1983,148: 839-843.

[8]DeLong ER,DeLong DM,Clarke-Pearson DL.Comparing the areas under two or more correlated receiver operating characteristic curves:a nonparametric approach [J].Biometrics,1988,44:837-844.

[9]Kelly H Z,A James O' Malley,Laura M.Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models[J].Circulation,2007,115:654-657.

[10]Stephan C,Wesseling S,Schink T,et al.Comparison of eight computer programs for receiver-operating characteristic analysis[J].Clinical Chemistry,2003,49(3):433-439.

[11]石昊蘇.基于實例與MATLAB的ROC曲線繪制比較研究[J].電子設計工程,2010,18(9):36-39.

[12]宇傳華.ROC分析方法及其在醫(yī)學研究中的應用[D].西安:第四軍醫(yī)大學,2000.

[13]宋花玲,賀佳孫,黃品賢,等.ROC曲線下面積估計的參數(shù)法與非參數(shù)法的應用研究[J].上海:第二軍醫(yī)大學學報,2006,27(7):726-728.