黃永迎 程志浩 劉揚 周玉博 李宏田 劉建蒙

ROC(receiver operating characteristic)曲線通常被譯為受試者工作特征曲線[1-2],美國生物統(tǒng)計百科全書[3]將其定義為“一種量化實驗者、診斷者或預測者及其所用工具對存在混淆的兩種狀況或兩種自然狀態(tài)做出鑒別的準確程度的方法”,國內(nèi)相關專業(yè)書籍[1-2]依據(jù)其曲線繪制方式將其定義為:“對診斷指標或模型預測概率的各個截斷值,以1-特異度(假陽性率)為橫坐標、以靈敏度(真陽性率)為縱坐標繪制的曲線即ROC曲線”。

ROC曲線分析起源于20世紀中期概率論和統(tǒng)計決策理論[4],最初用于描述雷達接收器對雷達信號與相關噪聲的鑒別性能[5],故Receiver原意指雷達接收器,而Operating Characteristic這一術語源于質(zhì)量控制領域,通常用于描述根據(jù)不同批次樣品來區(qū)分產(chǎn)品質(zhì)量優(yōu)劣的可操作性特征[6]。1960年Lusted LB將ROC曲線分析應用于醫(yī)學決策領域[7-9],1982年Swets等[10]總結(jié)了ROC曲線分析相關理論及其在生物醫(yī)學方面的應用,此后ROC曲線分析廣泛應用于篩檢和診斷試驗的評價,以及Logistic回歸等預測模型的預測效果評價[11]。

ROC曲線應用領域雖廣[12-15],但其主要用途可概括為以下三個方面:(1)描述基于定量指標(主要包括但不限于各類檢測指標、儀器測試值、模型預測概率等定量指標)對二分類結(jié)局指標(如是否患病)做出預測的準確程度;(2)尋找定量指標用于預測結(jié)局指標的最佳截斷值;(3)比較不同定量指標對同一結(jié)局指標的預測效能。ROC曲線綜合考慮了靈敏度(sensitivity)和特異度(specificity),且與結(jié)局事件發(fā)生率無直接關系[11],通常被視為預測效果評價的最優(yōu)方法[12,16-17]。但值得注意的是,ROC曲線與原始數(shù)據(jù)對應關系不夠直觀、主要借助統(tǒng)計軟件繪制,其曲線下面積(area under curve,AUC)雖有理論釋義,但在醫(yī)學教育和實踐中難以真切呈現(xiàn)[18],對于初學者和非專業(yè)人士而言通常較難理解。鑒于此,有必要探索針對ROC曲線及AUC的簡單易解、形象直觀的闡釋方法,以加強使用者對這一重要工具的理解和應用。

一、ROC曲線含義

繪制ROC曲線及估計AUC的方法包括參數(shù)法和非參數(shù)法,當樣本量較大時兩種方法計算的AUC近似相等[17]。在實踐中基于樣本數(shù)據(jù)準確估計總體分布通常較為困難,故參數(shù)法的應用受到一定限制[14]。非參數(shù)法是常用統(tǒng)計軟件計算AUC的主要方法,但也有的軟件兼具兩種方法。本文討論范疇僅限非參數(shù)法。

非參數(shù)法即依據(jù)試驗數(shù)據(jù)直接繪制ROC曲線,所繪制的曲線通常呈階梯型。假定某試驗擬評價某定量指標對某疾病的診斷效能,納入經(jīng)金標準診斷的病例數(shù)為na(number of abnormals)、非病例數(shù)為nn(number of normals),病例組定量指標平均檢測值高于非病例組,在實際分析時若檢測值高于截斷值(cutoff value)則判定為陽性,反之判定為陰性。若na個病例和nn個非病例的檢測值互不相同,則ROC曲線應包含na+nn+1個截斷值(將na+nn個檢測值排序后,介于其之間的截斷值應有na+nn-1個,另有高于最高檢測值和低于最低檢測值的截斷值各1個),將這些截斷值所對應的坐標點(x=1-特異度,y=靈敏度)用線段連接起來就得到了ROC曲線。由最高截斷值過渡至最低截斷值對應ROC曲線由坐標點(0,0)過渡到坐標點(1,1),高于最高檢測值的截斷值對應(0,0)坐標點,低于最低檢測值的截斷值對應(1,1)坐標點。表1是某Logistic模型用于預測妊娠期高血壓的示例數(shù)據(jù),病例組和非病例組各10例。圖1A給出了基于該示例數(shù)據(jù)[第(3)列和第(4)列]繪制的ROC曲線。

表1 某Logistic模型預測妊娠期高血壓的示例數(shù)據(jù)

為更好闡釋ROC曲線含義,特此引入一個概念——非標化ROC曲線(unstandardized ROC curve)。非標化ROC曲線以真陽性數(shù)為縱坐標、假陽性數(shù)為橫坐標,其繪制過程如下:(1)以高于最高檢測值的截斷值所對應的(0,0)坐標點為始點;(2)截斷值由高到低每“挪動”一次,則診斷為陽性的對象數(shù)增加1例,若該對象確為病例,則真陽性數(shù)增加1例,假陽性數(shù)不變,反映在圖形上為一條豎線;若該對象為非病例,則假陽性數(shù)增加1例,真陽性數(shù)不變,反映在圖形上為一條橫線;(3)曲線由左下向右上延伸直至低于最低檢測值的截斷值所對應的(nn,na)坐標點。圖1B給出了基于表1示例數(shù)據(jù)[第(5)列和第(6)列]繪制的非標化ROC曲線。

非標化ROC曲線每條線段對應一個研究對象,豎線相當于病例,橫線相當于非病例,故曲線形狀取決于病例和非病例的檢測值(或模型預測概率)排序。換言之,非標化ROC曲線相當于把病例和非病例按照檢測值由高到低排列后的一維序次反映在了二維平面上。圖2A更直觀地展示了一維次序與二維非標化ROC曲線對應關系,圖中一維次序紅色實心圓表示病例,藍色實心圓表示非病例,二維非標化ROC曲線紅色豎線表示病例,藍色橫線表示非病例。理論上講,當檢測方法足夠精確時,很難出現(xiàn)相同檢測值[19]。但在實踐中,若某個病例的檢測值與某個非病例的檢測值相等,則非標化ROC曲線會相應減少一個階梯而多出一個斜坡。比如,若表1第11行第8個病例的模型預測概率由0.50變?yōu)?.47(與第12行第4個非病例的檢測值相同),非標化ROC曲線則在相應位置出現(xiàn)一個斜坡(圖2B紫色線段)。

紅色實心圓代指病例,藍色實心圓代指非病例;紅色豎線代指病例,藍色橫線代指非病例。圖A中箭頭所指為檢測值(模型預測概率)由高到低的方向,可見一維的排序和粗ROC曲線的線段是一一對應的關系;圖B所示為病例和非病例存在相同檢查值(模型預測概率)時,在粗ROC曲線上體現(xiàn)為一斜線(紫色線段)圖2 一維次序與二維非標化ROC曲線對應關系

通過圖1A和圖1B對比可知,對于同樣的試驗數(shù)據(jù),非標化ROC曲線與傳統(tǒng)ROC曲線形狀一致。傳統(tǒng)ROC曲線可以理解為橫縱坐標量綱標化后的非標化ROC曲線,即將非標化ROC曲線縱軸以病例總數(shù)為參比值做標化,標化后的縱軸即為真陽性率,將非標化ROC曲線橫軸以非病例總數(shù)為參比值做標化,標化后的橫軸即為假陽性率(即1 - 特異度)。

二、AUC含義與計算

AUC是ROC曲線分析最為重要的量化評價指標。通常認為,AUC介于0.5～0.7之間診斷價值較低,介于0.7～0.9之間診斷價值中等,大于0.9診斷價值較高[20]。非參數(shù)法AUC計算公式如下(與兩個獨立樣本秩和檢驗統(tǒng)計量計算公式一致[21-22]):

(1)

其中,

na和nn分別為病例數(shù)和非病例數(shù),xai和xnj分別表示每個病例與非病例所對應的定量指標的檢測值。公式含義如下:將na個病例所對應的檢測值與nn個非病例所對應的檢測值兩兩對比(共有na×nn組對比),在每一次比較中,若前者大于后者則Ψ=1,若前者小于后者則Ψ=0,若二者相等則Ψ=0.5,所有na×nn個Ψ的算術平均值即為AUC[12,16]。鑒于此,AUC可通俗理解為病例組每個檢測值大于非病例組每個檢測值的平均概率,或理解為隨機選擇的病例比隨機選擇的非病例更有可能被判定為病例的概率[22-23]。

基于非標化ROC曲線闡釋AUC計算公式的含義更為直觀。圖3在圖1B非標化ROC曲線的基礎上增加了網(wǎng)格背景,同時將豎線所表示的病例標記為1、將橫線所表示的非病例標記為0。如圖所示,每條豎線將所有的0分為左右兩部分,每條橫線將所有的1分為上下兩部分,圖中綠色背景標識的格子數(shù)相當于非標化ROC曲線下面積。該面積可以看作每一行的曲線下面積之和,而每一行曲線下面積即為該行綠色格子數(shù),取決于該行1的右側(cè)有幾個0,即取決于檢測值比該病例更小的非病例的個數(shù),所以xai>xnj時Ψ取1;當某個病例與某個非病例的檢測值相同時,曲線線段為格子對角線,相對應的曲線下面積為0.5個格子,所以xai=xnj時Ψ取0.5;每行白色格子數(shù)取決于1的左側(cè)有幾個0,即取決于檢測值比該病例更大的非病例的個數(shù),因白色格子不計入AUC,所以xai

三、AUC含義延伸解讀

公式(1)經(jīng)簡單變換可得到公式(2)和公式(3),公式(2)方括號內(nèi)部為某一病例與所有非病例的比較結(jié)果,公式(3)方括號內(nèi)部為某一非病例與所有病例的比較結(jié)果,兩個公式方括號外部為對所有病例[公式(2)]或所有非病例[公式(3)]求算術平均值的過程。

(2)

(3)

基于非標化ROC曲線,公式(2)方括號內(nèi)部分可理解為某一行綠色格子數(shù)與該行總格子數(shù)nn(即非病例數(shù))的比值,該比值反映該病例在所有非病例中的相對位置,即該病例檢測值比非病例檢測值更大的概率,方括號外的部分可理解為對所有行(即所有病例)所對應的概率取均值(先基于總行數(shù)na求和再除以na)。鑒于此,AUC可理解為病例檢測值比非病例檢測值更大的平均概率,等價于“隨機選擇的病例比非病例更有可能被診斷為病例的概率”。公式(2)方括號內(nèi)的部分還可以理解為,某個1右側(cè)0的個數(shù)占0的總個數(shù)的比例,當以這個1對應的檢測值為截斷值時,其右側(cè)的0將被正確地判斷為陰性,故該比例即為真陰性率;方括號外部分可理解為以所有病例檢測值作為截斷值時的平均真陰性率,即AUC可理解為某檢測指標用于疾病診斷時的平均真陰性率,即平均特異度。同理,基于公式(3)AUC可以理解為以所有非病例檢測值為截斷值時的平均真陽性率,即AUC可理解為某檢測指標用于疾病診斷時的平均靈敏度。表1示例數(shù)據(jù)第(7)列和第(8)列的均值均為0.74,與基于公式(1)～(3)計算的AUC相同。

AUC含義也可通過圖2所示的一維次序與二維非標化ROC曲線對應關系予以闡釋。假定某檢測指標將病例和非病例排序如下:1,1,1,……,1,0,0,0,……,0,即na個1均在前面,nn個0均在后面(此為最理想情況),此時對應的1的秩次總和為na×(na+1)/2,對應的非標化ROC曲線下格子數(shù)為na×nn。若因檢測指標取值改變使得最后一個1與第一個0次序互換,則非標化ROC曲線在該位置的軌跡由原來的先豎線后橫線變?yōu)橄葯M線后豎線,曲線下格子數(shù)相應地減少1,但同時病例秩次總和(即1的秩次總和)增加1,1的秩次總和與曲線下格子數(shù)兩者之和不變。任何一種1和0的排序均可視為在“na個1均在前面,nn個0均在后面”的基礎上經(jīng)若干次0和1次序互換的結(jié)果,且在次序互換的過程中,1的秩次總和與曲線下格子數(shù)兩者之和始終保持恒定。當某一病例與某一非病例檢測值相同時,1的秩次總和變化幅度為0.5,非標化ROC曲線下格子數(shù)也相應變化半個格子,和依然為定值。綜上,1的秩次總和(記為∑Rank(1))與非標化ROC曲線下格子數(shù)(記為Sn)之和始終為na×nn+na×(na+1)/2,非標化ROC曲線下格子數(shù)Sn=na×nn+na×(na+1)/2-∑Rank(1),將其除以總格子數(shù)na×nn去量綱后即得另一AUC計算公式(4)。

(4)

基于表1示例數(shù)據(jù)第(9)列計算的∑Rank(1)=81,在此基礎上根據(jù)公式(4)計算的AUC為0.74,與根據(jù)公式(1)～(3)計算的AUC一致。通過公式(4)易知,當na和nn固定時,AUC大小主要取決于1的排序,某指標診斷性能越優(yōu),則1的次序越靠前,∑Rank(1)越小,對應的AUC越大,即AUC在本質(zhì)上刻畫了診斷指標對病例與非病例的區(qū)分性排序能力。

四、局限與思考

以上所有論證均假定病例檢測值高于非病例檢測值,但論證思路同樣適用于病例檢測值低于非病例檢測值的情況;以上所有論證均假定檢測值為連續(xù)變量,對于等級變量,將其量化賦值后同樣可按上述思路進行分析。非標化ROC曲線能直觀反映樣本量,其曲線下面積的取值范圍因樣本量不同而不同。非標化ROC曲線有助于理解ROC曲線的含義及AUC的計算公式,但當樣本量過大時,繪制非標化ROC曲線的現(xiàn)實意義有限。ROC曲線不能直觀反映樣本量,AUC取值范圍介于0～1之間。

如前文所述,ROC曲線英文名稱中的receiver的原意在很多情境中已不再適用。鑒于此,國外曾有學者[24]建議將ROC曲線更名為靈敏度—特異度曲線(sensitivity-specificity curve,S-S curve),但未得以推廣,可能與ROC這一縮寫已廣為應用有關。也有學者建議將ROC理解成為relative operating characteristic curve[25],筆者對此很是認同,主要考慮如下:(1)relative與receiver首字母相同,ROC縮寫可維持不變;(2)醫(yī)學科研常用效應指標relative risk首個單詞即為relative,其含義是“與…相比”;relative在relative operating characteristic curve中可解讀為“與金標準相比”,某一檢測指標用于疾病診斷時的相對性能,相應的AUC便可理解為實際的AUC與最理想狀況(即取值為1.0)的比值。

綜上,ROC曲線在本質(zhì)上刻畫了某定量指標對經(jīng)金標準判定的二分類指標的排序軌跡,而AUC用于刻畫該定量指標對該二分類指標做出正確歸類的相對準確程度,它同時刻畫出了平均真陽性率和平均真陰性率,且兩者在數(shù)值上是相等的。