王彥光，朱鴻斌，徐維超

（廣東工業(yè)大學 自動化學院，廣東 廣州510006）

接收機工作特性曲線(Receiver Operating Characteristic,ROC)分析起源于二戰(zhàn)時期的信號檢測方法，最早被應用于處理雷達圖像，用來描述檢測信號的命中率及誤報率之間的權衡關系[1-2]。此后，該方法廣泛應用于醫(yī)療診斷[3-5]。在1989年，Spackman 將其引入機器學習領域，用于評價分類器性能[6]。從此，ROC曲線在機器學習[7-11]、計算機視覺[12-13]等領域被用于算法的評價和優(yōu)化方面。

ROC曲線能對分類器的準確性進行全局性的評估，它包含了所有可能的決策閾值，不需特定的決策閾值。此外，ROC曲線不依賴于測試結果的規(guī)模，即對分類結果進行單調(diào)變換可以保持不變性[14]。由此，在大多數(shù)實際問題中，樣本分布不均勻和錯誤分類的代價不一致的問題可能會影響評估結果，而ROC曲線能夠很好解決該難題。在性能診斷方面，ROC曲線是完全意義上的自由分布假設[15]，無需用到假設類分布的參數(shù)形式，從而保證了ROC曲線應用的廣泛性。

根據(jù)ROC曲線在模型與算法的評價、展示、比較、選擇和優(yōu)化中所體現(xiàn)的優(yōu)異性[16]，本文旨在從二分類問題引入ROC曲線的基本概念，介紹了非參數(shù)、參數(shù)、半?yún)?shù)模型和ROC曲線的構建方法，同時根據(jù)ROC曲線的基本性質(zhì)，介紹了ROC曲線的一些常見評價方法，為讀者的實踐應用提供參考。

1 二分類問題

1.1 定義

二分類方法在多種實際應用決策中起著核心作用。例如，在模式識別領域，重要的數(shù)據(jù)應該在一個巨大的數(shù)據(jù)集中進行分類和標記[17]；在基于歷史數(shù)據(jù)的預測中，將每個數(shù)據(jù)區(qū)分為是否遵循歷史趨勢的二分類方法；在人體跟蹤領域，要分析人體行為，需要將陽性樣本從陰性樣本中分離出來，完成跟蹤步驟[18-19]?？偠灾?，二分類貫穿于社會生產(chǎn)和生活的各個領域，也是數(shù)據(jù)處理領域的熱門研究內(nèi)容。

二分類是一種基于2組元素的分類規(guī)則的任務[8,20]，在模型構建(訓練)過程中，二分類算法能發(fā)現(xiàn)屬性值與目標值之間的關系。不同的分類算法將使用不同的技術尋找這種關系，然后將這些關系總結在一個模型中，并應用于不同的數(shù)據(jù)集。二分類往往通過將一組測試數(shù)據(jù)中的預測值與已知目標值進行比較，從而對分類模型(分類器)進行檢驗。一個二分類模型的定義及構建過程如下。

然而，二分類問題必須面對的一個難題是數(shù)據(jù)平衡性[21]。數(shù)據(jù)平衡性是指不同類別數(shù)據(jù)集數(shù)量是否平衡，比如一個有1 000個數(shù)據(jù)的二分類數(shù)據(jù)集，一類數(shù)據(jù)有100個，二類數(shù)據(jù)有900個，它們之間的數(shù)量之比達到1:9，這就是類間數(shù)據(jù)不平衡。如果它們之間的數(shù)據(jù)大概相等，比如510:490，這樣的數(shù)據(jù)集就是類間平衡。由于大多數(shù)學習算法的設計目的是關注最大化總體分類精度，這將導致在不平衡的場景中，只需將所有實例預測為數(shù)據(jù)較多的類別即可獲得較高的精度。因此，不平衡的數(shù)據(jù)集將會降低分類器的性能。對于數(shù)據(jù)不平衡的情況，學者們提出了不同的評判指標[22]。

1.2 混淆矩陣與分類器性能評判

混淆矩陣是對分類問題的預測結果的總結，即正確和錯誤預測的數(shù)量用計數(shù)值進行匯總，并按每個類進行分類，這是混淆矩陣的關鍵。同時，混淆矩陣顯示了分類模型在進行預測時混淆的方式，它不僅讓大家了解分類器所犯的錯誤，而且更重要的是能夠讓大家了解所犯錯誤的類型。

在二分類問題中，給定一個二分類器和一個實例，有4種可能的結果，具體定義如下。

(1) 真陽性(TP)：真實結果為正例，預測為正例。(2) 假陰性(FN)：真實結果為正性，但預測為負例。

(3)真陰性(TN)：真實結果為負例，預測為負例。

(4)假陽性(FP)：觀察結果為負例，但預測為正例。

其分類結果用一個2×2矩陣表示，稱為混淆矩陣。構造如圖1所示[8]。其中，P表示正例，N表示負例。

圖1 混淆矩陣示意圖Fig.1 Diagram of confusion matrix

1.3 常用分類器性能評估標準

給定一個數(shù)據(jù)集和一個分類器，經(jīng)過訓練和測試可以得到分類結果，但是得到結果后會面臨如何評價這個模型性能的問題。從混淆矩陣的4種結果出發(fā)，可以得到很多有意義的分類算法評價指標[23]。

準確率（Accuracy,ACC）是一個最直觀和簡單的評價指標，它是正確的預測結果與總的預測結果之比，其計算表達式用混淆矩陣的量表示為

其中TP表示正例樣本被正確分為正例的數(shù)目，TN表示負例類樣本被正確分為負例的數(shù)目，而FP 和FN 分別表示正例樣本被錯誤分為負例的樣本數(shù)目和負例樣本被錯誤分為正例樣本的數(shù)目。

準確率能直接表征分類器的分類水平，但是當分類器面對的是不平衡數(shù)據(jù)集時，該指標并不能反映出分類器的真實分類能力。例如，有1 000人進行乳腺癌診斷，其中有10人確診乳腺癌。如果以陰性為統(tǒng)計標準，那么，無論如何該準確率也可以高達 99.9%，然而，這樣評價標準是毫無意義的。

真正率（True Positive Rate,TPR)也稱為召回率或查全率、敏感性。高的真正率意味著很少的假負例，表示該類被正確識別，其數(shù)學表達式為

假正率(False Positive Rate,FPR)，在信號檢測領域也叫虛警率，指被錯誤分類為正例(假陽性)的負例事件數(shù)量與實際正例事件總數(shù)(不論分類如何)的比值，其數(shù)學表達式為

2 ROC曲線的構建

2.1 非參數(shù)ROC曲線模型

非參數(shù)ROC方法也稱為經(jīng)驗ROC方法。因為非參數(shù)ROC方法可以通過使用觀測數(shù)據(jù)進行經(jīng)驗擬合，而不需要對測試結果做任何分布假設，因此它是最常見的ROC分析模型。其構建過程如下。

2.2 ROC參數(shù)化方法

該方法首先假設正類和負類服從單調(diào)連續(xù)且不

2.3 ROC曲線的半?yún)?shù)模型

2.4 用非參數(shù)法繪制ROC曲線

在二分類問題中，主要目的是構造一個二分類器B，將每個樣本x分配給2個互斥類別，即正例和負例。在不失一般性的情況下，分類器B為每個樣本x提供分類結果B(x)，它表示樣本屬于某一類別的置信水平。評價二分類器性能，可以通過改變某個類別的判別閾值c來獲得一組混淆矩陣，進而計算相應的指標并對分類器性能進行評價[38]。

以表1實驗數(shù)據(jù)為例，進行ROC曲線的繪制，對應的TPR,FPR及對應的坐標值的計算結果如表2與圖2所示。

值得注意的是，當閾值在滑動改變過程中，實例中被劃分為正類的數(shù)量增加的同時，正類中的誤判即真正的負實例也會增加，這會導致TPR和FPR會同時增大。ROC曲線空間中越靠近左上方則分類器越好，雖然對角線以下的信息是錯誤的，但具備有用信息。

如圖3所示，以FPR為x軸，TPR為y軸，所有的坐標點在平面坐標系內(nèi)生成一個矩形的空間，該空間稱為ROC空間。在ROC空間中，一個坐標點代表一個分類器，分類器越靠近x軸，越保守。保守分類器只有在充分依據(jù)的情況下才進行正例分類，因此它們很少犯假正性錯誤，但它們的真正率往往也很低。右上角的分類器可以被認為是自由分類器，它們只在依據(jù)不足的情況下進行正例分類，因此它們幾乎正確地分類了所有正例，但它們往往有很高的假正率。如圖3所示，A5分類器比其他4個分類器保守，A4分類器比其他4個分類器自由。

表1 實驗數(shù)據(jù)Table 1 Experimental data

表2 不同閾值下TPR與FPR的分布Table 2 Distribution of TPR and FPR under different thresholds

圖2 ROC曲線繪制示意Fig.2 The drawing process of ROC curve

圖3 ROC空間中的分類器Fig.3 Classifiers in ROCspace

ROC曲線通過改變分類閾值來繪制利益(真陽性)和成本(假陽性)之間的相對權衡關系，分類閾值通常是一個類別的成員概率到?jīng)Q策面距離或決策函數(shù)產(chǎn)生的簡單得分。每個閾值代表一個分類器，對應ROC曲線上的一個點。

3 ROC曲線分析

ROC曲線是分類器比較的重要工具，因此深入研究如何正確使用ROC曲線對分類器進行比較成為當前一個重要的研究問題。在對ROC分析比較之前，首先要認識它的基本性質(zhì)。

3.1 ROC曲線的基本性質(zhì)

3.2 ROC曲線的評價

ROC曲線的評價就是對ROC進行分析然后比較的過程。這是其應用于醫(yī)學檢驗和機器學習等諸多領域的最終目的，即對檢驗結果或分類器性能的評價。其中使用較多的有ROC曲線下面積(Area Under the ROC Curve，AUC)、約登指數(shù)、距離度量以及最佳工作點與點(0,1)距離等ROC評價指標，分別對這幾個指標進行介紹。

(1) AUC：ROC的曲線下面積AUC能將ROC曲線簡化為一個單一的量化指標。作為一種單一的ROC

圖4 ROC曲線最佳工作點與(0,1)的距離Fig.4 Distance from the best working point of the ROC curve to point (0,1)

以最佳工作點到點(0,1)的距離為評判標準，距離最小者為佳。文獻[42]指出約登指數(shù)和最佳工作點有一定聯(lián)系，當且僅當最佳工作點滿足TPR(c0)+FPR(c0)=1時，最佳工作點也是約登指數(shù)的最大值點。但一般情況下，ROC最佳工作點的特異性高于約登指數(shù)。需要特別指出的是，約登指數(shù)法的本質(zhì)是正例和負例概率分布差異的最大化，因此它是最佳閾值選擇的結果。但是，最佳工作點沒有與目標函數(shù)相關的明確事件，因此沒有充分的理由將正例和負例的概率分布最大化，這也正是很少有文獻討論此類方法的原因[43]。此外，關于ROC置信區(qū)間的估計問題。Macskassy和Provost[44-45]提供了一些醫(yī)學領域和機器學習領域的流行方法，他們對ROC曲線的置信區(qū)間進行了實證評價，進行統(tǒng)計學上的魯棒性比較。Flach[46]通過ROC等距圖(ROC等值線圖)深入研究了精度、精密度、F-measure等常用性能指標。

4 結束語

當數(shù)據(jù)存在不平衡的情況時，比較傳統(tǒng)的準確率很難判斷分類結果的優(yōu)劣，接收者操作曲線令橫坐標為偽陽率，縱坐標為真陽率，可以解決數(shù)據(jù)不平衡的問題。并且可以比較接收者操作曲線(ROC)的下面積(AUC)來判斷分類器的性能，AUC值越大，表明分類的效果越好。但是，當ROC曲線出現(xiàn)交叉時，還需要通過借約登指數(shù)進一步判斷。