郝 燁，王 浩，李佳戈

中國(guó)食品藥品檢定研究院，北京100050

數(shù)據(jù)標(biāo)注是基于監(jiān)督學(xué)習(xí)的人工智能醫(yī)療器械在研發(fā)、測(cè)試階段常用的一種技術(shù)服務(wù)，數(shù)據(jù)標(biāo)注的準(zhǔn)確性決定了數(shù)據(jù)集的使用價(jià)值[1-6]，故數(shù)據(jù)標(biāo)注不僅需要有完整的流程、規(guī)則和工具，還需制定相應(yīng)的質(zhì)量控制體系。YY/T 1833.3-2022《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求》標(biāo)準(zhǔn)[7]是醫(yī)療器械行業(yè)內(nèi)首個(gè)側(cè)重?cái)?shù)據(jù)標(biāo)注環(huán)節(jié)進(jìn)行人工智能醫(yī)療器械質(zhì)控管理分析的標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)主要以人工智能醫(yī)療器械的數(shù)據(jù)標(biāo)注環(huán)節(jié)為質(zhì)控對(duì)象展開(kāi)分析，不僅列舉了標(biāo)注工作質(zhì)量控制方面的一系列特性和要求，并針對(duì)如何進(jìn)行質(zhì)控評(píng)價(jià)提出了專(zhuān)業(yè)性方法和建議，全文涵蓋數(shù)據(jù)標(biāo)注環(huán)節(jié)相關(guān)術(shù)語(yǔ)、標(biāo)注任務(wù)說(shuō)明文檔、數(shù)據(jù)標(biāo)注的質(zhì)量特性、標(biāo)注與質(zhì)控流程、標(biāo)注工具以及評(píng)價(jià)方法等多部分內(nèi)容，對(duì)數(shù)據(jù)標(biāo)注的質(zhì)控分析客觀、全面，對(duì)于人工智能醫(yī)療器械產(chǎn)品的數(shù)據(jù)標(biāo)注工作具有重要指導(dǎo)意義，對(duì)于行業(yè)的規(guī)范化發(fā)展將發(fā)揮顯著促進(jìn)作用。本文筆者基于工作中積累的醫(yī)療器械檢驗(yàn)檢測(cè)經(jīng)驗(yàn)及對(duì)該標(biāo)準(zhǔn)的理解，將對(duì)其重點(diǎn)內(nèi)容進(jìn)行解析。

1 指導(dǎo)標(biāo)注任務(wù)文檔編寫(xiě)

2007年斯坦福大學(xué)教授李飛飛等開(kāi)啟ImageNet圖像數(shù)據(jù)集項(xiàng)目，完成了圖片分類(lèi)和標(biāo)注，為后續(xù)機(jī)器學(xué)習(xí)提供了帶標(biāo)注的數(shù)據(jù)集，開(kāi)啟了數(shù)據(jù)標(biāo)注的發(fā)展序幕[8-10]。但數(shù)據(jù)標(biāo)注行業(yè)經(jīng)過(guò)十余年發(fā)展，針對(duì)數(shù)據(jù)標(biāo)注的定義仍不明確，此種模糊的認(rèn)知不利于整個(gè)標(biāo)注行業(yè)特別是人工智能醫(yī)療器械行業(yè)的規(guī)范化發(fā)展。為此，YY/T 1833.1-2022《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分：術(shù)語(yǔ)》標(biāo)準(zhǔn)中，明確了數(shù)據(jù)標(biāo)注的定義，其是指對(duì)數(shù)據(jù)進(jìn)行分析，添加外部知識(shí)的過(guò)程[11]。在此基礎(chǔ)上，YY/T 1833.3-2022標(biāo)準(zhǔn)根據(jù)數(shù)據(jù)標(biāo)注的不同分類(lèi)形式、關(guān)鍵要素等特點(diǎn)明確了包括標(biāo)注任務(wù)、標(biāo)注對(duì)象、結(jié)構(gòu)化標(biāo)注等在內(nèi)的行業(yè)常用術(shù)語(yǔ)，為數(shù)據(jù)標(biāo)注工作的規(guī)范和統(tǒng)一提供了必要的基礎(chǔ)。

標(biāo)注任務(wù)不同于傳統(tǒng)的醫(yī)療器械產(chǎn)品，標(biāo)注任務(wù)的說(shuō)明文檔在數(shù)據(jù)標(biāo)注質(zhì)量評(píng)價(jià)中具有十分重要的地位。在一項(xiàng)具體的標(biāo)注任務(wù)開(kāi)始前，標(biāo)注責(zé)任方除了需明確標(biāo)注任務(wù)的類(lèi)型外，還需明確標(biāo)注規(guī)則、標(biāo)注人員角色構(gòu)成與分工、決策機(jī)制、標(biāo)注工具、標(biāo)注環(huán)境以及數(shù)據(jù)方面的要求。從結(jié)構(gòu)角度來(lái)看，YY/T 1833.3-2022標(biāo)準(zhǔn)是基于數(shù)據(jù)標(biāo)注對(duì)完成任務(wù)的人、機(jī)、物、法、環(huán)等幾大質(zhì)控方面提出的要求。

制定清晰、合理的標(biāo)注規(guī)則是整個(gè)標(biāo)注任務(wù)順利開(kāi)展的基礎(chǔ)。因此，在標(biāo)注任務(wù)文檔中，首先應(yīng)明確標(biāo)注規(guī)則。YY/T 1833.3-2022標(biāo)準(zhǔn)針對(duì)此方面，提出的要求主要集中于對(duì)標(biāo)注對(duì)象的定義需唯一且確定，同時(shí)指出標(biāo)注對(duì)象的特征應(yīng)該是可以驗(yàn)證或測(cè)量的，此為確保后續(xù)準(zhǔn)確標(biāo)注具有可衡量性的基礎(chǔ)；標(biāo)注對(duì)象及標(biāo)注規(guī)則應(yīng)具有充分的依從性文件作為支撐，如法規(guī)文件、技術(shù)標(biāo)準(zhǔn)、專(zhuān)家評(píng)議、文獻(xiàn)分析等；此外，針對(duì)標(biāo)注規(guī)則可能導(dǎo)致的偏倚風(fēng)險(xiǎn)，還需進(jìn)行深入的風(fēng)險(xiǎn)分析。

標(biāo)注人員作為標(biāo)注工作的實(shí)際執(zhí)行者，在標(biāo)注工作中的表現(xiàn)直接決定了標(biāo)注質(zhì)量。實(shí)際標(biāo)注中，根據(jù)任務(wù)的不同，可能需要多名人員承擔(dān)不同的標(biāo)注任務(wù)，包括初級(jí)標(biāo)注人員、審核人員、仲裁人員等。YY/T 1833.3-2022標(biāo)準(zhǔn)要求標(biāo)注責(zé)任方應(yīng)在文檔中明確描述對(duì)標(biāo)注人員的要求，包括人員資質(zhì)、選拔依據(jù)、培訓(xùn)內(nèi)容及評(píng)估指標(biāo)等。標(biāo)注工具是實(shí)現(xiàn)標(biāo)注工作不可或缺的重要手段。標(biāo)注工具的質(zhì)控可參考醫(yī)療器械中軟件的質(zhì)控方法開(kāi)展，YY/T 1833.3-2022標(biāo)準(zhǔn)主要強(qiáng)調(diào)了對(duì)標(biāo)注過(guò)程中所使用的軟件、硬件和平臺(tái)等應(yīng)進(jìn)行描述。標(biāo)注環(huán)境的條件亦是標(biāo)注工作質(zhì)量管理的重要影響因素之一。環(huán)境條件對(duì)標(biāo)注工作的影響主要表現(xiàn)在溫濕度、照明條件及噪聲干擾等方面。為保證標(biāo)注任務(wù)的高質(zhì)量，標(biāo)注責(zé)任方有責(zé)任從標(biāo)注環(huán)境對(duì)標(biāo)注人員、標(biāo)注過(guò)程以及標(biāo)注工具的影響等多角度進(jìn)行分析，并針對(duì)關(guān)鍵的環(huán)境要求進(jìn)行說(shuō)明。

2 明確標(biāo)注任務(wù)質(zhì)量特性

考慮到人工智能醫(yī)療器械產(chǎn)品數(shù)據(jù)標(biāo)注工作面對(duì)的主要對(duì)象為醫(yī)療數(shù)據(jù)，由于數(shù)據(jù)標(biāo)注的準(zhǔn)確性決定了人工智能算法的有效性，醫(yī)療數(shù)據(jù)標(biāo)注質(zhì)量參差不齊可能導(dǎo)致臨床誤診、漏診等風(fēng)險(xiǎn)，甚至威脅患者的生命安全，故醫(yī)療數(shù)據(jù)標(biāo)注的質(zhì)量至關(guān)重要。

根據(jù)醫(yī)療數(shù)據(jù)集管理的整體思路，數(shù)據(jù)標(biāo)注的質(zhì)量特性應(yīng)包含如下5個(gè)方面：(1)準(zhǔn)確性。標(biāo)注工作中，為衡量標(biāo)注結(jié)果的準(zhǔn)確性，責(zé)任方應(yīng)提供標(biāo)注結(jié)果的適用指標(biāo)，如召回率、準(zhǔn)確率、靈敏度等。這些指標(biāo)根據(jù)場(chǎng)景不同可能略有差異，可根據(jù)實(shí)際應(yīng)用場(chǎng)景選擇合適的指標(biāo)。(2)一致性。確保標(biāo)注結(jié)果的一致性是數(shù)據(jù)標(biāo)注過(guò)程的重點(diǎn)，此為保證標(biāo)注結(jié)果準(zhǔn)確客觀的必要條件，也是數(shù)據(jù)集管理中的重要環(huán)節(jié)，其包含兩方面內(nèi)容，即一方面應(yīng)保證標(biāo)注結(jié)果與參考標(biāo)準(zhǔn)的一致性；另一方面，針對(duì)標(biāo)注過(guò)程中各個(gè)環(huán)節(jié)的輸入與輸出數(shù)據(jù)及其他信息，應(yīng)保證內(nèi)部一致性，如人員信息、標(biāo)注結(jié)果及原始數(shù)據(jù)。(3)精度。針對(duì)定量描述的標(biāo)注結(jié)果，數(shù)據(jù)精度是評(píng)價(jià)標(biāo)注結(jié)果的必要指標(biāo)，也是相關(guān)責(zé)任方在標(biāo)注工作中需明確的數(shù)據(jù)特性之一。(4)可理解性、可訪問(wèn)性及可移植性?？紤]到數(shù)據(jù)標(biāo)注本質(zhì)上更接近于醫(yī)用軟件類(lèi)型的醫(yī)療器械產(chǎn)品[12-15]，因此該部分的質(zhì)控特性與軟件有相似之處，需要考慮含標(biāo)注結(jié)果的數(shù)據(jù)信息被授權(quán)用戶(hù)理解和可訪問(wèn)的程度，以及此類(lèi)數(shù)據(jù)能否被安裝、移動(dòng)或者替換到不同系統(tǒng)的能力。(5)保密性及可追溯性。數(shù)據(jù)標(biāo)注結(jié)果尤其醫(yī)療數(shù)據(jù)的標(biāo)注結(jié)果必須是安全保密且可追溯的。考慮到數(shù)據(jù)標(biāo)注過(guò)程中可能涉及到復(fù)雜的人員結(jié)構(gòu)和數(shù)據(jù)流轉(zhuǎn)，很可能產(chǎn)生數(shù)據(jù)誤操作、數(shù)據(jù)泄露、網(wǎng)絡(luò)安全方面的風(fēng)險(xiǎn)，因此數(shù)據(jù)安全及其保密性不容忽視。可追溯性是用以表征標(biāo)注任務(wù)可被追溯和記錄到何種程度的特性。數(shù)據(jù)標(biāo)注工作是數(shù)據(jù)集建設(shè)過(guò)程中的重要環(huán)節(jié)，為保證整個(gè)數(shù)據(jù)集的質(zhì)量，在數(shù)據(jù)標(biāo)注階段需特別注重該環(huán)節(jié)的可追溯性，其涵蓋的要素不僅包括標(biāo)注任務(wù)的時(shí)間節(jié)點(diǎn)和標(biāo)注對(duì)象，還應(yīng)包括標(biāo)注工作質(zhì)控流程涉及的人員信息、標(biāo)注任務(wù)的操作信息、標(biāo)注工具的具體信息等。

3 指導(dǎo)標(biāo)注質(zhì)控流程設(shè)計(jì)

根據(jù)前節(jié)所述的標(biāo)注任務(wù)質(zhì)量特性，標(biāo)注工作應(yīng)建立完善的質(zhì)控流程和管理機(jī)制，以保證質(zhì)控工作高效進(jìn)行。YY/T 1833.3-2022標(biāo)準(zhǔn)分別從業(yè)務(wù)架構(gòu)和過(guò)程組織兩個(gè)方面明確了質(zhì)控流程圖的設(shè)計(jì)要點(diǎn)和相應(yīng)要求。

從業(yè)務(wù)架構(gòu)角度而言，質(zhì)控流程的設(shè)計(jì)首先需根據(jù)數(shù)據(jù)流向及人員分工設(shè)計(jì)出質(zhì)控業(yè)務(wù)架構(gòu)圖。數(shù)據(jù)標(biāo)注的業(yè)務(wù)架構(gòu)圖根據(jù)標(biāo)注人員的分工可分為初級(jí)標(biāo)注、審核及仲裁環(huán)節(jié)。對(duì)于典型的醫(yī)學(xué)影像類(lèi)標(biāo)注，可將標(biāo)注任務(wù)分解為檢出、分類(lèi)、分割、測(cè)量等多項(xiàng)大任務(wù)。需注意的是，業(yè)務(wù)架構(gòu)圖中應(yīng)明確關(guān)鍵的輸入與輸出節(jié)點(diǎn)，保存相應(yīng)的標(biāo)注結(jié)果和人員操作記錄。從過(guò)程組織的角度來(lái)講，標(biāo)注的質(zhì)控流程應(yīng)從任務(wù)生成、任務(wù)分配、任務(wù)實(shí)施、質(zhì)量控制及安全管理5個(gè)方面進(jìn)行質(zhì)控架構(gòu)圖設(shè)計(jì)，以完善整個(gè)質(zhì)控流程的實(shí)施。任務(wù)生成階段可理解為數(shù)據(jù)獲取和整理階段，以及標(biāo)注工具、標(biāo)注環(huán)境和標(biāo)注規(guī)則的確立階段。為保證標(biāo)注工作的可追溯性，該階段需做好任務(wù)生成工作的記錄和保存。任務(wù)分配及其實(shí)施是標(biāo)注任務(wù)的重點(diǎn)，為確保標(biāo)注工作可控與可靠，在標(biāo)注分配過(guò)程中，需明確操作權(quán)限的設(shè)置，在實(shí)施階段也應(yīng)關(guān)注標(biāo)注進(jìn)度和標(biāo)注人員的監(jiān)控和協(xié)調(diào)?？紤]到標(biāo)注人員的標(biāo)注質(zhì)量是動(dòng)態(tài)變化的，標(biāo)注工作中應(yīng)評(píng)估標(biāo)注人員標(biāo)注結(jié)果的可重復(fù)性和準(zhǔn)確性。

安全管理措施設(shè)計(jì)是標(biāo)注質(zhì)控流程設(shè)計(jì)中另一個(gè)必不可少的重要部分。其需要重點(diǎn)關(guān)注標(biāo)注前的數(shù)據(jù)脫敏、數(shù)據(jù)備份，標(biāo)注過(guò)程中的網(wǎng)絡(luò)安全，以及退出任務(wù)前的數(shù)據(jù)刪除等，以保證標(biāo)注環(huán)節(jié)中的數(shù)據(jù)安全性和隱私保護(hù)，避免數(shù)據(jù)泄露。

4 完善標(biāo)注工具要求、明確標(biāo)注任務(wù)評(píng)價(jià)方法

標(biāo)注工具的選擇主要基于標(biāo)注任務(wù)的需求以及標(biāo)注對(duì)象的數(shù)據(jù)格式等特點(diǎn)。適宜的標(biāo)注工具不僅可提高標(biāo)注任務(wù)效率，減少標(biāo)注人員工作量，同時(shí)是數(shù)據(jù)標(biāo)注過(guò)程中數(shù)據(jù)安全和高質(zhì)量數(shù)據(jù)標(biāo)注結(jié)果的重要保障。YY/T 1833.3-2022標(biāo)準(zhǔn)中采用獨(dú)立的一個(gè)章節(jié)明確了標(biāo)注工具的質(zhì)控方法，強(qiáng)調(diào)了標(biāo)注工具在標(biāo)注任務(wù)中的重要性，其明確標(biāo)注工具的質(zhì)控主要體現(xiàn)在性能和安全性?xún)纱蠓矫妫?1)性能方面，需要重點(diǎn)關(guān)注標(biāo)注過(guò)程中的一些標(biāo)志性功能，如標(biāo)注工具對(duì)于標(biāo)注對(duì)象、數(shù)據(jù)標(biāo)注以及標(biāo)注結(jié)果在導(dǎo)入與導(dǎo)出功能、進(jìn)度顯示、任務(wù)調(diào)度以及審核與仲裁等方面的功能；(2)安全性方面，根據(jù)數(shù)據(jù)標(biāo)注結(jié)果安全性的規(guī)定，YY/T 1833.3-2022標(biāo)準(zhǔn)對(duì)標(biāo)注工具提出了身份鑒別以及訪問(wèn)控制方面的要求。考慮到標(biāo)注工具的本質(zhì)屬于醫(yī)用軟件，安全特性與臨床熟知的醫(yī)用軟件基本一致，因此，其安全質(zhì)控與常規(guī)醫(yī)用軟件的質(zhì)控方式大致相同。需要關(guān)注的是，傳統(tǒng)人工標(biāo)注的低效性與數(shù)據(jù)需求快速增長(zhǎng)之間的矛盾逐漸凸顯，因此，半自動(dòng)甚至全自動(dòng)標(biāo)注將是數(shù)據(jù)標(biāo)注的發(fā)展趨勢(shì)[16-17]。隨著人工智能技術(shù)的高速發(fā)展，人工智能輔助標(biāo)注已成為目前標(biāo)注領(lǐng)域的研究熱點(diǎn)。人工智能算法輔助的標(biāo)注工具是基于人工智能技術(shù)賦能標(biāo)注工作，對(duì)于提高標(biāo)注效率大有裨益，故針對(duì)此類(lèi)工具的質(zhì)控和評(píng)價(jià)也需引起重視。輔助標(biāo)注算法應(yīng)經(jīng)過(guò)確認(rèn)后交付使用，算法輔助標(biāo)注的結(jié)果亦需要人工審核。YY/T 1833.3-2022標(biāo)準(zhǔn)在附錄中對(duì)相關(guān)內(nèi)容的評(píng)價(jià)進(jìn)行了原則性和功能性分析，為此類(lèi)標(biāo)注工具的應(yīng)用提供了技術(shù)指導(dǎo)。

YY/T 1833.3-2022標(biāo)準(zhǔn)針對(duì)數(shù)據(jù)標(biāo)注的說(shuō)明文檔、質(zhì)量特性、質(zhì)控流程和標(biāo)注工具等方面不僅提出了具體要求且給出了相應(yīng)的評(píng)價(jià)方法。參照YY/T 1833.2-2022標(biāo)準(zhǔn)[18]中對(duì)數(shù)據(jù)集質(zhì)量評(píng)價(jià)的思路，YY/T 1833.3-2022標(biāo)準(zhǔn)對(duì)于標(biāo)注結(jié)果的一致性和重復(fù)性評(píng)價(jià)亦以抽樣檢驗(yàn)的方法開(kāi)展，通過(guò)專(zhuān)家論證、專(zhuān)家比對(duì)及定量計(jì)算等方式進(jìn)行評(píng)價(jià)，為實(shí)際開(kāi)展標(biāo)注質(zhì)控工作的相關(guān)人員提供了明確且全面的操作指導(dǎo)。為了更完整展示人工智能醫(yī)療器械領(lǐng)域數(shù)據(jù)標(biāo)注工作的實(shí)際內(nèi)容，YY/T 1833.3-2022標(biāo)準(zhǔn)在附錄部分提供了典型的數(shù)據(jù)標(biāo)注示例，包括醫(yī)學(xué)影像、心電特征、電子病歷、心肺音等多類(lèi)型臨床數(shù)據(jù)，附錄中的示例來(lái)自于人工智能醫(yī)療器械領(lǐng)域數(shù)據(jù)標(biāo)注在臨床中的實(shí)際應(yīng)用，從每個(gè)標(biāo)注任務(wù)的分類(lèi)、標(biāo)注規(guī)則、標(biāo)注人員、標(biāo)注工具、標(biāo)注環(huán)境以及數(shù)據(jù)類(lèi)型等角度分別歸類(lèi)匯總，為相關(guān)人員今后開(kāi)展實(shí)際質(zhì)控工作提供了重要技術(shù)參考。

5 小結(jié)

《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求》從質(zhì)量控制的角度出發(fā)，闡述了人工智能醫(yī)療器械產(chǎn)品在數(shù)據(jù)標(biāo)注工作中可能產(chǎn)生的質(zhì)量風(fēng)險(xiǎn)，從說(shuō)明文檔、質(zhì)量特性、質(zhì)控流程及評(píng)價(jià)方法等方面分別提出了關(guān)鍵性的建議和要求，對(duì)于人工智能醫(yī)療器械產(chǎn)品的標(biāo)注工作具有重要指導(dǎo)和規(guī)范作用。該標(biāo)準(zhǔn)作為人工智能醫(yī)療器械標(biāo)注體系內(nèi)的一項(xiàng)關(guān)鍵基礎(chǔ)性標(biāo)準(zhǔn)，必將有助于產(chǎn)品的規(guī)范化設(shè)計(jì)，為行業(yè)的快速有序發(fā)展提供關(guān)鍵技術(shù)指導(dǎo)。