陸浩，陳金令*，陳杰，陳百合，唐卓葳

1.西南石油大學(xué)電氣信息學(xué)院，成都 610500；2.綿陽市中心醫(yī)院，綿陽 621000

0 引言

根據(jù)全球癌癥數(shù)據(jù)統(tǒng)計(jì)2020 年版，女性乳腺癌已經(jīng)成為確診率最高的癌癥類型，其致死率也在所有癌癥類型中高居第五，嚴(yán)重威脅女性的生命健康。研究表明，通過早期診斷和及時(shí)干預(yù)，大約有28%—37%的乳腺癌可以治愈（Sung等，2021）。Wang等人（2022a）認(rèn)為分析組織病理學(xué)圖像是癌癥診斷的黃金標(biāo)準(zhǔn)。然而，由于全玻片圖像（whole slide images，WSIs）巨大的尺寸，對WSIs 進(jìn)行病理學(xué)分析是一個(gè)耗時(shí)且煩瑣的過程，并且對病理醫(yī)生的專業(yè)水平要求極高。面對日益劇增的乳腺癌病例數(shù)量，大眾對于效率更高的計(jì)算機(jī)輔助診斷工具的需求愈發(fā)強(qiáng)烈。

隨著深度學(xué)習(xí)的高速發(fā)展，學(xué)界不斷地涌現(xiàn)出各種用于WSIs的計(jì)算機(jī)輔助診斷方法。如Tellez等人（2021）提出兩階段的病理全切片圖像分類算法，首先壓縮千兆像素的病理圖像，然后在壓縮后的圖像上訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）用于預(yù)測圖像級(jí)標(biāo)簽。Zhang 等人（2021）認(rèn)為引入數(shù)據(jù)預(yù)處理方法，如染色歸一化、顏色增強(qiáng)可有效提升模型的泛化能力。擁有千兆像素的WSIs 在目前的計(jì)算機(jī)硬件條件下是不可能直接處理的，通常是在處理前將其分解為更小的圖像塊（Srinidhi 等，2021）。對于計(jì)算機(jī)輔助診斷系統(tǒng)，如何從大量實(shí)例中高效地識(shí)別出觸發(fā)類別預(yù)測的關(guān)鍵實(shí)例，如何將成千上萬個(gè)圖像塊的分析結(jié)果匯總成能夠代表該WSIs 的包級(jí)表示是兩個(gè)長期挑戰(zhàn)。由于WSIs通常缺乏像素級(jí)標(biāo)注，訓(xùn)練階段無法獲得圖像塊級(jí)的標(biāo)簽，因此，弱監(jiān)督多實(shí)例學(xué)習(xí)成為分析WSIs 的主流方法（Campanella 等，2019）。弱監(jiān)督多實(shí)例學(xué)習(xí)方法中，WSIs 通常定義為一個(gè)包，更小的圖像塊則定義為包中的實(shí)例。

然而，WSIs 領(lǐng)域中現(xiàn)有的弱監(jiān)督多實(shí)例學(xué)習(xí)方法仍然存在著以下不足：1）由于病變區(qū)域僅占整個(gè)組織區(qū)域的一小部分，導(dǎo)致一個(gè)包中陽性實(shí)例和陰性實(shí)例的數(shù)量嚴(yán)重不平衡（Li等，2021）。因此，精確引導(dǎo)模型從大量實(shí)例中識(shí)別出區(qū)分性實(shí)例是模型成功的關(guān)鍵。2）目前，多數(shù)方法都是基于獨(dú)立同分布假設(shè)的，沒有考慮來自同一個(gè)包的實(shí)例間的相關(guān)性（Shao等，2021）。實(shí)際上，不同組織區(qū)域的相關(guān)性是病理醫(yī)生進(jìn)行診斷的關(guān)鍵信息。3）以前的弱監(jiān)督多實(shí)例學(xué)習(xí)方法忽略了特征編碼的重要性，往往都依賴于使用由公用數(shù)據(jù)集ImageNet預(yù)訓(xùn)練的特征編碼器（Li等，2023）。但是，這種由域外數(shù)據(jù)集預(yù)訓(xùn)練的特征編碼器對病理圖像特征的表達(dá)能力是有限的。

為了解決上述問題，本文提出一種新的雙層多實(shí)例學(xué)習(xí)模型（double-tier multiple instance learning，DT-MIL），而傳統(tǒng)方法都采用單層的多實(shí)例學(xué)習(xí)模型進(jìn)行推理。圖1 展示了傳統(tǒng)單層多實(shí)例學(xué)習(xí)模型的結(jié)構(gòu)和本文提出的雙層多實(shí)例學(xué)習(xí)模型的結(jié)構(gòu)對比。

圖1 傳統(tǒng)多實(shí)例學(xué)習(xí)模型與本文提出的雙層多實(shí)例學(xué)習(xí)模型結(jié)構(gòu)對比Fig.1 Comparison of the structures of the traditional MIL model and the proposed double-tier MIL model（（a）single-tier MIL model；（b）double-tier MIL model ）

DT-MIL 的總體結(jié)構(gòu)如圖2所示，包括3個(gè)部分：數(shù)據(jù)處理、特征提取和特征聚合。首先，將WSIs 剪裁為固定大小的圖像塊，并過濾掉無效的背景區(qū)域，只保留包含病理組織的圖像塊；其次，在特征提取部分采用自監(jiān)督對比學(xué)習(xí)框架SimCLR（a simple framework for contrastive learning of visual representations）預(yù)訓(xùn)練的特征編碼器提取圖像塊特征；最后，在特征聚合部分部署提出的雙層多實(shí)例學(xué)習(xí)模型。具體地，第1 層的自適應(yīng)特征挖掘器首先結(jié)合門控注意力和Grad-CAM（gradient-weighted class activation mapping）（Selvaraju 等，2017）來推斷實(shí)例的概率分布，然后檢索并聚合每個(gè)子類的區(qū)分性特征以生成對應(yīng)的內(nèi)部查詢。重要的是，自適應(yīng)特征挖掘器通過靈活地選擇、聚合K個(gè)區(qū)分性特征可以有效地降低腫瘤異質(zhì)性對模型性能的影響，同時(shí)避免引入錯(cuò)誤的特征信息。此外，自適應(yīng)特征挖掘器還同時(shí)為每個(gè)子類都生成內(nèi)部查詢以防止模型對某類實(shí)例產(chǎn)生偏見。第2層由一個(gè)深度非線性模塊和一個(gè)雙路交叉檢測模塊組成，其目標(biāo)是通過建模內(nèi)部查詢和實(shí)例間的關(guān)系為后續(xù)的分類器生成更準(zhǔn)確的包級(jí)表示。

圖2 DT-MIL的總體結(jié)構(gòu)圖Fig.2 Overview structure of the DT-MIL

本文在CAMELYON-16 和TCGA（the cancer genome atlas）數(shù)據(jù)集上評(píng)估提出的模型，大量實(shí)驗(yàn)結(jié)果顯示本文模型優(yōu)于其他較先進(jìn)的對比方法，證明了所提模型的有效性。

1 基于深度學(xué)習(xí)的多實(shí)例學(xué)習(xí)模型和注意力機(jī)制

1.1 WSIs分析中的多實(shí)例學(xué)習(xí)模型

由于WSIs巨大的分辨率，在處理時(shí)必須將其分解為更小的圖像塊，然后總結(jié)每個(gè)圖像塊的分析結(jié)果生成最終的包級(jí)表示，這一特點(diǎn)恰好符合多實(shí)例學(xué)習(xí)的概念。多實(shí)例學(xué)習(xí)可分為兩類，實(shí)例級(jí)算法（Campanella 等，2019；Feng 和Zhou，2017；Kanavati等，2020；Xu 等，2019）和嵌入級(jí)算法（Shao 等，2021；Lu 等，2021；Sharma 等，2021；Wang 等，2018；Zhu 等，2017）。對于前者，它在訓(xùn)練階段將包的標(biāo)簽分配給所有實(shí)例作為偽標(biāo)簽，然后選擇Top-K實(shí)例生成最終的包級(jí)表示。然而，實(shí)例級(jí)算法需要大量的WSIs數(shù)據(jù)支持，否則容易出現(xiàn)過擬合和收斂性差的問題。相比之下，嵌入級(jí)算法通過池化操作（如平均池化、最大池化）聚合所有實(shí)例生成更準(zhǔn)確的包級(jí)表示。Wang等人（2018）研究表明，嵌入級(jí)算法的性能優(yōu)于實(shí)例級(jí)算法。

1.2 深度學(xué)習(xí)中的注意力機(jī)制

注意力機(jī)制的本質(zhì)是模仿人類的感知行為，將人類的注意力行為部署到機(jī)器上，使其學(xué)會(huì)分析訓(xùn)練樣本的重要性。注意力機(jī)制最初應(yīng)用在自然語言處理（natural language processing，NLP）領(lǐng)域，隨后注意力機(jī)制開始在計(jì)算機(jī)視覺任務(wù)中流行起來，包括圖像分類（Li 等，2021；陳金令 等，2022；高紅民 等，2023）、目標(biāo)檢測（Zhang 等，2018；Zhu 等，2021；賈可心 等，2022）和視頻處理（Zeng 等，2020）。最近，不斷涌現(xiàn)出基于注意力的多實(shí)例學(xué)習(xí)框架。注意力機(jī)制在大量嵌入級(jí)多實(shí)例學(xué)習(xí)算法中都起著舉足輕重的作用，這些方法通過給所有實(shí)例分配適當(dāng)?shù)臋?quán)重來突出有價(jià)值的實(shí)例，這可以極大地提高性能并減少計(jì)算開銷。例如，WSIs 分析領(lǐng)域的經(jīng)典論文ABMIL（attention based MIL）（Ilse 等，2018）使用門控注意力機(jī)制進(jìn)行特征聚合，取得了巨大進(jìn)展。

出自Transformer（Vaswani 等，2017）的自注意力機(jī)制逐漸開始流行。Gao 等人（2021）考慮到遠(yuǎn)程依賴關(guān)系的重要性，通過將卷積和自注意力機(jī)制結(jié)合提出一種新的自注意力算法。Trans-MIL（Transformer based MIL）（Shao 等，2021）第1 個(gè)將自注意力機(jī)制應(yīng)用到WSIs分類任務(wù)中。然而，它的模型并沒有充分利用來自病理圖像的內(nèi)部信息，并忽略了腫瘤異質(zhì)性的影響。此外，由于硬件條件的限制，在面對包含大量圖像塊的WSIs時(shí)，自注意力機(jī)制的表現(xiàn)并不理想。本文提出的模型也用到了自注意力機(jī)制的思想，但針對不同的應(yīng)用場景對其進(jìn)行了優(yōu)化，以彌補(bǔ)不足。

2 提出的方法

2.1 多實(shí)例學(xué)習(xí)

多實(shí)例學(xué)習(xí)是一種流行的弱監(jiān)督學(xué)習(xí)框架。在多實(shí)例學(xué)習(xí)中，輸入是一系列包含大量實(shí)例的包，其中實(shí)例的標(biāo)簽是未知的，只有包級(jí)標(biāo)簽是已知的（1代表陽性，0 代表陰性）。如果包中至少包含一個(gè)陽性實(shí)例，則包級(jí)標(biāo)簽為陽性，否則為陰性。對于WSIs 的陰陽性分類任務(wù)，包含N個(gè)包的輸入可描述為I={B1，B2，???，BN}，其 中Bi={xi，1，xi，2，???，xi，K}表示包含K個(gè)實(shí)例的第i個(gè)包，包中每個(gè)實(shí)例對應(yīng)的隱藏標(biāo)簽為Li={yi，1，yi，2，???，yi，K}。包級(jí)標(biāo)簽是訓(xùn)練階段唯一明確的信息，包級(jí)標(biāo)簽Yi與實(shí)例標(biāo)簽yi，j的關(guān)系定義為

多實(shí)例學(xué)習(xí)推斷包級(jí)標(biāo)簽的過程可以表述為

式中，f(·)是特征編碼器，g(·)表示一個(gè)聚合函數(shù)，代表預(yù)測結(jié)果。

2.2 特征編碼器

將圖像塊轉(zhuǎn)化為特征嵌入是WSIs 分析中重要的一環(huán)，特征嵌入的質(zhì)量好壞直接影響后續(xù)的分析。由于缺乏圖像塊級(jí)的標(biāo)簽，端到端的訓(xùn)練一個(gè)域內(nèi)數(shù)據(jù)的特征編碼器是不可行的。因此，使用由域外數(shù)據(jù)集如ImageNet預(yù)訓(xùn)練的特征編碼器成為主流實(shí)踐。然而，Li 等人（2021）認(rèn)為使用這種簡單的方法很可能導(dǎo)致生成次優(yōu)的特征嵌入，因?yàn)橛蛲鈹?shù)據(jù)特征編碼器對病理組織細(xì)胞的結(jié)構(gòu)特征缺乏敏感性。自監(jiān)督對比學(xué)習(xí)通過比較由輔助任務(wù)生成的正負(fù)樣本間的差距來不斷學(xué)習(xí)數(shù)據(jù)的特征表示。例如，SimCLR（Chen等，2020）通過最大化由同一圖像經(jīng)兩種不同數(shù)據(jù)擴(kuò)增得到的兩個(gè)樣本間的相似性來訓(xùn)練特征編碼器，而MOCO（momentum contrast）（He 等，2020）則是通過最小化兩個(gè)樣本的相似性來更新、優(yōu)化特征編碼器。Dehaene 等人（2020）的研究已經(jīng)證明，使用自監(jiān)督預(yù)訓(xùn)練的特征編碼器可以顯著增強(qiáng)弱監(jiān)督多實(shí)例學(xué)習(xí)在WSIs分析任務(wù)中表現(xiàn)，縮小與全監(jiān)督學(xué)習(xí)方法的差距。因此，本文使用SimCLR對比學(xué)習(xí)框架對組織病理學(xué)圖像進(jìn)行預(yù)訓(xùn)練，獲得用于病理圖像分析的域內(nèi)特征編碼器。SimCLR 對比學(xué)習(xí)框架的結(jié)構(gòu)如圖3所示。

圖3 SimCLR的結(jié)構(gòu)圖Fig.3 Overview structure of the SimCLR

2.3 自適應(yīng)特征挖掘器

第1 層多實(shí)例學(xué)習(xí)模型即本文提出的自適應(yīng)特征挖掘器，其核心任務(wù)是為后續(xù)的雙路交叉檢測模塊提供高質(zhì)量的內(nèi)部查詢，其結(jié)構(gòu)如圖4 所示。DSMIL（Li 等，2021）僅使用一個(gè)簡單的線性層完成實(shí)例概率推斷，并取出最大概率的實(shí)例作為查詢向量。Trans-MIL（Transformer based MIL）（Shao 等，2021）使用一個(gè)外部隨機(jī)初始化的可訓(xùn)練向量作為查詢，從所有實(shí)例中收集有價(jià)值的特征信息。然而，以上方法都存在明顯缺陷，DS-MIL（dual-stream MIL）這種簡單的方式推斷出實(shí)例概率不夠可靠，而Trans-MIL的查詢向量來自外部，沒有充分利用組織病理學(xué)圖像的內(nèi)部信息。另外，這兩種方法在設(shè)計(jì)時(shí)都忽略了腫瘤異質(zhì)性對模型性能的影響（Wang等，2022b）。平均Top-K實(shí)例作為內(nèi)部查詢是緩解以上問題的一種常見方法。但是，面對不同的WSIs都采用默認(rèn)值K生成的內(nèi)部查詢是次優(yōu)的，缺乏靈活性。因?yàn)檫@種方法要么沒有充分挖掘內(nèi)部信息，要么會(huì)引入錯(cuò)誤的特征信息。因此，本文設(shè)計(jì)了一種新的內(nèi)部查詢生成策略來解決這一問題。

圖4 自適應(yīng)特征挖掘器的結(jié)構(gòu)圖Fig.4 Overview structure of the adaptive feature miner

Zhang 等人（2022）認(rèn)為在經(jīng)典的AB-MIL 框架下推導(dǎo)實(shí)例的概率分布是不可行的，因此，本文結(jié)合門控注意力機(jī)制和Grad-CAM 來推斷每個(gè)單獨(dú)實(shí)例的預(yù)測概率，實(shí)現(xiàn)對所有實(shí)例重要性的重校準(zhǔn)。首先，所有實(shí)例都基于門控注意力進(jìn)行聚合，并使用線性層進(jìn)行預(yù)測。然后對類別C的預(yù)測結(jié)果進(jìn)行反向傳播，獲得回傳至實(shí)例特征的梯度信息，該梯度信息反映了實(shí)例特征中每個(gè)元素對類別C的重要性，將梯度信息與實(shí)例特征加權(quán)求和獲得包中各實(shí)例對類別C的重要性。最后，使用Softmax 推導(dǎo)出各實(shí)例相應(yīng)的概率分布。B={x1，x2，???，xN}表示包含N個(gè)實(shí)例的包，包中每個(gè)實(shí)例xi都被特征編碼器f(·)映射為特征嵌入hi=f(xi) ∈RD×1，則第i個(gè)實(shí)例被預(yù)測為類別C的概率可表示為

式中，D表示特征嵌入的維度，sc表示分類器對類別C的預(yù)測輸出是的第d個(gè)元素定義為

式中，ai表示第i個(gè)實(shí)例的注意力權(quán)重，sigm 表示sigmoid 函數(shù)。然后基于這些權(quán)重聚合所有提煉出的實(shí)例特征，并使用分類器T1推斷出第1 層的偽標(biāo)簽Y1，具體為

完成實(shí)例概率推導(dǎo)之后，自適應(yīng)特征挖掘器會(huì)檢索出K個(gè)區(qū)分性特征。重要的是，這里的K不是一個(gè)固定的數(shù)字，它可以在面對不同的包時(shí)自適應(yīng)地調(diào)整。具體來說，本文首先選擇預(yù)測概率最高的實(shí)例作為目標(biāo)樣本。目標(biāo)樣本即為該包中概率最大的陽性實(shí)例，以該實(shí)例為基準(zhǔn)，建模與其余實(shí)例的距離即可分析出其余實(shí)例的陽性概率，進(jìn)而劃分出陰陽性實(shí)例。然后，分析目標(biāo)樣本和其余樣本之間的距離D(hm，hi)，具體為

自適應(yīng)特征挖掘器通過平均前K個(gè)區(qū)分性實(shí)例生成最終的內(nèi)部查詢。具體地，如果偽標(biāo)簽Y1是陰性，則K等于超參數(shù)α與包中實(shí)例數(shù)N的乘積。如果偽標(biāo)簽是陽性，則將距離向量進(jìn)行排序并聚合滿足以下條件的前K個(gè)實(shí)例，具體為

式中，D'K滿足以下條件，具體為

式中，D'表示將D按降序排列獲得的距離向量。當(dāng)偽標(biāo)簽Y1為陽性時(shí)，自適應(yīng)特征挖掘器首先根據(jù)實(shí)例與目標(biāo)樣本的距離將所有實(shí)例按降序排列，然后計(jì)算相鄰實(shí)例之間的距離差，將出現(xiàn)最大距離差的位置作為陰性和陽性實(shí)例的分界線，最后聚合每個(gè)子類的實(shí)例生成相應(yīng)的內(nèi)部查詢。自適應(yīng)特征挖掘器通過靈活地聚合K個(gè)區(qū)分性實(shí)例生成更可靠的內(nèi)部查詢，在充分挖掘典型特征的同時(shí)避免了引入錯(cuò)誤的陰性信息，減輕腫瘤異質(zhì)性對模型性能的影響，為后續(xù)處理奠定了堅(jiān)實(shí)的基礎(chǔ)。

2.4 雙路交叉檢測模塊

第2 層多實(shí)例學(xué)習(xí)模型即所提的雙路交叉檢測模塊，其作用是聚合所有實(shí)例的特征信息，獲得最終的包級(jí)表示，其結(jié)構(gòu)如圖5 所示。在雙路交叉檢測模塊之前，本文應(yīng)用一個(gè)深度非線性模塊映射實(shí)例特征。對于WSIs的陰陽性分類任務(wù)，不像以前的方法僅使用單個(gè)查詢進(jìn)行實(shí)例聚合，本文提出的雙路交叉檢測模塊同時(shí)建模陽性查詢、陰性查詢與包中其余實(shí)例的關(guān)系。雙路交叉檢測模塊有3 個(gè)輸入：來自自適應(yīng)特征挖掘器的陽性查詢Qp和陰性查詢Qn，由深度非線性模塊映射獲得的特征矩陣H′=

圖5 雙路交叉檢測模塊的結(jié)構(gòu)圖Fig.5 Overview structure of the dual-path cross-detection module

首先，將所有輸入使用線性層進(jìn)行映射，該過程可描述為

式中，W1，W2，W3和W4表示權(quán)重矩陣?；诤头謩e建模與各實(shí)例的相關(guān)性，獲得實(shí)例的注意力分?jǐn)?shù)，該過程可表示為

式中，i和j分別表示Q（query）和K（key）的橫坐標(biāo)。實(shí)例的注意力分?jǐn)?shù)是由query 和key 之間的相關(guān)性決定的。送入最終分類器的包級(jí)表示描述為

雙路交叉檢測模塊的最終產(chǎn)物是Z∈RC×d，其中C表示子類的類別數(shù)，d表示包級(jí)表示的維度。最后，使用分類器T2推斷出最終的預(yù)測標(biāo)簽Y2，具體為

通過同時(shí)建模陽性查詢、陰性查詢與各實(shí)例之間的關(guān)系，聚合包中所有實(shí)例，不僅可以補(bǔ)充特征信息，還可以使模型同時(shí)對陽性和陰性實(shí)例都保持靈敏，防止模型對某類實(shí)例產(chǎn)生偏見，提高模型的魯棒性。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及預(yù)處理

本文在兩個(gè)主流WSIs 數(shù)據(jù)集上評(píng)估提出的模型，分別是CAMELYON-16 數(shù)據(jù)集和TCGA 肺癌數(shù)據(jù)集。CAMELYON-16 包含由兩個(gè)獨(dú)立醫(yī)療機(jī)構(gòu)收集的400 幅蘇木精和伊紅（hematoxylin and eosin stains，H&E）染色的乳腺癌篩查全視野數(shù)字病理切片（270幅訓(xùn)練圖像和130幅測試圖像）。TCGA肺癌數(shù)據(jù)集包含肺腺癌和肺鱗癌兩個(gè)亞型，總共包含1 054 幅數(shù)字病理切片。CAMELYON-16 和TCGA 中的所有WSIs都存儲(chǔ)在一個(gè)多分辨率的金字塔中，每個(gè)WSIs都提供了像素級(jí)的標(biāo)注。但是，本文在實(shí)驗(yàn)過程中沒有考慮像素級(jí)標(biāo)注，整個(gè)實(shí)驗(yàn)中只使用到了包級(jí)標(biāo)簽。

預(yù)處理時(shí)，每個(gè)WSIs 被裁剪成224 × 224 像素不重疊的圖像塊，并過濾掉只包含背景的無效圖像塊。預(yù)處理后，CAMELYON-16 平均每個(gè)包包含約8 000 個(gè)有效圖像塊，TCGA 肺癌數(shù)據(jù)集平均每個(gè)包包含約5 000 個(gè)有效圖像塊。對于CAMELYON-16數(shù)據(jù)集，本文將官方訓(xùn)練集中的270 個(gè)WSIs 按9∶1的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，并使用官方測試集中收集到的129 個(gè)WSIs 進(jìn)行測試。對于TCGA肺癌數(shù)據(jù)集，按7∶1∶2 的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集。

3.2 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

所有實(shí)驗(yàn)都是基于PyTorch 庫，都使用由Sim-CLR 預(yù)訓(xùn)練的ResNet18（He 等，2016）作為特征編碼器。批大小為1，使用Adam優(yōu)化器對第1層和第2層中的相關(guān)組件迭代更新200輪，學(xué)習(xí)率為2E-4，權(quán)重衰減為5E-3，操作系統(tǒng)為Windows10，GPU 為NVIDIA GeForce 3080Ti GPU。

在所有的實(shí)驗(yàn)中，本文報(bào)告了按類平均的準(zhǔn)確率（accuracy）、精確度（precision）和召回率（recall），以評(píng)估所提出的模型在WSIs分類任務(wù)中的表現(xiàn)。

3.3 與其他最先進(jìn)方法的對比

表1 和表2 分別展示了本文模型與其他最先進(jìn)方法在CAMELYON-16 數(shù)據(jù)集和TCGA 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，對比的模型包括Attention-MIL（attention based MIL）（Ilse 等，2018）、Gated Attention-MIL（gated attention based MIL）（Ilse 等，2018）、CLAM-SB（clustering constrained attention multiple instance learningsingle attention branch）（Lu 等，2021）、CLAM-MB（clustering constrained attention multiple instance learning-multi attention branch）（Lu 等，2021）、Trans-MIL（Shao等，2021）和DS-MIL（Li等，2021）。

表1 不同模型在CAMELYON-16數(shù)據(jù)集的分類結(jié)果對比Table 1 Comparison of the classification results of different models on the CAMELYON-16 dataset

表2 不同模型在TCGA肺癌數(shù)據(jù)集的分類結(jié)果對比Table 2 Comparison of the classification results of different models on the TCGA lung cancer dataset

Attention-MIL 和Gated Attention-MIL 來自Ilse 等人（2018）提出的經(jīng)典多實(shí)例學(xué)習(xí)模型AB-MIL。二者都是基于注意力機(jī)制對實(shí)例關(guān)系建模，從而獲得包級(jí)表示，不同的是由于tanh(?)在注意力模塊中的低效，Gated Attention-MIL 增加了門控機(jī)制，以強(qiáng)化模型建模實(shí)例關(guān)系的能力。CLAM 由包級(jí)分支和實(shí)例分支組成，前者采用基于注意力池化的方式獲得包級(jí)表示，實(shí)例級(jí)分支選擇每個(gè)子類中Top-K實(shí)例作為關(guān)鍵實(shí)例，并生成對應(yīng)的類別標(biāo)簽以進(jìn)行實(shí)例級(jí)分類。CLAM 也提供了兩種模型，分別是單注意力分支的CLAM-SB 和多注意力分支的CLAM-MB。Trans-MIL 通過多頭自注意力機(jī)制來捕獲長距離依賴關(guān)系，并采用一個(gè)隨機(jī)初始化的class token 作為查詢聚合實(shí)例的特征信息。DS-MIL 從包中檢索出概率最高的實(shí)例作為內(nèi)部查詢，然后通過計(jì)算內(nèi)部查詢和其他實(shí)例之間的相似性為實(shí)例分配權(quán)重，最后聚合所有實(shí)例獲得最終的包級(jí)表示。

本文在原論文作者公布的開源代碼基礎(chǔ)上復(fù)現(xiàn)了上述所有方法。為了保證實(shí)驗(yàn)的公平性，所有的實(shí)驗(yàn)都采用了相同的CNN 骨干網(wǎng)絡(luò)，并使用相同的比例來劃分訓(xùn)練集、驗(yàn)證集和測試集。

從表1—2 中可以看出，本文方法在準(zhǔn)確率、精確率和召回率等評(píng)價(jià)指標(biāo)上明顯優(yōu)于其他對比模型。Attention-MIL、Gate-Attention-MIL、CLAM-SB、CLAM-MB都是基于獨(dú)立同分布（i.i.d.）假設(shè)下設(shè)計(jì)的MIL 模型，它們在WSIs 分類任務(wù)中的表現(xiàn)都很有限。雖然Trans-MIL也能捕捉到實(shí)例的相關(guān)性，但其在建模實(shí)例相關(guān)性時(shí)使用的是外部查詢，并不能充分地捕獲病理圖像的特征信息。DS-MIL 使用了來自包內(nèi)部的實(shí)例作為查詢聚合特征信息，同時(shí)考慮到實(shí)例間的相關(guān)性。然而，由于只使用了一個(gè)簡單的線性分類層來獲得粗略的內(nèi)部查詢，其與本文方法仍有很大差距，這也驗(yàn)證了本文方法強(qiáng)大的特征挖掘能力。

3.4 消融實(shí)驗(yàn)

3.4.1 模塊的有效性

為了驗(yàn)證本文模型中主要模塊的有效性，分別對特征提取器、自適應(yīng)特征挖掘器和雙路交叉檢測模塊在CAMELYON-16 數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)。除了3 個(gè)模塊外，所有實(shí)驗(yàn)的其余設(shè)置都保持一致，以便進(jìn)行公平比較，實(shí)驗(yàn)結(jié)果如表3所示。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment

模型1 使用ImageNet 預(yù)訓(xùn)練的ResNet-18 作為特征編碼器，采用一個(gè)線性層生成內(nèi)部查詢，最后使用來自DS-MIL 的多實(shí)例聚合器生成最終的包級(jí)表示。設(shè)計(jì)模型1 的目的是將其與替換本文提出的各種模塊后的模型形成對比，驗(yàn)證各模塊的有效性。

從表3 中可以看出，模型2 較模型1 在準(zhǔn)確率、精確率和召回率上有著明顯的差距，說明合適的特征編碼器在多實(shí)例學(xué)習(xí)模型中起著至關(guān)重要的作用，這也證明了自監(jiān)督對比學(xué)習(xí)方法SimCLR 可以獲得良好的特征嵌入。觀察模型3 和模型2 的實(shí)驗(yàn)數(shù)據(jù)可知，使用本文提出的自適應(yīng)特征挖掘器取代模型2 中的線性層可以極大地提高模型性能，說明自適應(yīng)特征挖掘器可以生成更高質(zhì)量的內(nèi)部查詢。觀察模型4和模型3的實(shí)驗(yàn)數(shù)據(jù)可知，使用本文提出的雙路交叉檢測模塊建模實(shí)例相關(guān)性能夠使模型的準(zhǔn)確率獲得較大提升。綜上所述，本文提出的3 個(gè)模塊均能有效地提升模型性能。

3.4.2 自適應(yīng)特征挖掘器的影響

本文設(shè)計(jì)的自適應(yīng)特征挖掘器由兩部分組成：實(shí)例概率推導(dǎo)和關(guān)鍵實(shí)例檢索。關(guān)鍵實(shí)例檢索的目的是通過檢索陰陽性實(shí)例的邊界，充分挖掘包中的代表性特征，并且整個(gè)過程是自適應(yīng)的。

為了驗(yàn)證自適應(yīng)特征挖掘器的有效性，本文將其與幾種常見的方法進(jìn)行比較，包括K-means 聚類和聚合Top-K實(shí)例。這里K取3 個(gè)不同的值，即10、100 和1 000。由圖6 可知，本文方法具有明顯的優(yōu)勢。K-means 聚類可以用來對所有實(shí)例進(jìn)行自適應(yīng)聚類，但實(shí)驗(yàn)結(jié)果表明，K-means 聚類的效果不如本文的自適應(yīng)特征挖掘器，這可能是因?yàn)椴±韴D像類間差異小，K-means 聚類在劃分子集時(shí)容易出現(xiàn)誤分。另一種常見的方法是聚合Top-K實(shí)例，但這種方法缺乏靈活性，往往會(huì)產(chǎn)生次優(yōu)的內(nèi)部查詢。如果默認(rèn)值K太小，則部分典型特征可能會(huì)被忽略；如果K值過大，則可能會(huì)引入錯(cuò)誤的特征信息。本文方法在面對不同的WSIs 時(shí)可以及時(shí)調(diào)整K值，在充分挖掘典型特征的同時(shí)有效避免引入錯(cuò)誤的特征信息。

圖6 不同內(nèi)部查詢生成方法的性能對比Fig.6 Performance comparison of different internal query generation methods

3.4.3 超參數(shù)α的影響

α是自適應(yīng)特征挖掘器的一個(gè)關(guān)鍵參數(shù)。自適應(yīng)特征挖掘器首先對WSIs 進(jìn)行粗略分類以獲得偽標(biāo)簽，然后根據(jù)不同的偽標(biāo)簽選擇不同的處理方法。當(dāng)偽標(biāo)簽為陰性時(shí)，α用來控制特征聚合的范圍。

圖7展示了本文方法在不同α值下的準(zhǔn)確率、精確率和召回率。從圖7 中可以看出，當(dāng)α=1 時(shí)，可以得到最佳的效果，這也符合本文的假設(shè)。本文認(rèn)為，考慮包中所有陰性實(shí)例，匯總包中所有陰性實(shí)例的信息有利于產(chǎn)生更穩(wěn)健的陰性查詢并防止額外的偏差。

圖7 超參數(shù)α對模型性能的影響Fig.7 The influence of hyperparameter α on model performance

3.5 WSIs的病變區(qū)域可視化

為了進(jìn)一步展示本文方法的臨床意義，本文對原始WSIs 上的病變區(qū)域進(jìn)行可視化。病變區(qū)域的可視化被認(rèn)為是人工智能輔助醫(yī)生進(jìn)行臨床診斷的重要工具。在圖8 中，本文根據(jù)WSIs 中各實(shí)例在雙路交叉檢測模塊中的輸出概率，將WSIs中的關(guān)鍵實(shí)例可視化。圖8（a）展示了CAMELYON-16 的原始WSIs，綠色曲線是由病理醫(yī)生勾勒出的真實(shí)病變區(qū)域。圖8（b）（c）展示了本模型的可視化結(jié)果，分別以斑塊和曲線兩種形式來描述病變區(qū)域。圖8（d）展示了該WSIs 中的幾個(gè)高分實(shí)例。顯然，從圖8 中可以發(fā)現(xiàn)，盡管從未使用像素級(jí)標(biāo)注來幫助模型訓(xùn)練，本文方法也可以很好地劃定WSIs中的真實(shí)病變區(qū)域。這表明本文方法具有很好的注意力可視化能力和可解釋性。

圖8 病變區(qū)域可視化結(jié)果Fig.8 Visualisation of lesion area（（a）original WSIs；（b）model in this article（patch form）；（c）model in this article（curve form）；（d）instances of high scores in WSIs）

4 結(jié)論

本文提出了一個(gè)新的雙層多實(shí)例學(xué)習(xí)模型用于組織病理學(xué)圖像分類任務(wù)。實(shí)驗(yàn)結(jié)果表明，本文方法得益于3 個(gè)部分：首先，本文算法將自監(jiān)督對比學(xué)習(xí)整合到MIL 中，以獲得更準(zhǔn)確的特征表示；接下來，第1 層的自適應(yīng)特征挖掘器檢索每個(gè)子類的區(qū)分性特征，生成相應(yīng)的內(nèi)部查詢；最后，部署在第2層中的雙路交叉檢測模塊建模預(yù)先計(jì)算的內(nèi)部查詢與實(shí)例間的關(guān)系，生成最終的包級(jí)表示。在CAMELYON-16和TCGA 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型在所有評(píng)價(jià)指標(biāo)上都明顯優(yōu)于其他對比的全切片分類模型，表明本文模型比其他先進(jìn)的模型更有優(yōu)勢。本文方法考慮了組織病理學(xué)圖像的遠(yuǎn)程依賴關(guān)系，充分挖掘內(nèi)部特征信息，有效緩解腫瘤異質(zhì)性的影響，提高病理學(xué)診斷的效率，同時(shí)還可以精確的定位病變區(qū)域，具有良好的可解釋性。