開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：DOI：10.16661/j.cnki.1672-3791.2311-5042-5346作者簡介：陳惠民（2003—），男，本科， 研究方向?yàn)樾畔踩?/p>

摘要：圖像語義分割（Semantic Segmentation）是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究課題，圖像語義分割不僅預(yù)測一幅圖像中的不同類別，同時(shí)還定位不同語義類別的位置，具有重要的研究意義和應(yīng)用價(jià)值，這些方法被用于人工智能當(dāng)中，應(yīng)用在無人駕駛，遙感影像檢測，醫(yī)療影像研究等方面。全卷積神經(jīng)網(wǎng)絡(luò)的快速崛起推動(dòng)了圖像語義分割領(lǐng)域的發(fā)展，兩者的融合取得了顯著的成就。本文將從語義分割的介紹出發(fā)，對(duì)近幾年的代表性工作進(jìn)行闡述，并對(duì)未來的研究方向進(jìn)行展望。

關(guān)鍵詞：圖像處理 ??語義分割 ??計(jì)算機(jī)視覺 ??人工智能 ??深度神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.41;TP18

圖像語義分割是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵研究方向，通過精確劃分圖像中不同物體和區(qū)域的語義信息，為無人駕駛、遙感影像檢測、醫(yī)療影像等應(yīng)用領(lǐng)域提供了重要支持。本文綜述了基于深度學(xué)習(xí)的圖像語義分割方法的演進(jìn)，重點(diǎn)介紹了FCN、U-Net、DeepLab等經(jīng)典算法，以及最新基于Transformer的方法，如ViT-Adapter和Lawin Transformer。同時(shí)還關(guān)注了幾個(gè)常用的語義分割數(shù)據(jù)集，如PASCAL VOC2012、Microsoft COCO和Cityscapes，為讀者提供了全面了解語義分割領(lǐng)域的數(shù)據(jù)資源的機(jī)會(huì)。綜上所述，旨在為研究者提供對(duì)圖像語義分割領(lǐng)域的深入了解，并展望未來的研究方向。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，圖像語義分割將繼續(xù)在多個(gè)應(yīng)用領(lǐng)域發(fā)揮關(guān)鍵作用。

1語義分割算法

傳統(tǒng)圖像分割算法

傳統(tǒng)圖像分割算法是一組基于傳統(tǒng)計(jì)算機(jī)視覺和數(shù)字圖像處理技術(shù)的方法，用于將圖像分割成不同的區(qū)域或?qū)ο?。這些算法通常不依賴于深度學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)，而是使用傳統(tǒng)的數(shù)學(xué)、統(tǒng)計(jì)學(xué)和信號(hào)處理技術(shù)來實(shí)現(xiàn)分割。在后續(xù)研究中，與基于神經(jīng)網(wǎng)絡(luò)的語義分割算法進(jìn)行比較是至關(guān)重要的，以深入研究它們在各個(gè)方面的性能和適用性。傳統(tǒng)的圖像分割算法同樣具有重要意義，為語義分割在后續(xù)研究中奠定了基礎(chǔ)。以下是4個(gè)傳統(tǒng)圖像分割的介紹：閾值分割法、馬爾可夫機(jī)場模型、邊緣檢測法、地域法。

閾值分割法

閾值分割法是傳統(tǒng)圖像分割中最基礎(chǔ)的技術(shù)之一，也是應(yīng)用最廣泛的技術(shù)。它通過設(shè)定不同的閾值來劃分圖像中不同灰度級(jí)別的像素點(diǎn)，從而實(shí)現(xiàn)目標(biāo)與背景的分割。

在該方法中，最重要的是選取合適的閾值。尋找合適的閾值可以提高圖像的分割精度，提高分割效果。常用的閾值劃分方法有3種：雙峰法、最大類間方差法（OTSU）、自適應(yīng)閾值法（AdaptiveStrike）。

邊緣檢測法

邊緣檢測是一種非常有效的方法，它能準(zhǔn)確地確定圖像的邊界，并且具有較高的計(jì)算速度。邊緣是圖像中物體與背景灰度出現(xiàn)突然變化的部位，將灰度差值大的點(diǎn)作為邊緣點(diǎn)。通過對(duì)所有邊緣點(diǎn)的識(shí)別和連接，構(gòu)造出連貫的輪廓，然后再使用圖像分割，圖像被分割為不同的地帶。

地域法

以地區(qū)為單位的方法的原理是把具有相似性或性質(zhì)特征相同的像素點(diǎn)組合成同一地區(qū)的圖像分割方法。區(qū)域法分為兩種子法，第一種是區(qū)域生長，區(qū)域生長是一種串行區(qū)域技術(shù)，其基本思想是從一個(gè)種子像素點(diǎn)開始，逐步合并鄰域像素點(diǎn)（pixel）中相似的點(diǎn)，直到找不到相似的像素點(diǎn)或相似度不夠的地方才進(jìn)行合并。

馬爾可夫隨機(jī)場模型算法

馬爾科夫隨機(jī)場模型（?MRF-Markov Random Field，MRF）通過對(duì)圖像進(jìn)行局部分割的方法，對(duì)經(jīng)過分類后的圖像進(jìn)行算法統(tǒng)計(jì)和學(xué)習(xí)。通過分析圖像中各像素點(diǎn)之間的相互關(guān)系，我們能夠有效地確定先驗(yàn)概率。這一核心理論基于馬爾科夫隨機(jī)場模型（MRF）以及貝葉斯理論（Bayes），為我們提供了一種方法，使信息重復(fù)率降低，從而對(duì)圖像特征和結(jié)構(gòu)進(jìn)行深入理解。為我們提供了一種深入理解圖像特征和結(jié)構(gòu)的方法，從而降低了信息的重復(fù)率。這兩個(gè)重要的概念，在影像處理領(lǐng)域，理論上都提供了必要的支撐。在圖像分割中，通過優(yōu)化算法找到最大概率分布，通過建立多個(gè)約束條件的目標(biāo)函數(shù)，將分割問題轉(zhuǎn)換成 MRF優(yōu)化問題。其中最大后驗(yàn)（Maximum A Posteriori，MAP）概率是一個(gè)使用較多的優(yōu)化指標(biāo)。

卷積神經(jīng)網(wǎng)絡(luò)下的語義分割算法

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)語義分割算法，能夠在傳統(tǒng)圖像分割算法的基礎(chǔ)上，更好地提取圖像中高層語義信息。傳統(tǒng)的圖像分割算法通?；诘蛯訄D像特征（如形狀、邊緣、紋理等）進(jìn)行像素級(jí)別的分割，無法準(zhǔn)確捕捉到目標(biāo)的高級(jí)語義信息，圖像分割效果不好。卷積神經(jīng)網(wǎng)絡(luò)下的語義分割計(jì)算方法可以實(shí)現(xiàn)對(duì)圖像中的每一個(gè)像素進(jìn)行分類，從而在圖像中實(shí)現(xiàn)對(duì)物體和實(shí)體（substruction）的精確分割。提供更高的分割精度和語義理解能力。

FCN全卷積神經(jīng)網(wǎng)絡(luò)

FCN網(wǎng)絡(luò)[1]是CVPR2015會(huì)議的最佳論文，其成功發(fā)表被譽(yù)為深度學(xué)習(xí)在語義分割領(lǐng)域的重大創(chuàng)新。其核心思想是將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)AlexNet、 VGNet中的全連通層替換為全卷積，建立端級(jí)、像素級(jí)的語義劃分網(wǎng)絡(luò)。FCN網(wǎng)絡(luò)具有如下突出的特點(diǎn)。

（1）卷積化（Convolutional）。對(duì)于一個(gè)包含八層的CNN網(wǎng)絡(luò)，其中前五層為卷積層，會(huì)用卷積層去轉(zhuǎn)換后三層。這個(gè)轉(zhuǎn)換的重要性在于，整個(gè)連接層會(huì)把二維圖像壓縮成一個(gè)一維的向量，從而造成丟失空間信息。全卷積層的使用，可以將圖像的空間信息保存下來，從而幫助語義的分割更加精確。

（2）上采樣（Upsample）。上采樣亦被稱為反卷積操作，一般應(yīng)用于網(wǎng)絡(luò)末端。在多次卷積操作導(dǎo)致特征圖尺寸減小的情況下，上采樣操作旨在使最終分割結(jié)果與原始圖像尺寸相匹配，以確?？臻g信息的一致性。

（3）跳躍結(jié)構(gòu)（Skip Layer）。跳躍結(jié)構(gòu)被引入了FCN網(wǎng)絡(luò)，它會(huì)采樣不同的池化層的結(jié)果，通過逐元素相加（Element-wise Add）的方式結(jié)合在一起。這種跳躍式結(jié)構(gòu)的設(shè)計(jì)使網(wǎng)絡(luò)可以將包括8倍、16倍、32倍上在內(nèi)的特征信息進(jìn)行整合，從而提高語義分割的性能。

U-Net 醫(yī)療U型神經(jīng)網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)[2]是2015年MICCAI大會(huì)上首次提出的一種在醫(yī)學(xué)圖像處理領(lǐng)域廣泛應(yīng)用的深度學(xué)習(xí)架構(gòu)。U-NET是在全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的基礎(chǔ)上改進(jìn)而來的，該方法的獨(dú)特之處在于采用了一種創(chuàng)新的結(jié)構(gòu)設(shè)計(jì)，即U型的Encoder和Decoder結(jié)構(gòu)，并結(jié)合了skip-connection機(jī)制。這一設(shè)計(jì)有助于充分綜合利用圖像的底層和高層信息，使得在醫(yī)療領(lǐng)域的圖像處理方面得到廣泛應(yīng)用。

U-Net網(wǎng)絡(luò)可以分為Encoder和Decoder兩個(gè)主要部分。

Encoder負(fù)責(zé)進(jìn)行特征提取，其任務(wù)是進(jìn)行特征提取并執(zhí)行4次下采樣操作，總共下采樣16倍。這個(gè)過程的主要目的是捕獲圖像的底層信息和上下文語義信息，為進(jìn)行像素級(jí)的類別分類提供有力的支持。

Decoder?負(fù)責(zé)執(zhí)行上操作，在每次完成后，通過與對(duì)應(yīng)的通道數(shù)（即?SKIP-CONECTION）相同的特征圖進(jìn)行融合。這一過程的主要目的是對(duì)圖像進(jìn)行高層次的信息提取，以達(dá)到更精細(xì)的特征定位。

在特征融合上，U-Net采用了一種新穎的方式，即在通道維度上，而不是像FCN那樣，以點(diǎn)帶面的方式進(jìn)行特征拼接融合。這種方法可以幫助特征信息得到更好的保留和利用，網(wǎng)絡(luò)的性能也會(huì)因此得到提升。

谷歌DeepLab系列

DeepLab[3，4]是谷歌團(tuán)隊(duì)基于 CNN開發(fā)的語義分割模型。Deeplab家族迭代已經(jīng)經(jīng)歷了四個(gè)版本，即V1、V2、V3、V3+。

DeepLabV1?是?DCNN?針對(duì)?DCNN?面臨的兩大圖像分割任務(wù)難題的改進(jìn)版深度卷積神經(jīng)網(wǎng)絡(luò)。首要問題是如何解決由于反復(fù)的池化操作和下采樣操作而導(dǎo)致的分辨率下降，降低清晰度。通過引入Atrous（或空洞）卷積來增加感受野，以保留更多的位置信息。通過增加分割精度來細(xì)化信息的細(xì)節(jié)，DeepLabV1 采用了全連接條件隨機(jī)場（Conditional Random Field，CRF），通過增加分割精度來細(xì)化信息細(xì)節(jié)，從而增加了信息的詳細(xì)分割結(jié)果。DeepLabV1?引入?ATROUS?卷積和全連接條件隨機(jī)場（CRF），采用?VG-16?作為骨干網(wǎng)絡(luò)（Backbone）。全連接條件隨機(jī)場（CRF）在圖像分割中的使用是為了圖像的信息分割進(jìn)度的上升。它通過綜合考察像素本身的位置及其周圍像素的值，以及整個(gè)圖像的全局信息，對(duì)局部信息進(jìn)行了更新。這種方法有助于使圖像分割結(jié)果更加精確，尤其在捕捉圖像輪廓等細(xì)節(jié)方面表現(xiàn)更為出色。

DeepLabV2是在V1的基礎(chǔ)上進(jìn)行了網(wǎng)絡(luò)架構(gòu)的進(jìn)一步改進(jìn)，使多尺度物體分割的挑戰(zhàn)得到了更有效的解決。它改善了細(xì)節(jié)信息的分割，通過減少池化操作，使用了空洞的卷積，繼續(xù)使用全連接的CRF。此外，DeepLabV2還引入了用于處理多尺度物體存在的空間金字塔池化（ASPP）模塊。ASPP模塊在給定的特征層上使用多個(gè)平行的不同的空洞卷積重新采樣，再將特征融合。更好地獲取了不同尺度的信息。

DeepLabV3在V2的基礎(chǔ)上進(jìn)行了重要的改進(jìn)，放棄了全連接條件隨機(jī)場（CRF）的使用，轉(zhuǎn)而專注于更深層次的Atrous（或稱為Dilated）卷積結(jié)構(gòu)，并對(duì)ASPP模塊進(jìn)行了改進(jìn)。串聯(lián)具有不同膨脹率的Atrous卷積有助于在不同尺度上捕獲圖像特征，使網(wǎng)絡(luò)能夠更好地理解不同尺度下的結(jié)構(gòu)和語義信息。同時(shí)，DeepLabV1還通過并行具有不同膨脹率的空洞卷積來優(yōu)化空洞空間卷積池化金字塔（Atrous Spatial Pyramid?Pooling，ASPP）模塊。

DeepLabV3+和V3一樣不再使用全連接CRF，在此基礎(chǔ)上，DeepLabV3+將深度可分卷積轉(zhuǎn)化為編碼器，并在其基礎(chǔ)上增加 Decoder模塊，從而構(gòu)造出深度可分卷積。我們將交叉可分卷積與深度可分卷積分別用于 ASPP與 Decoder，并設(shè)計(jì)了一種基于深度可分卷積的深度可分卷積算法。該模型將空間金字塔池化（SPP）與編碼器（Encoder-Decoder）兩種模式有機(jī)地融合，前者可以獲取更多的尺度信息，后者則可以用來恢復(fù)目標(biāo)的邊界。

基于Transformer的圖像分割

Transformer最早用于自然語言處理，而后被首先被用于圖像分類，在語義分割領(lǐng)域使用Transformer的歷史并不長，目前新出爐的使用Transformer進(jìn)行語義分割的方法有南京大學(xué)的ViT-Adapter[5]以及北京郵電大學(xué)的Lawin?Transformer[6]。

ViT-Adapter

ViT[7]（Vision Transformer）是一款將Transformer架構(gòu)應(yīng)用于圖像分類任務(wù)的模型，由Google團(tuán)隊(duì)于2020年提出。雖然不是第一個(gè)將Transformer用于視覺任務(wù)的研究，但它因其簡單的模型結(jié)構(gòu)、出色的性能，以及可擴(kuò)展性（模型規(guī)模越大，性能越好）而成為了Transformer在計(jì)算機(jī)視覺領(lǐng)域的重要里程碑，激發(fā)了后續(xù)相關(guān)研究的熱潮。

不同于最近的趨勢，即在Vision Transformer（ViT）架構(gòu)中引入視覺特定的歸納偏差，ViT本身由于缺乏圖像領(lǐng)域的先驗(yàn)信息，在密集預(yù)測任務(wù)上表現(xiàn)較差。為了應(yīng)對(duì)這一問題，本文提出了一種名為Vision Transformer適配器（ViT-Adapter）的解決方案。ViT-Adapter通過引入額外的架構(gòu)來彌補(bǔ)ViT的不足，使其在性能上能夠媲美專門針對(duì)視覺任務(wù)設(shè)計(jì)的模型。

Lawin?Transformer

通過大窗口注意改進(jìn)具有多尺度表示的語義分割。多尺度表示對(duì)于語義分割至關(guān)重要。目前見證了利用多尺度上下文信息的語義分割卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，?CNN）的蓬勃發(fā)展。由于視覺Transformer （ViT） 在圖像分類方面的強(qiáng)大功能，最近提出了一些語義分割 ViT，其中大多數(shù)取得了令人印象深刻的結(jié)果，但以計(jì)算經(jīng)濟(jì)為代價(jià)。

2??語義分割數(shù)據(jù)集

語義劃分所用的數(shù)據(jù)是由多個(gè)維度組成的，數(shù)量龐大。2 D影像領(lǐng)域的研究熱點(diǎn)包括PASCALVOC2012系列、微軟 COCO系列、Cityscapes、?SYNTHIA、CamVid、?KITTI等。以下是三組使用較多的資料。

2.1 PASCAL VOC2012數(shù)據(jù)集

PASCAL VOC 2012是Pascal系列中被廣泛選用進(jìn)行語義分割任務(wù)的重要數(shù)據(jù)集，深受研究者們的高度評(píng)價(jià)。該數(shù)據(jù)集涵蓋了三大板塊，訓(xùn)練板塊收錄了1 464張圖像，驗(yàn)證板塊收錄了1 449張圖像，測試板塊收錄了1 456張圖像。訓(xùn)練集規(guī)模進(jìn)一步擴(kuò)大，達(dá)到?10 582?幅圖像，通過巧妙應(yīng)用數(shù)據(jù)增強(qiáng)技術(shù)。VOC2012數(shù)據(jù)集涵蓋了人、動(dòng)物、交通工具和室內(nèi)物品等四大類共20個(gè)不同類別的物品和一個(gè)可劃分為21個(gè)類別的背景類別，未修改圖像（JPG格式），圖像分類分割（PNG格式，特定的物體分割顏色），圖像生成具有不同物體輪廓，隨機(jī)填充顏色的圖像物體分類分割（PNG格式）。VOC2012 數(shù)據(jù)集文件中有 5 個(gè)文件夾，對(duì)應(yīng)圖像的 XML 信息保存在 Annotations 文件夾中，3個(gè) TXT文件在 ImageSets 文件夾中的 Segmentation 為圖像分割標(biāo)記圖像， JPEGIMAGES 文件夾用于保存原始圖像。PNG圖像包含在SEGMANTIONCL文件夾中進(jìn)行圖像分割分類，PNG圖保存在SegmentationObject文件夾中是用于不同物體分割。

2.2 Microsoft COCO數(shù)據(jù)集

在情景理解中，微軟 COCO （Common Objects in Context）是一種十分重要的數(shù)據(jù)集，包含91個(gè)不同物體類別的數(shù)據(jù)集，捕捉了復(fù)雜背景下的生活場景。COCO數(shù)據(jù)集規(guī)模宏大，從32.8萬張圖像里標(biāo)注了250萬張以上的實(shí)體實(shí)例，因而被公認(rèn)為最龐大的語義分割數(shù)據(jù)集之一。

COCO 數(shù)據(jù)集的獨(dú)特之處彰顯在其專注解決圖像場景理解的3個(gè)核心問題上：目標(biāo)分類、目標(biāo)檢測和場景語義標(biāo)注。每張 COCO 圖像平均涵蓋了3.5個(gè)不同的物體類別和7.7個(gè)物體實(shí)例，這使得該數(shù)據(jù)集展現(xiàn)出更為多樣和復(fù)雜的特性，為深度學(xué)習(xí)模型提供了更具挑戰(zhàn)性的訓(xùn)練和評(píng)估場景。此外，COCO的評(píng)估標(biāo)準(zhǔn)相對(duì)嚴(yán)格，因此它成為了許多研究者用來評(píng)估模型性能和質(zhì)量的首選數(shù)據(jù)集。

2.3 Cityscapes數(shù)據(jù)集

Cityscapes是語義理解中的重要數(shù)據(jù)集，以城市街道的景色為中心。這本資料集的影像來自覆蓋不同季節(jié)城市街景的?50?多個(gè)不同城市，也包括良好天氣下的城市。這些圖像涵蓋了繁雜種類的城市場景的布局，和人物，交通工具等動(dòng)態(tài)對(duì)象，是一個(gè)復(fù)雜且多樣的數(shù)據(jù)集。

Cityscapes數(shù)據(jù)庫有被高質(zhì)量標(biāo)記的圖片5 000章以上和超過20 000幅粗糙標(biāo)注的圖像。這些圖像涵蓋了8個(gè)主要類別和30個(gè)細(xì)分類別的語義信息，包括平面、人物、天空、建筑、實(shí)體、自然、汽車、虛空八類。這些精細(xì)標(biāo)注的數(shù)據(jù)不僅可用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，還可支持各類任務(wù)，如語義分割、實(shí)例分割和密集像素預(yù)測

3 ?結(jié)語

本文從語義分割任務(wù)的概述開始，詳細(xì)介紹了傳統(tǒng)的語義分割算法，重點(diǎn)關(guān)注了自2015年以來，隨著卷積神經(jīng)網(wǎng)絡(luò)的引入，出現(xiàn)了一系列新的語義分割方法，探討了最近流行的Transformer在語義分割領(lǐng)域的應(yīng)用，以及對(duì)這些方法的潛在影響，還介紹了3個(gè)與語義分割相關(guān)的重要數(shù)據(jù)集，這有助于讀者更全面地了解語義分割領(lǐng)域的數(shù)據(jù)資源。

參考文獻(xiàn)

LONG J ，SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Boston， MA， USA， 2015：3431-3440.

周濤，董雅麗，霍兵強(qiáng)，等. U-Net網(wǎng)絡(luò)醫(yī)學(xué)圖像分割應(yīng)用綜述[J].中國圖象圖形學(xué)報(bào)，2021，26（9）： 2058-2077.

CHEN LC， Papandreou?G， Kokkinos?I，?et al. Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs[J]. IEEE transactions on pattern analysis and machine intelligence， 2018，40（4）：834-848.

CHEN?LC， ZHU Y?，Papandreou G，et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[J]. Proceedings of the European conference on computer vision （ECCV）. 2018，ECCV（7）：801-818.

CHEN Z，DUAN Y C，WANG W H，et al. Vision Transformer Adapter for Dense Predictions[J]. arXiv preprint，2022：arXiv：2205.08534.

YAN H T，ZHANG C，WU M，?Lawin transformer： Improving semantic segmentation transformer with multi-scale representations via large window attention[J]. arXiv preprint，2022：arXiv：2201.01615.

Dosovitskiy A，Beyer L， Kolesnikov?A，?et al. An image is worth 16x16 words： Transformers for image recognition at scale[J]. arXiv preprint arXiv：2010.11929 （2020）.