于　堃， 趙紅苗， 姬光榮， 鄭海永

(中國海洋大學(xué)信息科學(xué)與工程學(xué)院， 山東 青島 266100)

?

結(jié)合顯著性與GrabCut的無角毛類浮游植物顯微圖像分割*

于堃， 趙紅苗， 姬光榮， 鄭海永**

(中國海洋大學(xué)信息科學(xué)與工程學(xué)院， 山東 青島 266100)

摘要：針對無角毛類浮游植物顯微圖像，結(jié)合顯著區(qū)域檢測和GrabCut算法，提出一種新穎的浮游植物細胞自動分割方法。首先，基于視覺注意機制的計算模型，檢測輸入圖像的顯著區(qū)域；然后，對生成的顯著圖進行預(yù)分割以獲得浮游植物細胞的位置；再把細胞的位置信息用于初始化GrabCut算法，并迭代執(zhí)行GrabCut；最后，應(yīng)用去噪和平滑技術(shù)來輸出細胞。實驗表明該方法提取的前景目標(biāo)形態(tài)完整、輪廓清晰、邊緣規(guī)則。

關(guān)鍵詞：浮游植物； 顯微圖像分割； 顯著圖； GrabCut

YU Kun, ZHAO Hong-Miao, JI Guang-Rong, et al. Combining saliency with GrabCut for phytoplankton microscopic image segmentation of non-setae species[J].Periodical of Ocean University of China, 2016, 46(3): 126-133.

海洋浮游植物(藻類)是海洋生態(tài)系統(tǒng)中的初級生產(chǎn)者，也是重要的海洋生物資源?？焖儆行У膬?yōu)勢藻種鑒定是藻類監(jiān)測的一個關(guān)鍵性環(huán)節(jié)。

傳統(tǒng)的藻種鑒定主要依賴藻類學(xué)工作者借助顯微鏡觀察其形態(tài)以確定物種，這也是目前公認準(zhǔn)確的分類手段。但是這一技術(shù)不但需要經(jīng)驗豐富的藻類學(xué)專家，而且耗時費力，難以滿足對大量樣品和現(xiàn)場及原位實時快速分析的要求。隨著現(xiàn)場及原位浮游植物成像系統(tǒng)的發(fā)展[1]，藻類顯微圖像分析研究越來越受到重視[2]。

準(zhǔn)確有效的圖像細胞分割對于藻類分析來說至關(guān)重要。根據(jù)顯微圖像中角毛的特征，我們將浮游植物劃分為2類：角毛藻和無角毛類藻[3]。針對角毛藻，本課題組提出了一種灰度曲面方向角模型實現(xiàn)了有效的角毛分割[4]；本文針對無角毛類藻，結(jié)合顯著性與GrabCut算法，提出一種新穎的藻細胞自動分割方法，為進一步的藻類分析奠定基礎(chǔ)。

近年來，國內(nèi)外在浮游植物顯微圖像細胞分割方面已開展了相關(guān)的研究。Jalba等[5]提出了一種標(biāo)記控制的分水嶺算法用于硅藻顯微圖像自動分割，該方法改進了ADIAC項目的初始分割結(jié)果[6]，并且被應(yīng)用于硅藻圖像分類系統(tǒng)中[7]。Blaschko等[8]針對流式影像儀采集的浮游生物圖像采用基于snake的分割方法得到輪廓和基于亮度的分割方法得到細節(jié)。Rodenacker等[9]利用閾值方法分割顯微圖像中的浮游生物。Sosik等[10]針對流式細胞儀采集的顯微圖像將基于閾值的邊緣檢測應(yīng)用于相位一致性方法中提取細胞特征。Luo等[11]采用Canny邊緣檢測及回歸方法作為分割校準(zhǔn)從顯微圖像中尋找圓形硅藻。Verikas等[12]應(yīng)用模糊c均值聚類算法來分割顯微圖像中的圓形微小原甲藻。

綜上可知，目前浮游植物顯微圖像細胞分割大多基于基本的邊緣(如Canny)和區(qū)域(如閾值和聚類)方法，并針對某些特定藻種類別開展研究。在無角毛類藻顯微圖像中(如圖1(a))，藻細胞個體微小(通常達微米級)，呈半透明狀，具有橫縱溝、尖頂刺等結(jié)構(gòu)特征，形態(tài)細節(jié)復(fù)雜多樣，以單體或細胞鏈形態(tài)生活；培養(yǎng)液背景經(jīng)常存在細胞殘骸、泥沙等雜質(zhì)；背景區(qū)域與前景目標(biāo)往往顏色相近；圖像拍攝時藻細胞的自由活動易使其周圍產(chǎn)生渦旋狀的水漬噪聲。這些特點導(dǎo)致分割過程中容易出現(xiàn)“欠分割”或“過分割”現(xiàn)象，難以實現(xiàn)快速、準(zhǔn)確、高效的浮游植物顯微圖像細胞自動分割。

交互式分割由于人為主觀因素的介入使得分割效果更加細致準(zhǔn)確，其中基于圖割理論的GrabCut算法因其簡潔的交互性和良好的分割效果而得到廣泛應(yīng)用。對于交互式GrubCut算法而言，如果通過前景目標(biāo)的外邊界來初始化，就能夠得到更佳的自動分割效果；而這種初始化可通過視覺注意的方式實現(xiàn)。浮游植物顯微成像過程中大多有人類視覺系統(tǒng)(Human Visual System，HVS)參與，而視覺注意的計算建模(顯著性檢測)則是模擬HVS而設(shè)計的計算機視覺模型。

(從上到下依次是具刺膝溝藻、丹麥細柱藻、鏈狀裸甲藻、米氏凱倫藻、塔瑪亞歷山大藻、血紅阿卡藻。From top to bottom:Gonyaulaxspinifera,Leptocylindrusdanicus,Gymnodiniumcatenatum,Kareniamikimotoi,Alexandriumtamarense,Akashiwosanguinea.)

圖1無角毛類藻顯微圖像及其視覺顯著圖

Fig.1Microscopic images and the corresponding saliency

maps of non-setae phytoplankton

本文根據(jù)顯微圖像特點設(shè)計了一種結(jié)合顯著區(qū)域檢測的免交互式GrabCut分割算法，用于無角毛類藻顯微圖像細胞的自動提取(如圖2)，實驗驗證了該方法的有效性。

1基于視覺注意機制的藻細胞區(qū)域定位

人類的眼睛可以在復(fù)雜的視覺場景中快速地注意到顯著或者感興趣的區(qū)域，而忽略不太重要的對象，稱為視覺注意機制，是HVS的內(nèi)在屬性[13]。視覺注意的方式可分為自底向上和自頂向下2種[14]：前者由圖像數(shù)據(jù)驅(qū)動；后者由特定的視覺任務(wù)驅(qū)動。

由于不同種類的藻細胞在形態(tài)特征上并無統(tǒng)一性，無法預(yù)設(shè)視覺任務(wù)，因此應(yīng)采用自底向上的視覺注意方式進行建模。目前該領(lǐng)域的研究主要集中在顯著性(saliency)檢測方面。圖1(b)～(d)列舉了我們利用3種代表性算法針對浮游植物顯微圖像所做的顯著性檢測的結(jié)果(其中藻細胞圖像采集自暨南大學(xué)赤潮與水環(huán)境研究中心藻種室)?？梢园l(fā)現(xiàn)，SR法[15]得到的顯著圖視覺效果最差，細胞被隔離成許多孤立的碎塊，骨架也無法看清。FT法[16]的結(jié)果中，細胞內(nèi)部較暗，部分已湮沒在背景中，這是因為該法只計算一階平均顏色，用某個像素和整個圖像平均色的色差來直接定義顯著性值，對于待檢測區(qū)域和背景對比度小的情況，可能會出現(xiàn)誤判，如鏈狀裸甲藻的細胞鏈連接處、血紅阿卡藻的橫溝處均出現(xiàn)了斷裂。SC法[17]效果相對較好，能判斷出藻的大致形態(tài)，但細胞內(nèi)部明暗不均，孔洞眾多，這是由于檢測時只保留了亮度信息，未考慮其他顏色通道的顯著性線索；另外SC法計算的是像素級顯著性，并不注重全局，在遇到橫溝和底刺等微小結(jié)構(gòu)時，生成的輪廓線極易斷裂。

圖2　整體算法流程圖

可見，針對生物形態(tài)學(xué)特點復(fù)雜的藻類顯微圖像，上述方法的檢測結(jié)果并不理想。考慮到目前的成像系統(tǒng)大多根據(jù)人眼視覺原理研制，如果能夠充分利用藻類圖像中的視覺感知信息，并結(jié)合其生物形態(tài)特征，就可完整定位藻種目標(biāo)，為后續(xù)分割提供可靠的保障。

1980年，Treisman和Gelade提出了著名的特征整合理論。認為在視覺注意初期，輸入信息被拆分為若干個特征，視網(wǎng)膜平行地加工處理各種特征；之后各特征將會逐步整合，形成顯著性圖。后來，Koch和Ullman根據(jù)選擇性視覺注意原理構(gòu)造出顯著性生物啟發(fā)模型，有效模擬了HVS的神經(jīng)機制。Itti將這一生物啟發(fā)模型和特征整合理論巧妙地結(jié)合起來，成功實現(xiàn)了視覺注意的計算模型[18-19]。通過構(gòu)建生物神經(jīng)框架來解釋人類視覺注意，將視覺生理功能適當(dāng)簡化并用計算模型表示出來，從生物學(xué)角度模擬了人眼的視覺搜索過程。

本文在Itti計算模型的基礎(chǔ)上對其進行了改進。首先模擬視網(wǎng)膜與初級視皮層，提取藻種圖像的亮度、顏色和方向等早期視覺特征，生成底層特征圖；然后模擬中央-周圍拮抗感受野，通過“中央-周圍”差分(Center-surround difference)算子和歸一化操作，對這些底層特征圖進行視覺顯著性度量，得到對應(yīng)的特征顯著圖；再模擬特征融合機制，對同一類特征的顯著圖進行跨尺度融合，分別獲得亮度、顏色和方向特征的總體顯著圖；最后將各幅總體顯著圖疊加成最終的視覺顯著圖，如圖1(e)。

圖中最大的顯著區(qū)域即為藻細胞所在區(qū)域，亮度高且均勻，包含了完整的連通區(qū)域，比實際尺寸略大，可防止因檢測偏差導(dǎo)致的細胞輪廓缺失。圖中還有少量噪聲引起的偽顯著區(qū)域，但這不會影響最終分割，因為檢測只是為了確定細胞位置并保留其完整輪廓，后面會進一步精確處理。

2預(yù)分割

對于被判定為“顯著區(qū)域”的非藻種區(qū)域，可通過顯著性區(qū)域分割和形態(tài)學(xué)處理加以修正，排除不符合條件的候選區(qū)域。

首先采用灰度閾值分割對顯著圖進行二值化，剝離顯著區(qū)域和非顯著區(qū)域?？紤]到固定閾值分割不能對所有待處理圖像都適用，這里采用大津法[20]，依據(jù)概率統(tǒng)計和最小二乘法原理，自適應(yīng)地確定最佳閾值。顯著區(qū)域和非顯著區(qū)域之間灰度特性相差越大，兩部分間的類間方差就越大，反之，則越小。若誤把顯著區(qū)域像素劃分成非顯著區(qū)域像素，類間方差會比較小。當(dāng)類間方差取得最大值時，兩部分區(qū)域被錯誤劃分的概率最小，此時的灰度值即最佳閾值。

然后相繼進行形態(tài)學(xué)閉、開運算，獲得的圖像將只顯示場景中的主要物體。實際拍攝的顯微照片中，藻體一般是最大的可分辨物體，所以再對二值圖像使用最大輪廓提取法，用白色填充輪廓內(nèi)部，消除較大的噪聲。

此時，背景中只殘留少量弧形的細鏈狀噪聲，可通過形態(tài)學(xué)腐蝕加以去除，同時收縮原本較大的前景區(qū)域，使之趨近于實際大小。預(yù)分割結(jié)果見圖3(a)。

3利用免交互式GrabCut的目標(biāo)自動提取

根據(jù)用戶是否參與分割過程，圖像分割算法分成有監(jiān)督和無監(jiān)督兩大類。無監(jiān)督分割沒有高層信息介入，很難準(zhǔn)確提取目標(biāo)?；谌藱C交互的有監(jiān)督分割，通過人為提供指示性線索進行引導(dǎo)，可顯著提高分割質(zhì)量。

GraphCuts[21]是基于圖的全局最優(yōu)的有監(jiān)督分割算法。用戶需要手動標(biāo)記一些前景和背景像素點作為種子點，分別用來建立顏色模型；然后算法將圖像映射成有向圖；再利用最大流最小割方法求解有向圖的最優(yōu)解。對于簡單圖像，少量標(biāo)記就能取得不錯的分割結(jié)果?？僧?dāng)圖像內(nèi)容復(fù)雜時，就需多次標(biāo)記，并且若標(biāo)記的種子點不能完全確定前景和背景，分割精度會大為降低。

為彌補GraphCuts的不足之處，Carsten等提出了GrabCut[22]分割算法。它的基本思路與GraphCuts類似，最大的創(chuàng)新在于通過迭代來優(yōu)化同時包含了邊緣和區(qū)域信息的能量方程，把交互減少到只需在目標(biāo)外圍選取一個矩形窗。交互方式變得簡便，但是仍需用戶參與。

為免去人工選取矩形窗的繁瑣，并改善分割效果，本文借鑒并優(yōu)化了GrabCut算法，將其應(yīng)用到藻細胞目標(biāo)的精提取。

3.1 算法初始化

對于有監(jiān)督圖像分割算法，初始化指的是通過人機交互，標(biāo)記出前景和背景像素?，F(xiàn)已存在的人機交互方式有：(1)輪廓繪制前景物體的邊界；(2)畫筆標(biāo)記種子點；(3)確定目標(biāo)所在幾何區(qū)域。針對數(shù)量巨大的藻種圖像庫，單一的交互方式并不能奏效，并且手工輸入的效率低下，不能實時分割，更無法自動批處理。本文采用掩碼圖像和矩形窗同時自動初始化GrabCut，替代原有的人機交互，可稱之為“免交互式”(Non-interactive)模式。

具體而言，預(yù)分割結(jié)果中包含豐富的像素位置信息，可直接用來自定義初始掩碼圖像。掩碼圖像是和源圖像大小相同的單通道灰度圖，每個像素只能取“確定屬于背景”、“確定屬于前景”、“可能為背景”、“可能為前景”四種枚舉值。這里將二值圖像的白色區(qū)域像素設(shè)置為“可能為前景”，將黑色區(qū)域像素指定為“確定屬于背景”。GrabCut執(zhí)行時，掩碼圖像用來約束分割。

矩形窗的初始化，首先需要計算預(yù)分割結(jié)果中前景目標(biāo)的包圍盒。包圍盒定義為正好包含物體形狀且邊平行于坐標(biāo)軸的最小外接矩形，它可以緊密的描述和展現(xiàn)前景目標(biāo)所對應(yīng)的連通區(qū)域的范圍。通過逐行逐列遍歷二值圖像，可以找到目標(biāo)輪廓沿坐標(biāo)軸方向的4個切點，再利用其各自坐標(biāo)即可求取包圍盒的位置和尺寸。在包圍盒基礎(chǔ)上略微擴大其外延即可確定矩形窗，默認窗外區(qū)域全部為背景，窗內(nèi)區(qū)域為可能的前景。適當(dāng)寬泛的矩形窗有助于避免誤分割。

GrabCut算法的耗時與輸入圖像的大小、場景復(fù)雜度以及提取對象的大小等因素有關(guān)，對大尺寸圖像的分割效率較低，而實驗采用的藻類圖片都是由高分辨率顯微成像設(shè)備拍攝的。因此，可對輸入圖像進行下采樣。

3.2 創(chuàng)建高斯混合模型

算法初始化后，需要依據(jù)標(biāo)記好的信息創(chuàng)建可描述前景和背景的高斯混合模型，并在迭代過程中及時更新該模型。

在RGB顏色空間下，設(shè)一幅圖像中任意像素點x=(r,g,b)T。那么單高斯模型的概率密度函數(shù)為：

(1)

其中μ、σ2為均值和方差，分別取值如下：

μ=E(x)

(2)

σ2=E[(x-E(x))2]=E[(x-μ)2]=E(xxT)-μμT

(3)

高斯混合模型可表示為n個單高斯模型的概率密度加權(quán)之和：

(4)

其中pi為第i個高斯模型的權(quán)值。

設(shè)前文被標(biāo)記的背景區(qū)域和可能的前景區(qū)域的像素點集分別為B、U，那么利用B、U可分別訓(xùn)練背景和前景的高斯混合模型。

高斯混合模型可全面表征圖像各像素點的特征。除均值和方差外，每個單高斯模型所占的權(quán)值也是重要的參數(shù)，表征了其在整個高斯混合模型中的比重。要建立包含n個單高斯模型的高斯混合模型，需要把圖像分成n類，每一類擬合成一個單高斯模型，每個單高斯模型的權(quán)值就等于對應(yīng)類中的像素個數(shù)與像素總數(shù)的比值。這里選取K均值聚類法對圖像進行類的劃分，步驟為：

(1)選取n個像素點作為初始聚類中心。

(2)計算剩余像素點到n個聚類中心的距離，基于最小距離原則把它們歸入不同類中。

(3)更新當(dāng)前聚類中心的位置和總的誤差和。

(4)依據(jù)新的聚類中心，檢測哪些樣本需要移動，計算其移動后產(chǎn)生的誤差。

(5)判斷總體移動后的誤差是否大于事先設(shè)定的閾值，如果是，返回第(3)步重新計算，否則直接退出。

K均值聚類是周而復(fù)始的聚類過程，在執(zhí)行中不斷優(yōu)化分類結(jié)果，這也說明GrabCut是迭代的算法。結(jié)合大量的實驗論證，本文選取的迭代次數(shù)為2。

3.3 Gibbs能量函數(shù)最小化

GrabCut把帶有標(biāo)記信息的圖像映射成有向圖，利用Gibbs能量函數(shù)描述有向圖中的區(qū)域和邊界性能：

(5)

式中xi、xj為節(jié)點i和j的標(biāo)記值(前景為1，背景為0)；E1為相似能量，表示各像素點和背景或者前景間的相似性；E2為優(yōu)先能量，表示相鄰像素間的相似關(guān)系。

由于每個高斯混合模型均可視為1個K維的協(xié)方差，可引入向量k=(k1,…,kn,…,kN)作為每個像素點的獨立高斯混合模型參數(shù)，其中kn∈{1,2,…,K}。于是，Gibbs能量函數(shù)可改寫為：

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)。

(6)

式中α為不透明度，α∈[0,1]，α=0時為背景，α=1時為前景；θ為前景與背景的灰度直方圖，θ={h(z,α),α=0,1}；z為灰度值數(shù)組，z=(z1,…,zn,…,zN)。

當(dāng)Gibbs能量函數(shù)取得最小值時，根據(jù)區(qū)域和邊界間的關(guān)系，設(shè)置有向圖中邊上的權(quán)值，可將圖像分割轉(zhuǎn)化為求解有向圖的二元劃分問題，再利用最大流最小割方法求取有向圖的最優(yōu)解，得到最優(yōu)分割結(jié)果。

4實驗結(jié)果及分析

執(zhí)行GrabCut后，可得到二值分割圖像，其前景含有少量椒鹽噪點，需重新提取最大輪廓并填充內(nèi)部。此時內(nèi)部變得干凈，但輪廓粗糙，邊緣也不規(guī)整，可加入中值濾波器濾除輪廓的毛刺，同時保留邊緣銳利度。

圖3(b)是二值分割最終結(jié)果，提取的目標(biāo)形態(tài)細節(jié)完整，輪廓精細，邊緣平滑而清晰。無論是背景噪聲，還是藻體(如血紅阿卡藻)自身延伸出的虛擬邊界陰影，均被毫無保留地去除。對于前景和背景對比度較低的情況(如丹麥細柱藻)，分割效果也不錯。

該二值結(jié)果能夠準(zhǔn)確反映細胞的位置、大小、形狀和邊緣，但是缺乏顏色等其他重要的特征信息。于是本文又對顏色信息進行了還原。為便于觀察，這里只截取藻細胞感興趣區(qū)域(ROI)，并對其尺寸做了標(biāo)準(zhǔn)化處理(見圖4)。

圖3　二值分割結(jié)果

圖4　彩色前景分割圖

本文將免交互式GrabCut與3種應(yīng)用成熟的分割方法進行了實驗對比，分別是大津法(Otsu)、分水嶺算法[23](Watershed)和Canny[24]邊緣檢測算法，其中，在應(yīng)用大津法和Canny算子時，還采用了flood-fill算法和最大面積提取以進行后續(xù)處理。結(jié)果示于圖3(c)～(e)?？梢钥闯觯珻anny法分割效果最差，“過分割”嚴(yán)重；3種對比方法在分割丹麥細柱藻等橫縱溝特征復(fù)雜的藻種時，均出現(xiàn)了明顯的形態(tài)細節(jié)丟失。

為定量分析各方法的實驗結(jié)果，以圖3(f)基準(zhǔn)圖像為依據(jù)，繪制離散點形式的PR曲線圖。PR曲線，指的是精度-召回率(Precision-Recall)曲線，精度P(0≤P≤1)可描述分類準(zhǔn)確率，召回率R(0≤R≤1)可衡量分類完整性，兩者結(jié)合能全面評價分類器性能和分類優(yōu)劣。對圖像分割而言，只有精度和召回率盡可能大，分割質(zhì)量才越高。反映在PR曲線上，坐標(biāo)點離(1,1)點更近，分割效果越好。但精度和召回率之間會相互抑制，一味提高一方，反而可能降低另一方。為解決二者間的矛盾，可采用F1-Measure作為綜合評價標(biāo)準(zhǔn)：

(7)

當(dāng)F1值較高時，說明分割很有效。

如圖5，將分割結(jié)果以點的形式直觀地標(biāo)記在PR曲線圖上，每個標(biāo)記點都代表一幅二值分割圖像，不同方法的分割結(jié)果用了不同的標(biāo)記以示區(qū)分。仔細觀察各個標(biāo)記點的位置，可發(fā)現(xiàn)“○”比其他標(biāo)記點的分布更為集中，且更接近于右上角的(1,1)點。

圖5　PR曲線圖

表1給出了每種方法的F1-Measure以進行全面細致的橫向比較。免交互式GrabCut的F1-Measure明顯高于其他方法，并一直保持較高數(shù)值。這說明其分割效果更佳，能夠完整而準(zhǔn)確地分割不同種類和場景復(fù)雜度的藻種圖像；并且分割性能穩(wěn)定，應(yīng)對噪聲干擾的魯棒性較強。其他方法則發(fā)生了不同程度的波動，如Canny法在分割血紅阿卡藻圖像時，出現(xiàn)了0.411 6的極低值。

表1　不同方法的F1-Measure值

Note: ①Segmentation methods；②Algal names；③Gonyaulaxspinifera；④Leptoculindrusdanicus；⑤Gymnodihiumcatenatum；⑥Kareniamikimotoi;⑦Alexandriumtamarense；⑧Akashiwosanguinea

5結(jié)語

經(jīng)典GrabCut算法需要用戶手動選擇包含物體的矩形窗，難以實現(xiàn)精確分割的自動化。本文借助基于目標(biāo)定位的預(yù)分割，對GrabCut進行雙初始化，省去了人機交互的繁瑣。免交互式GrabCut比傳統(tǒng)方法在分割穩(wěn)定性和精準(zhǔn)度方面均有明顯提高，能有效實現(xiàn)藻細胞全程自動提取，為藻種圖像現(xiàn)場原位實時處理及大規(guī)模樣本自動處理提供了可能。

參考文獻：

[1]Erickson J S, Hashemi N, Sullivan J M, et al. In situ phytoplankton analysis:there’s plenty of room at the bottom [J]. Analytical Chemistry, 2012, 84(2): 839-850.

[2]Culverhouse P F, Williams R, Benfield M, et al. Automatic image analysis of plankton: future perspectives [J]. Marine Ecology Progress Series, 2006, 312: 297-309.

[3]郭春鋒, 姬光榮, 鄭海永. 有害赤潮顯微圖像識別的三級分類器設(shè)計 [J]. 中國海洋大學(xué)學(xué)報(自然科學(xué)版), 2012, 42(11): 117-122.

Guo C, Ji G, Zheng H. The design of three levels Classifiers on microscopic images recognition of harmful algae blooms [J]. Periodical of Ocean University of China, 2012, 42(11): 117-122.

[4]Zheng H, Zhao H, Sun X, et al. Automatic setae segmentation from chaetoceros microscopic images [J]. Microscopy Research and Technique, 2014, doi: 10. 1002/jemt. 22389.

[5]Jalba A C, Wilkinson M H F, Roerdink J B T M. Automatic segmentation of diatom images for classification [J]. Microscopy Research and Technique, 2004, 65: 72-85.

[6]Fischer S, Gilomen K, Bunke H. Identification of diatoms by grid graph matching [J]. Lecture Notes in Computer Science, 2002, 2396: 94-103.

[7]Dimitrovski I, Kocev D, Loskovska S, et al. Hierarchical classification of diatom images using ensembles of predictive clustering trees [J]. Ecological Informatics, 2012, 7(1): 19-29.

[8]Blaschko M B, Holness G, Mattar M A, et al. Automatic in situ identification of plankton [C]. Breckenridge: IEEE Computer Society, 2005: 79-86.

[9]Rodenacker K, Hense B, Jutting U, et al. Automatic analysis of aqueous specimens for phytoplankton structure recognition and population estimation [J]. Microscopy Research and Technique, 2006, 69(9): 708-720.

[10]Sosik H M, Olson R J. Automated taxonomic classification of phytoplankton sampled with imaging-in-flow cytometry [J]. Limnology and Oceanography: Methods, 2007, 5: 204-216.

[11]Luo Q, Gao Y, Luo J, et al. Automatic identification of diatoms with circular shape using texture analysis [J]. Journal of Software, 2011, 6(3): 428-435.

[12]Verikas A, Gelzinis A, Bacauskiene M, et al. Phase congruency-based detection of circular objects applied to analysis of phytoplankton images [J]. Pattern Recognition, 2012, 45(4): 1659-1670.

[13]Filipe S, Alexandre L A. From the human visual system to the computational models of visual attention: A survey [J]. Artificial Intelligence Review, 2013(6)： 1-47.

[14]Borji A, Itti L. State-of-the-art in visual attention modeling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207.

[15]Hou X, Zhang L. Saliency detection: a spectral residual approach [C]. Minneapolis: IEEE Computer Society, 2007: 1-8.

[16]Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]. Miami: IEEE Computer Society, 2009: 1597-1604.

[17]Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues [C]. Santa Barbara: Association for Computing Machinery, 2006: 815-824.

[18]Itti L, Koch C. A saliency-based search mechanism for overt and covert shifts of visual attention [J]. Vision Research, 2000, 40(10): 1489-1506.

[19]Itti L, Koch C. Computational modelling of visual attention [J]. Nature Reviews Neuroscience, 2001, 2(3): 194-203.

[20]Otsu N. Threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, SMC-9(1): 62-66.

[21]Boykov Y, Jolly M P. Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images [C]. Vancouver: Institute of Electrical and Electronics Engineers, 2001: 105-112.

[22]Rother C, Kolmogorov V, Blake A. “Grabcut” - Interactive foreground extraction using iterated graph cuts [J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[23]Vachier C, Meyer F. The viscous watershed transform [J]. Journal of Mathematical Imaging and Vision, 2005, 22(2-3): 251-267.

[24]Canny J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

責(zé)任編輯陳呈超

Combining Saliency with GrabCut for Phytoplankton Microscopic Image Segmentation of Non-Setae Species

YU Kun, ZHAO Hong-Miao, JI Guang-Rong, ZHENG Hai-Yong

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

Abstract:For automatically identifying the species of phytoplankton by microscopic images, it is necessary to segment the phytoplankton cells. The segmentation effect of the cells directly determines the accuracy of identification result. In this paper, a novel non-interactive GrabCut method for automatic segmentation of non-setae phytoplankton cells from the microscopic images is proposed, which integrates saliency region detection with improved GrabCut algorithm. Firstly, through the computational model based on the visual attention mechanism, the visual features of the input image are measured and then fused into one saliency map. The generated saliency map reflects the salient region of the input image and can be used to establish the approximate position of the cell. Secondly, threshold segmentation and some morphological processing are carried out for this saliency map to produce the binary pre-segmentation result, so the rough outline of the cell is preliminarily obtained. Thirdly, the bounding box that surrounds the cellular region of the pre-segmentation image is automatically determined and then extended to a rectangular window. Meanwhile, because the black part of the pre-segmentation image must be background pixels, whereas the white part may belong to the foreground pixels, a grayscale mask image including the location information of the cell can be constructed by making different regional markers. Next, the rectangular window and grayscale mask image are both used to initialize GrabCut algorithm. GrabCut is executed through the iterations. However, the output image of GrabCut cannot be directly used as binary segmentation result. It needs to re-extract the largest contour to eliminate the sporadic noise, and apply the median filtering technique to smooth the boundary of the cell. Besides binary segmentation result, the color information of the input image is further restored to form colorful foreground segmentation result. All the regions of interest (ROI) in the two types of segmentation results are cut and made standardized treatment of their sizes. Finally, the segmentation effect of non-interactive GrabCut is qualitatively compared with that of three state-of-the-art segmentation methods. In order to quantitatively analyze the segmentation effect of various methods, Precision- Recall (PR) curve is drawn in the form of discrete points. In addition, this paper also gives the F1-Measure value of each method to implement a comprehensive and detailed horizontal comparison. The extensive experimental results demonstrate that the proposed method can accurately extract complete-morphology, clear-contour and regular-edge foreground objects, own stable segmentation performance for the microscopic images with different species and scene complexity, and have strong robustness to resist noise interference. Especially for the phytoplankton images with the cingulum or sulcus, the segmentation accuracy is very high. Overall, non-interactive GrabCut obviously outperforms the other common methods on microscopic image segmentation of non-setae phytoplankton species, and can realize real-time and in-situ automatic processing of massive sample images.

Key words:phytoplankton; microscopic image segmentation; saliency map; GrabCut

DOI：10.16441/j.cnki.hdxb.20140214

中圖法分類號：TP391.4

文獻標(biāo)志碼：A

文章編號：1672-5174(2016)03-126-08

作者簡介：于堃(1986-)，男，博士生，主要從事計算機圖像處理研究。E-mail：yukunemail@163.com**通訊作者：E-mail：zhenghaiyong@ouc.edu.cn

收稿日期：2014-05-10；

修訂日期：2015-02-13

*基金項目：國家自然科學(xué)基金項目(61301240;61271406)資助

引用格式：于堃， 趙紅苗， 姬光榮， 等. 結(jié)合顯著與GrabCut的無角毛類浮游植物顯微圖像分割[J].中國海洋大學(xué)學(xué)報(自然科學(xué)版), 2016, 46 (3): 126-133.

Supported by National Natural Science Foundation of China (61301240, 61271406)