廖欽楷，林珊玲，林志賢*，陳哲亮，李甜甜，唐 彪

基于改進(jìn)Otsu的電潤(rùn)濕缺陷圖像分割

廖欽楷1,2，林珊玲1,2，林志賢1,2*，陳哲亮1,2，李甜甜1,2，唐 彪3

1福州大學(xué)平板顯示技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，福建 福州 350116；2福州大學(xué)物理與信息工程學(xué)院，福建 福州 350116；3華南師范大學(xué)，華南先進(jìn)光電子研究所，廣東省光信息材料與技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510006

針對(duì)像素缺陷影響電潤(rùn)濕電子紙的顯示效果，本文提出一種基于Otsu的自動(dòng)閾值檢測(cè)方法對(duì)缺陷進(jìn)行檢測(cè)。Otsu是一種常用的自動(dòng)閾值方法，在圖像直方圖為雙峰時(shí)，該方法能給出令人滿意的結(jié)果。但是電潤(rùn)濕缺陷圖像直方圖通常為單峰，容易得到錯(cuò)誤的結(jié)果。電潤(rùn)濕由于不同顏色的填充油墨使得缺陷與背景對(duì)比度不同，導(dǎo)致分割更加困難。本文在目標(biāo)方差前引入加權(quán)系數(shù)，權(quán)值隨著缺陷的累積概率的增大而減小。權(quán)值在閾值過(guò)峰前保持較大的數(shù)值，過(guò)峰后權(quán)值降低，保證了閾值在單峰情況下始終處于峰的左邊。實(shí)驗(yàn)結(jié)果表明：本文提出的方法能夠有效分割電潤(rùn)濕缺陷區(qū)域，尤其在對(duì)比度較低的電潤(rùn)濕缺陷圖像中比Otsu、VE、WOV和熵加權(quán)方法的ME值更接近0，有更好的分割效果。

電潤(rùn)濕電子紙；圖像處理；機(jī)器視覺(jué)；缺陷分割；最大類(lèi)間方差法

1 引 言

隨著信息產(chǎn)業(yè)的快速發(fā)展，顯示技術(shù)已經(jīng)成為人們獲取信息的重要渠道。近些年，電潤(rùn)濕[1]這種新型的顯示技術(shù)開(kāi)始嶄露頭角，它是一種電子紙顯示器[2]，具有響應(yīng)速度快、造價(jià)低、能量損耗小等優(yōu)點(diǎn)，有望引領(lǐng)潮流，成為下一代主流顯示器。電潤(rùn)濕顯示技術(shù)目前處在高速發(fā)展期，國(guó)內(nèi)外許多機(jī)構(gòu)對(duì)其進(jìn)行了大量的研究[3-10]。由于生產(chǎn)技術(shù)等問(wèn)題，電潤(rùn)濕器件生產(chǎn)過(guò)程中可能存在缺陷，缺陷影響顯示效果，因此對(duì)電潤(rùn)濕器件缺陷的檢測(cè)必不可少。目前對(duì)電潤(rùn)濕顯示器件的缺陷檢測(cè)還未有研究，但存在許多其他相似的顯示面板的缺陷檢測(cè)方法。對(duì)于顯示器件的缺陷檢測(cè)，機(jī)器視覺(jué)技術(shù)是代替?zhèn)鹘y(tǒng)人工檢測(cè)的常用方法，它是一種無(wú)損缺陷的檢測(cè)方法，能夠在不接觸產(chǎn)品的情況下對(duì)缺陷進(jìn)行檢測(cè)。Jin[11]等人提出基于離散余弦變換和雙伽馬分段指數(shù)變換的TFT-LCD缺陷檢測(cè)方法；何俊杰[12]等人通過(guò)區(qū)域神經(jīng)網(wǎng)絡(luò)對(duì)缺陷進(jìn)行檢測(cè)。但這些方法計(jì)算復(fù)雜，較難實(shí)現(xiàn)。自動(dòng)閾值技術(shù)是較為常用的缺陷檢測(cè)方法，與上述方法相比計(jì)算簡(jiǎn)單，速度快，更易于實(shí)現(xiàn)，因此被廣泛應(yīng)用于缺陷檢測(cè)中。

自動(dòng)閾值技術(shù)將圖像分成前景和背景兩部分。幾十年來(lái)，為了更好地使用自動(dòng)閾值方法對(duì)圖像進(jìn)行分割，人們提出了許多方法進(jìn)行改進(jìn)。大津法(Otsu)[13]是常用的全局自動(dòng)閾值分割方法，因其方便、高效、分割效果良好而被廣泛應(yīng)用于圖像分割中，但在直方圖為單峰或接近單峰時(shí)，該方法容易得到錯(cuò)誤的閾值。為了更加接近期望閾值，Ng[14]提出了一種改進(jìn)的Otsu方法，即谷強(qiáng)調(diào)法(valley emphasis，VE)，它利用目標(biāo)函數(shù)中的谷值信息最大化類(lèi)間方差，但對(duì)于目標(biāo)與背景方差差距很大的圖像，則不能成功地分割。針對(duì)這個(gè)問(wèn)題，F(xiàn)an和Bo[15]提出了一種改進(jìn)的Otsu方法，稱(chēng)為鄰域谷強(qiáng)調(diào)(neighborhood valley emphasis，NVE)，該方法利用谷點(diǎn)的鄰域信息進(jìn)一步提高分割質(zhì)量。張博[16]等人結(jié)合圖像梯度和Otsu方法提取缺陷目標(biāo)，克服了Otsu方法對(duì)噪聲敏感的問(wèn)題。Yuan[17]等人提出了一種改進(jìn)的Otsu方法。對(duì)象方差加權(quán)法(weighted object variance，WOV)，該方法是將一個(gè)參數(shù)加權(quán)到類(lèi)間方差的對(duì)象方差上，該權(quán)重為缺陷發(fā)生的累積概率，以確保閾值始終位于兩個(gè)峰值之間或單個(gè)峰值柱狀圖左下邊緣的值。Mai[18]等人使用熵加權(quán)(entropy weighting，EW)方法對(duì)Otsu進(jìn)行改進(jìn)，該方法能夠檢測(cè)非常小的缺陷，但是該方法在處理缺陷與背景對(duì)比度較小的圖像時(shí)難以將缺陷分割出來(lái)。

由于填充的油墨不同，電潤(rùn)濕電子紙缺陷圖像的缺陷與背景的對(duì)比度也不同。當(dāng)填充淺色油墨時(shí)，缺陷與背景的對(duì)比度較大，較容易分割。當(dāng)填充深色油墨時(shí)，缺陷與背景的對(duì)比度較低，分割比較困難。為了能夠在不同油墨下實(shí)現(xiàn)缺陷分割，提出一種改進(jìn)的Otsu閾值分割算法，在目標(biāo)方差前引入權(quán)重，通過(guò)權(quán)重影響類(lèi)間方差的數(shù)值，最終得到期望的閾值。權(quán)值隨著缺陷累積概率的增大而減小，使得閾值在單峰時(shí)能夠處于峰的左側(cè)邊緣，確保在不同顏色的油墨中實(shí)現(xiàn)缺陷圖像的分割。

2 電潤(rùn)濕器件結(jié)構(gòu)

電潤(rùn)濕器件的基本單元是一個(gè)個(gè)像素格，器件以鍍有氧化銦錫(ITO)的透明玻璃板為基底，旋涂疏水絕緣層，以光刻技術(shù)將每個(gè)像素格分開(kāi)形成像素墻，然后再填充有色油墨及水。在不加電時(shí)，油墨在表面張力的作用下鋪滿整個(gè)界面，此時(shí)器件為“關(guān)”狀態(tài)。加電以后，水和絕緣層之間的表面張力發(fā)生改變，水將油墨擠到一邊，露出底層的基板，此時(shí)電潤(rùn)濕為“開(kāi)”狀態(tài)。電潤(rùn)濕顯示原理示意圖如圖1所示，圖1(a)為未加電時(shí)的電潤(rùn)濕器件，此時(shí)油墨平鋪在像素格中。圖1(b)為加點(diǎn)后的電潤(rùn)濕器件，此時(shí)電潤(rùn)濕的水和絕緣層之間的表面張力發(fā)生改變，油墨收縮在像素格中。圖1(c)和1(d)分別為圖1(a)和1(b)的測(cè)試樣品圖。

三層疊加式的電潤(rùn)濕電子紙由三基色油墨填充進(jìn)像素從而實(shí)現(xiàn)彩色顯示，且不同顏色油墨其油墨回流的程度不同，因而對(duì)不同顏色油墨的光電性能的分析是電潤(rùn)濕顯示器件的重要研究之一。生產(chǎn)過(guò)程中，由于油墨溢出，疏水絕緣層旋涂不均勻，制作過(guò)程中外部引入的雜質(zhì)，不同區(qū)域刻蝕程度的差異以及顯影過(guò)程中殘留顯影液的不完全蒸發(fā)，可能導(dǎo)致缺陷的產(chǎn)生。缺陷與背景油墨的灰度存在差異，降低了顯示效果。也正因?yàn)槿绱?，由于缺陷與背景灰度的差異性，缺陷灰度和背景灰度被分為兩類(lèi)。對(duì)于兩類(lèi)分割，Otsu是決定一般圖像閾值最常用的方法。不同的油墨對(duì)于缺陷的分割將帶來(lái)不同的分割難度，當(dāng)油墨顏色較淺時(shí)，缺陷與背景對(duì)比度高，分割較容易。當(dāng)油墨顏色較深時(shí)，缺陷與背景對(duì)比度較低，缺陷較難從背景中分割出來(lái)。

如圖2中所示，圖2(a)中為填充淺色油墨的電潤(rùn)濕器件，其中的缺陷可以很容易被觀察到，也較容易分割。圖2(b)填充了深色油墨，缺陷難以被觀察到，因而分割較為困難。

圖1 電潤(rùn)濕顯示原理示意圖及測(cè)試樣品。(a) 油墨平鋪在像素格中；(b) 油墨收縮在像素格中；(c) 圖(a)的測(cè)試樣品圖；(d) 圖(b)的測(cè)試樣品圖

圖2 不同填充油墨中的電潤(rùn)濕器件缺陷。(a) 淺色油墨中的電潤(rùn)濕缺陷；(b) 深色油墨中的電潤(rùn)濕缺陷

3 自動(dòng)閾值方法以及存在的問(wèn)題

Otsu是一種全局自動(dòng)閾值技術(shù)，常用于圖像分割。本章簡(jiǎn)要介紹Otsu方法，并研究分析其存在問(wèn)題。

3.1 大津法(Otsu)

文獻(xiàn)[20]給出類(lèi)間方差的快速算法：

使得類(lèi)間方差達(dá)到最大值時(shí)為最佳閾值。令為圖像的最佳閾值，則有

當(dāng)灰度直方圖為雙峰且兩峰的類(lèi)間方差差距不大時(shí)，Otsu能夠取得令人滿意的效果；但是當(dāng)灰度直方圖為單峰時(shí)，Otsu方法容易得到錯(cuò)誤的閾值，如圖3所示。圖3(a)中紅色圈中為缺陷區(qū)域，圖3(b)為Otsu方法的分割結(jié)果，該方法沒(méi)有將紅圈中的缺陷與背景分割開(kāi)。圖3(c)中，右邊的黑色直線為Otsu方法得到的閾值，該方法得到的閾值為175，在峰的內(nèi)部；而期望閾值在102左右，在峰值的左邊，兩者相差很大。因此Otsu方法在處理缺陷與背景類(lèi)間方差差距很大的情況時(shí)效果不理想。

3.2 改進(jìn)方法

圖3 Otsu缺陷圖像分割結(jié)果。(a) 原始圖像；(b) Otsu方法處理結(jié)果；(c) 直方圖和閾值

因此式(4)改寫(xiě)成：

分割結(jié)果如圖5(b)，5(c)所示，圖5(b)是Otsu的分割結(jié)果，其閾值在峰內(nèi)，大部分背景被劃分為了缺陷，難以區(qū)分出實(shí)際的缺陷區(qū)域。圖5(c)改進(jìn)后閾值位于峰的左邊，將缺陷和背景分成兩類(lèi)，從而分割出缺陷。缺陷方差、背景方差以及類(lèi)間方差的變化規(guī)律如圖5(d)～5(f)。圖5(d)是Otsu缺陷方差和背景方差的變化規(guī)律，得到的閾值在缺陷方差和背景方差變化最快的區(qū)域，即峰值內(nèi)部。圖5(e)中黑色的粗曲線是加權(quán)后的缺陷方差，其在缺陷方差變化最快的區(qū)域即過(guò)峰時(shí)降低了對(duì)類(lèi)間方差的貢獻(xiàn)。最終改進(jìn)后類(lèi)間方差的結(jié)果如圖5(f)所示，改進(jìn)后類(lèi)間方差的最大值在100左右，較Otsu的結(jié)果左移了大約60個(gè)灰度值。

圖5 缺陷圖像與灰度方差圖。(a) 原始圖像；(b) Otsu結(jié)果；(c) 本文方法分割結(jié)果；(d) 灰度方差曲線；(e) 灰度方差曲線與加權(quán)后缺陷方差曲線；(f) Otsu類(lèi)間方差曲線與加權(quán)后類(lèi)間方差曲線

4 實(shí)驗(yàn)結(jié)果與討論

本文提出方法主要對(duì)電潤(rùn)濕缺陷像素進(jìn)行分割，實(shí)驗(yàn)對(duì)象為淺色和深色油墨的電潤(rùn)濕缺陷圖像，這兩種圖像的不同點(diǎn)在于缺陷與背景的對(duì)比度不同。實(shí)驗(yàn)對(duì)這兩類(lèi)圖像進(jìn)行分割，并將Otsu及其他改進(jìn)方法，如VE、WOV、EW，與本文提出的方法進(jìn)行對(duì)比，再通過(guò)ME(misclassification error)值評(píng)估這幾種方法的性能。實(shí)驗(yàn)圖像數(shù)據(jù)來(lái)自華南師范大學(xué)光信息材料與技術(shù)重點(diǎn)實(shí)驗(yàn)室測(cè)試平臺(tái)，由Phantom高速攝像機(jī)拍攝，圖像全分辨率為1280×800。

4.1 電潤(rùn)濕缺陷像素分割結(jié)果與討論

圖6到圖10為不同油墨下的不同方法的缺陷分割結(jié)果。圖6和圖7中電潤(rùn)濕像素油墨較淺，缺陷和背景油墨對(duì)比度高，缺陷較容易被分割。圖6中Otsu、VE、WOV和本文方法都能都成功將缺陷與背景分割，但是EW的分割效果不理想，該方法把油墨錯(cuò)誤地分割成了缺陷。圖7中存在5個(gè)缺陷點(diǎn)，Otsu、VE和EW法都將背景錯(cuò)誤地分割成了缺陷，沒(méi)有分割出任何缺陷。WOV法分割出了部分缺陷，本文方法則將5個(gè)缺陷點(diǎn)全部從背景中分割出來(lái)。圖8和圖9為填充深色油墨的電潤(rùn)濕缺陷圖像，此時(shí)缺陷與背景的對(duì)比度較低，分割較困難。圖8和圖9中的紅圈內(nèi)是缺陷區(qū)域，Otsu、VE、WOV和EW方法得到的閾值都在峰的右邊，把深色的油墨錯(cuò)誤地分割成缺陷，沒(méi)有將圖像的缺陷分割出來(lái)。本文方法得到的結(jié)果在峰的左邊，將缺陷從深色的油墨背景中分割出來(lái)。圖10的實(shí)驗(yàn)圖像中缺陷與背景的對(duì)比度極低，甚至人眼也不易察覺(jué)。Otsu、VE、WOV和EW方法在深色油墨中無(wú)法分割出缺陷，本文方法則能夠在極低的對(duì)比度中把缺陷與背景分離。

4.2 ME值對(duì)閾值分割結(jié)果的評(píng)價(jià)

為了驗(yàn)證本文方法對(duì)電潤(rùn)濕缺陷的分割效果，采用ME[21]值對(duì)各自動(dòng)閾值方法性能進(jìn)行評(píng)估。ME反映的是錯(cuò)誤分配給前景或者背景像素的百分比。ME法可以簡(jiǎn)單表示為

其中：O代表手動(dòng)閾值化圖像背景，T代表不同方法分割的圖像背景，O代表手動(dòng)閾值化圖像前景，T代表不同方法分割的圖像前景。對(duì)于分割完全正確的圖像，ME值等于0，ME的值越大，說(shuō)明分割效果越差。

表1中ME值反映了五種自動(dòng)閾值法的分割效果。ME值越小，分割效果越好。圖6和圖7中是淺色的電潤(rùn)濕像素圖片，缺陷與背景的對(duì)比度較大，Otsu、VE在圖6中的ME值很小，但圖7中的ME值很大，其分割效果并不穩(wěn)定。WOV和本文方法都得到了一個(gè)接近于0的ME值，說(shuō)明被錯(cuò)誤分類(lèi)的像素?cái)?shù)很少。而EW法得到的ME值很大，該方法將大部分的背景錯(cuò)誤分割成缺陷。圖8到圖10是對(duì)比度較低的深色油墨中的電潤(rùn)濕缺陷，只有本文方法的ME值保持在一個(gè)很小的數(shù)值，而Otsu以及其他自動(dòng)閾值方法的ME值都在0.85以上，分割的結(jié)果遠(yuǎn)離期望閾值。本文方法在淺色油墨和深色油墨中都能夠得到接近0的ME值，能夠分割不同油墨中的缺陷，尤其在缺陷與背景對(duì)比度較低時(shí)有更好的分割效果。

圖6 五種自動(dòng)閾值方法對(duì)電潤(rùn)濕圖像Ⅰ的分割結(jié)果。(a) 原始圖像；(b) VE方法；(c) Otsu方法；(d) WOV方法；(e) EW方法；(f) 本文提出方法；(g) 直方圖和閾值

圖7 五種自動(dòng)閾值方法對(duì)電潤(rùn)濕圖像Ⅱ的分割結(jié)果。(a) 原始圖像；(b) VE方法；(c) Otsu方法；(d) WOV方法；(e) EW方法；(f) 本文提出方法；(g) 直方圖和閾值

圖8 五種自動(dòng)閾值方法對(duì)電潤(rùn)濕圖像Ⅲ的分割結(jié)果。(a) 原始圖像；(b) VE方法；(c) Otsu方法；(d) WOV方法；(e) EW方法；(f) 本文提出方法；(g) 直方圖和閾值

圖9 五種自動(dòng)閾值方法對(duì)電潤(rùn)濕圖像Ⅳ的分割結(jié)果。(a) 原始圖像；(b) VE方法；(c) Otsu方法；(d) WOV方法；(e) EW方法；(f) 本文提出方法；(g) 直方圖和閾值

圖10 五種自動(dòng)閾值方法對(duì)電潤(rùn)濕圖像Ⅴ的分割結(jié)果。(a) 原始圖像；(b) VE方法；(c) Otsu方法；(d) WOV方法；(e) EW方法；(f) 本文提出方法；(g) 直方圖和閾值

表1 五種方法分割結(jié)果的ME值

5 結(jié) 論

電潤(rùn)濕缺陷與背景的對(duì)比度由于填充的油墨不同所以無(wú)法確定，當(dāng)填充深色油墨時(shí)缺陷與背景對(duì)比度較低，導(dǎo)致分割困難。本文提出一種改進(jìn)的Otsu方法，在目標(biāo)方差前引入權(quán)重，權(quán)值隨著缺陷累積概率的增大而減小，提高了類(lèi)間方差在峰值左邊緣時(shí)達(dá)到最大值的概率。且加權(quán)因子簡(jiǎn)單，易于實(shí)現(xiàn)，不用人為設(shè)置參數(shù)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠分割不同顏色油墨下的缺陷，對(duì)比Otsu、VE、WOV和EW等方法，在填充深色油墨的電潤(rùn)濕缺陷像素中ME值更接近0，在對(duì)比度較低的深色油墨下有更好的分割效果。

[1] Hayes R A, Feenstra B J. Video-speed electronic paper based on electrowetting[J]., 2003, 425(6956): 383–385.

[2] Overton G. ELECTRONIC PAPER DISPLAYS: Kindles and cuttlefish: Biomimetics informs e-paper displays[J]., 2012, 48(12): 16.

[3] Hayes R A, Feenstra B J, Camps I G J,. 52.1: a high brightness colour 160 PPI reflective display technology based on electrowetting[J]., 2004, 35(1): 1412–1415.

[4] Cheng W Y, Lo K L, Chang Y P,. 37.1: novel development of large-sized electrowetting display[J]., 2008, 39(1): 526–529.

[5] Kuo S W, Chang Y P, Cheng W Y,. 34.3: novel development of multi-color electrowetting display[J]., 2009, 40(1): 483–486.

[6] Schultz A, Heikenfeld J, Kang H S,. 1000:1 contrast ratio transmissive electrowetting displays[J]., 2011, 7(11): 583–585.

[7] Chang R L J, Liu P W, Wu C Y,. 54.2: reliable and high performance transparent electrowetting displays[J]., 2014, 45(1): 785–788.

[8] Zhang X M, Bai P F, Hayes R A,. Novel driving methods for

manipulating oil motion in electrofluidic display pixels[J]., 2016, 12(2): 200–205.

[9] Zhao R, Tian Z Q, Liu Q C,. Electrowetting-based liquid prism[J]., 2014, 34(12): 1223003.

趙瑞, 田志強(qiáng), 劉啟超, 等. 介電潤(rùn)濕液體光學(xué)棱鏡[J]. 光學(xué)學(xué)報(bào), 2014, 34(12): 1223003.

[10] Qian M Y, Lin S L, Zeng S Y,. Real-time dynamic driving system implementation of electrowetting display[J]., 2019, 46(6): 180623.

錢(qián)明勇, 林珊玲, 曾素云, 等. 電潤(rùn)濕電子紙的實(shí)時(shí)動(dòng)態(tài)顯示驅(qū)動(dòng)系統(tǒng)實(shí)現(xiàn)[J]. 光電工程, 2019, 46(6): 180623.

[11] Jin S Q, Ji C, Yan C C,. TFT-LCD mura defect detection using DCT and the dual-γ piecewise exponential transform[J]., 2018, 54: 371–378.

[12] He J J, Xiao K, Liu C,. TFT-LCD circuit defects detection based on faster R-CNN[J]., 2018(7): 33–38.

何俊杰, 肖可, 劉暢, 等. 基于區(qū)域神經(jīng)網(wǎng)絡(luò)的TFT-LCD電路缺陷檢測(cè)方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2018(7): 33–38.

[13] Otsu N. A threshold selection method from gray-level histograms[J]., 1979, 9(1): 62–66.

[14] Ng H F. Automatic thresholding for defect detection[J]., 2006, 27(14): 1644–1649.

[15] Fan J L, Lei B. A modified valley-emphasis method for automatic thresholding[J]., 2012, 33(6): 703–708.

[16] Zhang B, Ni K Z, Wang L J,. New algorithm of detecting optical surface imperfection based on background correction and image segmentation[J]., 2016, 36(9): 0911004.

張博, 倪開(kāi)灶, 王林軍, 等. 基于背景校正和圖像分割定量分析光學(xué)元件表面疵病的新算法[J]. 光學(xué)學(xué)報(bào), 2016, 36(9): 0911004.

[17] Yuan X C, Lu W S, Peng Q J. An improved Otsu method using the weighted object variance for defect detection[J]., 2015, 349: 472–484.

[18] Truong M T N, Kim S. Automatic image thresholding using Otsu’s method and entropy weighting scheme for surface defect detection[J]., 2018, 22(13): 4197–4203.

[19] Liao P S, Chen T S, Chung P C. A fast algorithm for multilevel thresholding[J]., 2001, 17(5): 713–727.

[20] Yasnoff W A, Mui J K, Bacus J W. Error measures for scene segmentation[J]., 1977, 9(4): 217–231.

Electrowetting defect image segmentation based on improved Otsu method

Liao Qinkai1,2, Lin Shanling1,2, Lin Zhixian1,2*, Chen Zheliang1,2, Li Tiantian1,2, Tang Biao3

1Institute of Optlelectronic Display, National & Local United Engineering Lab of Flat Panel Display Technology, Fuzhou University, Fuzhou, Fujian 350116, China;2College of Physics and Information Engineering, Fuzhou University, Fuzhou, Fujian 350116, China;3Guangdong Provincial Key Laboratory of Optical Information Materials and Technology, South China Academy of Advanced Optoelectronics, South China Normal University, Guangzhou, Guangdong 510006, China

Defects of electrowetting devices in different filling inks. (a) Electrowetting defects in light ink; (b) Electrowetting defects in dark ink; (c) Segmentation results of Fig. (a); (d) Segmentation results of Fig. (b)

Overview:Electrowetting is an electronic paper display with the advantages of fast response, low cost, and low energy loss. Electrowetting display technology is currently in a high-speed development period. Electrowetting devices may have defects in the production process, due to ink spillage, the uneven spin coating of the hydrophobic insulating layer, and externally introduced impurities. Defects affect the display of electrowetting devices, so the detection of defects is indispensable. Aiming at the effect of pixel defects on the display of electrowetting electronic paper, an automatic threshold detection method based on Otsu is proposed to detect defects. Otsu is a commonly used automatic threshold method that gives satisfactory results when the image histogram is bimodal. However, since the electrowetting defect image histogram is usually unimodal, it is easy to get incorrect results. Moreover, the electrowetting electronic paper is filled with pixels by three primary inks to realize color display, so the contrast between the defect and the background is different, and the difficulty of segmentation is also different. In order to separate the electrowetting defects in different shades of ink, an improved Otsu threshold segmentation algorithm is proposed. The basic principle of the method is to introduce a weighting factor before the target variance and affect the value of the variance between-class by the weighting factor, which affects the final threshold selection. The weight decreases with the increase of the probability of accumulation of defects, and the weight is always at a higher value when the threshold is at the left edge of the peak. Specifically, the weights have different change rules before and after the peak to change the contribution of the defect variance. When the threshold passes through the peak, the contribution of the defect variance is reduced, and the value of the between-class variance is affected by the weight, which can make the threshold on the left side of the peak. The experimental results show that the proposed method can effectively segment the electrowetting defect area. In the electrowetting defect image in the dark ink with low contrast, the ME value of this method is small. Otsu and other automatic threshold methods have ME values above 0.87, and the segmentation results are far from the desired threshold. The proposed method can segment defects in different inks and have better segmentation effects especially when the contrast of defects and background is low.

Citation: Liao Q K, Lin S L, Lin Z X,Electrowetting defect image segmentation based on improved Otsu method[J]., 2020, 47(6): 190388

Electrowetting defect image segmentation based on improved Otsu method

Liao Qinkai1,2, Lin Shanling1,2, Lin Zhixian1,2*, Chen Zheliang1,2, Li Tiantian1,2, Tang Biao3

1Institute of Optlelectronic Display, National & Local United Engineering Lab of Flat Panel Display Technology, Fuzhou University, Fuzhou, Fujian 350116, China;2College of Physics and Information Engineering, Fuzhou University, Fuzhou, Fujian 350116, China;3Guangdong Provincial Key Laboratory of Optical Information Materials and Technology, South China Academy of Advanced Optoelectronics, South China Normal University, Guangzhou, Guangdong 510006, China

Aiming at the effect of pixel defects on the display of electrowetting electronic paper, an automatic threshold detection method based on Otsu is proposed to detect defects. Otsu is a commonly used automatic threshold method that gives satisfactory results when the image histogram is bimodal. However, the electrowetting defect image histogram is usually a single peak, and Otsu method fails. Electrowetting differs from the background contrast due to the filling inks of different colors, making segmentation more difficult. In this paper, the weighting coefficient is introduced before the target variance, and the weight decreases as the cumulative probability of defects increases. The weight keeps a large value before the threshold crosses the peak, and the weight decreases after the peak, ensuring that the threshold is always to the left of the peak in the case of a single peak. The experimental results show that the proposed method can effectively segment the electrowetting defect region, especially in the electrowetting defect image with lower contrast ratio. The method is closer to 0 compared to the ME value of Otsu, VE, WOV and entropy weighting methods. The proposed method has a better segmentation effect.

electrowetting display; image processing; machine vision; defect segmentation; Otsu method

TP391.4

A

10.12086/oee.2020.190388

: Liao Q K, Lin S L, Lin Z X,. Electrowetting defect image segmentation based on improved Otsu method[J]., 2020,47(6): 190388

廖欽楷，林珊玲，林志賢，等. 基于改進(jìn)Otsu的電潤(rùn)濕缺陷圖像分割[J]. 光電工程，2020，47(6): 190388

Supported by National Key Research and Development Program of China (2016YFB0401503), Science and Technology Major Program of Fujian Province (2014HZ0003-1), Science and Technology Major Program of Guangdong Province (2016B090906001) and the Guangdong Provincial Key Laboratory of Optical Information Materials and Technology (2017B030301007)

* E-mail: lzx2005000@163.com

2019-07-06；

2019-11-08

國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2016YFB0401503)；福建省科技重大專(zhuān)項(xiàng)資助項(xiàng)目(2014HZ0003-1)；廣東省科技重大專(zhuān)項(xiàng)資助項(xiàng)目(2016B090906001)；廣東省光信息材料與技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目(2017B030301007)

廖欽楷(1995-)，男，碩士研究生，主要從事電潤(rùn)濕電子紙驅(qū)動(dòng)系統(tǒng)及圖像處理的研究。E-mail：610402018@qq.com

林志賢(1975-)，男，博士，教授，博士生導(dǎo)師，主要從事信息顯示技術(shù)與平板顯示器件驅(qū)動(dòng)方面的研究。E-mail：lzx2005000@163.com