林泓，林晨宇，吳騰，韓國(guó)強(qiáng),

(福州大學(xué) a.海洋學(xué)院；b.機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350108)

0 引言

原子力顯微鏡(AFM)不僅可以在液體或真空環(huán)境下工作，還可以掃描納米尺度的導(dǎo)體、半導(dǎo)體和絕緣材料[1]。與傳統(tǒng)顯微鏡相比，具有更高的分辨率和更大的掃描范圍，其在生物學(xué)、高分子科學(xué)和材料科學(xué)領(lǐng)域發(fā)揮著非常重要的作用。但傳統(tǒng)的AFM成像技術(shù)由于定位精度和逐點(diǎn)掃描等原因，往往需要花費(fèi)大量的時(shí)間，且在操作過程中探頭容易磨損甚至損壞。因此AFM成像質(zhì)量會(huì)大大降低，圖像會(huì)出現(xiàn)局部模糊、信息丟失和噪聲污染。原始AFM圖像大多分辨率較低，不能滿足科學(xué)研究的需要。但對(duì)于納米尺度的測(cè)量和成像，獲得高分辨率的圖像是非常重要的。高分辨率圖像可以提供更重要的細(xì)節(jié)。圖像超分辨率技術(shù)是一種從現(xiàn)有的一幅或多幅低分辨率圖像中重建出更多細(xì)節(jié)的高分辨率圖像的方法[2-3]。該方法克服了硬件技術(shù)的局限性，成本低，實(shí)現(xiàn)簡(jiǎn)單，廣泛應(yīng)用于遙感成像、視頻監(jiān)控等領(lǐng)域。根據(jù)研究方法，超分辨率技術(shù)可以分為三類：基于插值、基于重構(gòu)和基于學(xué)習(xí)?；诓逯档某直媛仕惴ɡ貌逯岛撕瘮?shù)在空間域內(nèi)計(jì)算未知像素，獲取圖像中的高頻信息，最終重構(gòu)出高分辨率圖像，例如雙三次插值[4]。插值算法具有計(jì)算復(fù)雜度低、實(shí)時(shí)性好的特點(diǎn)，但該方法的重建效果較差，圖像中會(huì)出現(xiàn)模糊的邊緣?；谥貥?gòu)的超分辨率算法利用圖像的先驗(yàn)知識(shí)實(shí)現(xiàn)超分辨率重建，主要包括迭代反投影(IBP)[5]、凸集投影(POCS)[6]等。然而，該方法在求解過程中沒有唯一解，成像效果不好。因此，在AFM成像過程中引入基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率技術(shù)(SRCNN)，可以克服硬件技術(shù)的局限性，通過軟件算法以較低的成本獲得高分辨率的AFM圖像。該網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率和高分辨率圖像之間的端到端映射，能夠以良好的質(zhì)量和速度實(shí)現(xiàn)超分辨率成像。

1 SRCNN算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)理論

如圖1所示，輸入層、隱含層和輸出層構(gòu)成了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。相比于傳統(tǒng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)在隱含層加入了卷積、激活和池化等操作[7]。利用卷積層從輸入的數(shù)據(jù)中學(xué)習(xí)圖像中隱含的深層信息。對(duì)輸入圖像I1(i,j)進(jìn)行卷積運(yùn)算，得到特征圖像Y(i,j)，數(shù)學(xué)表達(dá)式如下：

圖1 神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)

Y(i,j)=(I1·K)(i,j)=(I1·w)(i,j)+b

(1)

式中：K為卷積核也稱為濾波器；w和b分別為卷積核的權(quán)重系數(shù)和偏置量；·為卷積運(yùn)算符。卷積核包含大小k、步長(zhǎng)s和擴(kuò)展邊緣p這3個(gè)參數(shù)。由這3個(gè)參數(shù)組成的不同卷積核可生成不同的特征圖。如圖2所示，該卷積運(yùn)算的卷積核大小為2 × 2，步長(zhǎng)為1，擴(kuò)展邊緣為0。對(duì)于卷積運(yùn)算得到的特征圖，使用線性整流函數(shù)(ReLU)作為激活函數(shù)進(jìn)行非線性處理，公式如下：

圖2 卷積運(yùn)算

F(x)=max(0,x)

(2)

將卷積和激活后得到的特征圖傳遞到池化層來獲取重要特征并減少計(jì)算量。池化主要分為兩類：最大值池化和均值池化，計(jì)算過程如圖3所示。最后，將池化后的特征圖傳遞到全連接層，將特征映射到樣本空間進(jìn)行特征分類。

圖3 池化運(yùn)算

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率

如圖4所示，SRCNN網(wǎng)絡(luò)[8]首先采用雙三次插值算法對(duì)輸入圖像進(jìn)行插值和放大。插值放大后的圖像仍稱為低分辨率圖像Y，通過卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)映射得到盡可能接近原始高分辨率圖像X0的重建圖像X。

圖4 SRCNN網(wǎng)絡(luò)框架

SRCNN網(wǎng)絡(luò)結(jié)構(gòu)主要包括三個(gè)階段。

第一階段，利用卷積層的第一層提取圖像的特征塊，即使用多個(gè)卷積核去提取圖像中的多個(gè)特征塊。采用激活函數(shù)ReLU進(jìn)行非線性處理使得模型能表達(dá)更復(fù)雜的特征，計(jì)算過程如下：

X1=max(0,W1Y+b1)

(3)

式中：b1是偏置量；W1是大小為c×f1×f1×n1的濾波器。

在第二階段，將上層輸出的每個(gè)特征塊看作一個(gè)向量，對(duì)這些向量進(jìn)行非線性映射，即讓輸入特征塊通過濾波器再次卷積和激活得到新的特征塊，計(jì)算過程如下：

X2=max(0,W2X1+b2)

(4)

式中：b2是對(duì)應(yīng)的偏置量；W2是大小為n1×1×1×n2的濾波器。最后得到的向量對(duì)應(yīng)目標(biāo)圖像中的各個(gè)圖像塊。

第三階段，對(duì)輸出的圖像特征塊再次進(jìn)行卷積計(jì)算，使最終整合圖像與原始高分辨率圖像的大小一致，計(jì)算過程如下：

X=W3X2+b3

(5)

式中：b3是對(duì)應(yīng)的偏置量；W3是大小為n2×f3×c的過濾器。第三階段結(jié)束后，最終輸出特征圖像，大小與原始高分辨率圖像X0一致。

在經(jīng)過上述三個(gè)階段(前向傳播階段)后進(jìn)入反向傳播階段。使用損失函數(shù)均方誤差(MSE)計(jì)算重建圖像與原始高分辨率圖像之間的誤差，公式如下：

(6)

式中：I1(i,j)和I2(i,j)分別表示輸入和輸出圖像；M和N分別表示輸入和輸出圖像的長(zhǎng)度和寬度。然后采用隨機(jī)梯度下降法更新權(quán)重系數(shù)w和偏置量b，其數(shù)學(xué)表達(dá)式如下：

θ=(w,b)

(7)

θ=θ-η?θMSE(θ;I1,I2)

(8)

式中η是學(xué)習(xí)率。通過訓(xùn)練迭代使輸出圖像I2(i,j)與初始輸入圖像I1(i,j)之間的誤差最小化，最終得到高質(zhì)量圖像。

2 實(shí)驗(yàn)結(jié)果與討論

深度學(xué)習(xí)訓(xùn)練用的是Caffe框架，在CPU環(huán)境下運(yùn)行，仿真實(shí)驗(yàn)在搭配Win7操作系統(tǒng)的MATLAB 2018軟件上進(jìn)行。計(jì)算機(jī)配置AMD A10-5800K處理器，內(nèi)存8 GB。訓(xùn)練的最大迭代次數(shù)設(shè)置為10萬次，只訓(xùn)練圖像YCrCb顏色空間中的Y(亮度)通道，輸出時(shí)可得到灰度圖像。將灰度圖像導(dǎo)入AFM圖像處理軟件進(jìn)行彩色處理，得到最終的彩色圖像。在三層網(wǎng)絡(luò)結(jié)構(gòu)中，卷積核的大小分別設(shè)置為9×9, 1×1和5×5個(gè)。第一層有64個(gè)卷積核，第二層有32個(gè)卷積核，第三層只有1個(gè)卷積核。根據(jù)不同的放大因子2、3、4訓(xùn)練不同的模型，每個(gè)網(wǎng)絡(luò)模型只訓(xùn)練1個(gè)放大因子。訓(xùn)練集是一組60幅圖像，其中包含了許多AFM圖像。測(cè)試集由幽門螺桿菌、聚合物薄膜、納米帶和礦物方鉛礦這4幅樣品圖像組成，如圖5所示。原始圖像分辨率均為512×512像素。訓(xùn)練集和測(cè)試集的圖像由NT-MDT公司[9]和Bruker公司[10]提供。

圖5 測(cè)試集

對(duì)于不同的放大因子(2、3和4)，將測(cè)試集中原始的高分辨率圖像分別進(jìn)行相應(yīng)的下采樣來得到原始的低分辨率圖像(256×256像素、170×170像素和128×128像素)。

將這些低分辨率圖像導(dǎo)入已訓(xùn)練好的SRCNN網(wǎng)絡(luò)來重建出高分辨率圖像。引入圖像重建常用評(píng)價(jià)指標(biāo)：峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)，并與迭代反投影(IBP)、凸集投影(POCS)和雙三次插值進(jìn)行對(duì)比。表1、表2和表3分別展示了各樣本在放大因子為2、3和4時(shí)使用不同算法重建的PSNR、SSIM和時(shí)間。可以看到，放大因子為2時(shí)，除了聚合物薄膜的PSNR值比雙三次插值得到的稍低外，其他所有樣本用SRCNN算法得到的PSNR和SSIM都是最高的。特別是幽門螺桿菌的PSNR值高達(dá)54.67 dB，SSIM值高達(dá)0.999 4。在放大因子為3時(shí)，所有樣本用SRCNN算法得到的PSNR和SSIM值都是最高的。此時(shí)幽門螺桿菌的PSNR值也很高為50.81 dB，SSIM值為0.996 9。放大因子為4時(shí)，除了幽門螺桿菌，其它樣本用SRCNN算法得到的SSIM值都是最高的，其中聚合物薄膜的SSIM值高達(dá)0.989 7；此時(shí)對(duì)于PSNR，雙三次插值表現(xiàn)更好，其所有樣本的PSNR值都是最高的。而且可以看到，對(duì)于不同的放大因子，雙三次插值耗時(shí)都是特別短，速度上看會(huì)更高效，但重建質(zhì)量會(huì)比較差。圖6展示了幽門螺桿菌在放大因子為4時(shí)用不同算法重建的圖像視覺效果對(duì)比，其中在細(xì)節(jié)上，IBP重建效果最差，出現(xiàn)了像馬賽克一樣的紋理；POCS和雙三次插值重建的在邊緣上比較模糊，影響了質(zhì)量。可以清晰地看到用SRCNN算法重建的圖像最接近于原始的高分辨圖像，重建質(zhì)量最好。綜上可知，無論是主觀視覺效果還是客觀評(píng)價(jià)指標(biāo)，SRCNN算法都能有效地提高AFM圖像質(zhì)量，最終實(shí)現(xiàn)高分辨率高質(zhì)量成像。

表1 放大因子為2時(shí)使用各算法重建圖像的PSNR、SSIM和時(shí)間

表2 放大因子為3時(shí)使用各算法重建圖像的PSNR、SSIM和時(shí)間

表3 放大因子為4時(shí)使用各算法重建圖像的PSNR、SSIM和時(shí)間

圖6 幽門螺桿菌在放大因子為4時(shí)用不同算法重建的圖像視覺效果對(duì)比

3 結(jié)語

原子力顯微鏡是研究納米領(lǐng)域的一個(gè)很重要的儀器，但原始的AFM圖像分辨率普遍較低。本文將SRCNN算法應(yīng)用到AFM成像中，實(shí)現(xiàn)了AFM的超分辨率成像。分析和討論了4個(gè)不同形貌的樣本在不同算法下重建圖像的PSNR、SSIM和視覺效果結(jié)果。實(shí)驗(yàn)結(jié)果表明，在放大因子為2和3時(shí)，SRCNN算法的表現(xiàn)很好；放大因子為4時(shí)，PSNR稍差，但可以取得良好的視覺效果，形態(tài)上最接近于原始高分辨率圖像。綜上可知，SRCNN算法是實(shí)現(xiàn)AFM高分辨高質(zhì)量成像的一個(gè)很有前景的方法。