尚尚，林思劼，郭偉新，叢豐裕

1.大連理工大學 電子信息與電氣工程學部 生物醫(yī)學工程學院，遼寧 大連 116024；2.同濟大學 a.環(huán)境科學與工程學院 環(huán)境科學系 教育部長江水環(huán)境重點實驗室；b.電子與信息工程學院，上海 200092

引言

光學顯微鏡在生物醫(yī)學研究和臨床疾病診斷中應用廣泛。顯微鏡的生產廠商一般會提供與設備相配套的數字圖像處理軟件，一些第三方軟件公司也會提供專用的光學顯微影像處理軟件。這些軟件雖然提供了豐富的圖像處理功能，卻未能集成近年來新興的深度學習圖像分析功能。最新的設備可能自帶深度神經網絡的軟件功能，但新設備往往價格昂貴，且需要配備高性能計算機，不適合中小規(guī)模的醫(yī)院或科研單位。此外，我國廣大企業(yè)、醫(yī)院和高校對人工智能（Artificial Intelligence，AI）圖像處理有著各自的訂制化需求，單一的廠商軟件難以滿足千差萬別的用戶需求，因此需要開發(fā)低成本、訂制化的AI硬件設備。目前，我國光學顯微鏡裝機量龐大，如果能夠將新興的深度學習算法與大量已安裝的光學顯微鏡相結合，則可實現用AI賦能現有設備，使之與傳統(tǒng)的光學顯微鏡設備相結合，推動光學顯微鏡在醫(yī)療和科研中的升級應用。

近年來，深度神經網絡在圖像處理、語音分析、自動駕駛等領域取得了廣泛應用[1-6]。由于深度神經網絡具有高計算復雜度、高功耗的特征，限制了其在便攜式設備中的應用。這個問題的解決方法之一是將數據傳輸到云端服務器進行處理，再將處理結果發(fā)送到終端設備，但是這種方法對數據傳輸速度提出了較高要求，而且租用云端服務器也會帶來額外費用成本，不太適合中小型醫(yī)院或科研單位。另一種解決辦法是將深度神經網絡部署在便攜式終端計算設備，但是便攜式設備對算力和功耗有限制，無法運行過于復雜的神經網絡。為解決這一問題，目前大致有兩種思路，其一是設計小型化、高性能的神經網絡，但研發(fā)難度較大且無法滿足千差萬別的用戶需求；其二是開發(fā)可運行中小型神經網絡的通用嵌入式設備，如果能夠做到成本低廉且性能較好，則可以運行各種訂制開發(fā)的神經網絡，具有較好的可推廣性。在現有的嵌入式計算設備中，FPGA（Field Programmable Gate Array）提供了部署深度神經網絡的方案。FPGA在單位能耗下性能較強，適用于資源有限的嵌入式應用[7]。專用于深度學習的芯片[8]也是一種解決方案，例如谷歌的張量處理單元（Tensor Processing Unit，TPU）[9]，對于特定的任務場景下具有高效率、低能耗的特點。

考慮到我國大量顯微鏡用戶千差萬別的個性化需求，本研究通過權衡深度神經網絡的精度、速度和能耗指標，選擇Nvidia公司便攜式AI硬件平臺Jetson TX2部署深度神經網絡[10]，并將該系統(tǒng)與傳統(tǒng)的數字光學顯微鏡相結合，實現對斑馬魚卵顯微圖像中不同魚卵發(fā)育類型的分類檢測，從包含大量魚卵的圖像中迅速識別受精、未受精、死亡魚卵，為臨床前藥物實驗提供圖像分析支持[11-14]。本研究所構建的系統(tǒng)可達到3幀/s的圖像處理速度，設備購置成本控制在3000元以內，不僅適用于斑馬魚卵的顯微圖像處理，對于其他類型光學顯微圖像的AI分析也具有良好借鑒價值。

1 方法

1.1 整體流程

本研究以斑馬魚卵圖像的自動化分類應用為例，使用便攜式計算設備加載深度神經網絡并將其與傳統(tǒng)數字光學顯微鏡相結合，實現了對傳統(tǒng)顯微鏡的低成本AI賦能。在神經網絡的訓練階段，首先采用傳統(tǒng)數字光學顯微鏡采集得到斑馬魚卵圖像，經過人工圖像標注在高性能計算機工作站上完成深度神經網絡訓練，再將訓練好的網絡下載到便攜式計算設備中。在應用階段，裝載了深度神經網絡的便攜式設備從顯微鏡所連的計算機中導入新采集的圖像并完成分析，再將分析結果傳回計算機供用戶查看。本方法的整體流程如圖1所示。

圖1 系統(tǒng)的配置過程和應用流程

本研究對斑馬魚卵施加了化學藥物，經藥物作用后的魚卵可能處于受精、未受精或死亡狀態(tài)。其中，受精的魚卵的月芽形細胞群部分是渾濁的，未受精的魚卵月芽形細胞群部分是澄清的，而死亡的魚卵則會呈現不規(guī)則的暗色斑塊。通過檢測處于不同狀態(tài)的魚卵數目比例，可以對藥物的毒性給予評估。由于圖像中魚卵眾多，人工辨識的工作量很大，因此需要自動化的計算機算法來完成這一任務。圖2展示了所處理的斑馬魚卵圖像。

圖2 斑馬魚卵顯微圖像以及各種類別魚卵示例

1.2 神經網絡的訓練

本研究采用Faster R-CNN（Region Convolutional Network）[15]網絡實現不同狀態(tài)魚卵的檢測。Faster R-CNN是用于目標檢測與定位領域的專用深度神經網絡，其整體網絡結構如圖3所示，本研究基本延用了經典的Faster R-CNN網絡結構。圖像被輸入網絡后，通過5個卷積層和3個全連接層提取全圖范圍的分類特征圖。得到的特征圖被輸入區(qū)域提議網絡獲取各類魚卵區(qū)域的初始坐標范圍和初始分類結果，然后根據初始坐標范圍提取每個區(qū)域的局部特征圖并輸入給全連接網絡和進一步的分類層和回歸層，最終得到對每個魚卵的分類結果和區(qū)域坐標范圍。受篇幅所限，關于Faster R-CNN網絡原理的介紹請讀者參見文獻[15]。

圖3 本研究所采用的Faster R-CNN網絡的結構圖

本研究隨機選取了59幅斑馬魚卵顯微圖像作為Faster R-CNN網絡的訓練數據集，其中50用于訓練神經網絡，9幅用于對網絡的性能做獨立驗證。采用人工標記的方式從訓練數據中標注了938個魚卵的正方形包圍盒，并標注了每個魚卵的狀態(tài)（受精、未受精或死亡）。在此基礎上，進一步對所標注的938個魚卵進行數據擴增處理，通過圖像旋轉（以5°角為步長旋轉70次）得到938×70=65660個魚卵，從而增加了訓練數據的數目。擴增后魚卵均用來訓練Faster-RCNN神經網絡，其中訓練（Training）數據49245例，驗證（Validation）數據16415例，即訓練與驗證集的比例為3:1。9幅測試（Testing）圖像中共包含魚卵461個，經過專家標識出受精卵349個，相當于未經數據擴增之前的訓練用魚卵數目（938個）的一半，其中未受精卵85個、死亡魚卵27個作為金標準。本研究邀請一位具有三年斑馬魚顯微影像研究經驗的專業(yè)人員依據領域內著作做出金標準的標定[16]，其標定結果再由一位十年以上專業(yè)經驗的資深專家復審確定。

由于神經網絡的訓練并不需要在便攜式設備上進行，因此Faster R-CNN網絡的訓練是在計算能力較強的計算機工作站上進行的，該工作站配備2.4 GHz四核心CPU和87 GB的內存以及擁有8 GB顯存的NVIDIA Qudro k4000型號圖形處理單元（Graphics Processing Unit，GPU）。該服務器運行Ubuntu版本的Linux操作系統(tǒng)，并為了運行Faster R-CNN配置了Caffee2深度學習環(huán)境。

1.3 便攜式計算設備的配置

訓練好的神經網絡被下載到Jetson TX2便攜式計算設備中。Jetson TX2是英偉達（NVIDIA）公司開發(fā)的便攜式AI平臺，外形小巧（50 mm×87 mm），整體功耗低于7.5 W，具有6個CPU核心、8 GB內存、256個GPU核心，適用于機器人、無人機、智能攝像機和便攜醫(yī)療式設備等智能終端設備。本研究為Jetson TX2設備安裝了Ubuntu版本的Linux操作系統(tǒng)，并在該操作系統(tǒng)基礎上進一步配置了與訓練工作站相同的Caffe2深度學習環(huán)境，因此下載到Jetson TX2的神經網絡無需額外調整即可正常運行，從而為深度神經網絡的移植提供了便利。

完成了Faster R-CNN網絡向便攜式計算設備的移植后，進一步通過無線局域網將Jetson TX2與操控數字顯微鏡的計算機相連接。由于Jetson TX2本質上是一臺Linux計算機，因此可通過常規(guī)的安全外殼協議軟件（Secure Shell，即SSH）或者其他各種遠程登錄方法實現PC機對Jetson TX2的遠程控制和文件傳輸，并遠程調用Jetson TX2中的Faster R-CNN網絡完成對傳入圖像的處理，得到不同類別魚卵的檢測結果（包括對不同類別魚卵的標記圖以及各類魚卵數目）再傳回PC機供用戶查看。圖4為整個系統(tǒng)的硬件配置圖，可以看到Jetson TX2設備的尺寸較小，可以方便地放置在顯微鏡的操作電腦旁。設備僅需連接電源并連入室內無線局域網，額外占用空間很小。

圖4 系統(tǒng)的硬件配置圖

2 結果

為評估系統(tǒng)的性能，本研究使用光學顯微鏡采集了9幅斑馬魚卵圖像作為測試圖像，所采用的顯微鏡型號是Olympus SZ61，光源為LED冷光透射照明。圖像采集視野為200 mm×150 mm、8倍放大倍數，采集圖片保存為jpeg格式，每張圖片同時包含受精、未受精和死亡的魚卵。采用所搭建的系統(tǒng)對9幅測試用斑馬魚卵圖像進行了深度神經網絡檢測，進一步測量了魚卵的檢測精度、速度，并將該系統(tǒng)的運行精度與速度與高性能工作站進行對比。

2.1 顯微圖像檢測結果

經過測試，所有魚卵均被成功檢測到，沒有漏掉的魚卵。由于本研究所處理的斑馬魚卵圖像背景相對單純，視野中除了魚卵不包含其它干擾物體，因此檢出的精確度和召回率都是100%，這主要歸功于實驗條件的控制。對于將來可能遇到的包含了干擾物的斑馬魚卵顯微圖像，應該根據具體情況設計和訓練專用的神經網絡，暫不作為本文現階段研究內容。圖5展示了本研究所搭建系統(tǒng)對斑馬魚卵顯微圖像的檢測結果，系統(tǒng)成功標記各類魚卵的區(qū)域，并給出了每個魚卵的分類概率。

圖5 斑馬魚卵顯微圖像的檢測結果

進一步地，本研究采用靈敏度（Sensitivity）和特異性（Specificity）來定量衡量每一類魚卵的檢測效果。圖6展示了三類魚卵檢測的混淆矩陣，其中每一列代表了被算法檢測到的類別，每一行代表了金標準的真實類別，第i行第j列中的數字代表了真實類別i被檢測為類別j的樣本數目?；谠摶煜仃?，靈敏度被定義為Sensitivity=NTP/(NTP+NFN)，特異性被定義為Specificity=NTN/(NTN+NFP)，其中NTP、NTN、NFP和NFN分別代表真陽性、真陰性、假陽性和假陰性識別的魚卵個數。表1列出了不同類別魚卵的靈敏度和特異性。

圖6 三類斑馬魚卵檢測結果的混淆矩陣

表1 不同類別斑馬魚卵檢測準確率（%）

由表1可見，Faster R-CNN網絡對于各種類別魚卵的檢測特異性都較好（均在0.90以上），而敏感度略低于特異性，但也在0.88以上。通過分析混淆矩陣可知，敏感度略低的原因在于網絡對于受精與未受精這兩類魚卵有一定的混淆錯誤，因為這兩類魚卵的區(qū)別僅在于月牙形細胞群部分是否澄清，而這一部分的面積占整個魚卵的三分之一以下，給準確區(qū)分帶來一定挑戰(zhàn)。相比之下，死亡與未死亡（包括受精和未受精）魚卵之間的錯誤分類則較少，這是因為死亡魚卵呈現整體性的暗色斑塊，相對容易區(qū)分。

在檢測效率方面，系統(tǒng)對于3072×1728像素尺寸的圖片的檢測速度為0.31～0.34 s/幅，相當于3 FPS（每秒幀率，Frame Per Second）的檢測速度?？紤]到斑馬魚卵顯微圖像的采集效率一般為若干分鐘一幅，本系統(tǒng)的檢測效率可以滿足真實應用環(huán)境的速度需求。

2.2 與高性能工作站的對比

在上述檢測實驗基礎上，研究進一步對比了便攜式計算設備與高性能工作站的檢測性能。這里所采用的高性能工作站與訓練神經網絡的工作站為同一臺設備，硬件配置為CPU主頻2.4 GHz、內存87 GB、GPU顯存8 GB。使用該工作站運行相同的神經網絡處理相同的測試圖像，得到的各類魚卵識別準確率與表1相同，測試速度可達到15 FPS的檢測速度。然而，由于高性能工作站不能裝配在顯微鏡所處的實驗室房間內，需要將圖像拷貝至工作站再運行神經網絡程序，反而增加了額外的數據拷貝時間。

3 討論

本研究提出了一種新式的、低成本的、可操作性強的傳統(tǒng)光學顯微鏡AI賦能方法，借助便攜式計算設備運行深度神經網絡實現了顯微鏡圖像的AI分析，避免了因軟硬件設備升級帶來的高額成本支出，為不同用戶訂制化的分析需求提供了技術方案。本方案僅需不足3000元的便攜式計算設備購置成本，明顯低于購置計算機工作站的成本，并且可以將設備安放在顯微鏡旁側供用戶隨時使用。這種傳統(tǒng)顯微鏡設備的AI賦能方案適用于我國已經安裝的大量光學顯微鏡，可推廣性較好。

本文以斑馬魚卵的檢測和分類為應用案例驗證了所提出方案的可行性。系統(tǒng)對于受精、未受精和死亡魚卵的檢測敏感度和特異性較好，并且達到了3 FPS的實時檢測效率。相比高性能的計算機工作站，便攜式計算設備的檢測精度一致，只有檢測速度略低，但仍達到了每秒多幅的檢測效率。這種檢測速度對于普通的醫(yī)療單位和科研機構是完全夠用的。

相比于高性能的工作站，便攜式計算設備的一個局限性在于不能運行大規(guī)模的神經網絡或處理較大尺寸的圖像數據（如三維醫(yī)學影像）。本研究所采用的Jetson TX2設備的內存為8 GB，該內存被CPU和GPU共享，用于處理傳統(tǒng)的數字光學顯微鏡所采集的圖像尺寸（3072×1728像素）是足夠的。實驗證明，對于像Faster R-CNN這樣規(guī)模的神經網絡，Jetson TX2設備完全可以承載，而這種網絡已經可以滿足很多應用場景的物體檢測需求。近年來，更小規(guī)模的物體檢測網絡不斷被提出[17-20]，便攜式計算設備的內存和運算能力也在不斷提高，因此本研究所提出的方案還有較大的性能提升空間。

本研究雖然以斑馬魚卵顯微圖像為測試數據，但是所提出的方案也適用于其他類別的生物醫(yī)學顯微圖像，比如人體或動物的細胞或組織，因此本文方法對于其他光學顯微鏡的應用場景也有借鑒價值。需要說明的是，對于不同的用戶應用場景，應該訓練不同的專用網絡。對于一般的醫(yī)療和生物醫(yī)學研究機構，神經網絡的設計和訓練需要聘請專業(yè)的技術人員或與科研單位合作。目前各大技術企業(yè)提供的云端AI系統(tǒng)正變得越來越廉價易用[21]，技術門檻正在逐步降低，以至于沒有理工科背景的用戶也能方便使用。由于Jetson TX2采用通用的計算機構架，可以在不改變硬件配置的前提下運行不同的神經網絡，這也是本文方法可推廣性較好的原因之一。

目前，國內外也有其它嵌入式AI硬件系統(tǒng)可以用來解決類似問題。一些技術企業(yè)和科研機構開發(fā)了專用的AI芯片[8-9]。但是，由于專用芯片設計成本高，不適用于現有傳統(tǒng)顯微鏡設備的升級改造。另外，基于FPGA的神經網絡應用近年來也取得快速進步[7]，但其技術門檻高于本研究提出的方案，需要掌握FPGA編程技能。相比之下，本方案僅需要掌握在Linux或windows操作系統(tǒng)下訓練和運行神經網絡算法的技能即可。當然，Jetson TX2設備相比專門的AI芯片或FPGA設備的運行效率會更低，因此我們將其應用于光學顯微鏡圖像處理這種對計算效率要求不高的需求場景。

在將來的研究中，我們會進一步嘗試設計和使用更小規(guī)模的神經網絡，以便提高系統(tǒng)的檢測效率。我們還將進一步推廣該系統(tǒng)至更多的醫(yī)療和科研單位，推進AI技術與傳統(tǒng)光學顯微鏡設備的結合。

4 結論

本研究針對傳統(tǒng)光學顯微鏡的AI賦能問題提出了一種基于便攜式計算設備的低成本解決方法，并以斑馬魚卵顯微圖像的分類檢測應用為例驗證了該方法的可行性。本研究所提出的技術方案有助于促進深度學習技術在中小規(guī)模醫(yī)療和科研單位中的應用，推動新興AI技術在生物醫(yī)學研究中的普及。