高宏旭 曹大軍 楊倪智

1.中郵建技術(shù)有限公司；2.南京金陵文化傳播有限公司；3.中通服咨詢設(shè)計(jì)研究院有限公司

0 引言

隨著科學(xué)技術(shù)的發(fā)展，社會(huì)分工協(xié)作的必要性越來越明顯，專業(yè)的人做專業(yè)的事才能將事情做精做深，科學(xué)研究同樣如此。從整體架構(gòu)層面，將整個(gè)科研工作分解成一個(gè)個(gè)相對(duì)獨(dú)立的任務(wù)包，由不同人員完成不同的任務(wù)包，實(shí)現(xiàn)任務(wù)模塊的并行處理，加速任務(wù)進(jìn)度同時(shí)提高任務(wù)完成質(zhì)量，已經(jīng)成為一種共識(shí)。

基礎(chǔ)開發(fā)環(huán)境是支撐科研任務(wù)分工協(xié)作的基石，部署開發(fā)平臺(tái)通常是研究工作的第一步，開展基于人工智能的圖像識(shí)別研究亦不例外。為了避免研究人員重復(fù)開發(fā)具有相同功能的代碼，研究開始前需要整合很多基礎(chǔ)開發(fā)包以部署形成圖像識(shí)別開發(fā)環(huán)境平臺(tái)。這些外部第三方程序包在引入開發(fā)平臺(tái)的過程中對(duì)研究人員帶來了極大挑戰(zhàn)：一方面，需要豐富的操作系統(tǒng)及網(wǎng)絡(luò)配置相關(guān)知識(shí)；另一方面，具備較大的學(xué)科背景跨度。因此，搭建開發(fā)平臺(tái)往往會(huì)浪費(fèi)研究人員大量的寶貴時(shí)間。為降低圖像識(shí)別開發(fā)平臺(tái)的部署難度，節(jié)省開發(fā)時(shí)間，研究面向人工智能的圖像識(shí)別開發(fā)平臺(tái)的一鍵部署方法成為亟待解決的難題。

本文結(jié)合工作實(shí)際提出了一種圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)一鍵部署方案，其創(chuàng)新性包括兩個(gè)方面：一是設(shè)計(jì)了面向人工智能應(yīng)用的通用開發(fā)平臺(tái)部署框架；二是引入平臺(tái)搭建依賴清單并應(yīng)用批處理腳本解決各類平臺(tái)關(guān)聯(lián)工具包的快速、高效、透明安裝，實(shí)現(xiàn)圖像處理開發(fā)訓(xùn)練平臺(tái)的快速搭建。本文所提出的開發(fā)平臺(tái)構(gòu)建方案大大降低了圖像識(shí)別乃至人工智能項(xiàng)目的研發(fā)準(zhǔn)入門檻，提高了項(xiàng)目研發(fā)效率，縮短了項(xiàng)目研發(fā)周期，加快了研發(fā)成果的產(chǎn)出。

1 圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)的部署框架設(shè)計(jì)

搭建圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)的首要步驟是分析平臺(tái)需求并設(shè)計(jì)平臺(tái)框架，其中固定操作系統(tǒng)類型及版本是核心工作之一。事實(shí)上，對(duì)不同的操作系統(tǒng)，模型訓(xùn)練開發(fā)平臺(tái)相關(guān)依賴工具包的適應(yīng)性存在細(xì)微的差別，這種差別會(huì)直接影響平臺(tái)功能和實(shí)驗(yàn)結(jié)果，因此固定操作系統(tǒng)版本及引入第三方包的版本，是極為重要和必要的，需要慎重選擇。

操作系統(tǒng)確定后，安裝好對(duì)應(yīng)Python包管理器及環(huán)境管理器Anaconda，后續(xù)所有批處理操作都基于該版本Anaconda的conda命令進(jìn)行管理，或者基于pip進(jìn)行相關(guān)的包管理。這兩種平臺(tái)操作管理方案的區(qū)別是：前者安裝和管理來自Anaconda的工具包，這些工具包可能包含任何語言編寫的軟件包；后者雖然為官方認(rèn)可的安裝包管理器pip，但是只能安裝基于python語言的軟件包。此外，在創(chuàng)建虛擬機(jī)能力及安裝依賴項(xiàng)檢查的能力上，conda也優(yōu)于pip，因此建議使用conda作為包管理器。

確定好平臺(tái)操作系統(tǒng)并選擇好平臺(tái)軟件包管理工具后，即可按照?qǐng)D1給出的圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)部署框架圖，部署流程構(gòu)建圖像識(shí)別模型的訓(xùn)練開發(fā)平臺(tái)框架，整體思想為確定在哪種操作系統(tǒng)上進(jìn)行安裝，而后根據(jù)操作系統(tǒng)不同下載對(duì)應(yīng)的Anaconda版本，安裝“包管理器及環(huán)境管理器Anaconda”，根據(jù)事先準(zhǔn)備好的安裝列表，對(duì)要安裝的內(nèi)容進(jìn)行批處理腳本編寫，編寫完畢后，后續(xù)就可以基于該批處理腳本進(jìn)行自動(dòng)化安裝，新環(huán)境搭建時(shí)，運(yùn)行該腳本，腳本設(shè)置斷點(diǎn)執(zhí)行的能力，當(dāng)在某一環(huán)節(jié)安裝出錯(cuò)，拋出對(duì)應(yīng)的錯(cuò)誤提示信息，用戶解決后，繼續(xù)運(yùn)行該批處理程序，程序可以從斷點(diǎn)后繼續(xù)執(zhí)行，直至安裝完畢。如圖1所示。

圖1 圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)部署框架

2 開發(fā)平臺(tái)部署工具準(zhǔn)備

在圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)搭建的過程中，涉及到種類繁多、學(xué)科跨度大的海量工具包的安裝，收集整理平臺(tái)搭建依賴清單，即準(zhǔn)備好平臺(tái)部署所需的各種工具，是極具挑戰(zhàn)的難題之一，這讓初級(jí)研發(fā)人員望而生畏。

一種有效的解決方法是對(duì)平臺(tái)搭建依賴的工具包進(jìn)行細(xì)致地分類整理并形成清單，合理定義編排工具包的安裝順序，最后通過設(shè)計(jì)批處理腳本來解決工具包的安裝難題。通常，Linux操作系統(tǒng)下采用Shell命令編排安裝工具包的批處理腳本，而Windows操作系統(tǒng)下采用BAT命令編排安裝工具包的批處理腳本。

就圖像識(shí)別研究而言，其模型訓(xùn)練開發(fā)平臺(tái)依賴的工具包可以分為如下幾類：開發(fā)語言相關(guān)、代碼管理相關(guān)、配置文件相關(guān)、算法相關(guān)、圖像處理相關(guān)、機(jī)器學(xué)習(xí)相關(guān)、可視化工具、圖形處理器（Graphic Processing Unit，GPU）的應(yīng)用程序編程接口（Application Programming Interface，API）管理工具等。工具包的詳細(xì)分類見圖2圖像識(shí)別訓(xùn)練開發(fā)平臺(tái)搭建依賴工具包分類清單所示。

需要說明的是，圖2中特別引入了“創(chuàng)建虛擬環(huán)境”的分支以支持平臺(tái)功能的擴(kuò)展，例如：當(dāng)人工智能應(yīng)用項(xiàng)目研發(fā)同時(shí)需要圖像識(shí)別模型和語音識(shí)別模型兩個(gè)訓(xùn)練開發(fā)平臺(tái)時(shí)，可以將兩個(gè)平臺(tái)各自獨(dú)立依賴的程序包分別安裝在兩個(gè)虛擬環(huán)境上形成兩個(gè)獨(dú)立的開發(fā)平臺(tái)，從而避免不同平臺(tái)間的功能沖突。

圖2 圖像識(shí)別訓(xùn)練開發(fā)平臺(tái)搭建依賴工具包分類清單

3 開發(fā)平臺(tái)部署的代碼實(shí)現(xiàn)

基于上文提出的圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)部署框架，本節(jié)通過軟件編程導(dǎo)入各類工具包并構(gòu)建平臺(tái)的功能模塊，進(jìn)而實(shí)現(xiàn)開發(fā)平臺(tái)的具體部署。

實(shí)現(xiàn)圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)部署的關(guān)鍵是編寫安裝工具包的批處理腳本。本文基于Linux操作系統(tǒng)的shell命令編寫平臺(tái)工具包安裝的批處理腳本文件并命名為setup.sh。運(yùn)行Linux命令source setup.sh，根據(jù)提示鍵入相應(yīng)數(shù)字，即可完成所需工具包的安裝與調(diào)用，實(shí)現(xiàn)平臺(tái)開發(fā)環(huán)境的一鍵部署。

平臺(tái)工具包安裝批處理腳本偽代碼如下：

while true

do

menu

choice

case $select in

1）

Creat_virtual

Active_virtual

…

Setup_face_recognition

Setup_pandas;;

2）

Active_virtual

…

Setup_face_recognition

Setup_pandas;;

…

23）

Setup_face_recognition

Setup_pandas;;

24）

Setup_pandas;;

100）

exit;;

*）

echo “choice error”

esac

done

考慮到工具包在安裝過程中可能出錯(cuò)而影響開發(fā)平臺(tái)的功能部署和正常使用，因此需對(duì)安裝過程進(jìn)行跟蹤。當(dāng)出現(xiàn)安裝故障時(shí)，腳本應(yīng)抓取故障信息顯示給用戶，用戶根據(jù)提示信息解決安裝故障，然后繼續(xù)執(zhí)行setup.sh腳本完成工具包的安裝和平臺(tái)環(huán)境部署。

安裝故障信息抓取功能偽代碼如下：

Setup_Cython（） {

conda install Cython

if [ $? -eq 0 ]; then

echo “安裝完成Cython”

else

echo $?

exit

fi

}

當(dāng)安裝程序成功執(zhí)行完畢，圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)即構(gòu)建部署完成，基于該平臺(tái)即可開展不同的圖像識(shí)別項(xiàng)目研發(fā)。

值得說明的是，上述圖像識(shí)別訓(xùn)練開發(fā)平臺(tái)無論是架構(gòu)還是工具包安裝批處理腳本文件，均與工具包的具體內(nèi)容弱相關(guān)，因此可以通過增加依賴工具包方便地?cái)U(kuò)展平臺(tái)功能，這意味著平臺(tái)具有良好的可擴(kuò)展性。此外，通過整體替換平臺(tái)依賴工具包清單并基于上述批處理腳本文件進(jìn)行安裝部署，原來的圖像識(shí)別訓(xùn)練開發(fā)平臺(tái)隨之變?yōu)樾碌墓δ芷脚_(tái)，這意味著平臺(tái)具有良好的移植性。

4 結(jié)束語

本文探討了圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)的快速部署方法，設(shè)計(jì)了一種通用開發(fā)平臺(tái)部署框架，給出了平臺(tái)操作系統(tǒng)選擇建議，提出了基于分類清單的平臺(tái)依賴工具包的批處理安裝策略，并通過編寫腳本文件實(shí)現(xiàn)了平臺(tái)的快速構(gòu)建。所提出的圖像識(shí)別模型訓(xùn)練開發(fā)平臺(tái)一鍵部署方案有效降低了智能圖像識(shí)別研究的入門門檻，將研究人員從復(fù)雜的前置工作中解放出來，專注于算法的實(shí)現(xiàn)與調(diào)優(yōu)，大大縮短了項(xiàng)目研發(fā)周期；同時(shí)使研發(fā)管理規(guī)范化，根據(jù)項(xiàng)目進(jìn)展情況酌情維護(hù)平臺(tái)腳本并定期發(fā)布新版本，提高了項(xiàng)目開發(fā)效率。該方案亦具有可擴(kuò)展性和可移植性，能夠靈活應(yīng)用于語音識(shí)別等其他人工智能研究領(lǐng)域。