滕臻，崔國華，高鵬，陳奇

(1.河北工程大學(xué)機械與裝備工程學(xué)院，河北邯鄲 056038；2.上海工程技術(shù)大學(xué)智能機器人研發(fā)中心，上海 201620；3.深圳市博為醫(yī)療機器人有限公司，廣東深圳 518000；4.廣東省人民醫(yī)院，廣東廣州 510080)

0 前言

靜脈藥物調(diào)配機器人主要為了解決人工配置過程中存在的環(huán)境不達(dá)標(biāo)、有毒藥物揮發(fā)危害配藥人員健康、勞動強度大、效率低等問題。同時達(dá)到比現(xiàn)存類似機器人體積小、效率高、配置過程更加穩(wěn)定的目的，代替配藥人員自動完成靜脈輸液藥物的配置。靜脈藥物調(diào)配機器人代替了人工配藥，將藥師和醫(yī)護(hù)人員從繁忙的手動配藥中解放出來。主要功能為開啟安瓿瓶和西林瓶，并利用注射器抽取、混合瓶內(nèi)藥物，然后將混合藥液注入輸液袋中，從而可以直接拿給病人滴注使用。靜脈配藥機器人主要用來配置化療藥物等有毒藥物，必須要保證配藥的成功率及安全性。

靜脈藥物調(diào)配機器人主要由機械臂模塊、安瓿模塊、注射模塊、溶媒模塊、振動模塊、計量模塊、藥品臺模塊及外圍模塊組成的。五自由度的機械臂起到運輸藥瓶的作用，視覺識別完成后，機械臂從藥品臺夾取藥物運輸?shù)礁鱾€模塊。藥瓶分為安瓿瓶和西林瓶兩類，兩種藥物配藥流程不同。靜脈藥物調(diào)配機器人的操作流程是：藥師掃描處方二維碼，配藥機器人上位機獲得配藥信息；藥師按照上位機的提示將藥物按順序放入藥品臺，然后點擊“配藥”按鈕，藥品臺開始移動到視覺識別位置；視覺識別完成后，靜脈配藥機器人開始根據(jù)不同的藥物進(jìn)行相對應(yīng)配藥流程。在PIVAS(靜脈藥物配置中心)，藥師每天會使用配藥機器人配置大量的藥物，醫(yī)護(hù)人員在使用配藥機器人時，可能會放錯或漏放藥物。安瓿瓶藥物與西林瓶藥物的配藥流程不同。若放錯藥物，可能會導(dǎo)致配藥失敗。化療藥物如果在配藥倉中破裂灑到內(nèi)部模塊上，由于配藥倉空間狹小，醫(yī)護(hù)人員在清理時會非常不方便和危險。

視覺識別的應(yīng)用能夠有效提高配藥的成功率。在配藥機器人上，傳統(tǒng)的視覺識別是基于樸素貝葉斯分類，首先對采集的圖片進(jìn)行分割、灰度化處理、膨脹腐蝕、邊緣提取等一系列操作，然后通過貝葉斯分類算法識別藥瓶種類。這種藥瓶識別方式有很大的缺陷：受環(huán)境干擾性大，必須在穩(wěn)定背景光源下識別成功率才能達(dá)到標(biāo)準(zhǔn)。隨著深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展，目標(biāo)檢測領(lǐng)域得到了新的關(guān)注，并且在不斷發(fā)展。本文作者以識別藥瓶為研究對象，提出了一種基于YOLOv5s的靜脈藥物調(diào)配機器人識別藥物的算法，實現(xiàn)了對藥瓶的高效識別。該方法有效提高了配藥機器人的配藥成功率。

1 YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv5網(wǎng)絡(luò)是YOLO體系結(jié)構(gòu)系列的最新產(chǎn)品。YOLOv5網(wǎng)絡(luò)包含4種不同的體系結(jié)構(gòu),分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5通過depth multiple和width multiple兩個參數(shù)來改變網(wǎng)絡(luò)的深度和寬度。其中，YOLOv5s是這4個網(wǎng)絡(luò)模型中深度和寬度最小的網(wǎng)絡(luò)，因此YOLOv5s具有很強的靈活性，并且YOLOv5s網(wǎng)絡(luò)具有模型尺寸小和檢測速度快等優(yōu)點，同時降低了識別模型的部署成本。本文作者選擇 YOLOv5s 作為藥瓶檢測和分類的模型，在自己制作的藥瓶數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用訓(xùn)練完成的YOLOv5s實現(xiàn)藥瓶的自動分類。

YOLOv5的整體布局與YOLOv4相似，同樣將網(wǎng)絡(luò)結(jié)構(gòu)劃分成輸入端、Backbone、Neck、Prediction 4個部分。如圖1所示,輸入端：YOLOv5采用Mosaic數(shù)據(jù)增強方式，并加入了自適應(yīng)圖片縮放與自適應(yīng)錨框計算。Backbone：采用Focus結(jié)構(gòu)，CSP結(jié)構(gòu)。Focus是主干網(wǎng)的第一層模塊，其目的是減少模型的計算量，加快訓(xùn)練速度。其原理是使用切片操作將輸入的3通道608×608×3的圖像分割成4個切片，每個切片的大小為304×304×3，再利用concat模塊將4個部分進(jìn)行深度連接，輸出特征圖大小為304×304×12；然后通過由32個卷積核組成的卷積層，生成大小為304×304×32的輸出特征圖；最后，通過BN層與Hardswish激活函數(shù)將結(jié)果輸出到下一層。YOLOv5中設(shè)計了兩種不同的CSP結(jié)構(gòu)，分別是CSP1-X結(jié)構(gòu)和CSP2-X結(jié)構(gòu)。主干網(wǎng)絡(luò)中采用CSP1-X結(jié)構(gòu)，它的目的是更好地提取圖像的深層特征。主干網(wǎng)的最后一層是SPP模塊，該模塊通過將任意大小的特征圖轉(zhuǎn)換為固定大小的特征向量來提高網(wǎng)絡(luò)的接收場。Neck:YOLOv5采用FPN和PAN結(jié)構(gòu)。頸部網(wǎng)絡(luò)中采用的是CSP2-X結(jié)構(gòu)。頸部網(wǎng)絡(luò)是組合與混合圖像特征的特征聚合層，主要用于生成特征金字塔網(wǎng)絡(luò)(FPN)，然后將輸出的特征映射傳送到檢測網(wǎng)絡(luò)。YOLOv5采用了一種新的FPN結(jié)構(gòu)，增強了自底向上的路徑，提高了底層特征的傳輸，增強了對不同尺度目標(biāo)的檢測。Prediction：采用GlOU-Loss作為損失函數(shù)，檢測網(wǎng)絡(luò)主要用于模型的最終檢測部分。

圖1 YOLOv5s結(jié)構(gòu)

2 YOLOv5s網(wǎng)絡(luò)模型訓(xùn)練

此次實驗自制一個數(shù)據(jù)集，首先手動拍照采集1 200張圖片，并用labelImg軟件進(jìn)行標(biāo)定。從1 200幅圖像中隨機抽取1 000幅圖像作為訓(xùn)練集，100幅圖像作為測試集，其余100幅做驗證集。其次，為了提高藥瓶目標(biāo)識別模型的訓(xùn)練效率，對訓(xùn)練集的1 000幅圖像進(jìn)行了壓縮，將其長度和寬度壓縮到原來的1/4。

由于數(shù)據(jù)集較小，為了提高藥瓶目標(biāo)檢測模型的泛化能力，利用MATLAB軟件的圖像處理功能，分別對訓(xùn)練集的1 000幅圖像采用了幾種圖像增強方法。圖像增強方法包括圖像亮度增強和降低、垂直鏡像、水平鏡像、多角度旋轉(zhuǎn)(90°、180°、270°)等?？紤]到相機在圖像采集過程中產(chǎn)生的噪聲以及采集到的圖片由于采集時相機的抖動而產(chǎn)生的模糊，在圖像中加入方差為0.01的高斯噪聲，進(jìn)行運動模糊處理。

此次實驗具體實驗配置如表1所示。

表1 目標(biāo)檢測實驗環(huán)境配置

此次研究采用端到端的隨機梯度下降法(SGD)訓(xùn)練YOLOv5s網(wǎng)絡(luò)。將模型訓(xùn)練的BatchSize設(shè)置為16，每次由BN層進(jìn)行正則化以更新模型的權(quán)重。動量因子設(shè)定為0.9，衰減系數(shù)設(shè)定為0.000 5，權(quán)值的初始學(xué)習(xí)率設(shè)定為0.01。將訓(xùn)練次數(shù)設(shè)為300次，訓(xùn)練后保存識別模型的權(quán)值文件，利用測試集對模型的性能進(jìn)行評價。

圖2為tensorboard可視化顯示訓(xùn)練和測試結(jié)果。其平均精度均值(mAP)、召回率(recall)、查準(zhǔn)率(precision)和損失函數(shù)(giou_loss)如圖2所示。YOLOv5s剛開始的損失函數(shù)值較小，在訓(xùn)練100輪左右趨于穩(wěn)定，損失曲線如圖2(d)所示，損失值在網(wǎng)絡(luò)訓(xùn)練的前50個階段迅速下降，并且基本上在訓(xùn)練100個階段后趨于穩(wěn)定。召回率的曲線表明模型訓(xùn)練良好，沒有過度擬合。本文作者以經(jīng)過300次訓(xùn)練后的模型輸出作為靜脈配藥機器人的藥瓶目標(biāo)識別模型。

圖2 模型訓(xùn)練階段驗證損失

3 測試結(jié)果與分析

實驗的硬件環(huán)境如圖3所示，以具有獨立層流的配藥機器人內(nèi)部作為測試場景。工業(yè)相機與背景光源之間距離約600 mm，藥瓶放置于背景光源之前。通過工業(yè)攝像頭，可以一次進(jìn)行12只藥瓶的識別和測量。外部光源采用機器人內(nèi)部的照明光源，從左上方照射。背景光源和外部光源均20級可調(diào)。

圖3 不同類型藥瓶識別實驗環(huán)境

對比實驗分別采用背景光源和外部光源情況下，采用基于貝葉斯方法的藥瓶分類以及基于YOLOv5s分類方法進(jìn)行實驗。采用外部光源情況下，如圖4所示，由于光線照射角度不一致、物品之間的遮擋等因素，產(chǎn)生很多明暗不同的情況，且對于透明的安瓿瓶，其視覺效果接近人的視覺，不容易從背景中分離出來。而采用背景平行光源的情況下，如圖5所示，藥瓶輪廓呈明顯的黑色，藥瓶較容易辨識。

分別在外部光源和平行光源條件下改變曝光度，在每個不同曝光度下進(jìn)行20次對比實驗，每次放置12個藥瓶到藥品臺。準(zhǔn)確率等于所有識別成功的瓶數(shù)除以總瓶數(shù)。結(jié)果繪制如下：圖6為采用外部光源情況下的實驗結(jié)果；圖7為采用背景平行光源的情況下的實驗結(jié)果。

圖4 采用外部光源的實驗效果

圖5 采用背景平行光源的實驗效果

圖6 外部光源不同曝光度對識別準(zhǔn)確率的影響 圖7 背景光源不同曝光度對識別準(zhǔn)確率的影響

通過對比可得：

(1)在采用外部光源的情況下，基于樸素貝葉斯方法的藥瓶分類效果明顯差于基于深度學(xué)習(xí)方法的效果,尤其在透明安瓿瓶的識別上，識別率更低。

(2)在采用背景平行光源的情況下，貝葉斯方法在曝光度40～80之間時，可實現(xiàn)與深度學(xué)習(xí)方法相同的識別率。在曝光度過低或過高的情況下，基于貝葉斯分類器的算法不能完整提取出藥瓶輪廓，貝葉斯方法識別率下降更迅速。

(3)外部光源和背景光源曝光度在過低、過高區(qū)域時，兩種方法均會出現(xiàn)識別率下降的情況。在有背景光源條件下，高曝光度會導(dǎo)致兩種方法識別率快速下降，過高的曝光度會造成貝葉斯方法完全識別不出藥瓶。

(4)采用深度學(xué)習(xí)方法的藥瓶識別對于光源的敏感度相對較低，尤其在50～100曝光度范圍，兩種光源情況下識別率基本一致。

基于上述實驗效果，可以得出在針對藥瓶類型的識別中，YOLOv5s比傳統(tǒng)的藥瓶識別技術(shù)識別正確率更高、抗干擾性更強、魯棒性更好?；谪惾~斯分類器的識別方法必須在光源合適的時候才能保證識別的正確率。YOLOv5s的應(yīng)用場景更廣，可以在不具備較高光源條件的情況下使用。

4 結(jié)論

針對不同工作環(huán)境下的靜脈藥物調(diào)配機器人對藥瓶類型的識別，分別提出了采用基于機器視覺和貝葉斯方法的識別方法,以及基于深度學(xué)習(xí)YOLOv5s框架的識別方法。并深入研究了兩種方法在外部光源、背景光源不同情況下的識別效果。

通過對比可以得到結(jié)論，基于YOLOv5s網(wǎng)絡(luò)的藥瓶分類檢測模型在不同光照、角度等條件下，檢測準(zhǔn)確度高、實時性強、魯棒性高?？梢允褂迷诟嗟娜蝿?wù)場景下，如不具備背景光源條件的臺式配藥機器人、不具備布置背景光源的工序上。但在對于藥瓶尺寸的精準(zhǔn)測量上，基于機器視覺的方法配合背景光源仍是重要的非接觸式測量方法之一。藥瓶的識別、尺寸的測量作為機器人配藥的中間環(huán)節(jié)之一，應(yīng)根據(jù)不同機器人的使用場景、方式、目的進(jìn)行靈活選擇。