李麗娟 李 超 李念琪

（1.成都九洲電子信息系統(tǒng)股份有限公司，四川 成都 610041；2.上海電力大學(xué)，上海 200090；3.復(fù)旦大學(xué)，上海 200433）

0 引言

靜脈輸注是患者接受治療的主要手段之一，為了提高輸液成品質(zhì)量，促進(jìn)合理用藥，保證患者用藥的安全性，通常由醫(yī)院靜脈用藥調(diào)配中心（以下簡(jiǎn)稱“靜配中心”）統(tǒng)一負(fù)責(zé)全院患者靜脈輸液藥品的調(diào)配。在靜配中心，由于不同病患有不同的輸液藥品，因此要求醫(yī)護(hù)人員在配置輸液藥品前，必須認(rèn)真核查藥品清單以保證配藥的正確性，現(xiàn)階段主要通過(guò)人工手動(dòng)“三查七對(duì)”來(lái)保證配藥的正確性[1]。由于輸液配藥的工作量極大，人工核對(duì)不僅會(huì)占用大量的護(hù)理資源、降低護(hù)理質(zhì)量，而且也會(huì)使醫(yī)護(hù)人員容易出現(xiàn)操作疲勞，在病員擁擠的情況下配藥出錯(cuò)，造成醫(yī)療糾紛[2]。

為了規(guī)范醫(yī)護(hù)人員配藥的操作流程，降低藥品配置的出錯(cuò)率，提高配藥工作質(zhì)量，靜配中心通常使用視頻監(jiān)控的方式，對(duì)醫(yī)護(hù)人員配藥操作全過(guò)程進(jìn)行記錄以備事后查詢，但是該方法不能滿足對(duì)配藥操作進(jìn)行實(shí)時(shí)監(jiān)測(cè)、智能核對(duì)和及時(shí)報(bào)警等需求。該文提出了一種基于視頻圖像目標(biāo)檢測(cè)的藥品外觀識(shí)別方法，通過(guò)使用圖像處理與神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)對(duì)藥品品類的檢測(cè)與識(shí)別，并自動(dòng)與處方/醫(yī)囑進(jìn)行核對(duì)，以達(dá)到輔助醫(yī)護(hù)人員準(zhǔn)確配置藥品的目的。

1 基于改進(jìn)YOLOv3的藥品外觀識(shí)別與檢測(cè)模型

當(dāng)前基于深度學(xué)習(xí)的主流圖像目標(biāo)檢測(cè)算法分為2 類[3]：1）基于區(qū)域的目標(biāo)檢測(cè)算法。例如Faster R-CNN、Mask R-CNN等雙階段目標(biāo)檢測(cè)模型。2）將檢測(cè)問(wèn)題變?yōu)榛貧w問(wèn)題的SSD、YOLO 等單階段目標(biāo)檢測(cè)模型。雙階段目標(biāo)檢測(cè)模型需要先提取圖像的候選區(qū)域，再基于候選區(qū)域做二次修正得到分類和位置坐標(biāo)，其監(jiān)測(cè)精度較高，但檢測(cè)速度較慢；而單階段目標(biāo)檢測(cè)模型僅需要一個(gè)網(wǎng)絡(luò)即可同時(shí)產(chǎn)生候選區(qū)域并預(yù)測(cè)出物體的類別和位置坐標(biāo)，其特點(diǎn)是提高了檢測(cè)速率，但目標(biāo)定位的準(zhǔn)確率略差于雙階段目標(biāo)檢測(cè)模型。

YOLOv3 是采用單階段結(jié)構(gòu)的目標(biāo)檢測(cè)模型，使用單個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，與之前的YOLO 版本相比，YOLOv3 通過(guò)調(diào)整特征提取網(wǎng)絡(luò)、利用多尺度特征進(jìn)行對(duì)象檢測(cè)以及使用邏輯回歸預(yù)測(cè)每個(gè)邊界框并進(jìn)行多標(biāo)簽分類等算法優(yōu)化，提升了平均精確度（mAP）及小物體的檢測(cè)效果。如果采用COCO AP50做評(píng)估指標(biāo)，那么YOLO3 的表現(xiàn)相當(dāng)驚人，在精確度相當(dāng)?shù)那闆r下，YOLOv3 的檢測(cè)速度是其他模型的3～4 倍。綜合考慮靜配中心工作流程及實(shí)時(shí)檢測(cè)需求，該文在針對(duì)靜配中心輸液藥品配置檢測(cè)中選用了基于YOLOv3 的目標(biāo)檢測(cè)模型。

該文在YOLOv3 網(wǎng)絡(luò)架構(gòu)中改進(jìn)了YOLOv3 模型中的先驗(yàn)框部分，對(duì)先驗(yàn)框進(jìn)行提取特征，在先驗(yàn)框前對(duì)特征圖進(jìn)行預(yù)估算，對(duì)特征圖采取高斯建模，判斷特征圖是否達(dá)到自適應(yīng)閾值，該閾值為超參數(shù)，隨訓(xùn)練輪數(shù)進(jìn)行調(diào)整，在卷積層中采用一個(gè)N維列向量對(duì)輸出的卷積層進(jìn)行判斷，經(jīng)過(guò)迭代調(diào)整出一個(gè)合適的閾值。該文改進(jìn)的部分可以加快藥品檢測(cè)的速度，對(duì)不同類型的藥品進(jìn)行檢測(cè)時(shí)有較好的識(shí)別效果。

1.1 數(shù)據(jù)的采集與處理

在實(shí)際的靜脈注射中心的藥品配置環(huán)境中，存在藥品擺放、環(huán)境中光源干擾以及拍攝角度的問(wèn)題，該文的數(shù)據(jù)集采用在排除干擾的環(huán)境中采集的一批數(shù)據(jù)如圖1（a）、圖1（b）所示，同時(shí)針對(duì)實(shí)際作業(yè)環(huán)境下的藥品采集的另一批數(shù)據(jù)如圖1（c）所示。

圖1 采集的藥品樣品

采集到數(shù)據(jù)集后，使用圖像數(shù)據(jù)標(biāo)注工具對(duì)數(shù)據(jù)進(jìn)行分類標(biāo)注，該文采集的藥品種類包括靜脈注射藥品中常見(jiàn)的注射袋、水針劑以及粉針劑。針對(duì)不同種類的藥品進(jìn)行單獨(dú)標(biāo)注，針對(duì)同種藥品的不同規(guī)格的藥品設(shè)計(jì)2 種標(biāo)注方式：1）針對(duì)藥品僅標(biāo)注名稱，按照名稱進(jìn)行識(shí)別，例如：200 mL 葡萄糖注射液、100 mL 葡萄糖注射液統(tǒng)一標(biāo)注為葡萄糖注射液。2）將不同規(guī)格的藥品分開(kāi)標(biāo)注，例如將200 mL 葡萄糖注射液、100 mL 葡萄糖注射液標(biāo)注成2 個(gè)不同的類別，以便進(jìn)行精細(xì)識(shí)別。

1.2 檢測(cè)模型改進(jìn)

該文采用基于YOLOv3 的目標(biāo)檢測(cè)模型對(duì)藥品進(jìn)行檢測(cè)，在所檢測(cè)的藥品中，存在4 種較為明顯的種類劃分，即袋狀注射液、盒狀藥品、圓柱形粉針劑和透明玻璃瓶形的水針劑。實(shí)際環(huán)境下檢測(cè)的藥品存在注射袋液體大多透明、現(xiàn)場(chǎng)作業(yè)環(huán)境中存在大量反光以及同類型藥品形狀相似的問(wèn)題，因此，通過(guò)藥品標(biāo)簽信息無(wú)法高效地獲取文本文字，使用輔助方法處理會(huì)增加檢測(cè)任務(wù)的復(fù)雜度，圖像拼接[4]手段也無(wú)法有效應(yīng)用到實(shí)際的工作環(huán)境中。該文在實(shí)驗(yàn)中發(fā)現(xiàn)，直接采用目標(biāo)檢模模型訓(xùn)練數(shù)據(jù)，會(huì)因?yàn)椴糠炙幤废嗨贫忍叨霈F(xiàn)識(shí)別精確度低于該模型在通用數(shù)據(jù)集平均精確度的問(wèn)題，同時(shí)也存在召回率較低、模型穩(wěn)定性較差的問(wèn)題。

該文使用改進(jìn)版YOLOv3 目標(biāo)檢測(cè)模型對(duì)藥品進(jìn)行檢測(cè)，提取模型先驗(yàn)框的特征，在先驗(yàn)框前對(duì)特征圖進(jìn)行預(yù)估算，對(duì)特征圖采取高斯建模，判斷特征圖是否達(dá)到自適應(yīng)閾值，該閾值對(duì)超參數(shù)隨訓(xùn)練輪數(shù)進(jìn)行調(diào)整。在骨干網(wǎng)的輸出卷積層中采用一個(gè)列向量對(duì)輸出的卷積層進(jìn)行判斷，LT用來(lái)表示閾值損失（如公式（1）所示），經(jīng)過(guò)迭代調(diào)整出一個(gè)合適的閾值。YOLOv3 將圖片劃分成若干個(gè)網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)一塊區(qū)域的檢測(cè)，該文對(duì)局部網(wǎng)格的平均值與閾值進(jìn)行比較，大于閾值的先驗(yàn)框繼續(xù)進(jìn)行檢測(cè)；其次是在先驗(yàn)框中選定預(yù)測(cè)框后設(shè)置搜索算法，并分析區(qū)域內(nèi)的特征是否存在連續(xù)，針對(duì)體積較小的注射液的檢測(cè)，在先驗(yàn)框中可能有多個(gè)區(qū)域存在粉針劑、水針劑這種小物體的特征，因此再將選中的先驗(yàn)框劃分為若干小預(yù)測(cè)框進(jìn)行預(yù)測(cè)。對(duì)若干個(gè)較小預(yù)測(cè)框進(jìn)行篩選后，在預(yù)測(cè)框中找到較大的特征值，在較大的特征值中選擇位置坐標(biāo)最大值Xmax、Ymax和最小值Xmin、Ymin，重新調(diào)整目標(biāo)框?yàn)閮H包含特征最大的幾個(gè)值的新目標(biāo)框，再進(jìn)行后序流程。

式中：LT為閾值損失；i為若干小預(yù)測(cè)框；Rd為先驗(yàn)框；xi*、yi*為先驗(yàn)框的若干位置預(yù)測(cè)。

該文所使用的YOLOv3 采用ResNet 網(wǎng)絡(luò)作為模型的骨干網(wǎng)，ResNet 增加了直連通道緩解網(wǎng)絡(luò)深度會(huì)導(dǎo)致出現(xiàn)退化的問(wèn)題。為了提高識(shí)別的精度，使用了101 層的ResNet 來(lái)進(jìn)行模型訓(xùn)練。

2 實(shí)驗(yàn)分析

該文藥品檢測(cè)模型的評(píng)價(jià)指標(biāo)為平均精確率AP，對(duì)損失函數(shù)采用批量梯度下降的方法，優(yōu)化深度學(xué)習(xí)模型的權(quán)重參數(shù)，最大程度地降低分類的錯(cuò)誤率。訓(xùn)練過(guò)程中各項(xiàng)超參數(shù)配置如下：權(quán)值初始化采用正態(tài)隨機(jī)初始化方法，根據(jù)訓(xùn)練所使用GPU 的性能和內(nèi)存容量，選取批大小為16；學(xué)習(xí)率采用動(dòng)態(tài)學(xué)習(xí)率。訓(xùn)練完成后，使用獨(dú)立的測(cè)試集損失函數(shù)進(jìn)行誤差評(píng)估。

2.1 實(shí)驗(yàn)流程

該文提出在YOLOv3 的基礎(chǔ)上結(jié)合圖像增強(qiáng)、遷移學(xué)習(xí)進(jìn)行藥品檢測(cè)，該文使用的藥品檢測(cè)流程框架如圖2 所示。

圖2 藥品檢測(cè)流程框架圖

該文使用的數(shù)據(jù)集為在不同環(huán)境背景、不同拍攝角度以及不同擺放情況下靜脈注射藥品的多種類型圖像，共計(jì)3 637 張；使用pytorch 深度學(xué)習(xí)框架編寫代碼，基于detectron2 框架搭建目標(biāo)檢測(cè)模型。

2.2 模型訓(xùn)練方式與參數(shù)設(shè)定

實(shí)驗(yàn)過(guò)程中使用Ubuntu 16.04 系統(tǒng)和NVIDIA Tesla V100顯卡訓(xùn)練YOLOv3 藥品檢測(cè)模型。

該文模型采用遷移學(xué)習(xí)方式，其過(guò)程涉及2 個(gè)階段：1）進(jìn)行模型預(yù)訓(xùn)練。使用COCO2017 數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型。小批量梯度下降法迭代40 000 次，學(xué)習(xí)率為0.001，動(dòng)量設(shè)置為0.9，權(quán)重衰減率0.0001，批量大小Batchsize為16（Batchsize即一次訓(xùn)練選取的樣本數(shù)）。2）進(jìn)行數(shù)據(jù)集訓(xùn)練。經(jīng)過(guò)預(yù)訓(xùn)練后，使用藥品數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型，小批量梯度下降法迭代80 000 次，學(xué)習(xí)率大小為0.001，動(dòng)量設(shè)置為0.9，權(quán)重衰減率為0.0001，Batchsize為16。

2.3 藥品檢測(cè)實(shí)驗(yàn)結(jié)果分析

經(jīng)過(guò)訓(xùn)練后，該文設(shè)計(jì)的模型在測(cè)試集上的訓(xùn)練效果如圖3 所示。

圖3 YOLOv3 模型檢測(cè)藥品效果圖

該文在對(duì)藥品外觀進(jìn)行檢測(cè)時(shí)，使用以YOLOv3 為基礎(chǔ)的目標(biāo)檢測(cè)模型進(jìn)行檢測(cè)識(shí)別，該文對(duì)采集的數(shù)據(jù)集進(jìn)行測(cè)試時(shí)發(fā)現(xiàn)，當(dāng)使用的每種藥品只有一種規(guī)格時(shí)，其平均精度可以達(dá)到93.84%，但是采用每種藥品按照名稱和不同規(guī)格詳細(xì)劃分出多種標(biāo)簽的方法，其平均識(shí)別精度降低到了73.67%，低于YOLOv3 在COCO 數(shù)據(jù)集上的平均識(shí)別精度。該實(shí)驗(yàn)所采集的藥品圖像是包含了多種不同類型的藥品（例如水針劑、粉針劑和注射液），實(shí)驗(yàn)發(fā)現(xiàn)該文改進(jìn)的模型對(duì)具備明顯特征的藥品具有良好的識(shí)別能力，同時(shí)在分析實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)，由于同種藥品不同規(guī)格的標(biāo)注標(biāo)簽不同，導(dǎo)致召回率高于使用每種藥品僅有一個(gè)的數(shù)據(jù)集的情況，即外觀相似度過(guò)高的藥品會(huì)對(duì)模型的識(shí)別能力產(chǎn)生較大的干擾，而具備相同外觀的不同規(guī)格的藥品會(huì)嚴(yán)重干擾模型的識(shí)別精度。由于無(wú)法有效分辨圖像中藥品的實(shí)際大小，因此該文改進(jìn)的模型對(duì)不同規(guī)格的藥品的識(shí)別能力略顯不足。

該文所選用的目標(biāo)檢測(cè)模型對(duì)不同類型的藥品具備良好的識(shí)別能力，可以方便快速地部署在生成環(huán)境中。在實(shí)際工作中，由于YOLOv3 相比于其他模型，其輕量級(jí)的結(jié)構(gòu)使參數(shù)遠(yuǎn)遠(yuǎn)少于二階段目標(biāo)檢測(cè)模型，因此能夠做到在生成環(huán)境中快速檢測(cè)出目標(biāo)，降低延遲，提高了實(shí)際運(yùn)行效率。

3 結(jié)論

藥物在臨床診療中具有重要地位，正確合理用藥是保證療效的基本前提，在嚴(yán)格遵守靜配中心操作流程的同時(shí)，也可以采用相應(yīng)技術(shù)手段進(jìn)行輔助確認(rèn)。該文對(duì)靜配中心中的藥品配置環(huán)節(jié)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，能夠輔助醫(yī)療人員進(jìn)行藥品核對(duì)，降低因操作疲勞出現(xiàn)配藥差錯(cuò)的概率。該文使用YOLOv3模型能夠精確識(shí)別藥品品類，可以實(shí)現(xiàn)在生產(chǎn)環(huán)境下高效快速識(shí)別藥品類別的目標(biāo)，能夠做到近似實(shí)時(shí)輔助監(jiān)測(cè)藥品配置，可以高效地輔助作業(yè)人員對(duì)藥品進(jìn)行核對(duì)。該文使用的模型在同種藥品不同規(guī)格的識(shí)別區(qū)分檢測(cè)上存在一定的不足，在后續(xù)的研究中，會(huì)圍繞該文采用的目標(biāo)檢測(cè)方法額外添加文本識(shí)別技術(shù)，采用藥品標(biāo)簽文本識(shí)別和目標(biāo)檢測(cè)結(jié)合的方式識(shí)別出藥品的具體種類和具體規(guī)格，實(shí)現(xiàn)對(duì)多種同類異類藥品標(biāo)簽的快速檢測(cè)。