国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進YOLOv5的外科手術器械識別系統(tǒng)的開發(fā)

2024-11-11 00:00:00朱俊玲瞿芳錢貝張守鵬
護理研究 2024年21期

Development of surgical instrument recognition system based on improved YOLOv5

ZHU Junling, QU Fang, QIAN Bei, ZHANG Shoupeng*

Union Hospital, Tongji Medical College, Huazhong University of Science and Technology, Hubei 430022 China

*Corresponding Author ZHANG Shoupeng, E?mail: 2013xh0903@hust.edu.cn

Keywords surgical instruments;artificial intelligence;identification;category;positioning;object detection

摘要目的:基于改進型You Only Look Once V5(YOLOv5)人工智能開發(fā)手術器械識別系統(tǒng)。方法:收集常用外科手術器械10類,包括治療碗、藥杯、彎盤、針持器、血管鉗、刀柄、組織拉鉤、手術刀片、縫針、棉球。將收集的器械置于同一視野下,隨機改變不同器械放置位置和狀態(tài),在不同拍照方位、布料背景、光線角度和強弱環(huán)境下拍攝照片806張。將拍攝的照片按照7∶3隨機劃分為人工智能訓練組和驗證組。采用精確度、召回率、平均精度、平均精度均值和F1得分值等參數比較原始YOLOv5模型和改進模型S?YOLOv5的算法識別性能。結果:與原始YOLOv5模型相比,改進模型S?YOLOv5表現出更高的識別性能,其精確率、召回率、平均精度和F1 得分值分別為0.978,0.973,0.926,0.975。改進模型S?YOLOv5對各手術器械的識別準確率均高于原始YOLOv5模型。結論:基于S?YOLOv5的人工智能輔助手術器械識別系統(tǒng)具有較好的分類能力和定位能力,為人工智能輔助手術器械清點提供了初步探索和思路。

關鍵詞手術器械;人工智能;識別;分類;定位;目標檢測

doi:10.12102/j.issn.1009-6493.2024.21.027

手術器械清點是外科手術和操作必不可少的環(huán)節(jié),此項工作通常由器械護士和巡回護士配合完成。重復多次、精準無誤的器械清點與核對是保證手術和外科操作順利、安全完成的最基本前提。它在對巡回護士和器械護士提出高要求的同時,也顯著增加了人力資源的投入。且在臨床工作中,1名巡回護士有時需要管理多個手術間,這在一定程度上制約了手術效率。近年來,隨著計算機與互聯網技術的快速發(fā)展和普及,計算機輔助手術器械識別成為富有前景的潛在可行方案。目前主要存在2種形式的計算機輔助識別方式:1種是基于傳統(tǒng)的機器學習(machine learning,ML)方式,另1種是基于卷積神經網絡(convolutional neural networks,CNN)模型的深度學習方法(deep learning,DL)。有學者提出了基于機器視覺(computer vision,CV)的器械清點分類方法[1?2],該方法利用形態(tài)學骨架提取與像素滑動檢索方法確定器械的數量與位置,并將數量與位置作為先驗信息預先建立待測物搜索框,再結合模板匹配方法對器械進行分類。缺點主要是泛化性弱,一旦改變了器械種類或樣式,就需要重新人工提取特征,依賴專業(yè)的知識和復雜的調參過程,而這正好是卷積神經網絡的優(yōu)勢所在。新的基于深度學習的圖像識別方法也正在研究中[3?4]。本研究基于計算機深度學習,提出了1種將Soft?NMS與You Only Look Once v5(YOLOv5)相結合的改進方案(S?YOLOv5),用于常見手術器械分類和定位。本研究初步探究了基于S?YOLOv5的人工智能輔助手術器械識別系統(tǒng)的分類和定位能力,為人工智能輔助手術器械清點提供了思路和技術支持。

1 YOLOv5算法介紹

YOLO算法的全稱是“You only look once”,可以理解為只需要瀏覽1次就能準確識別出圖中物體的類別和位置。它于2016年由Redmon等[5]提出,是最早的單階段目標檢測算法。它將目標檢測任務看成回歸問題,通過直接處理整張圖片來預測邊界框坐標、邊界框包含物體的類別和所屬類別的置信度[6]。經過多年的發(fā)展,YOLO算法已經更新至Ⅴ11版本。YOLOv5模型是Ultralytics 公司在YOLOv4的基礎上進一步改進,于2020年6月9日公開發(fā)布。相比于YOLOv4,YOLOv5的速度與精度都得到了較大提升,已成為目前工業(yè)界使用的最普遍的檢測算法之一。本研究所用的YOLOv5算法版本為6.1,它由3部分構成,整體結構見圖1。第1部分為輸入端,訓練圖片輸入尺寸為640 像素×640像素;第2部分為主干網絡,它使用CSPDarkNet53網絡,從輸入圖像中提取豐富的信息特征;第3部分為檢測層,該部分采用了多尺度進行檢測,在特征金字塔網絡結構(feature pyramid networks,FPN)后加入1種新的自下而上的路徑聚集網絡結構(path aggregation networks,PAN),實現了不同尺度特征信息的融合,之后再對生成的3個特征圖進行預測。YOLOv5在開源數據集COCO(80類)中有良好預測效果,但是在遷移學習到外科手術器械分類識別任務上檢測性能仍需要改進[7]。針對輕度重疊排列、輕度遮擋的器械等問題,有學者應用加速穩(wěn)健特征算法(speeded up robust features,SURF)提取圖像特征信息,采用KD?Tree搜索相似特征矢量,以實現堆疊手術器械的準確識別與定位[8]。本研究在YOLOv5的基礎上進行初步改進優(yōu)化,提出了1種適用于手術器械目標識別的算法模型S?YOLOv5。

2 S?YOLOv5算法的改進

YOLOv5默認處理算法為非極大值抑制(non?maximum suppression,NMS)[9],其步驟主要包括:1)將所有矩形框按照不同的類別標簽分組,組內按照置信度高低得分進行排序;2)將步驟1)中得分最高的矩形框提取出來,遍歷剩余矩形框,計算與當前得分最高的矩形框的交并比(intersection over union,IOU),將剩余矩形框中大于設定的交并比閾值的框刪除;3)將步驟2)結果中剩余的矩形框重復步驟2)操作,直到處理完所有矩形框。其主要缺點包括:1)NMS算法是它將相鄰檢測框的分數均強制歸零(即將重疊部分大于重疊閾值的檢測框移除),在這種情況下,如果1個真實物體在重疊區(qū)域出現,則將導致對該物體的檢測失敗并降低算法的平均檢測率;2)NMS的閾值不太容易確定,設置過小會出現誤刪,設置過高又容易增大誤檢。由于本研究中涉及一定程度的物品重疊問題,故采用Soft?NMS算法[10]進行改進。Soft?NMS在進行非極大值抑制的同時,兼顧考慮了得分和邊框之間的重合程度,因此更適合本研究。

3 實驗結果與分析

3.1 實驗環(huán)境

本研究的處理器為Intel?CoreTM i7?8700 CPU@3.20 GHz,32 GB 運行內存,顯卡為NVIDIA GEFORCE GTX 1070,操作系統(tǒng)為Windows 10,64位。整個實驗基于深度學習框架Pytorch 1.10,實驗環(huán)境是Python 3.8,GPU加速軟件為CUDA10.0和CUDNN7.5.

3.2 試驗數據集

由于目前尚沒有公開的手術器械圖片數據集,本研究選擇性收集最常用到的10類手術器械,參照既往文獻報告,數據集被命名為SID10[11]。通過數據增強(幾何變換和光學變換)增加數據集中圖片數量,另外通過擴增物品數量相對較少的類達到類間平衡。主要用到的拍照方法為:在同樣焦距條件下,改變拍照方位、光線角度、強弱、布料背景、器械開合狀態(tài)、器械正反放置狀態(tài)以及不同物品的隨機組合,以盡可能確保圖像所包含的特征信息的豐富性和平衡性,本研究共收集806張圖片。

使用開源軟件LableImg進行人工打標簽(YOLO格式)的方式英文標注10類物品,包括:治療碗(bowl)、藥杯(cup)、血管鉗(forceps)、彎盤(kidney dish)、持針器(needle holder)、組織拉鉤(retractor)、手術刀片(scalpel)、刀柄(scalpel handle)、縫針(suture needle)、棉球(tampon)。

3.3 評測指標

為了驗證S?YOLOv5改進算法的性能,本研究主要使用指標為精確度(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精度(mean average precision,mAP)和F1得分值(F1 score)。具體計算公式如下所示:

精確度定義為真陽性率(TP)與真陽性率(TP)及假陽性率(FP)和之比,如式(1)。召回率定義為真陽性率(TP)與真陽性率(TP)及假陰性率(FN)和之比,如式(2)。mAP是對所有類別的平均精度(AP)求取均值后獲得,如式(3)(4)。F1得分值是綜合考慮精確度和召回率的調和值,如式(5)。mAP@0.5即將交并比IoU設為0.5時,每個類別下所有圖片的平均AP。mAP@0.5:0.95表示在不同交并比閾值(0.50~0.95,步長0.05)時的平均mAP。

3.4 模型訓練

本研究按照7∶3的比例將數據集隨機劃分實驗組(579幅圖片)和驗證組(227幅圖片)。輸入圖像尺度為1 280×1 280,批訓練數據量為4,訓練動量為0.937,初始學習率設為0.01,權重衰減為0.000 5,訓練過程持續(xù)了300輪,采用隨機梯度下降(stochastic gradient descent,SGD)作為優(yōu)化函數對模型進行訓練。本研究訓練的模型分別是YOLOv5和改進模型S?YOLOv5,以對比兩者的性能差異。

3.5 實驗結果分析

使用改進后S?YOLOv5模型在數據集上進行實驗。實驗得到的P?R(precision?recall)曲線見圖2,其橫軸是召回率,縱軸是精確率?;赟?YOLOv5的各類別手術器械的F1曲線見圖3,基于S?YOLOv5的各類別手術器械的混淆矩陣圖見圖4。由圖2中的P?R曲線和圖3中的F1曲線可知,曲線越靠近坐標(1,1)位置,算法的性能越好。由圖4混淆矩陣圖可知,除了縫針誤檢稍高,其他分類識別準確率都較好。

實驗得到的算法性能結果見表1。由表1可知,改進S?YOLOv5算法的精準率、召回率、mAP@0.5:0.95和F1值分別為97.8%、97.3%、92.6%和97.5%。從表2可以看出,改進后算法的平均檢測精度mAP@0.5:0.95有明顯的提升。特別是對長條形的刀柄、尺度較小的手術刀片和縫針的平均檢測精度提升較大,分別提升了3.9%、2.4%和2.4%。

3.6 檢測結果

YOLOv5算法和改進S?YOLOv5算法上的檢測效果差異見圖5。從對比圖中可以明顯看出,原始YOLOv5 算法將血管鉗檢測錯誤,但改進S?YOLOv5算法將此器械檢測正確且提高了檢測的置信度。

4 討論與展望

YOLOv5目標檢測算法可以有效輔助臨床護士完成外科手術器械的識別和計數,是值得深入探索的研究方向[12]。首先,YOLOv5的檢測精準性高,在手術器械全流程跟蹤管理中利用該技術可以準確識別出外科手術器械,從而提升器械核查的安全性;其次,YOLOv5準確識別外科手術器械可以有效提高手術或外科操作效率,縮短病人術前手術器械的核查時間,減少對巡回護士和洗手護士的依賴程度;此外,該技術還可優(yōu)化手術室器械管理水平及運行機制,提升醫(yī)療管理質量??傊?,YOLOv5在外科手術器械識別領域具有獨特的優(yōu)勢,能夠有效簡化外科手術核查流程、提高手術效率和質量。同時,它也將成為人工智能輔助手術器械清點的潛在研究方向。盡管如此,YOLOv5在外科手術器械識別中也還存在許多不足,如識別高度重疊排列、高度遮擋、任意旋轉角度、長條形狀、目標極小的器械等情況尚不準確,未來可能需要更大樣本的圖片數據進行訓練,同時,更多高效、低計算量的優(yōu)秀算法模型有待開發(fā)[13]。因此,需要加強這方面的研究,開發(fā)出更高效、準確的改良模型以及更穩(wěn)定、安全的識別系統(tǒng),才能真正實現YOLOv5在外科手術器械識別中的應用和普及。此外,隨著移動信息化技術的發(fā)展,目標檢測技術結合個人掌上電腦(personal digital assistant,PDA)移動技術也將可能是未來手術器械質量追蹤與數據清點實現信息化與智能化的重要發(fā)展方向[14]

綜上所述,本研究結合Soft?NMS算法對YOLOv5進行改進,并利用創(chuàng)建的常用手術器械數據集初步展示了基于S?YOLOv5的人工智能輔助手術器械識別系統(tǒng)的分類能力和定位能力,為人工智能輔助手術器械清點提供了初步探索和潛在思路。

參考文獻:

[1] 汪睿,苗玉彬.基于改進模板匹配的外科手術器械清點方法[J].機電一體化,2022,28(4):51-57.

[2] 張志陽,宋成利,李良,等.基于模板匹配的醫(yī)用內窺鏡影像目標識別算法[J].軟件導刊,2020,19(3):234-237.

[3] 張文凱.基于細粒度圖像分類的外科手術器械識別研究[D].大連:大連理工大學,2021.

[4] 路寬.基于深度學習的手術器械圖像檢測方法研究[D].天津:天津理工大學,2021.

[5] REDMON J,DIVVALA S,GIRSHICK R,.You only look once:unified,real-time object detection; proceedings of the computer vision & pattern recognition[EB/OL].[2023-08-23].https://blog.csdn.net/qq_29598161/article/details/108166577.

[6] 劉振忠,周羿帆,王炎.一種基于圖像的手術器械位置檢測方法[EB/OL].[2023-08-14].https://d.wanfangdata.com.cn/patent/ChJQYXRlbnROZXdTMjAyMzA5MDESEENOMjAyMjExNjAxMDYxLjQaCG02NG1jY2tk.

[7] 王巍,白天宇.基于單目視覺的手術器械位姿估計模型研究[J].激光雜志,2023,44(1):32-41.

[8] 陳賢兒,梁丹,傅云龍,等.Harris與SURF特征點檢測的手術器械機器視覺識別方法[J].傳感器與微系統(tǒng),2023,42(2):118-ZkGDPv5h4YyN4X2HEEKZOpUZc/fd81z9FlvdtF659Xs=121.

[9] ELSHAHAWY M,ELNEMR A,OPROESCU M,.Early melanoma detection based on a hybrid YOLOv5 and resnet technique[J].Diagnostics(Basel),2023,13(17):10.3390.

[10] BODLA N,SINGH B,CHELLAPPA R,.Soft-NMS-improving object detection with one line of code[EB/OL].[2023-08-23].https://blog.csdn.net/weixin_36670529/article/details/99886964.

[11] HOU Y,ZHANG W,LIU Q,.Adaptive kernel selection network with attention constraint for surgical instrument classification[J].Neural Comput Appl,2022,34(2):1577-1591.

[12] 黃鵬,王志浩,關思宇,等.一種基于Swin-transformer與YOLOV5模型集成的手術器械清點方法[EB/OL].[2023-10-08].https://d.wanfangdata.com.cn/patent/ChJQYXRlbnROZXdTMjAy MzA5MDESEENOMjAyMjExMjIwNDE1LjAaCHF4ZGJkNW4y.

[13] 李潤浩.基于深度學習的骨科手術器械檢測與識別[D].秦皇島:燕山大學,2022.

[14] 余文靜,高興蓮,肖瑤,等.基于PDA移動技術融合手術器械質量追蹤與數據清點的實踐[J].護理學報,2020,27(2):27-29.

(本文編輯崔曉芳)

基金項目湖北省自然科學基金計劃項目,編號:2023AFB889

作者簡介朱俊玲,主管護師,碩士研究生在讀

通訊作者張守鵬,E?mail:2013xh0903@hust.edu.cn

引用信息朱俊玲,瞿芳,錢貝,等.基于改進YOLOv5的外科手術器械識別系統(tǒng)的開發(fā)[J].護理研究,2024,38(21):3923?3928.

巴马| 博白县| 呼玛县| 泰安市| 十堰市| 静安区| 棋牌| 临高县| 五大连池市| 石景山区| 东乡县| 红河县| 澳门| 静安区| 南华县| 乌苏市| 微博| 新营市| 融水| 延川县| 银川市| 历史| 延安市| 苍梧县| 竹山县| 铜山县| 吉隆县| 沾化县| 修武县| 九龙城区| 德保县| 桃园市| 东乌珠穆沁旗| 高台县| 嘉定区| 青田县| 禹州市| 无为县| 伊宁市| 彭阳县| 大关县|