關(guān)鍵詞:機器視覺;智能送藥;CNN;A*算法;TEB算法;自動導(dǎo)航
0 引言
人工智能是當(dāng)前熱門的研究領(lǐng)域,而智能機器便是其重要的產(chǎn)物。當(dāng)前在科學(xué)技術(shù)不斷蓬勃發(fā)展的信息時代,智能移動設(shè)備及其產(chǎn)品的研究和設(shè)計,使其在醫(yī)療場所、商場、超市、餐廳旅館、維修清洗和家庭生活等方面有著廣泛的應(yīng)用。目前,國內(nèi)的眾多小中型醫(yī)院的送藥取藥基本都是依靠,人工運輸?shù)姆绞?,患者家屬常常需要在樓?nèi)的藥房和病房來回奔波好幾次去取藥,有時甚至需要病人自己上下樓然后排隊去取藥。對于進行換藥的醫(yī)護人員來說,取藥送藥仍是一件十分不方便的事情。
智能送藥設(shè)備[1]是一種低速、無人操控的自動化藥物運送車輛。其智能配送系統(tǒng)需要實現(xiàn)的主要功能為:從藥房領(lǐng)取所需藥品,沿預(yù)設(shè)定路線配送給各個病房,并在運送完成后實現(xiàn)自主返回藥房。通過這種送藥方式,醫(yī)護人員可以避免與病人的直接接觸,從而降低被傳染性疾病感染的風(fēng)險。智能送藥設(shè)備通常配備傳感器、攝像頭和其他先進技術(shù),使其能夠識別患者和藥品、跟蹤庫存并以高度準確和高效的方式交付藥品。本項目對于我國中小型醫(yī)院藥物運輸?shù)膶嶋H情況做出分析和判斷,并給出了一種適合我國中小型醫(yī)院藥物運輸?shù)闹悄芩幬镞\輸設(shè)備[2]。
1 系統(tǒng)總體設(shè)計
1.1 設(shè)計思路
該設(shè)備主要包括四輪驅(qū)動車,主控芯片主要基于樹莓派4B,并帶有一個移動電源為樹莓派4B供電。同時在小車的前部安裝了一個USB攝像頭和一個激光雷達,并搭建了ESP8266WI-FI模塊,Wi-Fi模塊是一種能夠通過Wi-Fi網(wǎng)絡(luò)連接到互聯(lián)網(wǎng)的硬件設(shè)備,通常被用于實現(xiàn)無線網(wǎng)絡(luò)通信。實物如圖1所示。
智能送藥設(shè)備的整體操作流程包括幾個關(guān)鍵步驟。首先,設(shè)備通過Wi-Fi模塊與遠程服務(wù)器或移動設(shè)備建立連接,接收到送藥指令后,設(shè)備能夠識別目標(biāo)病房的位置。在藥物裝載完成之后,樹莓派4B 控制器對驅(qū)動電路模塊以及激光雷達自動導(dǎo)航模塊進行操控。激光雷達[3]有能力獲取高分辨率的三維點云數(shù)據(jù),進而捕捉目標(biāo)物體的豐富細節(jié)信息,使得設(shè)備在定位和障礙物檢測方面表現(xiàn)更為準確。然后,設(shè)備會尋找附近的路線并驅(qū)動至正確的路徑上行駛。當(dāng)智能送藥車抵達目標(biāo)病房時,攝像頭會拍攝門牌號。此時,數(shù)字圖像處理(Digital Image Processing) 技術(shù)會對圖像進行一系列處理,如去除噪聲、增強對比度、復(fù)原、分割和提取特征等。通過這些處理后,確認病房號碼正確無誤,將完成藥物的送達。接下來,設(shè)備將繼續(xù)前往下一個病房進行藥物投遞,如此循環(huán)直至所有需要送藥的病房都得到藥物。在整個送藥過程中,前端地圖實時展示設(shè)備的行駛路徑,并向用戶提示藥品送達的信息。這為用戶帶來更高效、更準確的藥品送達體驗。從設(shè)備的研發(fā)到實際應(yīng)用過程中,智能送藥設(shè)備的整體操作流程則旨在提高藥物配送的效率和準確性,從而為醫(yī)護人員、患者以及醫(yī)療機構(gòu)的運作帶來極大的便利。通過對送藥流程的實時監(jiān)測,智能送藥車能夠確保藥品準確送至目標(biāo)病房,從而提高整個醫(yī)療服務(wù)的質(zhì)量。具體流程如圖3所示。
1.2 功能設(shè)計
智能送藥設(shè)備實現(xiàn)的功能有自主循跡、數(shù)字識別、前端展示以及避障功能,設(shè)備功能如圖 4所示。
1.2.1 自動導(dǎo)航模塊
智能送藥設(shè)備采用先進的激光雷達技術(shù),能夠?qū)崟r地構(gòu)建周圍環(huán)境模型,并將這些模型轉(zhuǎn)換成可用于路徑規(guī)劃和導(dǎo)航的地圖。配送工作將通過設(shè)備實現(xiàn)自主導(dǎo)航,使得無人值守藥物配送成為可能。激光雷達的優(yōu)勢在于提供高精度的距離和位置信息,使得自動導(dǎo)航系統(tǒng)具備更高的精確性和可靠性。值得一提的是,該技術(shù)已經(jīng)不受光線、天氣等自然條件的影響,能在各種環(huán)境下正常運行,使得送藥服務(wù)不再受限于特定的時間和地點。激光雷達憑借其高速捕捉周邊環(huán)境信息的能力,實時計算并更新設(shè)備的位置和行駛路線規(guī)劃[4]。設(shè)備在進行自動導(dǎo)航時,能夠同時檢測多個物體,并獲取包括位置、尺寸在內(nèi)的詳細信息,這是醫(yī)藥設(shè)備提升自動導(dǎo)航性能的關(guān)鍵因素。在行駛過程中,激光雷達起到了輔助設(shè)備避開障礙物和其他風(fēng)險的作用,大幅度提高了智能送藥車在行駛途中的安全性。
智能送藥設(shè)備通過利用激光雷達等技術(shù),在送藥領(lǐng)域帶來準確、高效的藥物配送新模式。這一模式無疑對提升整體醫(yī)療服務(wù)質(zhì)量產(chǎn)生積極影響,為患者帶來便捷,同時也能減輕醫(yī)護人員的工作負擔(dān)。未來,智能配送將在提高設(shè)備性能、擴大應(yīng)用領(lǐng)域等方面持續(xù)發(fā)展,從而更好地滿足醫(yī)療行業(yè)和患者的需求。
1.2.2 數(shù)字識別模塊
智能送藥設(shè)備利用攝像頭拍攝門牌號,由于拍攝圖像中存在噪聲,會對圖像識別的準確率產(chǎn)生影響,先采用OpenCV進行圖像預(yù)處理,然后采用目標(biāo)檢測算法YOLO,數(shù)字識別算法CNN 對病房門牌進行識別。OpenCV在圖像預(yù)處理中可以對圖像進行變形操作,以修正圖像畸變或者調(diào)整角度,提高識別準確率。數(shù)字識別的流程如圖5所示。
1.2.3 避障模塊
A*算法[10]和 TEB(Timed Elastic Band) 算法是兩種常見的路徑規(guī)劃與控制算法,可與激光雷達(LIDAR) 相結(jié)合,用于小車導(dǎo)航[5]和避障等任務(wù)。A*算法是一種啟發(fā)式搜索算法,可用于為小車找到從起點到終點的最短路徑。它結(jié)合了廣度優(yōu)先和最優(yōu)路徑搜索,使用代價函數(shù)(通常含有實際代價和啟發(fā)式代價)來評估當(dāng)前節(jié)點到目標(biāo)節(jié)點的成本。在實際應(yīng)用中,激光雷達可以通過測量周圍環(huán)境中的障礙物,將這些信息輸入地圖網(wǎng)格(Grid Map) 或占用網(wǎng)格(Occupancy Grid) 中。隨后可將地圖數(shù)據(jù)提供給 A*算法,用以生成高效的路徑規(guī)劃,實現(xiàn)小車在有障礙物的環(huán)境中的導(dǎo)航。TEB (Timed Elastic Band) 算法是非線性軌跡優(yōu)化算法,它通過優(yōu)化小車當(dāng)前軌跡在執(zhí)行過程中產(chǎn)生的成本來定義合適的路徑。TEB 算法強調(diào)實時性和動態(tài)性,針對時間和運動約束都有考慮。與 A*算法相比,TEB算法[11]可以處理連續(xù)和動態(tài)環(huán)境中的路徑規(guī)劃和控制問題。激光雷達在這種情況下可以提供實時的、連續(xù)的障礙物檢測和定位數(shù)據(jù),以便 TEB 算法更好地規(guī)劃小車在動態(tài)環(huán)境中的運動軌跡,并實施有效的避障。激光雷達可以為 A*算法和 TEB 算法提供環(huán)境中障礙物的信息,這使得小車能夠根據(jù)算法生成的路徑安全地導(dǎo)航。A*算法專注于在靜態(tài)環(huán)境中找到最短路徑[6],而 TEB 算法在動態(tài)環(huán)境中處理連續(xù)和實時路徑優(yōu)化問題,以實現(xiàn)小車的實時軌跡優(yōu)化和避障。
1.2.4 前端展示
該模塊通過rviz的“2D Navi Goal”工具完整的地圖。當(dāng)用戶點擊病房號所在的位置后,小車會從藥房到達該病房,并在地圖上 形成實時軌跡路線。通過這種方式,用戶可以清晰地跟蹤小車的位置和行駛路徑,更好地掌握送藥的進度,具體如圖6所示。
2 系統(tǒng)硬件設(shè)計
2.1 主控芯片模塊
智能送藥設(shè)備使用4代B型(4B) 樹莓派作為主控芯片。樹莓派4B型在樹莓派3代B 型的基礎(chǔ)上進行了多項重要升級。樹莓派4B配備了更快的 BroadcomBCM2711 處理器,采用quad-core Cortex-A72(ARMv8-A) 64 位設(shè)計,主頻為1.5 GHz。樹莓派4B包含兩個USB 3.0接口和兩個USB 2.0接口,而樹莓派3B+只有4個USB 2.0 接口。樹莓派4B提供了 Gigabit Ether?net(千兆以太網(wǎng)),速度是樹莓派3B+(10/100 網(wǎng)絡(luò)接口)的10倍左右。
2.2 激光雷達
激光雷達提供了更高程度的距離和角度測量精度,相較于超聲波傳感器表現(xiàn)更為準確。因為激光雷達可以達到厘米乃至毫米級別的精度,并具有較高的空間分辨能力,所以能夠捕捉到更加豐富的細節(jié)。這項優(yōu)勢使其能夠更為精確地定位物體和邊緣,為用戶帶來更全面的環(huán)境信息。此外,激光雷達的測量范圍較大,可以覆蓋數(shù)十米乃至數(shù)百米的距離。在許多環(huán)境條件下(包括光照、氣候、表面反射特性等因素),激光雷達[9]展現(xiàn)出較好的測量穩(wěn)定性。所提供的豐富點云數(shù)據(jù)不僅包括距離和強度,還包括顏色等信息。因此,在如 3D 建模、地形分析和植被分析等專業(yè)領(lǐng)域應(yīng)用上,激光雷達具有明顯的競爭優(yōu)勢。借助于激光雷達的強大性能,廣泛應(yīng)用于無人駕駛、機器人導(dǎo)航、測繪等行業(yè),在不斷地提升現(xiàn)有技術(shù),創(chuàng)新未來的探索中發(fā)揮著關(guān)鍵作用。后續(xù)發(fā)展中,激光雷達將持續(xù)優(yōu)化性能并擴大應(yīng)用范圍,以滿足日益增長的技術(shù)需求和市場變化。
2.3 深度相機
深度相機是一種多功能圖像設(shè)備,充分利用了其在圖像采集和距離信息獲取方面的優(yōu)勢。除了捕獲彩色圖像(RGB) 之外,它還能夠?qū)崟r地檢測物體與攝像頭之間的距離,這種能力損益現(xiàn)實提高了設(shè)備的實用性。為了實現(xiàn)這一特性,深度相機采用了先進的技術(shù),為每個像素測量深度值并根據(jù)這些值生成精確的深度圖。正因如此,深度相機在物體識別、環(huán)境重建、姿態(tài)估計等多種應(yīng)用領(lǐng)域表現(xiàn)出顯著的優(yōu)越性。由于它可以直接獲取物體距離信息,深度相機被廣泛應(yīng)用于機器人導(dǎo)航、自動避障等場景,確保精確可靠的距離測量。在現(xiàn)實環(huán)境中,深度相機為各類應(yīng)用提供了豐富的三維空間信息,彌補了傳統(tǒng)相機在空間感知方面的損益現(xiàn)實。這使得深度相機在需要精細空間感知的場景中具有顯著的競爭優(yōu)勢。與此同時,深度相機在許多具有挑戰(zhàn)性的情況下仍能表現(xiàn)出較好的容錯性。例如,在處理復(fù)雜環(huán)境中的圖像失真或遮擋問題時,深度相機仍然可以獲取相對準確的深度信息。這種容錯能力使得深度相機在各種不利條件下依然能夠提供可靠的空間信息。隨著科技的不斷進步和人們對更先進應(yīng)用技術(shù)的需求日益增長,深度相機在未來可能會在更多領(lǐng)域發(fā)揮重要作用。無論是對現(xiàn)有技術(shù)進行改進,還是在新的應(yīng)用領(lǐng)域中進行探索,深度相機都有望帶來更高效、更創(chuàng)新的體驗。
3 系統(tǒng)實現(xiàn)
3.1 圖像預(yù)處理
OpenCV(Open Source Computer Vision Library) 是一個開源的計算機視覺庫,提供了豐富的圖像處理和計算機視覺功能[8]。在圖像預(yù)處理中,OpenCV 可以進行多種操作,以改善圖像質(zhì)量和為后續(xù)算法做準備。以下是一些典型的圖像預(yù)處理操作,分為兩部分:
第一部分:基本圖像處理
讀取和保存圖像:使用 OpenCV 讀取圖像文件,對圖像的修改后,可以將其保存到指定的文件中去。圖像的縮放、旋轉(zhuǎn)和翻轉(zhuǎn):對圖像進行尺寸縮放、旋轉(zhuǎn)到特定角度以及水平和垂直翻轉(zhuǎn)。直方圖均衡化:通過調(diào)整圖像的直方圖來增強圖像對比度,使得圖像中的顏色和灰度更均勻分布,以改善圖像質(zhì)量。圖像閾值處理:使用閾值處理將圖像轉(zhuǎn)換為二值圖像(黑白圖像)
第二部分:高級圖像處理
模糊與平滑:通過卷積運算,采用高斯模糊方法來降低圖像噪聲,幫助抑制圖像中的高頻噪聲成分,改善圖像質(zhì)量。邊緣檢測:使用Sobel算法,找到圖像中的邊緣信息,更好地識別圖像中的對象和特征。形態(tài)學(xué)變換:通過膨脹操作,去除噪聲、連接斷裂區(qū)域和分離重疊區(qū)域。模板匹配和特征點匹配:可以通過關(guān)鍵點匹配來查找圖像中的特征。
3.2 CNN 數(shù)字圖像處理
卷積神經(jīng)網(wǎng)絡(luò)(CNN) [7]是一種先進的深度學(xué)習(xí)方法,廣泛應(yīng)用于圖像處理和識別任務(wù)。與其他算法相比,CNN可以有效提取圖像的局部特征并進行逐層抽象,使得它能夠應(yīng)對數(shù)字旋轉(zhuǎn)、形變等挑戰(zhàn)。典型的CNN 模型,如本文所使用的、共包含15 層(含輸入層),具體可以分為特征提取和多分類輸出兩個部分。在特征提取方面,所采用的模型使用了四個卷積層和兩個最大池化層來挖掘圖像的局部特征。卷積層具體地,依次使用了兩個5×5和兩個3×3的濾波器進行卷積操作,加上ReLU激活函數(shù)以提高表達能力。為了加速模型收斂并防止過擬合,每個卷積層后都引入了批標(biāo)準化操作。此外,模型在每兩個卷積層之間加入了一個最大池化層,以實現(xiàn)特征下采樣并保持特征不變性。在多分類輸出部分,CNN模型采用了兩個全連接層,同時使用Dropout層來避免過擬合。這兩個全連接層之間的Dropout層可以提高網(wǎng)絡(luò)泛化能力。完成特征提取之后,模型通過Flatten層將后處理結(jié)果展平并輸入全連接層。最終,給出各類別的預(yù)測概率。CNN對于圖像處理任務(wù)具有顯著的效果,特別在圖像特征提取和多分類輸出方面表現(xiàn)優(yōu)異。通過設(shè)計合理的網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化方法,能夠在各種計算機視覺任務(wù)中獲得高準確率。隨著深度學(xué)習(xí)技術(shù)不斷發(fā)展,CNN將在未來圖像處理、識別等領(lǐng)域發(fā)揮更大的作用。
4 系統(tǒng)測試與結(jié)果分析
4.1 模型評估
模型在訓(xùn)練數(shù)據(jù)上的損失值為 0.0279,準確率達到了 0.9921。這意味著該模型在訓(xùn)練集上的性能相當(dāng)出色,可以很好地擬合訓(xùn)練數(shù)據(jù)。在驗證數(shù)據(jù)中,損失值為 0.0291,且準確率為 0.9945。這進一步證明了模型在驗證集上同樣具有很好的表現(xiàn),展示了優(yōu)秀的泛化能力并可以很好地應(yīng)對新數(shù)據(jù)。模型評估結(jié)果如圖7所示。
4.2 實驗測試
實驗測試結(jié)果如表 1 所示。
送達時間均小于58 s,綜上,設(shè)備的測試結(jié)果符合基本要求。
5 結(jié)論
智能送藥設(shè)備采用了、數(shù)字識別、自動導(dǎo)航算法、避障算法等技術(shù),可以提高醫(yī)療服務(wù)質(zhì)量、降低醫(yī)療成本等方面的問題。它將傳統(tǒng)的醫(yī)療服務(wù)方式進行了升級,實現(xiàn)了智能化、高效化、安全化的送藥服務(wù),對于提高醫(yī)療服務(wù)水平,推動醫(yī)療行業(yè)現(xiàn)代化具有重要意義。