摘要：本文設計了一款基于深度學習的目標檢測實踐平臺，平臺采用YOLOv8網(wǎng)絡模型作為目標檢測算法，通過對圖像數(shù)據(jù)集的訓練優(yōu)化網(wǎng)絡，達到目標檢測結果。該平臺達到了“軟件+硬件+網(wǎng)絡”同步實踐的教學效果，能夠讓學生將理論付諸實踐，在一定程度上培養(yǎng)了學生的動手操作和應用創(chuàng)新能力，并且能夠助力教師科研水平的提高，達到教學和科研“雙贏”。

關鍵詞：目標檢測；YOLOv8；Jetson Nano；實踐教學

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2024）22-0000-05

引言

“新工科”是應對變化、引領未來的建設理念，也就是對新技術、新產(chǎn)業(yè)與新變化推進可持續(xù)競爭力的新型工科人才培養(yǎng)改革。電子信息類專業(yè)是支撐“中國制造2025”“互聯(lián)網(wǎng)+”時代需求的專業(yè)之一，其培養(yǎng)的人才不僅要掌握和運用現(xiàn)有的知識，更要能夠掌握和運用現(xiàn)有知識來不斷更新自我以適應新的變化和需求。[1]在“新工科”建設理念指導下，更多的應用型課程應運而生，筆者所在學校通信工程專業(yè)開設的應用型課程“模式識別與機器學習”是一門“理論+應用”的實踐課程，該課程內(nèi)容包括人工智能技術方面的理論，以及更重要的該技術的應用實踐環(huán)節(jié)。

在模式識別與機器學習中有一個重要的應用領域——“目標檢測識別”，其原理是利用計算機視覺對環(huán)境進行感知，提取目標并進行分割，相比于人眼，它能夠快速地在視覺信息里提取到需要的圖像和視頻信息。[2]目標檢測也是人工智能技術的重要應用之一，其主要任務就是找出圖像中感興趣的物體，確定目標的類別和位置。目標檢測技術廣泛應用于智能視頻監(jiān)控、工業(yè)檢測、航空航天、智能交通等諸多領域。[3]

基于深度學習的目標檢測算法有著較強的提取特征能力，為了提高學生在模式識別領域的創(chuàng)新和實踐能力，筆者結合學生專業(yè)背景和未來就業(yè)前景，設計了一款基于深度學習的目標檢測實踐平臺。該平臺采用主流的目標檢測YOLOv8算法，在目標檢測和識別領域進行實時檢測，在服務器端進行網(wǎng)絡優(yōu)化，得到理想的檢測結果；在硬件部署方面利用NVIDIA的Jetson Nano開發(fā)板作為載體，其具有嵌入式端的GPU模塊，能夠更好地完成深度學習模型推理；網(wǎng)絡模型通過Web技術移植到網(wǎng)絡云端，網(wǎng)絡端可以方便讀取和觀察檢測過程的結果?！霸?、邊、端”三平臺都可以實現(xiàn)數(shù)據(jù)圖像的追蹤、定位、分割、識別、缺陷檢測等。該平臺滿足“新工科”建設中對人才培養(yǎng)提出的新要求，有助于加強學生對理論知識的鞏固，并在科教融合背景下促進學生工程能力的提升。[4-6]

基于深度學習的目標檢測實踐平臺的設計

1.目標檢測實踐設計流程

目標實時檢測主要包括圖像數(shù)據(jù)集處理、檢測模型處理、實時嵌入式設備檢測和網(wǎng)絡云端上線操作。目標檢測平臺設計流程如圖1所示。

數(shù)據(jù)集的處理包括圖像數(shù)據(jù)的收集。大部分常用圖像數(shù)據(jù)信息可以從官方網(wǎng)站獲取，有些圖像數(shù)據(jù)則需要自主按照要求去實地現(xiàn)場拍攝、加工和篩選等。[7]經(jīng)過簡單收集后的圖像數(shù)據(jù)按照要求進行標注，標注后的數(shù)據(jù)集按照一定的比例分為訓練集和測試集。

檢測模型采用目標檢測較優(yōu)的YOLOv8網(wǎng)絡模型，首先，針對不同的項目特點優(yōu)化網(wǎng)絡模型，修改模型超參數(shù)達到目標檢測優(yōu)化。其次，在網(wǎng)絡模型訓練成功后，將其部署到Jetson Nano核心板上，通過核心板的外接設備對圖像目標進行實時檢測。[8]最后，將模型移植到網(wǎng)絡云端，進行可視化、互動操作等。

該實踐平臺實現(xiàn)了“軟件、硬件、網(wǎng)絡”三平臺一體化結合，學生通過收集圖像和數(shù)據(jù)標簽，先期通過軟件進行模型訓練，中期利用硬件部署達到實時監(jiān)測，后期移植網(wǎng)絡端可視化操作，最后達到理論與實踐的完美結合，這在一定程度上提高了學生的動手操作和創(chuàng)新應用的能力。

2.目標檢測的實踐教學平臺設計

圖像目標檢測實踐平臺設計的核心是通過學生“學中做”“做中研”“研中學”的循k7vpsdiGP32SGlnVaj03Cw==環(huán)學習方式，讓學生運用新知識提升工程設計能力和創(chuàng)新能力。該實踐通過項目式教學充分調動學生的積極性和主動性，培養(yǎng)學生的設計思維和工程思維。[9]圖像檢測實踐平臺設計的項目如上頁表所示，其中的項目類型包括基礎項目、拓展項目和創(chuàng)新項目。

基礎項目訓練使學生初步運用YOLOv8神經(jīng)網(wǎng)絡模型對目標進行檢測識別，首先構建數(shù)據(jù)集，并將數(shù)據(jù)集分為訓練集和測試集，其次構建神經(jīng)網(wǎng)絡模型對模型進行訓練，最后加載訓練好的模型，對測試集進行預測，達到識別效果。

拓展項目要求學生通過優(yōu)化現(xiàn)有的網(wǎng)絡模型，對較難的目標進行檢測識別。

創(chuàng)新項目要求學生可以選擇教師發(fā)布的項目，也可以自行設計檢測目標，自行完成目標檢測。

同時，設計的項目內(nèi)容要充分滿足“高階性、創(chuàng)新型和挑戰(zhàn)度”原則[10]，通過“層層遞進”式的項目化設計，覆蓋全員進行模式識別的實踐。

目標檢測方法設計和部署

1.圖像數(shù)據(jù)集的選擇

本實踐平臺針對的主要是圖像數(shù)據(jù)的目標檢測和識別，對于常用的圖像目標檢測識別，其圖像數(shù)據(jù)集資源較豐富，并且包括訓練圖像和和測試圖像，如動物種類Dogs vs Cats數(shù)據(jù)集、面部表情KDEF數(shù)據(jù)集、垃圾分類數(shù)據(jù)集等。在下載數(shù)據(jù)集后，進行標注預處理，以便能夠達到訓練和測試圖像分類、目標檢測、圖像分割等的目的。

但對于特定場景下的圖像目標檢測識別，其圖像數(shù)據(jù)集網(wǎng)絡資源則不一定豐富。在這種情況下，就需要學生通過視頻監(jiān)控或者實地拍攝收集圖像資源，進行訓練圖像和測試圖像的劃分。因此，從利用現(xiàn)有的數(shù)據(jù)集進行訓練檢測到自建數(shù)據(jù)集進行訓練檢測，這樣的實踐過程能夠使學生從上到下完整地完成一個設計項目，進而達到較好的訓練目的。

2.YOLOv8模型構建

YOLO現(xiàn)在已經(jīng)成為機器人、無人駕駛和視頻監(jiān)控應用中的核心實時物體檢測算法。目前，YOLO版本已經(jīng)發(fā)展到YOLOv8網(wǎng)絡模型，該模型是一個面向實時工業(yè)應用而開源的目標檢測算法。因此，筆者在實踐教學平臺中使用了最新的YOLOv8模型。該算法針對不同的設備需求和不同的應用場景提供了大小和參數(shù)不同的網(wǎng)絡。YOLOv8模型的網(wǎng)絡結構如圖2所示。

YOLOv8網(wǎng)絡模型分為輸入端（Input）、主干道（Backbone）、連接（Neck）和輸出（Detect）4個部分。Backbone和Neck中主要采用C2f結構，該結構是對殘差特征進行學習的主要模塊，C2f結構相較于YOLOv5的C3模塊加入了更多的分支，豐富了梯度回傳時的直流。其他主要組成模塊還包含卷積層（Conv）和SPPF結構。[11-12]

然后，通過服務器上的網(wǎng)絡模型進行目標檢測，流程如下：將測試圖像傳入YOLOv8網(wǎng)絡進行網(wǎng)絡訓練，通過訓練得到較優(yōu)的網(wǎng)絡模型，然后輸入數(shù)據(jù)進行YOLO檢測得到檢測結果（如上頁圖3）。

3.模型硬件部署

在服務器端按照以上步驟學習完成后，需要在Jetson Nano嵌入式設備上完成目標檢測算法的板級驗證。Jetson Nano是NVIDIA的嵌入式平臺，為了可以在Jetson Nano硬件上運行模型，首先要對開發(fā)環(huán)境進行搭建。[13-14]Jetson Nano的系統(tǒng)安裝以SD卡作為媒介進行，采用Jetson Nano進行模型遷移部署，對TensorFlow GPU、優(yōu)化引擎TensorRT等進行安裝，具體步驟如圖4所示。

在深度學習服務器上，將訓練好的YOLOv8模型.pt文件序列化成.wts文件傳入Jeston Nano開發(fā)板，在Jeston Nano開發(fā)板上優(yōu)化并編譯相應的YOLOv8模型文件，將.wts文件轉換為.engine文件，完成后進行模型轉換，采用TensorRT Python程序接口實現(xiàn)API調用。

實踐項目案例應用

本文的實踐項目，筆者選取了非機動車佩戴頭盔目標檢測識別。由于非機動車事故產(chǎn)生的人身傷害最嚴重的是頭部受傷，因此，交管部門大力倡導非機動車駕駛員佩戴頭盔，但是通過人工監(jiān)管的方法覆蓋范圍有限，工作實施難度大，所以本項目設計的初衷也是要求學生在學習實踐專業(yè)知識的同時，遵守交通規(guī)則，懂得規(guī)矩意識，實現(xiàn)“育才”和“育德”相向而行。

1.服務器端實踐項目應用

由于非機動車佩戴頭盔的圖片網(wǎng)絡資源并不豐富，因此本設計項目要求學生先自建數(shù)據(jù)集，該數(shù)據(jù)集由學生分組收集拍照。

首先，教師將40人的班級分為10組，要求每組拍照100張，圖片要求涵蓋不同的地點、不同的背景、不同的車型（包括自行車、電動自行車和電動摩托車）。

其次，學生將拍照后的圖片進行數(shù)據(jù)集的標注處理，利用Labelimag工具對獲取的圖像進行標注，將拍攝到的圖像分為四類，分別是Hel_mo，Hel_no，Hel_mo1，Hel_no1。其中，Hel_mo，Hel_no分別表示電動自行車騎行者佩戴和未佩戴頭盔；Hel_mo1，Hel_no1分別表示非電動自行車騎行者佩戴和未佩戴頭盔。

再次，采用YOLOv8網(wǎng)絡模型對以上圖像數(shù)據(jù)進行訓練和檢測。利用第一層網(wǎng)絡識別第一目標是否駕駛的是電動自行車，再利用第二層網(wǎng)絡識別判斷目標是否佩戴頭盔。其中一組學生獲得的檢測識別結果正確率都在95%以上，效果較好。

最后，教師利用圖像集中有大量的多目標圖像將難度適當升高，學生經(jīng)過網(wǎng)絡模型訓練后得到的識別率為90%左右。

2.Jetson Nano端實踐項目應用

為了實時監(jiān)控項目監(jiān)測結果，教師可以指導學生采用Jetson Nano進行模型遷移部署。學生按流程完成服務器端訓練好的模型，將模型遷移部署到Jeston Nano端，在Jetson Nano開發(fā)板上優(yōu)化并編譯相應的YOLOv8模型文件，完成后進行模型轉換，轉換格式后實現(xiàn)API調用。TensorRT進一步加快了推理過程，運行結果顯示在Jetson Nano端運行速度有明顯提高，一張照片的檢測識別速度由幾百毫秒提升到幾十毫秒，識別速度和效果較好。

3.網(wǎng)頁云端實踐項目應用

為提升目標檢測系統(tǒng)的效率，云端覆蓋了圖像數(shù)據(jù)的標定、數(shù)據(jù)集管理、模型訓練和部署等。[15]教師進一步將上述訓練好的網(wǎng)絡模型移植網(wǎng)絡端，Web網(wǎng)絡端可以進行實時交互式、可視化操作。該頁面包含模型配置，配置下有任務類型選擇、模型類型選擇和置信度選擇。主界面包含原圖像和檢測識別后的圖像，在輸出圖像下方詳細介紹該檢測結果的張量信息。在網(wǎng)頁端進行參數(shù)選擇執(zhí)行化高，結果可以實時顯示，對比性強，同時也大大降低了去程序中修改參數(shù)的工作量，免去了大量的重復工作。

結語

基于深度學習的圖像檢測實踐平臺是“模式識別和機器學習”課程的實踐環(huán)節(jié)，該實踐平臺的使用能讓學生更好地理解模式識別和機器學習在實際生活中的實際應用價值。該平臺以網(wǎng)絡模型YOLOv8算法為核心，在“云、邊、端”進行實踐操作，采用“軟件+硬件+網(wǎng)絡云”結合的形式進行模型設計和部署，每個環(huán)節(jié)都培養(yǎng)了學生的動手操作和應用創(chuàng)新能力。該實踐平臺的建設有助于學生在計算機視覺、深度學習、模式識別領域的深入研究和學習，拓展了學生的知識領域。

參考文獻：

[1]王鳳仙，閆曉波.應用型本科多學科互融型創(chuàng)新創(chuàng)業(yè)教育模式探究[J].農(nóng)機使用與維修，2023（10）：126-129.

[2]李穎，王奇強.分布式人工智能技術在視覺信息處理中的應用[J].數(shù)字通信世界，2019（10）：182.

[3]蔡嘉磊，茅智慧，李君，等.基于深度學習的目標檢測算法與應用綜述[J].網(wǎng)絡安全技術與應用，2023（11）：41-45.

[4]孫康寧，于化東，梁延德.基于新工科的知識、能力、實踐、創(chuàng)新一體化培養(yǎng)教學模式探討[J].中國大學教學，2019（03）：93-96．

[5]任玉琢，徐利梅，謝曉梅.面向新工科的本科專業(yè)培養(yǎng)方案及創(chuàng)新課程設計與實踐[J].高等工程教育研究，2019（03）：29-32．

[6]周珂，趙志毅，李虹.“學科交叉、產(chǎn)教融合”工程能力培養(yǎng)模式探索[J].高等工程教育研究，2019（03）：33-39.

[7]左超，陳錢.計算光學成像：何來，何處，何去，何從？[J]紅外與激光工程，2022，（51）：158.

[8]王俊，陳俊杰，劉勝.基于Jetson Nano的遺留物檢測人工智能嵌入式教學實踐系統(tǒng)[J].實驗室研究與探索，2022，41（11）：204-207.

[9]蔣翠玲，萬永菁，朱煜.基于華為“智能基座”計劃的項目式教學實踐——以機器視覺算法實訓課程為例[J].化工高等教育，2022，39（04）：24-30.

[10]肖成勇，李擎，張德政，等.基于深度學習的計算機視覺創(chuàng)新實驗平臺設計與實現(xiàn)[J].實驗室研究與探索，2022，41（04）：94-98.

[11]杜寶俠，唐友，辛鵬，等.基于改進YOLOv8的蘋果檢測方法[J].無線互聯(lián)科技，2023，20（13）：119-122.

[12]袁紅春，陶磊.基于改進的Yolov8商業(yè)漁船電子監(jiān)控數(shù)據(jù)中魚類的檢測與識別[J].大連海洋大學學報，2023，38（03）：533-542.

[13]鄭朝冰.基于深度學習的復雜交通場景下車牌識別算法研究與實現(xiàn)[D].深圳：深圳大學.2021.

[14]丁奇安，劉龍申，陳佳，等.基于Jetson Nano+YOLOv5的哺乳期仔豬目標檢測[J].農(nóng)業(yè)機械學報，2022，53（03）：277-280.

[15]孫賀，冷于浩，劉默嘉.基于機器視覺的表面質量檢測系統(tǒng)研究與應用[J].無線互聯(lián)科技，2022，19（18）：106-109.

第一作者簡介：李哲（1988—），女，漢族，河北邢臺人，講師，碩士，研究方向為模式識別。

基金項目：河北省社會科學發(fā)展研究課題（編號：202403214）；教育部高等學校自動化類專業(yè)教學指導委員會教改研究面上項目（編號：2024065）；河北省高等學?？茖W技術研究項目（編號：ZC2024032）。