摘" 要: 魚類跟蹤是分析魚類行為、評(píng)估其健康水平的關(guān)鍵步驟。然而,由于真實(shí)水下養(yǎng)殖魚群具有運(yùn)動(dòng)非線性、高外觀相似度、魚體互相遮擋、特征信息損失嚴(yán)重等特點(diǎn),多目標(biāo)跟蹤魚類是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。針對(duì)水下魚體反射產(chǎn)生的偽影以及魚體運(yùn)動(dòng)非線性、相互遮擋導(dǎo)致跟蹤軌跡碎片化的問題,提出一種水下多魚跟蹤模型DF?Track。該模型采用基于檢測(cè)的跟蹤(TBD)范式,首先在YOLOv8的C2f結(jié)構(gòu)中引入聚合感知注意力機(jī)制(APFA),提高在前向過程中提取圖像特征的能力;然后使用SDI多層次特征融合模塊對(duì)YOLOv8中的feature fusion部分進(jìn)行重設(shè)計(jì),減少特征融合階段不同層級(jí)特征信息的沖突問題;最后提出一種優(yōu)化軌跡管理的跟蹤模型DF?Track,并引入Focal?EIoU補(bǔ)償匹配空間中的運(yùn)動(dòng)估計(jì)偏差,平衡幾何一致性。實(shí)驗(yàn)結(jié)果表明:與原YOLOv8相比,所提算法的精確率提高了1.7%,平均精度均值提高了2.1%;DF?Track與其他MOT跟蹤算法相比,HOTA達(dá)到70.9%,MOTA達(dá)到91.9%,IDF1達(dá)到80.4%。證明DF?Track模型在水下魚類跟蹤任務(wù)中具有較好的性能。
關(guān)鍵詞: 多目標(biāo)跟蹤; 水下魚體; DF?Track模型; 非線性運(yùn)動(dòng); 幾何一致性; 運(yùn)動(dòng)估計(jì)偏差補(bǔ)償
中圖分類號(hào): TN820.4?34; Q142" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼: A" " " " " " " " " " "文章編號(hào): 1004?373X(2024)20?0153?07
Method of underwater fish body tracking based on DF?Track
WU Jiang, LI Ran, FAN Lili, WANG Ning, WANG Kecheng
(School of Information Engineering, Dalian Ocean University, Dalian 116023, China)
Abstract: Fish tracking is a crucial step in analyzing fish behavior and assessing their health status. However, due to the characteristics of real underwater aquaculture fish schools, such as nonlinear motion, high appearance similarity, mutual occlusion between fish bodies, and severe loss of feature information, multi?target tracking of fish is a highly challenging task. To address the issues of artifacts caused by underwater fish body reflection, as well as the fragmentation of tracking trajectories due to nonlinear fish motion and mutual occlusion, an underwater multi?fish tracking model DF?Track is proposed. In this model, the tracking by detection (TBD) paradigm based on detection is adopted, and the aggregated pixel?focused attention (APFA) mechanism is introduced into the C2f structure of YOLOv8 to improve the ability to extract image features during the forward process. The SDI multi?level feature fusion module is used to redesign the feature fusion section in YOLOv8, reducing the conflicts in feature information at different levels during the feature fusion stage. Then, an optimized trajectory management tracking model, DF?Track, is proposed, and Focal?EIoU is introduced to compensate for motion estimation deviations in the matching space, so as to balance geometric consistency. The experimental results show that, in comparison with original YOLOv8, the accuracy of the proposed algorithm is increased by 1.7%, and the average accuracy is increased by 2.1%; in comparison with other MOT tracking algorithms, DF?Track can realize 70.9% in HOTA, 91.9% in MOTA and 80.4% in IDF1. It proves that DF?Track model has better performance in underwater fish tracking task.
Keywords: multi?target tracking; underwater fish body; DF?Track model; nonlinear motion; geometric consistency; motion estimation deviation compensation
0" 引" 言
魚類跟蹤技術(shù)在魚類行為監(jiān)測(cè)中發(fā)揮著重要作用,是準(zhǔn)確掌握水產(chǎn)動(dòng)物的生長(zhǎng)狀況和健康狀況、保證水產(chǎn)品產(chǎn)量和供應(yīng)、減少環(huán)境污染的重要支撐技術(shù)[1]。水下魚類跟蹤技術(shù)的原理是建立連續(xù)視頻序列中魚的位置關(guān)系,得到魚的完整運(yùn)動(dòng)軌跡[2]。相較于傳統(tǒng)傳感器技術(shù),基于深度學(xué)習(xí)的水下目標(biāo)跟蹤方法具有實(shí)時(shí)性強(qiáng)、無(wú)需接觸、不會(huì)影響水下生物正常行為等諸多優(yōu)勢(shì)[3]。因此,開展水下魚類跟蹤研究十分必要。
近年來,隨著目標(biāo)檢測(cè)算法的精度不斷提升[4],基于檢測(cè)的跟蹤方法(Tracking By Detection, TBD)成為多目標(biāo)跟蹤算法的主流[5]。水下魚類跟蹤在許多方面不同于人類、車輛跟蹤,其具有運(yùn)動(dòng)非線性、形變多且外觀相似度高等特點(diǎn)[6],難以僅憑顏色和紋理識(shí)別。除了常見的水下目標(biāo)與背景顏色失真、特征信息缺失、魚類外觀相似度高等問題外,還需要重點(diǎn)關(guān)注以下問題:魚體非線性游動(dòng)、相互遮擋,同時(shí)一些魚體游出折返,導(dǎo)致ID切換、軌跡碎片化,如圖1a)所示;水下魚體反射到上部水面,形成虛假的魚體運(yùn)動(dòng)軌跡,常規(guī)檢測(cè)算法將偽影誤認(rèn)為魚體,從而導(dǎo)致后續(xù)的跟蹤性能差,如圖1b)所示。一階段跟蹤算法當(dāng)出現(xiàn)大量遮擋或魚體游出折返情況時(shí),難以重建聯(lián)系。
楊曉帥結(jié)合俯視、側(cè)視攝像機(jī)的跟蹤結(jié)果來獲取魚的三維軌跡,跟蹤精度有所改進(jìn)[7]。但Faster R?CNN作為兩階段檢測(cè)器,檢測(cè)速度上具有明顯劣勢(shì),同時(shí)多視角信息融合未能從根本上解決關(guān)聯(lián)階段的軌跡碎片化問題。而Fair?MOT[8]添加了檢測(cè)目標(biāo)與提取Re?ID特征兩個(gè)同質(zhì)分支;CenterTrack[9]連續(xù)輸入兩幀圖像,將檢測(cè)和跟蹤網(wǎng)絡(luò)相結(jié)合進(jìn)行學(xué)習(xí),在外觀方面使用深度特征提取。以上兩個(gè)算法是聯(lián)合檢測(cè)跟蹤算法的代表。
鞏龍勤利用改進(jìn)Simple?SORT實(shí)現(xiàn)紅友魚實(shí)時(shí)跟蹤,但因其使用輕量化檢測(cè)器,難以區(qū)分真實(shí)魚體與水下反射形成的偽影[10]。文獻(xiàn)[11]使用空洞卷積層獲取強(qiáng)語(yǔ)義信息,減少?gòu)?fù)雜水下環(huán)境定位信息損失,但面對(duì)特征缺失嚴(yán)重的水下環(huán)境時(shí),仍然難以區(qū)分偽影和目標(biāo)。BoT?SORT[12]和OC?SORT[13]算法分別提出IoU+ReID融合和Observation平滑策略來減少誤差累積,但以上兩種算法應(yīng)對(duì)水下模糊環(huán)境和外觀相似對(duì)象時(shí),仍難以分辨魚體與偽影,軌跡關(guān)聯(lián)階段仍受遮擋、運(yùn)動(dòng)模糊影響,存在顯著噪聲。
從以上分析可知,目前研究針對(duì)水下魚體反射產(chǎn)生的魚體偽影、魚體相互遮擋或游出折返導(dǎo)致跟蹤軌跡碎片化等問題沒有很好的解決策略,適用性和效率有待進(jìn)一步提高。為此,本文提出了一種優(yōu)化軌跡管理的水下魚類目標(biāo)跟蹤方法,即DF?Track,更好地平衡幾何一致性,提高應(yīng)對(duì)快速運(yùn)動(dòng)和運(yùn)動(dòng)估計(jì)偏差的能力。該方法利用改進(jìn)YOLOv8來識(shí)別水下魚體,加強(qiáng)對(duì)魚體與偽影的判別能力;然后使用DF?Track跟蹤器為每個(gè)檢測(cè)到的魚體分配唯一ID,引入Focal?EIoU補(bǔ)償匹配空間中運(yùn)動(dòng)估計(jì)偏差,在魚體被完全或部分遮擋,軌跡不能與檢測(cè)到的物體匹配時(shí),棄用常規(guī)外觀重識(shí)別方法,利用歷史運(yùn)動(dòng)軌跡與低置信度框,應(yīng)用最后幀線索來促進(jìn)身份恢復(fù)。DF?Track能夠更好地解決水下反射產(chǎn)生的魚體偽影、跟蹤軌跡碎片化等問題。
1" 模型原理
1.1" 檢測(cè)器模型
1.1.1" YOLOv8模型
YOLOv8是YOLO系列的重大進(jìn)步,其采用梯度流更豐富的C2f結(jié)構(gòu)替代C3,形成了更加精細(xì)的梯度流洞察和輕量級(jí)配置;同時(shí)YOLOv8使用Anchor?Free[14]檢測(cè)頭將目標(biāo)位置與類別信息分別提取,避免了Anchor設(shè)置不合理導(dǎo)致的漏檢、重檢問題,能夠?qū)崿F(xiàn)精確高效的目標(biāo)檢測(cè)。
1.1.2" 融合APFA注意力機(jī)制
為解決水下反射產(chǎn)生的魚體虛影與目標(biāo)魚體外觀相近,經(jīng)常出現(xiàn)檢測(cè)器將干擾信息與目標(biāo)特征信息混淆的問題,并降低虛影、模糊背景對(duì)魚體檢測(cè)造成的干擾,本文使用聚合感知注意力機(jī)制[15](Aggregated Pixel?focused Attention, APFA)改進(jìn)C2f模塊,增強(qiáng)檢測(cè)器對(duì)真實(shí)目標(biāo)區(qū)域的關(guān)注度,有效提高backbone在前向過程中提取圖像特征的能力。
在原YOLOv8中,C2f模塊主要負(fù)責(zé)梯度分流,融合淺層和深層特征,提取語(yǔ)義信息。本文在C2f中加入APFA注意力機(jī)制,其結(jié)構(gòu)如圖2所示。該機(jī)制基于像素操作,采用雙路徑設(shè)計(jì),窗口和池大小分別為3×3和2×2。其中,一條路徑關(guān)注細(xì)粒度鄰居特征,另一條路徑關(guān)注粗粒度全局特征,模擬生物視覺聚焦感知模式。
由于APFA注意力機(jī)制不依賴堆疊進(jìn)行信息交換,有效避免了深度退化效應(yīng),因此可以更加有效地分辨真實(shí)魚體與水下反射產(chǎn)生的魚體虛影。給定輸入:
[X∈RC×H×W] (1)
定義輸入特征圖上以[(i,j)]為中心的滑動(dòng)窗口中的像素集合為[ρ(i,j)],對(duì)于固定的窗口大小[k×k],[ρ(i,j)=k2]。同時(shí)定義從特征圖池化得到的像素集合為[σX],則有:
[Si,j~ρi,j=Qi,jKTρi,j] (2)
[Si,j~σX=Qi,jKTσX] (3)
對(duì)于池化大小[HP×WP],[σX=HP×WP],有:
[Ai,j~ρi,j,Ai,j~σX=SplitAi,jwith sizek2,HPWP] (4)
像素聚焦注意力可以表示為:
[PFAXI,J=Ai,j~ρi,jVρi,j+Ai,j~σXVσX] (5)
如圖3所示,C2fAPFA是將原網(wǎng)絡(luò)C2f模塊中的Bottleneck替換為APFABottleneck,該模塊在參數(shù)量略微增長(zhǎng)的前提下,引入雙路徑特征提取融合策略,增強(qiáng)了不同網(wǎng)絡(luò)層間學(xué)習(xí)特征的豐富性,減少了冗余梯度信息的影響。
1.1.3" 多層次特征融合(SDI)模塊
由于水下環(huán)境導(dǎo)致魚體顏色失真、背景與目標(biāo)難以區(qū)分,常規(guī)YOLOv8在特征融合時(shí)易產(chǎn)生層級(jí)間信息沖突,引發(fā)圖像噪聲增加,降低檢測(cè)效果,本文使用U?NetV2[16]中的語(yǔ)義細(xì)節(jié)特征融合模塊(SDI)對(duì)YOLOv8中的feature fusion部分進(jìn)行重設(shè)計(jì)。
SDI模塊結(jié)構(gòu)如圖4所示,它利用Hadamard乘法,將高級(jí)語(yǔ)義信息與低級(jí)精細(xì)細(xì)節(jié)集成在不同特征層,連接多維特征,減少噪聲并強(qiáng)化關(guān)鍵信息交互。對(duì)于一個(gè)輸入圖像[I],用[f0i]表示第i個(gè)層級(jí)的特征,首先對(duì)每個(gè)層級(jí)的特征[f0i]應(yīng)用空間和通道注意力機(jī)制,使得特征可以集成局部空間信息和全局通道信息,具體如下:
[f1i=?CiφSif0i] (6)
[f2i=RHi×Wi×c] (7)
式中:[?Ci]和[φSi]分別表示第i個(gè)層級(jí)中的通道和空間注意力的參數(shù);[Hi]、[Wi]和[c]分別表示[f2i]的寬度、高度和通道數(shù)。
改進(jìn)后的YOLOv8模型結(jié)構(gòu)如圖5所示。將骨干網(wǎng)絡(luò)的倒數(shù)第2個(gè)、第3個(gè)C2f 模塊替換為C2fAPFA模塊,將concat替換為SDI多層次特征融合模塊。
1.2" 跟蹤器模型
在MOT20[17]上表現(xiàn)良好的多種MOT方法[18]在水下魚類數(shù)據(jù)集中性能大幅下降。HOTA分?jǐn)?shù)下降的原因主要有兩個(gè):一是魚體極其相似的外觀導(dǎo)致基于外觀相似度匹配的跨幀檢測(cè)方法失效[19];二是魚體非線性運(yùn)動(dòng)(加減速或突然轉(zhuǎn)向)導(dǎo)致運(yùn)動(dòng)估計(jì)失準(zhǔn),錯(cuò)失匹配機(jī)會(huì)。常規(guī)TBD跟蹤器難以實(shí)現(xiàn)高精度跟蹤,因此,本文引入Focal?EIoU[20]平衡幾何一致性和優(yōu)化軌跡管理兩個(gè)改進(jìn)策略,以提升跟蹤性能。不同數(shù)據(jù)集跟蹤器性能對(duì)比圖如圖6所示。
1.2.1" 引入Focal?EIoU平衡幾何一致性
在處理魚體非線性運(yùn)動(dòng)時(shí),常規(guī)IoU無(wú)法衡量非重疊邊界框的重合度,當(dāng)loss=1時(shí),梯度無(wú)法回傳,模型學(xué)習(xí)受阻,初始化和運(yùn)動(dòng)估計(jì)變得困難,導(dǎo)致相鄰幀中同一魚體因無(wú)重疊特征而難以匹配。
為解決此問題,在關(guān)聯(lián)匹配階段引入Focal?EIoU[20],結(jié)構(gòu)圖如圖7所示,旨在平衡幾何一致性,提高對(duì)快速運(yùn)動(dòng)和運(yùn)動(dòng)估計(jì)偏差的魯棒性。Focal?EIoU在CIoU基礎(chǔ)上拆分縱橫比影響因子,通過高寬損失最小化預(yù)測(cè)與真實(shí)框的差異,實(shí)現(xiàn)快速收斂和精準(zhǔn)定位,優(yōu)化匹配空間。
EIoU計(jì)算公式如下:
[LEIoU=LIoU+Ldis+Lasp" " " " "=1-IoU+ρ2b,bgtwc2+hc2+ρ2w,wgtwc2+ρ2h,hgthc2] (8)
式中:[wc]和[hc]是預(yù)測(cè)邊界框與真實(shí)邊界框的最小外接矩形的寬度和高度;[ρ]是兩點(diǎn)之間的歐氏距離。
引入的EIoU優(yōu)化關(guān)聯(lián)匹配模塊在兩個(gè)方面減輕了魚體非線性運(yùn)動(dòng)的影響:一個(gè)是直接匹配相鄰幀中相同但不重疊的檢測(cè)和軌跡;另一個(gè)是補(bǔ)償匹配空間中的運(yùn)動(dòng)估計(jì)偏差,引入高寬損失使預(yù)測(cè)框與真實(shí)框的寬度和高度之差最小,優(yōu)化它們的匹配空間。
1.2.2" 優(yōu)化軌跡管理
在TBD框架下,軌跡管理主要負(fù)責(zé)軌跡的初始化、更新和終止。由于水下經(jīng)常出現(xiàn)魚體遮擋或游出視野后折返的情況,當(dāng)魚體被部分遮擋時(shí),檢測(cè)器得到的檢測(cè)框置信度偏低,易被跟蹤器篩選排除,導(dǎo)致無(wú)法正確識(shí)別并進(jìn)行后續(xù)的跟蹤,出現(xiàn)軌跡碎片化、ID錯(cuò)誤切換。對(duì)于水下魚體被完全遮擋的情況,常見的外觀重識(shí)別方法(REID)[21]因不同魚體間外觀、顏色極其相似,使得處理效果不明顯,并且在跟蹤算法中添加外觀匹配會(huì)提高推理計(jì)算成本。
針對(duì)此問題,本研究利用低置信度框和歷史軌跡框,通過最后幀線索恢復(fù)身份,確保檢測(cè)與跟蹤的強(qiáng)關(guān)聯(lián)。當(dāng)檢測(cè)框置信度高于閾值(BoT?SORT設(shè)置為 0.55),賦予ID、類別和置信度進(jìn)行跟蹤。為避免低置信度框被篩選掉,設(shè)定0.2為檢測(cè)框置信度下限。首先,高分檢測(cè)框(置信度≥0.55)優(yōu)先與上一幀軌跡框關(guān)聯(lián)匹配;然后,對(duì)未匹配軌跡框與置信度在0.2~0.55的低分檢測(cè)框進(jìn)行二次匹配;最后,依靠高性能檢測(cè)器和運(yùn)動(dòng)信息進(jìn)行第三次匹配,確保軌跡連續(xù)性??紤]到置信度呈高斯分布,將被遮擋前最后一次出現(xiàn)的檢測(cè)框位置設(shè)為均值,保留最新100幀歷史檢測(cè)值作為合理遮擋時(shí)間差,連續(xù)30幀軌跡框未成功匹配,則刪除軌跡信息。三次關(guān)聯(lián)匹配能夠有效降低漏檢率,進(jìn)而解決跟蹤軌跡碎片化問題。本文提出的DF?Track級(jí)聯(lián)匹配跟蹤器架構(gòu)如圖8所示,繼承了BoT?SORT[12]的部分軌跡管理,并將改進(jìn)的EIoU平衡幾何一致性應(yīng)用在第一、第三次匹配關(guān)聯(lián),可以更有效地區(qū)分魚體與偽影,更好地減少魚體跟蹤軌跡碎片化。
2" 實(shí)驗(yàn)與結(jié)果分析
2.1" 數(shù)據(jù)采集與處理
為了驗(yàn)證DF?Track的有效性,創(chuàng)建了水下魚體跟蹤數(shù)據(jù)集,數(shù)據(jù)采集自大連市天正實(shí)業(yè)有限公司紅鰭東方鲀養(yǎng)殖車間。從獲取的視頻中以每隔15幀抽取一張圖像,隨后使用Labelimg進(jìn)行標(biāo)注,并分別選取200幅圖像進(jìn)行亮度調(diào)節(jié)、對(duì)比度增強(qiáng)、水平翻轉(zhuǎn)以及隨機(jī)方向旋轉(zhuǎn),共擴(kuò)充至3 988張。數(shù)據(jù)集隨機(jī)劃分比為8∶2。對(duì)于跟蹤器數(shù)據(jù),將圖像按照MOT20[17]數(shù)據(jù)集格式進(jìn)行分配,訓(xùn)練集與驗(yàn)證集比例為9∶1。
2.2" 評(píng)估指標(biāo)
多目標(biāo)檢測(cè)評(píng)估方面,對(duì)YOLOv8性能評(píng)價(jià)的主要指標(biāo)是精確率(Precision)、召回率(Recall)以及平均精度均值(mAP@0.5)。多目標(biāo)跟蹤評(píng)估方面,在MOTChallenge評(píng)價(jià)標(biāo)準(zhǔn)下,主要評(píng)估指標(biāo)為跟蹤準(zhǔn)確度(MOTA)、跟蹤精度(MOTP)、ID切換數(shù)(IDSW)、HOTA。
2.3" 實(shí)驗(yàn)環(huán)境
CPU型號(hào)為Intel[?] CoreTM i7?13700H,GPU型號(hào)為NVIDIA RTX4060,顯存為8 GB,操作系統(tǒng)為WIN11。編程語(yǔ)言為Python 3.8,深度學(xué)習(xí)框架為PyTorch 2.0.1。
2.4" 消融實(shí)驗(yàn)
2.4.1" 改進(jìn)YOLOv8組件消融
為驗(yàn)證檢測(cè)器改進(jìn)模塊的有效性,設(shè)計(jì)4組消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表1所示。兩模塊同時(shí)添加后,精確率、召回率、平均精度均值相比原模型分別提升了1.7%、2.2%、2.1%。
2.4.2" 改進(jìn)跟蹤器消融
為驗(yàn)證跟蹤器改進(jìn)模塊的有效性,設(shè)計(jì)4組消融實(shí)驗(yàn),將BoT?SORT中ECM去除作為基準(zhǔn)模型,實(shí)驗(yàn)結(jié)果如表2所示。其中IDF1是考慮了正確檢測(cè)到的目標(biāo)(IDTP)、誤檢的目標(biāo)(IDFP)以及漏檢的目標(biāo)(IDFN)的綜合指標(biāo),取值范圍為0~1,值越高表示跟蹤算法在目標(biāo)識(shí)別方面的性能越好。
2.5" 模型對(duì)比實(shí)驗(yàn)
在檢測(cè)部分,與其他主流目標(biāo)檢測(cè)算法進(jìn)行對(duì)比,訓(xùn)練時(shí)batchsize設(shè)置為16,訓(xùn)練200個(gè)epochs,實(shí)驗(yàn)結(jié)果如表3所示。
改進(jìn)的YOLOv8檢測(cè)器相較于原YOLOv8,精確率提高了1.7%,召回率提高了2.2%,平均精度均值提高了2.1%,對(duì)水下魚體檢測(cè)更加精準(zhǔn)。
在跟蹤部分,將DF?Track與其他先進(jìn)的MOT跟蹤器進(jìn)行比較,為保證公平性,TBD算法的檢測(cè)器統(tǒng)一使用本文改進(jìn)的YOLOv8作為檢測(cè)器,結(jié)果如表4所示。
由表4可知,DF?Track取得了最高的HOTA、MOTA和IDF1,說明其在跟蹤與識(shí)別水下魚體方面具有優(yōu)越的性能。
3" 結(jié)" 論
本文致力于解決水下多魚跟蹤中的一系列關(guān)鍵問題,包括魚體外觀高度相似、相互遮擋、反射偽影干擾,以及魚體非線性運(yùn)動(dòng)和游出折返導(dǎo)致的跟蹤軌跡碎片化等。針對(duì)這些挑戰(zhàn),創(chuàng)新性地提出了水下多魚跟蹤模型DF?Track,該模型基于檢測(cè)的跟蹤(TBD)范式構(gòu)建。首先在YOLOv8的C2f結(jié)構(gòu)中引入了聚合感知注意力機(jī)制(APFA),增強(qiáng)前向過程中提取圖像特征的能力,更精準(zhǔn)地捕捉魚體的細(xì)微特征差異。此外,為了優(yōu)化特征融合過程,重新設(shè)計(jì)了YOLOv8中的feature fusion部分,采用SDI多層次特征融合模塊,有效減少了不同層級(jí)特征信息在融合過程中的沖突,提升了特征表示的一致性和魯棒性。跟蹤模型設(shè)計(jì)上,提出了DF?Track,它優(yōu)化了軌跡管理策略,并引入Focal?EIoU補(bǔ)償匹配空間中運(yùn)動(dòng)估計(jì)偏差,平衡幾何一致性,加強(qiáng)對(duì)魚體與偽影的判別能力。為了驗(yàn)證DF?Track的有效性,在水下魚類數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)及模型對(duì)比,實(shí)驗(yàn)結(jié)果表明,改進(jìn)的YOLOv8算法能夠更準(zhǔn)確地識(shí)別不同大小魚體,而DF?Track的HOTA、MOTA指標(biāo)均取得較大提升,效果優(yōu)于原有跟蹤算法,驗(yàn)證了本文算法在提高檢測(cè)精度和增強(qiáng)跟蹤性能方面的有效性。
綜上所述,本文提出的DF?Track水下魚體跟蹤模型在解決水下反射產(chǎn)生的魚體偽影、跟蹤軌跡碎片化等問題上取得了顯著成效,為相關(guān)領(lǐng)域的研究和應(yīng)用提供了新的思路和方法。
參考文獻(xiàn)
[1] LI D L, WANG Z H, WU S Y, et al. Automatic recognition methods of fish feeding behavior in aquaculture: a review [J]. Aquaculture, 2020, 528: 735508.
[2] KUMAR A, WALIA, G S, SHARMA K. Recent trends in multi?cue based visual tracking: a review [J]. Expert systems with applications, 2020, 162(30): 113711.
[3] ZHANG J J, WANG M Y, JIANG H R, et al. STAT: multi?object tracking based on spatio?temporal topological constraints [J]. IEEE transactions on multimedia, 2023(2): 1?13.
[4] 李志華,于楊.基于檢測(cè)的多目標(biāo)跟蹤算法綜述[J].物聯(lián)網(wǎng)技術(shù),2021,11(4):20?24.
[5] EMAMI P, PARDALOS P M, ELEFTERIADOU L, et al. Machine learning methods for data association in multi?object tracking [J]. ACM computing surveys (CSUR), 2020, 53(4): 33?34.
[6] SHIH K H, CHIU C T, LIN J A, et al. Real?time object detection with reduced region proposal network via multi?feature concatenation [J]. IEEE transactions on neural networks and learning systems, 2019, 31(6): 2164?2173.
[7] 楊曉帥.基于DeepSort的斑馬魚軌跡追蹤研究與應(yīng)用[D].成都:電子科技大學(xué),2021.
[8] ZHANG Y F, WANG C Y, WANG X G, et al. FairMOT: on the fairness of detection and re?identification in multiple object tracking [J]. International journal of computer vision, 2021, 129: 3069?3087.
[9] PHILIPP K, KOLTUN V, ZHOU X. Tracking objects as points [C]// European Conference on Computer Vision. Cham: Springer, 2020: 474?490.
[10] 鞏龍勤.基于深度學(xué)習(xí)的水下魚體跟蹤研究[D].??冢汉D洗髮W(xué),2022.
[11] CHEN L, LIU Z H, TONG L, et al. Underwater object detection using invert multi?class adaboost with deep learning [C]// 2020 International Joint Conference on Neural Networks. Glasgow, UK: IEEE, 2020: 1?8.
[12] AHARON N, ORFAIG R, BOBROVSKY B Z. BoT?SORT: robust associations multi?pedestrian tracking [EB/OL]. [2023?07?12]. https://arxiv.org/pdf/2206.14651v1.
[13] CAO J K, PANG J M, WENG X S, et al. Observation?centric sort: rethinking sort for robust multi?object tracking [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, BC, Canada: IEEE, 2023: 9686?9696.
[14] CHENG G, WANG J B, LI K, et al. Anchor?free oriented proposal generator for object detection [J]. IEEE transactions on geoscience and remote sensing, 2022, 60: 1?11.
[15] SHI D. TransNeXt: robust foveal visual perception for vision transformers [EB/OL]. [2023?07?12]. https://blog.csdn.net/qq_40734883/article/details/136977016.
[16] PENG Y, SONKA M, CHEN D Z. U?Net v2: rethinking the skip connections of U?Net for medical image segmentation [EB/OL]. [2023?11?08]. https://arxiv.org/pdf/2311.17791v2.
[17] DENDORFER P, REZATOFIGHI H, MILAN A, et al. MOT20: a benchmark for multi object tracking in crowded scenes [EB/OL]. [2023?09?02]. https://doi.org/10.48550/arXiv.2003.09003.
[18] DU Y H, ZHAO Z C, SONG Y, et al. Strongsort: make deepsort great again [J]. IEEE transactions on multimedia, 2023, 25: 8725?8737.
[19] SUN P, CAO J K, JIANG Y, et al. DanceTrack: multi?object tracking in uniform appearance and diverse motion [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA: IEEE, 2022: 20961?20970.
[20] ZHANG Y F, REN W, ZHANG Z, et al. Focal and efficient IOU loss for accurate bounding box regression [J]. Neurocomputing, 2022, 506: 146?157.
[21] ZHOU K Y, XIANG T. Torchreid: a library for deep learning person re?identification in pytorch [EB/OL]. [2023?11?17]. https://doi.org/10.48550/arXiv.1910.10093.
作者簡(jiǎn)介:吳" 江(1998—),男,江蘇揚(yáng)州人,在讀碩士研究生,主要研究方向?yàn)樗履繕?biāo)跟蹤。
李" 然(1967—),女,遼寧大連人,碩士研究生,副教授,主要研究方向?yàn)橛?jì)算機(jī)科學(xué)與技術(shù)。
范利利(1997—),男,山東菏澤人,在讀碩士研究生,主要研究方向?yàn)樯疃葘W(xué)習(xí)。
王" 寧(1999—),男,遼寧大連人,在讀碩士研究生,主要研究方向?yàn)樯疃葘W(xué)習(xí)。
王客程(2000—),男,遼寧沈陽(yáng)人,在讀碩士研究生,主要研究方向?yàn)橛?jì)算機(jī)科學(xué)與技術(shù)。
DOI:10.16652/j.issn.1004?373x.2024.20.024
引用格式:吳江,李然,范利利,等.基于DF?Track的水下魚體跟蹤方法[J].現(xiàn)代電子技術(shù),2024,47(20):153?159.
收稿日期:2024?04?12" " " " " "修回日期:2024?05?15
基金項(xiàng)目:遼寧省教育廳科研項(xiàng)目(LJKZ0730);中國(guó)醫(yī)藥教育協(xié)會(huì)2022重大科學(xué)攻關(guān)問題和醫(yī)藥技術(shù)難題重點(diǎn)課題(2022KTM036)