国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

遮擋情況下的行人檢測(cè)方法研究

2023-08-04 02:55:18劉雯雯孫裕晶姜樹輝姜鵬
關(guān)鍵詞:機(jī)器視覺(jué)傳感器

劉雯雯 孫裕晶 姜樹輝 姜鵬

摘要:障礙物檢測(cè)是環(huán)境感知中的關(guān)鍵技術(shù),直接影響到智能農(nóng)機(jī)作業(yè)的安全性和可靠性,其中田間行人作為非結(jié)構(gòu)、非固定的障礙物,是影響農(nóng)機(jī)行駛安全的重要因素。遮擋情況是行人檢測(cè)中的研究重點(diǎn)和難點(diǎn),也是為滿足農(nóng)機(jī)自主作業(yè)的避障需求必須考慮的問(wèn)題。因此對(duì)行人檢測(cè)傳感器技術(shù)和行人檢測(cè)算法的國(guó)內(nèi)外應(yīng)用情況進(jìn)行綜述,重點(diǎn)關(guān)注各種檢測(cè)技術(shù)和算法在復(fù)雜農(nóng)田環(huán)境中的適用性。首先,梳理總結(jié)從單一傳感器檢測(cè)技術(shù)到多傳感器融合技術(shù)的優(yōu)缺點(diǎn)及其應(yīng)用情況。其次,分別對(duì)利用傳統(tǒng)方法和深度學(xué)習(xí)方法處理優(yōu)化遮擋情況的行人檢測(cè)算法的研究應(yīng)用進(jìn)行分析。最后,提出現(xiàn)有技術(shù)存在單一傳感器技術(shù)的應(yīng)用相對(duì)局限、多傳感器融合技術(shù)的穩(wěn)定性不足、行人檢測(cè)算法對(duì)遮擋問(wèn)題的處理效果有限等問(wèn)題,同時(shí)對(duì)采集信息的多樣化、無(wú)人機(jī)輔助避障、建立完整農(nóng)田環(huán)境感知系統(tǒng)進(jìn)行展望。

關(guān)鍵詞:行人檢測(cè);障礙物檢測(cè);傳感器;機(jī)器視覺(jué);農(nóng)田環(huán)境

中圖分類號(hào):S24

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):20955553 (2023) 070179

08

Study on pedestrian detection methods under occlusion

Liu Wenwen, Sun Yujing, Jiang Shuhui, Jiang Peng

(College of Biological and Agricultural Engineering, Jilin University, Changchun, 130025, China)

Abstract: Obstacle detection is a crucial technology in environment perception, which directly affects the safety and reliability of intelligent agricultural machinery equipment operation. People working in the fields, as non-structural and non-fixed obstacles, are important factors affecting the safety of agricultural machinery. This paper reviews the application of pedestrian detection sensor technology and pedestrian detection algorithms in China and internationally, focusing on the applicability of various detection technologies and algorithms in complex farmland environments. Firstly, the advantages, disadvantages, and applications ranging from single-sensor detection technology to multi-sensor fusion technology are summarized. Secondly, the research and applications of pedestrian detection algorithms using traditional methods and deep learning methods to deal with occlusion are analyzed. Finally, it identifies limitations of current technologies, such as relatively limited application of single sensor technology, insufficient stability of multi-sensor fusion technology, and limited effect of pedestrian detection algorithm in handling occlusion. This paper proposes prospects for the diversification of collected information, UAV-assisted obstacle avoidance, and the establishment of a complete farmland environment sensing system.

Keywords: pedestrian detection; obstacle detection; sensors; machine vision; farmland environment

0 引言

隨著全球人口老齡化日趨嚴(yán)重,越來(lái)越多的國(guó)家傾向于使用更智能的半自動(dòng)化或全自動(dòng)機(jī)械從事生產(chǎn)活動(dòng),目標(biāo)檢測(cè)技術(shù)因此得到廣泛應(yīng)用[12]。行人檢測(cè)作為目標(biāo)檢測(cè)的一種特殊情況,有著重要的研究?jī)r(jià)值和實(shí)際意義,當(dāng)然它的技術(shù)進(jìn)步也與一般目標(biāo)檢測(cè)的發(fā)展密切相關(guān)[3]。行人檢測(cè)即對(duì)行人進(jìn)行位置標(biāo)定、姿態(tài)評(píng)估和活動(dòng)預(yù)測(cè),從而根據(jù)獲得的信息進(jìn)行下一步工作[4]。然而,受環(huán)境背景的復(fù)雜性、拍攝角度有限性、人體姿態(tài)多樣性等因素影響,使得行人檢測(cè)具有極大的挑戰(zhàn)性。目前行人檢測(cè)的研究多集中在城市和室外空曠環(huán)境,且通常關(guān)注的是行走或站立的人,在考慮遮擋情況的農(nóng)田環(huán)境中的研究還不夠充分。在復(fù)雜的農(nóng)田環(huán)境中,人們不僅可能會(huì)被植被、作業(yè)設(shè)備或者其他物體所遮擋,而且可能存在各種各樣的作業(yè)姿勢(shì)也會(huì)提高遮擋程度,進(jìn)而增加行人檢測(cè)的難度[5]。對(duì)于田間作業(yè)區(qū)中的人畜如果作業(yè)機(jī)械不能實(shí)時(shí)發(fā)現(xiàn)并及時(shí)避讓,不僅會(huì)影響農(nóng)業(yè)生產(chǎn)效率,還會(huì)威脅農(nóng)業(yè)工作設(shè)備、人員的安全。

本文對(duì)農(nóng)業(yè)環(huán)境下行人檢測(cè)傳感器技術(shù)和行人檢測(cè)算法的國(guó)內(nèi)外應(yīng)用情況進(jìn)行總結(jié)。首先對(duì)不同傳感器技術(shù)的研究應(yīng)用情況進(jìn)行分析梳理,探究能夠更好地實(shí)現(xiàn)農(nóng)田場(chǎng)景中遮擋行人檢測(cè)的硬件設(shè)備;其次對(duì)近年來(lái)快速發(fā)展的遮擋行人檢測(cè)處理算法的研究情況進(jìn)行總結(jié),側(cè)重于適合在農(nóng)業(yè)場(chǎng)景應(yīng)用的技術(shù);最后對(duì)亟待解決的問(wèn)題進(jìn)行總結(jié)并展望了未來(lái)可能的研究方向。

1 行人檢測(cè)傳感器技術(shù)

行人檢測(cè)技術(shù)要求對(duì)周邊環(huán)境進(jìn)行非接觸探測(cè),以獲取可能對(duì)機(jī)器系統(tǒng)產(chǎn)生影響的人畜等障礙物的各類信息。按照所使用的傳感器的工作機(jī)理可以分為基于超聲波、雷達(dá)、機(jī)器視覺(jué)、紅外成像和基于多傳感器融合等[67]。本節(jié)分析每一類的技術(shù)特點(diǎn)和應(yīng)用情況,旨在針對(duì)農(nóng)田作業(yè)區(qū)的系統(tǒng)開放性、非結(jié)構(gòu)化、干擾信息多、人畜存在遮擋等環(huán)境特點(diǎn),探究各種傳感器技術(shù)在該場(chǎng)景中的適用性[8]。

1.1 超聲波檢測(cè)技術(shù)

超聲波傳感器是一種將超聲波信號(hào)轉(zhuǎn)換成以電信號(hào)為主的其他能量信號(hào)的非接觸式傳感器[9]。超聲波檢測(cè)的基本原理是通過(guò)傳感器發(fā)出超聲波,遇物體反射,在接收回波后計(jì)算超聲波的飛行時(shí)間來(lái)確定物體的大致位置[10]。

近年來(lái)利用超聲波技術(shù)來(lái)實(shí)現(xiàn)行人檢測(cè)的試驗(yàn)研究不在少數(shù),且取得了一定的成果。Guo等[9]提出了一種利用陣列式超聲波傳感器在低速交通混雜區(qū)檢測(cè)區(qū)分行人、自行車和車輛的方法,雖然行人和騎自行車的人由于外形相似而較難被區(qū)分,但本研究有助于進(jìn)一步拓展利用超聲波傳感器對(duì)同一事件中多個(gè)物體進(jìn)行檢測(cè)和定位的工作。Koyama等[11]研究空氣聲學(xué)感應(yīng)利用長(zhǎng)波的衍射現(xiàn)象實(shí)現(xiàn)一種可以檢測(cè)遮擋區(qū)域內(nèi)待檢目標(biāo)的聲波傳感系統(tǒng)。試驗(yàn)結(jié)果表明,利用低頻調(diào)制信號(hào)可以檢測(cè)遮擋區(qū)域內(nèi)的物體。信號(hào)頻率越低,空間分辨率越差。在實(shí)際應(yīng)用時(shí),需要考慮發(fā)射信號(hào)的頻率和空間分辨率等因素來(lái)選擇信號(hào)。

Dvorak等[12]研究單個(gè)超聲傳感器對(duì)人畜、植物和柵欄桿等農(nóng)業(yè)環(huán)境中常見(jiàn)物體的檢測(cè)能力。試驗(yàn)過(guò)程中多次未探測(cè)到狗模型的存在,因?yàn)槠渑钏傻谋砻鏁?huì)吸收超聲波,致使傳感器難以接收到回波。另外干擾測(cè)試表明,超聲波傳感器面對(duì)視野范圍內(nèi)的多個(gè)物體,只會(huì)報(bào)告離其最近的對(duì)象。那么在復(fù)雜的農(nóng)田環(huán)境中,如果作業(yè)人員身著質(zhì)地柔軟的衣物,超聲波傳感器的檢測(cè)效果將大打折扣,而當(dāng)出現(xiàn)作物及其他植被對(duì)行人存在遮擋的情況時(shí),單獨(dú)使用超聲波傳感器將無(wú)法完成檢測(cè)。

綜上可以看出,超聲波技術(shù)目前只適用于相對(duì)簡(jiǎn)單、空曠的場(chǎng)景,在復(fù)雜的農(nóng)田環(huán)境中如果出現(xiàn)行人和作物混雜在一起的情況,單獨(dú)使用超聲波技術(shù)幾乎無(wú)法實(shí)現(xiàn)檢測(cè),將其與其他傳感器檢測(cè)技術(shù)結(jié)合使用是未來(lái)研究的趨勢(shì)。

1.2 雷達(dá)檢測(cè)技術(shù)

雷達(dá)檢測(cè)的工作原理是通過(guò)向待檢目標(biāo)發(fā)射探測(cè)波,再將接收到的反射信號(hào)送至接收設(shè)備進(jìn)行適當(dāng)處理,獲得目標(biāo)位置、方向、速度等特征信息[13]。常用的雷達(dá)探測(cè)介質(zhì)有激光、毫米波、超聲波、紅外線等,尤以屬于電磁波的毫米波、激光為主。

毫米波雷達(dá)具有體積小、成本低、空間分辨率高的優(yōu)點(diǎn),而且不受光照條件的影響,還能穿透雨、霧、煙、灰塵等,常用于非結(jié)構(gòu)化農(nóng)田的動(dòng)態(tài)障礙物的檢測(cè)與跟蹤。Pan等[14]利用毫米波雷達(dá)對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)跟蹤,搭配可減少噪聲的擴(kuò)展卡爾曼濾波器,提升目標(biāo)跟蹤精度。Doerr等[15]采用毫米波雷達(dá)輔以激光雷達(dá)掃描儀,利用空間裁剪(Space clipping)檢測(cè)算法消除作物或斜坡造成的數(shù)據(jù)點(diǎn),通過(guò)對(duì)作物進(jìn)行檢測(cè)來(lái)間接得到人類、野生動(dòng)物和其他農(nóng)業(yè)設(shè)備等外來(lái)物體的存在。研究表明檢測(cè)率和車輛速度、遮擋率之間存在負(fù)相關(guān)關(guān)系,較矮的目標(biāo)在作物中幾乎隱身,很難檢測(cè)到。

相對(duì)于基于其他探測(cè)介質(zhì)的雷達(dá),三維激光雷達(dá)因?yàn)樘綔y(cè)距離較遠(yuǎn)且精度高、受光照變化的影響小,而且可以對(duì)場(chǎng)景進(jìn)行三維重建,近年來(lái)國(guó)內(nèi)外基于三維激光雷達(dá)在農(nóng)業(yè)領(lǐng)域的研究逐漸增多。張明宇等[16]在噴桿式噴霧機(jī)田間作業(yè)環(huán)境下利用三維激光雷達(dá)對(duì)障礙物的距離和高度進(jìn)行檢測(cè)。該研究只對(duì)靜態(tài)障礙物進(jìn)行了檢測(cè),無(wú)法檢測(cè)動(dòng)態(tài)障礙物或者突然出現(xiàn)的障礙物。另外該研究中使用的三維固態(tài)激光雷達(dá)無(wú)法給出障礙物的顏色、軟硬度和厚度等信息。Kragh等[17]利用三維激光雷達(dá)掃描獲取三維點(diǎn)云,然后通過(guò)使用支持向量機(jī)(Support Vector Machine,SVM)分類器,根據(jù)從局部鄰域提取的特征將單個(gè)3D點(diǎn)分類為地面、植被或其他物體對(duì)象。試驗(yàn)表明,該方法對(duì)行人、牲畜、車輛和建筑物等物體的檢測(cè)準(zhǔn)確率為81.1%。三維激光雷達(dá)獲得的信息直觀且全面,但系統(tǒng)造價(jià)昂貴,目前僅存在于理論研究階段。

基于雷達(dá)的檢測(cè)技術(shù)能夠很好地適應(yīng)農(nóng)業(yè)環(huán)境,尤其在雨、雪等特殊天氣條件下有更多的應(yīng)用優(yōu)勢(shì)。但雷達(dá)檢測(cè)技術(shù)在面對(duì)存在遮擋的情況表現(xiàn)得并不出色,在實(shí)際農(nóng)田應(yīng)用中很難將隱藏在作物中的農(nóng)田作業(yè)區(qū)行人有效檢出并定位。

1.3 機(jī)器視覺(jué)檢測(cè)技術(shù)

機(jī)器視覺(jué),又稱計(jì)算機(jī)視覺(jué),是利用圖像和圖像序列來(lái)識(shí)別和認(rèn)識(shí)三維世界,使其能夠?qū)崿F(xiàn)與人類眼睛類似的視覺(jué)功能。機(jī)器視覺(jué)根據(jù)檢測(cè)范圍可分為單目視覺(jué)、雙目視覺(jué)和全景視覺(jué)[18]。本文中主要討論以RGB相機(jī)為采集設(shè)備的視覺(jué)檢測(cè)技術(shù)。

近年來(lái)不少學(xué)者對(duì)機(jī)器視覺(jué)在農(nóng)田場(chǎng)景中的應(yīng)用開展研究,例如張磊等[19]采用2個(gè)平行放置的攝像機(jī)形成立體視覺(jué)對(duì)農(nóng)田中的障礙物進(jìn)行檢測(cè),魏建勝等[20]搭建雙目視覺(jué)障礙物感知系統(tǒng)利用深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)對(duì)農(nóng)田作業(yè)區(qū)中的障礙物進(jìn)行檢測(cè),都具有不錯(cuò)的檢測(cè)效果?;陔p目立體視覺(jué)的行人檢測(cè)系統(tǒng)覆蓋的視野范圍較寬,能夠基于視差原理重建物體三維輪廓及位置,在一定程度上解決了局部遮擋問(wèn)題[21]。與之相比,全景視覺(jué)具有更大的視場(chǎng),可以獲得360°的農(nóng)機(jī)周圍圖像。Xu等[18]基于全景攝像機(jī)對(duì)農(nóng)業(yè)機(jī)械周圍的動(dòng)態(tài)障礙物進(jìn)行快速檢測(cè),結(jié)果顯示行人檢測(cè)正確率為81.61%,整體正確率為82.93%。上述利用機(jī)器視覺(jué)進(jìn)行農(nóng)田障礙物的檢測(cè)雖然搭建在農(nóng)業(yè)車輛上,但只在室外空曠環(huán)境下進(jìn)行研究測(cè)試,幾乎不考慮遮擋情況。

Wei等[22]模擬人腦的識(shí)別功能,利用雙目視覺(jué)系統(tǒng)在農(nóng)田中獲取圖像,從圖片中獲取色彩、亮度等基本信息以及場(chǎng)景的深度分布信息,然后通過(guò)抑制待檢目標(biāo)附近區(qū)域的背景影響,最后根據(jù)深度顯著圖的顯著性信息實(shí)現(xiàn)識(shí)別前后被遮擋的行人。韓永華等[23]采用Haar小波多分辨率分解,利用非作物與作物之間的頻率及分布差異,標(biāo)出疑似障礙物區(qū)域,再通過(guò)對(duì)其進(jìn)行頻率分層等操作,判斷是否存在障礙物。其中采集的農(nóng)田圖像來(lái)自菜地、各個(gè)時(shí)期的麥田和生長(zhǎng)期水稻田等,試驗(yàn)表明包括土堆、石頭等靜態(tài)障礙物和人、其他作業(yè)機(jī)械等動(dòng)態(tài)障礙物都可有效檢出,識(shí)別準(zhǔn)確率達(dá)100%。

以RGB相機(jī)為代表的可視化技術(shù),以低成本和高信息量為優(yōu)勢(shì),隨著圖像處理技術(shù)的快速發(fā)展,機(jī)器視覺(jué)技術(shù)會(huì)在目標(biāo)檢測(cè)領(lǐng)域得到更多的應(yīng)用。從上述的應(yīng)用情況可以看出,除了硬件安裝位置和數(shù)量帶來(lái)的視野寬度不同外,其他方面大多大同小異,區(qū)別是后續(xù)使用的處理算法的不同。

1.4 熱成像檢測(cè)技術(shù)

紅外熱成像技術(shù)屬于被動(dòng)傳感器,其本身并不發(fā)出探測(cè)波,而是通過(guò)吸收目標(biāo)物體輻射的紅外線電磁波,再經(jīng)過(guò)光電轉(zhuǎn)換、信號(hào)處理,將肉眼不可見(jiàn)的紅外輻射轉(zhuǎn)換為可視熱像圖或視頻[2426]。紅外熱成像技術(shù)使人類突破視覺(jué)局限,可以“看到”物體表面的溫度分布狀況[27]。

紅外熱成像設(shè)備最初是作為軍用夜視偵查工具開發(fā)的,但隨著成本下降,使其能夠更廣泛地應(yīng)用于民用領(lǐng)域,近年來(lái)在行人檢測(cè)領(lǐng)域的應(yīng)用研究也不斷增多[28]。Yeom[29]利用無(wú)人機(jī)采集的紅外熱視頻對(duì)人體進(jìn)行檢測(cè)和跟蹤。當(dāng)無(wú)人機(jī)飛行高度低于50m,以冬季夜晚的平坦路面和山區(qū)為背景拍攝時(shí),平均檢出率為91.6%,當(dāng)飛行高度達(dá)到100m,以夏季白天的停車場(chǎng)為背景,復(fù)雜的背景加上遠(yuǎn)距離拍攝造成的小目標(biāo),使得平均檢出率只有79.8%。在一定程度上說(shuō)明,紅外熱成像技術(shù)在環(huán)境溫度相對(duì)較低的冬季夜晚工作優(yōu)勢(shì)明顯。Steen等[30]利用熱成像技術(shù)結(jié)合數(shù)字圖像處理算法形成的系統(tǒng),對(duì)草原棲息地中的野雞和野兔進(jìn)行模擬檢測(cè)。結(jié)果表明,在大多數(shù)情況下,檢出率接近100%,盡管密集的作物可能會(huì)妨礙動(dòng)物的檢出率。在割草作業(yè)中高草對(duì)于小型野生動(dòng)物的遮擋程度不亞于農(nóng)機(jī)作業(yè)中作物對(duì)于行人的遮擋,說(shuō)明紅外熱成像技術(shù)應(yīng)用于存在遮擋的行人檢測(cè)場(chǎng)景中有很大的前景。

Christiansen等[31]通過(guò)搭建多傳感器平臺(tái),對(duì)以站立或躺倒的姿態(tài)出現(xiàn)在行進(jìn)軌跡上的行人進(jìn)行檢測(cè),其中高草對(duì)不同姿態(tài)的成人或兒童呈現(xiàn)不同程度的遮擋,通過(guò)試驗(yàn)給出了用于檢測(cè)的不同傳感器模式的初步評(píng)估。其中熱感攝像機(jī)在測(cè)試中顯示了巨大的能力,因?yàn)樗軌蚶脺囟刃畔z測(cè)到高草中的行人,而不管人體姿態(tài)如何。然而,當(dāng)氣溫升高,生物的熱信號(hào)變得模糊,檢測(cè)結(jié)果便不太理想。

人類作為恒溫動(dòng)物,幾乎不受環(huán)境溫度的影響而保持恒定體溫的特性,使其很容易在熱像圖的環(huán)境背景中脫穎而出。在行人檢測(cè)領(lǐng)域,熱感相機(jī)相比普通相機(jī)可能是更好的選擇。

1.5 多傳感器融合檢測(cè)技術(shù)

每一個(gè)單一的目標(biāo)檢測(cè)技術(shù)都有各自的限制,多傳感器系統(tǒng)集成的技術(shù)特點(diǎn)是目標(biāo)信息的互補(bǔ)性[32]。隨著城市自動(dòng)駕駛與農(nóng)業(yè)機(jī)械自主作業(yè)的不斷推進(jìn),多傳感器組合平臺(tái)將成為實(shí)時(shí)檢測(cè)系統(tǒng)的主流趨勢(shì)。

1.5.1 機(jī)器視覺(jué)與雷達(dá)的技術(shù)結(jié)合

目前國(guó)內(nèi)比較成熟且使用廣泛的是雷達(dá)和機(jī)器視覺(jué)融合技術(shù)。視覺(jué)與非視覺(jué)傳感器的結(jié)合,也將提高目標(biāo)檢測(cè)的準(zhǔn)確性,因而實(shí)現(xiàn)較理想的避障效果[33]。Wang等[34]利用毫米波雷達(dá)和機(jī)器視覺(jué)獲得的空間信息生成感興趣區(qū)域(Region of Interest,ROI),然后基于從中提取的雷達(dá)微多普勒特征和圖像特征融合來(lái)實(shí)現(xiàn)目標(biāo)分類。試驗(yàn)結(jié)果表明,該系統(tǒng)具有良好的檢測(cè)和分類性能。薛金林等[35]利用激光雷達(dá)獲取障礙物坐標(biāo)作為先驗(yàn)性信息,同時(shí)通過(guò)單目機(jī)器視覺(jué)獲取的圖像信息進(jìn)行顯著檢測(cè),然后基于區(qū)域生長(zhǎng)法對(duì)顯著圖完成障礙物分割。上述研究表明機(jī)器視覺(jué)與二維雷達(dá)技術(shù)的感知數(shù)據(jù)融合,不僅可以在距離、深度方面實(shí)現(xiàn)互補(bǔ),還能結(jié)合視覺(jué)獲取障礙物的輪廓信息和雷達(dá)獲得的位置信息準(zhǔn)確快速地完成檢測(cè)。

對(duì)于果園自動(dòng)化作業(yè)拖拉機(jī),固定的障礙物可以通過(guò)路徑規(guī)劃來(lái)規(guī)避,但是可移動(dòng)的障礙物只能通過(guò)實(shí)時(shí)感知系統(tǒng)檢測(cè)并避開。Moorehead等[36]搭建由雷達(dá)和攝像頭組成的感知系統(tǒng)來(lái)探測(cè)障礙物,該感知系統(tǒng)利用基于幾何形狀的檢測(cè)器和基于外觀的分類器來(lái)感知識(shí)別潛在的障礙。幾何探測(cè)器在果園的開闊區(qū)域能夠大展拳腳,但在靠近果樹的區(qū)域無(wú)法將站在果樹旁的人從茂盛的樹葉中區(qū)分出來(lái),而外觀分類器可以利用紋理和顏色特征信息正確地識(shí)別出行人并標(biāo)記為不可通過(guò)區(qū)域。不過(guò)在雜草阻礙視線或者光照極差的情況下,系統(tǒng)便只能停止拖拉機(jī),并向遠(yuǎn)程監(jiān)控人員發(fā)出信號(hào)以確定是否能通行。

1.5.2 其他形式的技術(shù)結(jié)合

隨著技術(shù)的發(fā)展和設(shè)備的更新,國(guó)內(nèi)外研究人員也積極引入新型裝置以建立新的融合檢測(cè)平臺(tái),這為在農(nóng)田場(chǎng)景中實(shí)現(xiàn)環(huán)境感知提供了更多可能性。Benet等[37]利用TOF相機(jī)(Time of Flight Cameras)與RGB相機(jī)形成新型雙目視覺(jué)系統(tǒng),對(duì)割草機(jī)前方的待測(cè)物體(草、木、枝)進(jìn)行識(shí)別分類,完成穿越操作。TOF相機(jī)可以在光照變化的條件下進(jìn)行三維幾何測(cè)量,再搭配RGB相機(jī),便能夠?qū)崿F(xiàn)對(duì)前方的待檢目標(biāo)的比色和幾何測(cè)量。在其試驗(yàn)設(shè)定中,樹枝或樹木等其他物體被認(rèn)為是障礙物,而同樣對(duì)行車視線存在一定遮擋的草類則是可穿越的對(duì)象。從結(jié)果分析可以看出,割草機(jī)在該方法的輔助下可避開檢測(cè)到的其他物體。但本試驗(yàn)并未安排對(duì)動(dòng)態(tài)障礙物的檢測(cè),所以是否能夠通過(guò)該方法來(lái)實(shí)現(xiàn)遮擋行人的檢測(cè)還有待商榷。Reina等[38]利用HDR立體視覺(jué)和熱成像融合,并在后期處理算法中將色度權(quán)重歸零,高度和溫度的權(quán)重設(shè)置為相等,可以很好地檢測(cè)出各類田間障礙。立體視覺(jué)和熱成像技術(shù)的融合可以提供強(qiáng)大的環(huán)境感知能力,不是空曠的視野才能被認(rèn)定為可通過(guò)的,可以更好地滿足農(nóng)機(jī)作業(yè)要求。另外特定的目標(biāo)可被分配更高的優(yōu)先級(jí),比如人類,以便更好地實(shí)現(xiàn)行人檢測(cè),降低傷人風(fēng)險(xiǎn)。缺點(diǎn)是探測(cè)距離不夠遠(yuǎn),無(wú)法給大型農(nóng)機(jī)避障提供足夠的反應(yīng)時(shí)間。

近年來(lái)隨著各類傳感器的成本降低和融合處理技術(shù)的快速發(fā)展,國(guó)內(nèi)外研究學(xué)者都不再拘泥于使用單一傳感器進(jìn)行檢測(cè),不僅視覺(jué)技術(shù)與激光雷達(dá)、超聲波的傳統(tǒng)融合技術(shù)越發(fā)成熟,而且隨著新的儀器設(shè)備的引入,不斷有新的技術(shù)融合系統(tǒng)出現(xiàn)。但是設(shè)備的成本、系統(tǒng)的穩(wěn)定性仍是多傳感器集成系統(tǒng)在農(nóng)田場(chǎng)景實(shí)際應(yīng)用前亟待解決的問(wèn)題。

不同檢測(cè)傳感器技術(shù)各有優(yōu)缺點(diǎn),對(duì)于遮擋情況的處理程度也各不相同。如表1所示,本文對(duì)各類傳感器技術(shù)的優(yōu)缺點(diǎn)和適用范圍進(jìn)行對(duì)比總結(jié)。

2 遮擋情況下行人檢測(cè)算法

基于機(jī)器視覺(jué)得到的圖像和視頻通過(guò)特定的行人檢測(cè)算法可以對(duì)遮擋情況進(jìn)行處理優(yōu)化以便后續(xù)分析研究。行人檢測(cè)算法主要分為兩類如表2所示,傳統(tǒng)的行人檢測(cè)算法通過(guò)滑動(dòng)窗口遍歷得到候選區(qū)域,經(jīng)由人工提取行人特征,訓(xùn)練得到分類器,利用訓(xùn)練好的分類器對(duì)掃描窗口進(jìn)行區(qū)域分類并輸出目標(biāo)檢測(cè)的結(jié)果,經(jīng)典算法如HOG+SVM、Haar+Adaboost等;深度學(xué)習(xí)算法是通過(guò)自主地學(xué)習(xí)大量的訓(xùn)練數(shù)據(jù)提取圖像內(nèi)部層級(jí)特征的一類神經(jīng)網(wǎng)絡(luò)算法,代表算法有CNN、YOLO、SSD等[3940]。

2.1 傳統(tǒng)機(jī)器學(xué)習(xí)行人檢測(cè)算法

對(duì)于遮擋情況下行人檢測(cè),傳統(tǒng)機(jī)器學(xué)習(xí)目標(biāo)檢測(cè)算法主要有以下兩種思路[41]。一是通過(guò)處理分析被測(cè)目標(biāo)的特征信息,利用未被遮擋部分推測(cè)行人位置。Chen等[42]提出一種雙圓形窗口描述符,可以更好地區(qū)分頭部與非頭部,實(shí)現(xiàn)人員精準(zhǔn)定位。廖暢等[43]利用TOF相機(jī)在俯視角度下獲取的深度圖像,通過(guò)注水算法尋找潛在頭部所在的局部最大區(qū)域,進(jìn)而完成行人檢測(cè)。在高稈作物收獲等高遮擋的農(nóng)業(yè)場(chǎng)景中隱形行人探測(cè)問(wèn)題,將傳感器平臺(tái)安放于離地較高的位置有利于提升檢測(cè)寬度和距離,那么在俯視角度下頭部相對(duì)于人體其他部位是更好的檢測(cè)目標(biāo)??梢灶A(yù)見(jiàn),行人頭部檢測(cè)方法可以在該領(lǐng)域中得到更多的應(yīng)用。二是從遮擋物的角度出發(fā),訓(xùn)練特定分類器,盡可能地降低遮擋的影響來(lái)獲得行人位置。西班牙的Campos等[44]設(shè)計(jì)了一個(gè)三類支持向量機(jī)分類器來(lái)識(shí)別植物(玉米植株和雜草)、土壤和玉米地中的其他物體目標(biāo),特別是行人目標(biāo)。支持向量機(jī)[45]是由Cortes和Vapnik在1995年提出的一種機(jī)器學(xué)習(xí)分類方法,不同的特征信息在分析和比較后將被作為分類器的描述符得以利用,與其他分類器相比降低了小樣本模型學(xué)習(xí)的難度,具有運(yùn)算速度快且分類準(zhǔn)確的特點(diǎn)。通過(guò)對(duì)單目彩色相機(jī)獲取的圖像進(jìn)行處理驗(yàn)證,采用三類SVM分類器進(jìn)行目標(biāo)識(shí)別,準(zhǔn)確率可達(dá)94.3%。

2.2 基于深度學(xué)習(xí)的行人檢測(cè)算法

相較于費(fèi)時(shí)費(fèi)力的人工提取特征法,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在執(zhí)行效率、檢測(cè)精度上優(yōu)勢(shì)明顯,所以用其來(lái)處理遮擋情況的研究不斷增加,但真正將此技術(shù)運(yùn)用到農(nóng)田場(chǎng)景中的還是少數(shù)。蔣浩[46]通過(guò)在玉米地、大豆地、小麥地中采集的測(cè)試集樣本,利用深度學(xué)習(xí)完成不同姿態(tài)的行人在部分遮擋的農(nóng)田環(huán)境中的檢測(cè),并通過(guò)設(shè)置不同的待檢目標(biāo)安放距離來(lái)測(cè)試模型的檢測(cè)精度,分別確定了一種適用于移動(dòng)端和云端障礙物檢測(cè)平臺(tái)的模型。李文濤等[8]以YOLOv3-tiny (You only look once version 3 tiny)為基礎(chǔ)框架,采用混合注意力機(jī)制中的多個(gè)模塊達(dá)到弱化背景強(qiáng)化目標(biāo),緩解了背景干擾和植被遮擋導(dǎo)致的目標(biāo)漏檢問(wèn)題,使其能夠滿足農(nóng)機(jī)作業(yè)正常行進(jìn)速度下對(duì)田間行人和農(nóng)機(jī)障礙物實(shí)時(shí)檢測(cè)的需求。

相對(duì)于其他戶外場(chǎng)景,果園中有叢生的雜草、茂密的樹葉以及高大的果樹,使得對(duì)果園中的人進(jìn)行檢測(cè)更具挑戰(zhàn)性。崔學(xué)智等[47]利用輕量級(jí)神經(jīng)網(wǎng)絡(luò)對(duì)葡萄園田間障礙進(jìn)行快速檢測(cè),其中YOLOV3-tiny在既保證高精度的同時(shí)檢測(cè)速度又能達(dá)到最快,但資源占用較高。劉慧等[48]通過(guò)對(duì)單次多重檢測(cè)器(Singleshot multibox detector,SSD)模型進(jìn)行改進(jìn)優(yōu)化,使其能夠更好地對(duì)不同運(yùn)動(dòng)狀態(tài)、不同姿態(tài)和遠(yuǎn)近程度不同的果園行人進(jìn)行檢測(cè),但并未考慮遮擋問(wèn)題的影響。Pezzementi等[49]利用在拖拉機(jī)頂部安裝的攝像頭采集不同姿態(tài)、不同程度遮擋的田間行人數(shù)據(jù)集,再利用用于城市行人檢測(cè)的三種CNN算法和一種改進(jìn)算法對(duì)獲得的數(shù)據(jù)集進(jìn)行處理,并對(duì)結(jié)果進(jìn)行評(píng)估比較。結(jié)果顯示改進(jìn)算法相比其他三種CNN算法檢測(cè)效果更好,說(shuō)明即使在城市場(chǎng)景中已相對(duì)成熟的檢測(cè)算法也不能直接在戶外領(lǐng)域中應(yīng)用。正如預(yù)期的那樣,檢測(cè)率隨著遮擋程度的增加而下降,以至于在重度遮擋情況下顯著下降。特別地,以一定速率在果園中移動(dòng)的人相對(duì)于站立不動(dòng)的人更容易被檢測(cè)到。

近年來(lái)由于圖像處理相關(guān)理論的快速發(fā)展及計(jì)算能力的提升,各類行人檢測(cè)算法在處理遮擋情況上都取得了較大的突破[48]。在自動(dòng)駕駛產(chǎn)業(yè)蓬勃發(fā)展的帶動(dòng)下,基于結(jié)構(gòu)化道路環(huán)境的行人檢測(cè)研究成為熱點(diǎn),也使得在這一領(lǐng)域的算法的更新優(yōu)化和行人數(shù)據(jù)庫(kù)的建立足夠快。雖然人的外觀在城市和戶外農(nóng)田環(huán)境中不會(huì)變化很大,但兩者周圍環(huán)境的外觀特征有明顯差異,會(huì)在一定程度上影響算法的辨別力和定位能力。另外對(duì)于遮擋情況,在城市環(huán)境中行人之間互相遮擋是主要的問(wèn)題,而由于農(nóng)田作業(yè)環(huán)境的特殊性,人員密集程度較低,遮擋情況主要發(fā)生在作物、雜草等其他對(duì)象對(duì)待檢行人的遮擋。這也使得來(lái)自城市領(lǐng)域的算法和數(shù)據(jù)集很難直接應(yīng)用于戶外農(nóng)田場(chǎng)景的檢測(cè)中。

3 存在問(wèn)題

針對(duì)農(nóng)田環(huán)境中各類障礙物的檢測(cè)的研究不在少數(shù),但目前很多研究都只適用于簡(jiǎn)單、空曠環(huán)境,而并未考慮農(nóng)業(yè)機(jī)械穿越作業(yè)區(qū)時(shí)作物、其他作業(yè)機(jī)械等非障礙物對(duì)待檢目標(biāo)的遮擋。國(guó)外一些學(xué)者嘗試在高草農(nóng)場(chǎng)、果園和玉米田等場(chǎng)景中開展相關(guān)試驗(yàn)研究,不過(guò)僅存在于理論階段,而國(guó)內(nèi)對(duì)這個(gè)領(lǐng)域的研究還比較少,有待擴(kuò)充。整體來(lái)說(shuō),近年來(lái)行人檢測(cè)技術(shù)的檢測(cè)速度和準(zhǔn)確度都有很大提高,但是目前針對(duì)非結(jié)構(gòu)化的農(nóng)田作業(yè)區(qū)的感知技術(shù)還需加強(qiáng),尚有諸多問(wèn)題亟待解決。

3.1 單一傳感器存在應(yīng)用局限

不同傳感器技術(shù)存在各自的特性,對(duì)于遮擋問(wèn)題的處理能力和在農(nóng)田環(huán)境的適用性也不同。超聲波傳感器探測(cè)速度快、成本低,但檢測(cè)效果受物體表面類型影響大,另外由于超聲波對(duì)于多物體出現(xiàn)在視野內(nèi)只報(bào)告近者,使其很難應(yīng)用于存在遮擋的農(nóng)田環(huán)境中進(jìn)行行人檢測(cè)。雷達(dá)探測(cè)距離遠(yuǎn)且受環(huán)境光變化的影響小,但獲得的信息較為單一,單獨(dú)使用時(shí)具有一定局限,不過(guò)搭配SVM分類器使用,可以處理一定程度的遮擋問(wèn)題。機(jī)器視覺(jué)設(shè)備成本低、安裝加工靈活、適用性廣,但在數(shù)據(jù)處理上相對(duì)復(fù)雜,且受環(huán)境因素影響嚴(yán)重,農(nóng)田環(huán)境中的光照變化和雨霧等天氣條件會(huì)對(duì)其產(chǎn)生較大影響。熱感成像技術(shù)可以幫助人類超越視覺(jué)局限,但探測(cè)距離有限,且受環(huán)境溫度影響大,不過(guò)對(duì)于存在遮擋的人畜檢測(cè)問(wèn)題,熱成像設(shè)備目前仍是該研究領(lǐng)域最佳的設(shè)備選擇。

3.2 多傳感器融合技術(shù)研究不夠深入

如今國(guó)內(nèi)外學(xué)者對(duì)于多傳感器融合在農(nóng)業(yè)環(huán)境的應(yīng)用研究逐漸增多,但想要解決存在遮擋情況的農(nóng)田環(huán)境中的行人檢測(cè)問(wèn)題,還需要更多的新的角度而不能只依靠簡(jiǎn)單的設(shè)備組合。目前關(guān)于多傳感器技術(shù)結(jié)合方法的應(yīng)用研究還不深入,大部分結(jié)合形式仍處于模擬試驗(yàn)階段,另外加入新型設(shè)備的融合技術(shù)的穩(wěn)定性問(wèn)題仍需更多的嘗試和探索。

3.3 檢測(cè)算法對(duì)遮擋情況的處理優(yōu)化效果有限

遮擋下的行人檢測(cè)算法可以對(duì)遮擋情況進(jìn)行處理優(yōu)化,但只能起到畫龍點(diǎn)睛的作用,面對(duì)嚴(yán)重遮擋的情況更是束手無(wú)策。另外,深度學(xué)習(xí)算法的檢測(cè)效果要視目標(biāo)與訓(xùn)練集相關(guān)程度而定,但目前針對(duì)農(nóng)業(yè)環(huán)境的行人數(shù)據(jù)庫(kù)有限,導(dǎo)致研究人員在模型訓(xùn)練階段需要花費(fèi)大量時(shí)間和精力自行擴(kuò)充訓(xùn)練集。

4 展望

農(nóng)業(yè)環(huán)境與城市駕駛環(huán)境有許多不同,即使城市行人檢測(cè)技術(shù)在越發(fā)成熟的城市規(guī)劃帶動(dòng)下迅速進(jìn)步,但在復(fù)雜的農(nóng)田環(huán)境中想要實(shí)現(xiàn)行人檢測(cè)對(duì)其只能借鑒,不能照搬,尤其兩個(gè)領(lǐng)域在算法方面由于側(cè)重點(diǎn)大不同,需要具體問(wèn)題具體分析,也需要更多針對(duì)農(nóng)田場(chǎng)景的技術(shù)改進(jìn)與創(chuàng)新。

4.1 采集信息的立體化和多樣化

隨著計(jì)算機(jī)計(jì)算力、數(shù)據(jù)處理能力的增強(qiáng),可以在未來(lái)的研究中更多地加入深度、立體信息,例如引入TOF相機(jī),它能夠提供場(chǎng)景各點(diǎn)的深度信息,有助于判斷待檢目標(biāo)的形貌、距離等。再比如Kinect傳感器,它不僅可以通過(guò)RGB視覺(jué)傳感器獲取彩色圖像,還可以利用兩側(cè)的紅外傳感器獲取景深數(shù)據(jù)和紅外數(shù)據(jù),對(duì)農(nóng)田場(chǎng)景進(jìn)行三維重建。

4.2 無(wú)人機(jī)輔助避障

相比利用傳統(tǒng)車載平臺(tái)搭載傳感器進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè),考慮使用農(nóng)用無(wú)人機(jī)攜帶檢測(cè)設(shè)備保持與作業(yè)農(nóng)機(jī)以相同的速率下前進(jìn),并在正前方獲取圖像等信息,不僅可以有更多的數(shù)據(jù)處理時(shí)間以及農(nóng)機(jī)避障反應(yīng)時(shí)間,而且可以削弱水平視角下作物的遮擋問(wèn)題。

4.3 建立完整環(huán)境感知系統(tǒng)

本文主要針對(duì)田間行人的檢測(cè),但是對(duì)于農(nóng)田作業(yè)安全,對(duì)靜態(tài)障礙物、困難地形以及牲畜、其他農(nóng)業(yè)設(shè)備等農(nóng)田中的移動(dòng)障礙的檢測(cè)也是必不可忽略的。另外對(duì)于農(nóng)田環(huán)境的認(rèn)識(shí)研究仍需進(jìn)一步深入,包括行人在內(nèi)的障礙物的檢測(cè)定位只是其中一環(huán),對(duì)于搭建真正完整的系統(tǒng)尚需路徑規(guī)劃、車輛控制和避障策略的制定等部分。

參 考 文 獻(xiàn)

[1] 李翠妮, 葛晶, 趙沙俊一. 人工智能、老齡化與經(jīng)濟(jì)高質(zhì)量發(fā)展[J]. 當(dāng)代經(jīng)濟(jì)科學(xué), 2022, 44(1): 77-91.

[2] 芮挺, 費(fèi)建超, 周遊, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2016, 52(13): 162-166.

Rui Ting, Fei Jianchao, Zhou You, et al. Pedestrian detection based on deep convolutional neural network [J]. Computer Engineering and Applications, 2016, 52(13): 162-166.

[3] Benenson R, Omran M, Hosang J, et al. Ten years of pedestrian detection, what have we learned? [C]. European Conference on Computer Vision. Springer, Cham, 2014: 613-627.

[4] Xiao Y, Zhou K, Cui G, et al. Deep learning for occluded and multiscale pedestrian detection: A review [J]. IET Image Processing, 2021, 15(2): 286-301.

[5] Tabor T, Pezzementi Z, Vallespi C, et al. People in the weeds: Pedestrian detection goes off-road [C]. 2015 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). IEEE, 2015: 1-7.

[6] 郭烈, 王榮本, 顧柏園, 等. 世界智能車輛行人檢測(cè)技術(shù)綜述[J]. 公路交通科技, 2005(11): 137-141.

Guo Lie, Wang Rongben, Gu Baiyuan, et al. Overview of worldwide intelligent vehicle pedestrian detection technology [J]. Journal of Highway and Transportation Research and Development, 2005(11): 137-141.

[7] 羅錫文, 廖娟, 胡煉, 等. 我國(guó)智能農(nóng)機(jī)的研究進(jìn)展與無(wú)人農(nóng)場(chǎng)的實(shí)踐[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào), 2021, 42(6): 8-17, 5.

Luo Xiwen, Liao Juan, Hu Lian, et al. Research progress of intelligent agricultural machinery and practice of unmanned farm in China [J]. Journal of South China Agricultural University, 2021, 42(6): 8-17, 5.

[8] 李文濤, 張巖, 莫錦秋, 等. 基于改進(jìn)YOLOv3-tiny的田間行人與農(nóng)機(jī)障礙物檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(S1): 1-8, 33.

Li Wentao, Zhang Yan, Mo Jinqiu, et al. Detection of pedestrian and agricultural vehicles in field based on improved YOLOv3-tiny [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S1): 1-8, 33.

[9] Guo L, Zhang Q, Han S. Agricultural machinery safety alert system using ultrasonic sensors [J]. Journal of Agricultural Safety and Health, 2002, 8(4): 385-96.

[10] 何勇, 蔣浩, 方慧, 等.車輛智能障礙物檢測(cè)方法及其農(nóng)業(yè)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(9): 21-32.

He Yong, Jiang Hao, Fang Hui, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(9): 21-32.

[11] Koyama S, Okubo K, Tagawa N. Performance comparison of signal coding method in acoustic sensing for occlusion area using super-directional sound source [C]. 2019 IEEE International Ultrasonics Symposium (IUS). IEEE, 2019: 603-606.

[12] Dvorak J S, Stone M L, Self K P. Object detection for agricultural and construction environments using an ultrasonic sensor [J]. Journal of Agricultural Safety and Health, 2016, 22(2): 107-119.

[13] 李洋. 智能車輛障礙物檢測(cè)技術(shù)綜述[J]. 大眾科技, 2019, 21(6): 65-68.

Li Yang. Overview of obstacle detection technology for intelligent vehicles [J]. Popular Science & Technology, 2019, 21(6): 65-68.

[14] Pan S, Xie Y, Chen K, et al. Obstacle tracking based on the extended kalman filter and millimeter-wave radar [C]. 2022 7th International Conference on Intelligent Computing and Signal Processing (ICSP). IEEE, 2022: 1770-1775.

[15] Doerr Z J L, Lagu C. Evaluating the ability to detect foreign objects in crops using laser range scanners mounted on agricultural vehicles [C]. 2009 Reno, Nevada, June 21-June 24, 2009. American Society of Agricultural and Biological Engineers, 2009: 1.

[16] 張明宇, 齊瑞鋒, 王強(qiáng), 等. 噴桿機(jī)械臂障礙物檢測(cè)系統(tǒng)設(shè)計(jì)與性能測(cè)試[J]. 中國(guó)農(nóng)業(yè)信息, 2021, 33(2): 49-56.

Zhang Mingyu, Qi Ruifeng, Wang Qiang, et al. Design and performance test of obstacle detection system for boom manipulator [J]. China Agricultural Informatics, 2021, 33(2): 49-56.

[17] Kragh M, Jrgensen R N, Pedersen H. Object detection and terrain classification in agricultural fields using 3D lidar data [C]. International Conference on Computer Vision Systems. Springer, Cham, 2015: 188-197.

[18] Xu H, Li S, Ji Y, et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries [J]. Computers and Electronics in Agriculture, 2021, 184.

[19] 張磊, 王書茂, 陳兵旗, 等. 基于雙目視覺(jué)的農(nóng)田障礙物檢測(cè)[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào), 2007(4): 70-74.

Zhang Lei, Wang Shumao, Chen Bingqi, et al. Detection of obstacles in farmland based on binocular vision [J]. Journal of China Agricultural University, 2007(4): 70-74.

[20] 魏建勝, 潘樹國(guó), 田光兆, 等. 農(nóng)業(yè)車輛雙目視覺(jué)障礙物感知系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(9): 55-63.

Wei Jiansheng, Pan Shuguo, Tian Guangzhao, et al. Design and experiments of the binocular visual obstacle perception system for agricultural vehicles [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(9): 55-63.

[21] 吳迪. 基于紅外圖像的行人檢測(cè)算法研究[D]. 西安: 中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所), 2017.

Wu Di. Research on the algorithm of pedestrian detection based on infrared images [D]. Xian: Xian Institute of Optics & Precision Mechanics, Chinese Academy of Sciences, 2017.

[22] Wei W, Cheng L, Xia Y, et al. Occluded pedestrian detection based on depth vision significance in biomimetic binocular [J]. IEEE Sensors Journal, 2019, 19(23): 11469-11474.

[23] 韓永華, 汪亞明, 康鋒, 等. 基于小波多分辨率分解的農(nóng)田障礙物檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2013, 44(6): 215-221.

Han Yonghua, Wang Yaming, Kang Feng, et al. Detection of obstacles in farmland based on wavelet multi-resolution transform [J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(6): 215-221.

[24] Gade R, Moeslund T B. Thermal cameras and applications: A survey [J]. Machine Vision and Applications, 2014, 25(1): 245-262.

[25] 孫曉剛, 李云紅. 紅外熱像儀測(cè)溫技術(shù)發(fā)展綜述[J]. 激光與紅外, 2008(2): 101-104.

Sun Xiaogang, Li Yunhong. Review of the development of temperature measurement technology with infrared thermal imager [J]. Laser & Infrared, 2008(2): 101-104.

[26] 伍利兵, 陳朝方, 林國(guó)生, 等. 紅外熱成像技術(shù)在安全檢測(cè)領(lǐng)域的應(yīng)用現(xiàn)狀[J]. 品牌與標(biāo)準(zhǔn)化, 2021(4): 97-100.

Wu Libing, Chen Chaofang, Lin Guosheng, et al. Application status of infrared thermal imaging technology in the field of safety inspection [J]. Brand & Standardization, 2021(4): 97-100.

[27] 鄧連軍, 王沖, 雷克輝, 等. 紅外熱成像掃描技術(shù)在原油儲(chǔ)罐油泥測(cè)量中的應(yīng)用[J]. 清洗世界, 2020(6): 15-16, 52.

[28] 陳紅強(qiáng). 非接觸式紅外熱成像測(cè)溫技術(shù)探析[J]. 中國(guó)安全防范技術(shù)與應(yīng)用, 2020(4): 14-18.

[29] Yeom S. Moving people tracking and false track removing with infrared thermal imaging by a multirotor [J]. Drones, 2021, 5(3): 65.

[30] Steen K A, Villa-Henriksen A, Therkildsen O R, et al. Automatic detection of animals in mowing operations using thermal cameras [J]. Sensors, 2012, 12(6): 7587-7597.

[31] Christiansen P, Kragh M, Steen K A, et al. Platform for evaluating sensors and human detection in autonomous mowing operations [J]. Precision Agriculture, 2017, 18(3): 350-365.

[32] 孔微雨. 基于多源信息的拖拉機(jī)安全預(yù)警及避障系統(tǒng)研究[D]. 西北農(nóng)林科技大學(xué), 2021.

Kong Weiyu. Safety warning and obstacles avoidance system of tractor using multi-information [D]. Northwest A & F University, 2021.

[33] 蘭玉彬, 王林琳, 張亞莉. 農(nóng)用無(wú)人機(jī)避障技術(shù)的應(yīng)用現(xiàn)狀及展望[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(9): 104-113.

Lan Yubin, Wang Linlin, Zhang Yali. Application and prospect on obstacle avoidance technology for agricultural UAV [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(9): 104-113.

[34] Wang Z, Miao X, Huang Z, et al. Research of target detection and classification techniques using millimeter-wave radar and vision sensors [J]. Remote Sensing, 2021, 13(6): 1064.

[35] 薛金林, 董淑嫻, 范博文. 基于信息融合的農(nóng)業(yè)自主車輛障礙物檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2018, 49(S1): 29-34.

Xue Jinlin, Dong Shuxian, Fan Bowen. Detection of obstacles based on information fusion for autonomous agricultural vehicles [J].Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(S1): 29-34.

[36] Moorehead S J, Wellington C K, Gilmore B J, et al. Automating orchards: A system of autonomous tractors for orchard maintenance [C]. Proceedings of the IEEE international conference of intelligent robots and systems, workshop on agricultural robotics, 2012.

[37] Benet B, Rousseau V, Lenain R. Fusion between a color camera and a TOF camera to improve traversability of agricultural vehicles [C]. Conférence CIGR-AGENG 2016. The 6th International Workshop Applications of Computer Image Analysis and Spectroscopy in Agriculture. 2016: 8.

[38] Reina G, Milella A, Rouveure R, et al. Ambient awareness for agricultural robotic vehicles [J]. Biosystems Engineering, 2016, 146: 114-132.

[39] 李柯泉, 陳燕, 劉佳晨, 等. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J]. 計(jì)算機(jī)工程, 2022, 48(7): 1-12.

Li Kequan, Chen Yan, Liu Jiachen, et al. Survey of deep learning-based object detection algorithms [J]. Computer Engineering, 2022, 48(7): 1-12.

[40] 方路平, 何杭江, 周國(guó)民. 目標(biāo)檢測(cè)算法研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2018, 54(13): 11-18, 33.

Fang Luping, He Hangjiang, Zhou Guomin. Research overview of object detection methods [J]. Computer Engineering and Applications, 2018, 54(13): 11-18, 33.

[41] 陳寧, 李夢(mèng)璐, 袁皓, 等. 遮擋情形下的行人檢測(cè)方法綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(16): 13-20.

Chen Ning, Li Menglu, Yuan Hao, et al. Review of pedestrian detection with occlusion [J]. Computer Engineering and Applications, 2020, 56(16): 13-20.

[42] Chen S, Bremond F, Nguyen H, et al. Exploring depth information for head detection with depth images [C]. 2016 13th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). IEEE, 2016: 228-234.

[43] 廖暢, 馬秀麗. 基于TOF相機(jī)的俯視行人檢測(cè)[J]. 電子測(cè)量技術(shù), 2019, 42(6): 104-108.

Liao Chang, Ma Xiuli. People detection under an overhead time-of-flight camera [J]. Electronic Measurement Technology, 2019, 42(6): 104-108.

[44] Campos Y, Sossa H, Pajares G. Comparative analysis of texture descriptors in maize fields with plants, soil and object discrimination [J]. Precision Agriculture, 2017, 18(5): 717-735.

[45] Cortes C, Vapnik V N. Support vector networks [J]. Machine Learning, 1995, 20(3): 273-297.

[46] 蔣浩. 基于RTK技術(shù)的農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航系統(tǒng)研究[D]. 杭州: 浙江大學(xué), 2019.

Jiang Hao. Research on automatic navigation system of agricultural machinery based on RTK technology [D]. Hangzhou: Zhejiang University, 2019.

[47] 崔學(xué)智, 馮全, 王書志, 等. 邊緣設(shè)備上的葡萄園田間場(chǎng)景障礙檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2021, 42(9): 150-156.

Cui Xuezhi, Feng Quan, Wang Shuzhi, et al. Vineyard scene obstacle detection based on edge devices [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(9): 150-156.

[48] 劉慧, 張禮帥, 沈躍, 等. 基于改進(jìn)SSD的果園行人實(shí)時(shí)檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2019, 50(4): 29-35.

Liu Hui, Zhang Lishuai, Shen Yue, et al. Real-time pedestrian detection in orchard based on improved SSD [J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 29-35.

[49] Pezzementi Z, Tabor T, Hu P, et al. Comparing apples and oranges: Off-road pedestrian detection on the national robotics engineering center agricultural person-detection dataset [J]. Journal of Field Robotics, 2018, 35(4): 545-563.

猜你喜歡
機(jī)器視覺(jué)傳感器
康奈爾大學(xué)制造出可拉伸傳感器
簡(jiǎn)述傳感器在物聯(lián)網(wǎng)中的應(yīng)用
電子制作(2019年22期)2020-01-14 03:16:52
“傳感器新聞”會(huì)帶來(lái)什么
跟蹤導(dǎo)練(三)2
光電傳感器在自動(dòng)檢測(cè)和分揀中的應(yīng)用
電子制作(2018年9期)2018-08-04 03:30:58
全自動(dòng)模擬目標(biāo)搜救系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于機(jī)器視覺(jué)的自動(dòng)澆注機(jī)控制系統(tǒng)的研究
科技視界(2016年26期)2016-12-17 17:31:58
大場(chǎng)景三維激光掃描儀在研究生實(shí)踐教學(xué)培養(yǎng)中的應(yīng)用
基于機(jī)器視覺(jué)的工件鋸片缺陷檢測(cè)系統(tǒng)設(shè)計(jì)
軟件工程(2016年8期)2016-10-25 15:55:22
基于機(jī)器視覺(jué)技術(shù)的動(dòng)態(tài)“白帶”常規(guī)檢測(cè)系統(tǒng)的開發(fā)
科技視界(2016年20期)2016-09-29 11:11:40
浦城县| 黔西县| 徐汇区| 陕西省| 平陆县| 马关县| 大方县| 东乌珠穆沁旗| 蓬安县| 沙洋县| 霍城县| 金华市| 绿春县| 玉屏| 枞阳县| 鄢陵县| 田阳县| 定边县| 大姚县| 申扎县| 得荣县| 绥宁县| 沂南县| 莱芜市| 乌兰察布市| 儋州市| 寿光市| 定兴县| 徐闻县| 北安市| 武川县| 蓝田县| 诸暨市| 汕头市| 祁门县| 沁阳市| 龙陵县| 巴楚县| 玉田县| 通榆县| 黄浦区|