李孟娜　張維忠　郭莉

文章編號(hào)： 10069798（2022）01001107; DOI： 10.13306/j.10069798.2022.01.002

摘要：? 針對(duì)傳統(tǒng)倉儲(chǔ)貨物監(jiān)控存在對(duì)管理人員依賴程度較高，并且在發(fā)生失竊時(shí)不能及時(shí)報(bào)警等問題，本文設(shè)計(jì)了一種基于深度學(xué)習(xí)的倉儲(chǔ)貨物監(jiān)控方法。通過攝像頭定時(shí)抓取圖像，獲取一定時(shí)間間隔的兩張圖像，采用圖像粗定位處理檢測圖像變化區(qū)域，并利用深度學(xué)習(xí)網(wǎng)絡(luò)，識(shí)別變化區(qū)域是否為目標(biāo)物，實(shí)現(xiàn)對(duì)倉儲(chǔ)貨物實(shí)時(shí)有效地監(jiān)管和自動(dòng)報(bào)警功能。同時(shí)，以倉儲(chǔ)棉花包為應(yīng)用實(shí)例，對(duì)棉花包的監(jiān)控進(jìn)行測試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，對(duì)棉花缺失情況的檢測準(zhǔn)確率可以達(dá)到93%，滿足實(shí)際應(yīng)用的需求。該方法通過定時(shí)執(zhí)行，執(zhí)行間隔可根據(jù)用戶需求來確定，以確保監(jiān)控的實(shí)時(shí)性，使用戶能及時(shí)獲取倉庫被盜信息。該研究具有較大的工程應(yīng)用價(jià)值。

關(guān)鍵詞：? 圖像處理; 深度學(xué)習(xí); 倉儲(chǔ)監(jiān)控; 自動(dòng)報(bào)警

中圖分類號(hào)： TP391.413; TP181; TP277.2文獻(xiàn)標(biāo)識(shí)碼： A

隨著我國經(jīng)濟(jì)水平和科學(xué)技術(shù)的迅速發(fā)展，倉儲(chǔ)貨物的監(jiān)控早已從真人值班看守，使用圍欄電網(wǎng)防護(hù)、防盜門防盜網(wǎng)等防護(hù)方式，過渡到通過倉庫內(nèi)攝像頭遠(yuǎn)程監(jiān)控的便捷化智能化監(jiān)管方式。監(jiān)控系統(tǒng)已經(jīng)成為公司企業(yè)發(fā)展過程中不可或缺的一部分，可以有效避免貨物丟失等隱患[1]。此外，還有一些監(jiān)控系統(tǒng)實(shí)現(xiàn)了云端數(shù)據(jù)的存儲(chǔ)，管理員可在電腦、手機(jī)等終端設(shè)備查看監(jiān)控視頻，但是由于缺乏對(duì)數(shù)據(jù)的處理，隨著攝像設(shè)備的不斷接入，服務(wù)器負(fù)擔(dān)加大，使用成本增加。目前，許多監(jiān)控系統(tǒng)需要特定人員在終端進(jìn)行值班才能及時(shí)報(bào)警。當(dāng)貨物發(fā)生丟失或盜竊后，管理員需通過歷史記錄進(jìn)行查看。因此，經(jīng)常會(huì)發(fā)生因發(fā)現(xiàn)不及時(shí)導(dǎo)致監(jiān)控視頻被覆蓋，或未及時(shí)獲得被盜信息導(dǎo)致不能及時(shí)報(bào)警等效率較低的問題，造成經(jīng)濟(jì)損失。丁承君等人[2]提出了面向倉儲(chǔ)的物聯(lián)網(wǎng)智能化監(jiān)控系統(tǒng)，在以視頻監(jiān)測和人防為主的傳統(tǒng)智能倉儲(chǔ)基礎(chǔ)上，增加物聯(lián)網(wǎng)技術(shù)[35]，但由于其采用較多的傳感器，會(huì)增加使用成本;錢思宇[6]提出了一種基于Web的倉儲(chǔ)監(jiān)控系統(tǒng)，能在Web端實(shí)現(xiàn)對(duì)現(xiàn)場數(shù)據(jù)和監(jiān)控畫面等實(shí)時(shí)顯示，但對(duì)物品丟失等問題還需人為監(jiān)控識(shí)別;蔣燕妮等人[712]提出了基于圖像處理技術(shù)的嵌入式智能防盜系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)了對(duì)可疑目標(biāo)的檢測與識(shí)別，但對(duì)某些目標(biāo)檢測的效果還有提升空間;徐子豪等人[1316]使用深度學(xué)習(xí)的方法，實(shí)現(xiàn)了在監(jiān)控視頻中對(duì)車輛的監(jiān)控檢測;LI Z等人[17]結(jié)合FasterRCNN網(wǎng)絡(luò)[1819]結(jié)構(gòu)，設(shè)計(jì)了一種智能庭院監(jiān)控系統(tǒng)，實(shí)現(xiàn)了實(shí)時(shí)性檢測，但是對(duì)于網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集數(shù)量要求較高;劉軍[20]設(shè)計(jì)了基于無線傳感器網(wǎng)絡(luò)的倉儲(chǔ)監(jiān)控管理系統(tǒng)，利用無線傳感器實(shí)現(xiàn)對(duì)倉儲(chǔ)的監(jiān)控，但因需用無線傳感器等設(shè)備，在某些領(lǐng)域內(nèi)使用會(huì)增加較多成本?；诖?，本文主要對(duì)基于深度學(xué)習(xí)的倉儲(chǔ)貨物監(jiān)控方法進(jìn)行研究，在傳統(tǒng)的倉庫防盜系統(tǒng)基礎(chǔ)上，利用人工智能等技術(shù)，將圖像粗定位處理與深度學(xué)習(xí)算法相結(jié)合，對(duì)倉儲(chǔ)貨物進(jìn)行實(shí)時(shí)有效地監(jiān)控，并有效控制了使用成本。同時(shí)，以倉儲(chǔ)棉花包為應(yīng)用實(shí)例，在棉花包監(jiān)控方面驗(yàn)證了該設(shè)計(jì)的可行性，滿足實(shí)際應(yīng)用的需求。該研究為后續(xù)實(shí)際應(yīng)用提供了理論依據(jù)。

1圖像粗定位處理

圖像的粗定位處理主要包括圖像預(yù)處理、邊緣提取處理和定位處理3部分。粗定位處理的主要目的是通過對(duì)比前后兩張圖像，對(duì)圖像變化區(qū)域進(jìn)行粗定位，并將變化區(qū)域在圖像中進(jìn)行標(biāo)記，為后續(xù)深度學(xué)習(xí)網(wǎng)絡(luò)處理提供數(shù)據(jù)，起到縮小檢測區(qū)域的作用，監(jiān)控圖像粗定位處理流程如圖1所示。通過監(jiān)控?cái)z像頭管理平臺(tái)提供的應(yīng)用程序接口（application programming interface，API），獲取攝像頭捕獲的圖像鏈接，設(shè)置自動(dòng)抓圖程序定時(shí)執(zhí)行（本文設(shè)置每隔15 min執(zhí)行1次），下載鏈接的圖片，交替保存到兩個(gè)指定文件夾，覆蓋之前保存的圖像，確保之后每次取圖時(shí)，都是該文件下最新獲取的圖像。

1.1圖像預(yù)處理

圖像預(yù)處理指對(duì)兩張圖像依次進(jìn)行高斯濾波、灰度化、中值濾波和銳化操作，目的是增強(qiáng)后續(xù)邊緣提取處理的效果。從指定文件中，讀入兩張需要判別的圖像，對(duì)圖像進(jìn)行去噪。首先使用高斯濾波和中值濾波，去除圖像中的高斯噪聲和椒鹽噪聲。高斯濾波可以有效去除高斯噪聲的線性平滑濾波，根據(jù)高斯模板，將圖像上的每個(gè)像素加權(quán)平均鄰域內(nèi)的像素值，重新得到圖像的每個(gè)像素值。二維高斯函數(shù)為

式中，（u，v）表示像素的模板坐標(biāo);σ表示標(biāo)準(zhǔn)差。

本文使用二維高斯函數(shù)對(duì)圖像進(jìn)行處理，根據(jù)高斯模板各位置坐標(biāo)，帶入二維高斯函數(shù)中，計(jì)算得到相應(yīng)位置的數(shù)值。中值濾波可以較好地去除椒鹽噪聲的非線性平滑濾波，根據(jù)濾波模板內(nèi)各像素值，將圖像上每個(gè)像素按大小排序，以中位數(shù)代替原圖該像素的灰度值，可以消除高頻的噪聲點(diǎn)，使周圍的像素值更接近真實(shí)值。濾波后對(duì)圖像進(jìn)行邊緣增強(qiáng)，即圖像銳化，通過增強(qiáng)高頻分量，加強(qiáng)圖像上的細(xì)節(jié)信息。

1.2邊緣提取處理

圖像進(jìn)行預(yù)處理之后，使用Sobel算子進(jìn)行邊緣提取，Sobel算子主要用于邊緣檢測的離散微分算子。Sobel算子對(duì)圖像豎直方向和水平方向用內(nèi)核卷積求導(dǎo)，當(dāng)梯度值大于某個(gè)閾值時(shí)，認(rèn)為該點(diǎn)是邊緣點(diǎn)，所得到的梯度越大，越有可能是邊緣。圖像經(jīng)過增強(qiáng)和邊緣提取等圖像處理后，會(huì)引入一些噪聲。為了處理這些噪聲，首先對(duì)邊緣提取圖去噪，這里采用高斯濾波去除圖像中的高斯噪聲，然后選取合適的閾值對(duì)圖像二值化。對(duì)兩張圖像的二值圖，分別用開運(yùn)算去除圖像中孤立的小碎點(diǎn)，再用與區(qū)域面積相同的圓的直徑（直徑閾值為17）刪除較小連通區(qū)域，獲得兩張?zhí)幚砗玫倪吘壧崛D的二值圖。

1.3定位處理

定位處理目的是得到對(duì)變化區(qū)域的一個(gè)粗定位，將變化區(qū)域在原圖上進(jìn)行標(biāo)記。邊緣提取處理后獲得兩張圖像的二值圖，將兩張二值圖相減，得到顯示兩張圖像像素差異的效果圖。首先對(duì)兩張效果圖進(jìn)行開運(yùn)算，去除圖像上孤立的小碎點(diǎn)，再進(jìn)行閉運(yùn)算，把由于開運(yùn)算造成的原本是同一對(duì)象的物體被誤分為相鄰的幾部分合并起來，再用與區(qū)域面積相同的圓的直徑（直徑閾值為140）刪除較小連通區(qū)域。此時(shí)，二值圖上剩下的像素值為1的較大連通區(qū)域，就是算法得出的發(fā)生變化的區(qū)域。處理效果展示如圖2所示。

圖2處理效果展示得到變化區(qū)域二值圖后，在原圖像上用矩形框?qū)⒆兓瘏^(qū)域框起來，即根據(jù)區(qū)域的最小外接矩形，得到2張圖像發(fā)生變化的區(qū)域過程?？蜻x效果圖如圖3所示。

1.4圖像粗定位算法優(yōu)化

根據(jù)圖像的分析結(jié)果可知，光照是影響粗定位的主要因素。由于光照條件不同，棉花包本身的褶皺較多，紋理復(fù)雜，導(dǎo)致對(duì)圖像進(jìn)行邊緣提取時(shí)，提取出來的邊緣有所差異。因此，本文對(duì)粗定位處理進(jìn)行一定的優(yōu)化，即對(duì)圖像的預(yù)處理部分中值濾波后，加入限制對(duì)比度的自適應(yīng)直方圖均衡化（contrast limited adaptive histogram equalization，CLAHE）算法。

CLAHE是一種對(duì)傳統(tǒng)直方圖均衡化方法進(jìn)行改進(jìn)和優(yōu)化的圖像增強(qiáng)方法。CLAHE算法結(jié)合自適應(yīng)直方圖均衡化算法（adaptive histogram equalization，AHE）和對(duì)比度限制的直方圖均衡化算法（contrast limited histogram equalization，CLHE），用雙線性插值對(duì)AHE算法進(jìn)行優(yōu)化，解決了AHE算法處理后圖像上各區(qū)域間不連續(xù)的問題。使用CLAHE算法可以增強(qiáng)圖像對(duì)比度，不但很好地保留圖像中過亮和過暗的部分細(xì)節(jié)，而且還可以抑制噪聲，使Sobel算子提取出的邊緣信息更加接近真實(shí)邊緣，對(duì)光照有更好的魯棒性。最后將粗定位圖像的框選變化部分裁剪下來，保存到指定目錄的文件夾下，以便接下來用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)變化區(qū)域圖像進(jìn)行棉花包的檢測與識(shí)別。

2基于深度學(xué)習(xí)的倉儲(chǔ)貨物（棉花包）檢測與識(shí)別

本研究通過判斷倉儲(chǔ)貨物是否發(fā)生變化進(jìn)行預(yù)警，因此在得到變化區(qū)域圖像后，需要判別圖像中是否存在倉儲(chǔ)貨物。當(dāng)倉儲(chǔ)貨物以外的物品發(fā)生變化時(shí)，單純依靠粗定位處理結(jié)果去預(yù)警，很可能會(huì)誤判。因此，本文使用基于深度學(xué)習(xí)的方法，通過訓(xùn)練基于ResNet50的神經(jīng)網(wǎng)絡(luò)，對(duì)倉儲(chǔ)貨物（棉花包）進(jìn)行檢測與識(shí)別，若棉花包出現(xiàn)在變化區(qū)域，則向管理員報(bào)警，大大降低誤判概率。

2.1基于ResNet50的棉花包檢測與識(shí)別網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（ResNet）是在網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)中，出現(xiàn)跳層連接實(shí)現(xiàn)形式的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，是為解決普通的深度神經(jīng)網(wǎng)絡(luò)在增加深度時(shí)出現(xiàn)的梯度消失問題[21]。殘差網(wǎng)絡(luò)不僅容易優(yōu)化，而且能夠通過增加相當(dāng)?shù)木W(wǎng)絡(luò)深度提高準(zhǔn)確率。ResNet一般有18，34，50，101層的設(shè)計(jì)，ResNet網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

本文基于50層殘差網(wǎng)絡(luò)，設(shè)計(jì)了棉花包檢測與識(shí)別網(wǎng)絡(luò)，用于對(duì)棉花包的檢測和識(shí)別?；赗esNet50的棉花包檢測與識(shí)別網(wǎng)絡(luò)如圖4所示。

2.2網(wǎng)絡(luò)訓(xùn)練集和驗(yàn)證集的獲取

在獲取的各時(shí)間段圖像中，截取隨機(jī)大小的棉花包圖像和非棉花包圖像共計(jì)2 000張（保證長和寬至少有一邊大于140像素）。其中，包括1 000張棉花包圖像和1 000張非棉花包圖像，而且80%的圖像用作訓(xùn)練集，20%的圖像用作驗(yàn)證集。部分?jǐn)?shù)據(jù)集如圖5所示。

2.3訓(xùn)練集和驗(yàn)證集預(yù)處理

根據(jù)ResNet50輸入網(wǎng)絡(luò)的圖像大小要求，將圖像大小調(diào)整為224×224。本文不使用隨機(jī)裁剪方法，因?yàn)樵摲椒〞?huì)將原本包含棉花的圖像裁剪成不包含棉花的圖像，將圖像水平翻轉(zhuǎn)，用來擴(kuò)充數(shù)據(jù)集?？紤]到實(shí)際情況，本文不能用垂直翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方式，因?yàn)樵跀[放的下層棉花包比上層棉花包多的情況下，垂直翻轉(zhuǎn)后的圖像不符合常理，最后將所有圖像歸一化，從而提高模型的收斂速度。本文根據(jù)訓(xùn)練集和驗(yàn)證集，得到所有圖像的均值和方差，然后按通道將所有圖像進(jìn)行標(biāo)準(zhǔn)化，即

式中，λ表示輸出圖像的像素值矩陣;α表示輸入圖像的像素值矩陣;β表示均值;S表示方差。

3基于深度學(xué)習(xí)的倉儲(chǔ)貨物（棉花包）監(jiān)控方法

針對(duì)棉花廠棉花包的倉儲(chǔ)監(jiān)控，本文設(shè)計(jì)了基于深度學(xué)習(xí)的倉儲(chǔ)貨物監(jiān)控方法，倉儲(chǔ)貨物監(jiān)控方法整體框架如圖6所示。該框架共分為4個(gè)階段，將不同時(shí)刻獲取的兩張監(jiān)控圖像進(jìn)行粗定位處理，并基于深度學(xué)習(xí)，對(duì)倉儲(chǔ)貨物（棉花包）進(jìn)行檢測與識(shí)別，獲得檢測結(jié)果及自動(dòng)報(bào)警。

4實(shí)驗(yàn)驗(yàn)證

4.1實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

本實(shí)驗(yàn)采用Python語言進(jìn)行編程，所有實(shí)驗(yàn)都是在包含8個(gè)中央處理器（central processing unit，CPU）的Linux服務(wù)器上完成，服務(wù)器內(nèi)存為10 GB，顯卡型號(hào)為Tesla V100。深度學(xué)習(xí)部分采用Pytorch搭建神經(jīng)網(wǎng)絡(luò)框架，實(shí)驗(yàn)選用Pytorch提供的torch.optim.SGD神經(jīng)網(wǎng)絡(luò)優(yōu)化器，學(xué)習(xí)率設(shè)置為0001，動(dòng)量因子設(shè)置為095，調(diào)整學(xué)習(xí)率策略機(jī)制，選用StepLR機(jī)制，每訓(xùn)練10個(gè)epoch，做1次更新，更新學(xué)習(xí)率的乘法因子設(shè)置為02，共訓(xùn)練350輪。

4.2實(shí)驗(yàn)測試數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集為RGB圖像，通過棉花廠里30個(gè)監(jiān)控?cái)z像頭抓拍獲取，在光線差別不大的前提下，由各時(shí)間段不同光照條件的圖像，組成200組實(shí)驗(yàn)圖像，共計(jì)400張。部分實(shí)驗(yàn)測試數(shù)據(jù)集如圖7所示。

4.3實(shí)驗(yàn)結(jié)果及分析

1）圖像粗定位處理結(jié)果及分析。對(duì)原始粗定位算法和優(yōu)化后粗定位算法進(jìn)行比較分析。根據(jù)200組實(shí)驗(yàn)圖像，計(jì)算出粗定位（既不多框出沒有發(fā)生變化的地方，也不遺漏發(fā)生變化的地方）的準(zhǔn)確率，粗定位處理實(shí)驗(yàn)結(jié)果如表2所示。由表2可以看出，優(yōu)化后粗定位準(zhǔn)確率達(dá)到915%，在保證準(zhǔn)確框選變化區(qū)域的同時(shí)，為后續(xù)處理減輕工作量。

粗定位準(zhǔn)確率為

式中，ρ1表示粗定位準(zhǔn)確率;λa表示正確定位出變化區(qū)域的圖像組數(shù);λt表示總圖像組數(shù)。

根據(jù)優(yōu)化后粗定位算法準(zhǔn)確率，發(fā)現(xiàn)定位錯(cuò)誤主要由以下兩種情況導(dǎo)致：一是倉庫門沒有關(guān)好，或選取的兩張圖像光源位置差別較大（如一張圖像是9∶00左右，另一張圖像是15∶00左右），導(dǎo)致光線差別過大。二是由于棉花包發(fā)生變化，導(dǎo)致影子有所變化，使粗定位多框出影子。

在實(shí)際應(yīng)用中，這兩種情況不會(huì)影響監(jiān)控結(jié)果，只要確保工作人員關(guān)好倉庫門，其定時(shí)執(zhí)行的時(shí)間間隔可控，可以避免時(shí)間間隔較大的情況。另外，如果棉花包發(fā)生變化，多框出影子也不會(huì)影響判斷結(jié)果。因此，本算法能夠滿足實(shí)際需求。

基于ResNet50的棉花包檢測與識(shí)別網(wǎng)絡(luò)結(jié)果及分析。本文基于ResNet50網(wǎng)絡(luò)進(jìn)行棉花包的檢測與識(shí)別。為了驗(yàn)證不同網(wǎng)絡(luò)對(duì)棉花包的識(shí)別效果，將網(wǎng)絡(luò)框架替換為VGG16和VGG19網(wǎng)絡(luò)，進(jìn)行對(duì)比分析，網(wǎng)絡(luò)訓(xùn)練結(jié)果如表3所示。網(wǎng)絡(luò)識(shí)別準(zhǔn)確率為

式中，γa表示在驗(yàn)證集上預(yù)測正確的圖像數(shù);γt表示驗(yàn)證集圖像總數(shù)。根據(jù)網(wǎng)絡(luò)訓(xùn)練結(jié)果，ResNet50在驗(yàn)證集上的準(zhǔn)確率最高，所以本文選用ResNet50作為基準(zhǔn)網(wǎng)絡(luò)。

3）基于深度學(xué)習(xí)的倉儲(chǔ)貨物（棉花包）監(jiān)控方法結(jié)果及分析。本文利用200組實(shí)驗(yàn)測試數(shù)據(jù)集驗(yàn)證算法，其中網(wǎng)絡(luò)識(shí)別準(zhǔn)確率為

式中，θa表示在驗(yàn)證集上預(yù)測正確的圖像數(shù);θt表示驗(yàn)證集圖像總數(shù)。

將兩張固定時(shí)間間隔的圖像經(jīng)過粗定位處理后，獲得圖像不同區(qū)域的截圖，將截圖輸入基于ResNet50的棉花包檢測與識(shí)別網(wǎng)絡(luò)的訓(xùn)練模型，最終得到的整體準(zhǔn)確率可達(dá)93%，滿足實(shí)際應(yīng)用需求。若發(fā)生棉花包的異常變動(dòng)，程序?qū)⒆詣?dòng)報(bào)警并將異常區(qū)域提供給管理人員，具有較高的應(yīng)用價(jià)值。異常區(qū)域展示及報(bào)警如圖8所示。

5結(jié)束語

本文結(jié)合深度學(xué)習(xí)和圖像處理的方法，將倉庫貨物的監(jiān)控推向智能化和便捷化，使用戶更加方便準(zhǔn)確地獲取貨物是否變化的信息。在實(shí)際棉花包的監(jiān)控應(yīng)用測試中，綜合準(zhǔn)確率達(dá)到93%，滿足實(shí)際需求。同時(shí)，本文通過定時(shí)執(zhí)行，執(zhí)行間隔根據(jù)用戶需求來確定，確保監(jiān)控的實(shí)時(shí)性，使用戶可以及時(shí)地獲取倉庫被盜信息。下一步研究重點(diǎn)是將本文方法與數(shù)據(jù)庫技術(shù)相結(jié)合，在獲取到圖像鏈接的同時(shí)，將鏈接上傳到數(shù)據(jù)庫，實(shí)現(xiàn)供用戶查看歷史圖像的功能，且基本不消耗空間存儲(chǔ)。

參考文獻(xiàn)：

[1]史彥軍， 韓俏梅， 沈衛(wèi)明， 等. 智能制造場景的5G應(yīng)用展望[J]. 中國機(jī)械工程， 2020， 31（2）： 227236.

[2]丁承君， 李召策， 朱雪宏， 等. 面向倉儲(chǔ)的物聯(lián)網(wǎng)智能化監(jiān)控系統(tǒng)[J]. 機(jī)械設(shè)計(jì)與制造， 2019， 4（11）： 118121.

[3]王智泓. 我國智慧物流發(fā)展的現(xiàn)實(shí)困境及戰(zhàn)略思考[J]. 商業(yè)經(jīng)濟(jì)研究， 2021（14）： 106110.

[4]謝軍， 莊建樓， 康成斌. 基于北斗系統(tǒng)的物聯(lián)網(wǎng)技術(shù)與應(yīng)用[J]. 南京航空航天大學(xué)學(xué)報(bào)， 2021， 53（3）： 329337.

[5]張紫謙， 衷衛(wèi)聲， 梁凱， 等. 基于物聯(lián)網(wǎng)技術(shù)的溫室集群環(huán)境監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 現(xiàn)代電子技術(shù)， 2016， 39（14）： 4952.

[6]錢思宇. 基于Web的倉儲(chǔ)監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[J]. 化工自動(dòng)化及儀表， 2011， 38（9）： 10781080， 1146.

[7]蔣燕妮， 吳蘇. 基于圖像處理技術(shù)的嵌入式智能防盜系統(tǒng)設(shè)計(jì)[J]. 儀表技術(shù)， 2012， 4 （6）： 3234， 38.

[8]韓曉健， 趙志成. 基于計(jì)算機(jī)視覺技術(shù)的結(jié)構(gòu)表面裂縫檢測方法研究[J]. 建筑結(jié)構(gòu)學(xué)報(bào)， 2018， 39（S1）： 418426.

[9]王鋼， 周若飛， 鄒昳琨. 基于壓縮感知理論的圖像優(yōu)化技術(shù)[J]. 電子與信息學(xué)報(bào)， 2020， 42（1）： 222233.

[10]朱利華. 基于大數(shù)據(jù)處理技術(shù)的深度學(xué)習(xí)算法的圖像處理優(yōu)化技術(shù)研究——評(píng)《計(jì)算機(jī)圖像處理入門與提高》[J]. 現(xiàn)代雷達(dá)， 2021， 43（1）： 94.

[11]寧彬. 圖像處理技術(shù)在機(jī)動(dòng)車車牌自動(dòng)識(shí)別技術(shù)中的應(yīng)用[J]. 科學(xué)技術(shù)與工程， 2013， 13（2）： 366371.

[12]張建民， 陳富健， 龍佳樂. 基于圖像處理的點(diǎn)云濾波算法[J]. 激光與光電子學(xué)進(jìn)展， 2021， 58（6）： 06100150610027.

[13]徐子豪， 黃偉泉， 王胤. 基于深度學(xué)習(xí)的監(jiān)控視頻中多類別車輛檢測[J]. 計(jì)算機(jī)應(yīng)用， 2019， 39（3）： 700705.

[14]HAO X， ZHANG GG， MA S. Deep learning[J]. Nature， 2016， 10（3）： 417439.

[15]BOONPOOK W， TAN YM， YE YH， et al. A deep learning approach on building detection from unmanned aerial vehiclebased images in riverbank monitoring[J]. Sensors， 2018， 18： 39213933.

[16]PANDA P， SENGUPTA A， ROY K. Energyefficient and improved image recognition with conditional deep learning[J]. Acm Journal on Emerging Technologies in Computing Systems， 2017， 13（3）： 121.

[17]LI Z， LI H， LIU B. Research and application on smart courtyard monitoring system[C]∥Journal of Physics： Conference Series， shangri_la： IOP Publishing Ltd， 2020， 1682： 012042012047.

[18]CHENG B， WEI Y C， SHI H， et al. Revisiting RCNN： on awakening the classification power of faster rcnn[C]∥15th European conference on computer vision （ECCV）. Munich： computer visionECCV. 2018： 453468.

[19]REN Y， ZHU C， XIAO S P. Object detection based on fast/faster RCNN employing fully convolutional architectures[J]. Mathematical Problems in Engineering， 2018： 17.

[20]劉軍. 基于無線傳感器網(wǎng)絡(luò)的倉儲(chǔ)監(jiān)控管理系統(tǒng)關(guān)鍵技術(shù)研究[J]. 中國流通經(jīng)濟(jì)， 2010， 24（7）： 1719.

[21]WANG L L， WANG B Q， ZHAO P P， et al. Malware detection algorithm based on the attention mechanism and ResNet[J]. Chinese Journal of Electronics， 2020， 29（6）： 10541060.

Research on Warehousing Cargo Monitoring Method

Based on Deep LearningLI Mengna ZHANG Weizhong ?GUO Li

（College of Computer Science & Technology， Qingdao University， Qingdao 266071， China）Abstract：? In view of the problems of traditional warehouse cargo monitoring， such as high dependence on managers and failure to timely alarm when theft occurs， a warehouse cargo monitoring method based on deep learning was designed in this paper. Two images at a certain time interval are obtained by the camera， and the image coarse positioning is used to detect the changing area of the image. Then the deep learning network is used to identify whether the changing area is the object， and then to realize the realtime and effective supervision. At last， the function of automatic alarm of the storage goods was realized. At the same time， the test experiment for cotton bale′s monitoring was proceeded， in which the warehouse cotton bale as an application example. The experimental results show that the detection accuracy of cotton missing condition can reach 93%， which meets the needs of practical application. In order to ensure realtime monitoring， the method can be executed periodically， and the interval can be determined according to the user's needs， so that the user can obtain the stolen information in time. The research has great engineering application value.

Key words： image processing; deep learning; warehouse monitoring; automatic alarm

收稿日期： 20210830; 修回日期： 20211115

基金項(xiàng)目：? 國家自然科學(xué)基金青年基金資助項(xiàng)目（61802215）; 市級(jí)專項(xiàng)扶持資金（202001PTXM14）

作者簡介：? 李孟娜（1996），女，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺。

通信作者：? 張維忠（1963），男，博士，教授，碩士生導(dǎo)師，主要研究方向?yàn)橛?jì)算機(jī)視覺、模式識(shí)別和圖像處理等。 Email： zhangwz_01@aliyun.com