馬新玲，郭兆陽(yáng)，樂(lè)祺中，楊旭東

(華東理工大學(xué)機(jī)械與動(dòng)力工程學(xué)院， 上海 200237)

0 引言

垃圾分類是我國(guó)環(huán)境保護(hù)的新興發(fā)展熱點(diǎn)，在我國(guó)尚處于初步階段，目前主要依靠人工對(duì)垃圾進(jìn)行分類[1]。由于居民分類的意識(shí)和能力的欠缺，推廣垃圾分類阻力大、難度高、準(zhǔn)確性偏低。因此，需要使用機(jī)器輔助對(duì)垃圾進(jìn)行識(shí)別和分類，使這一過(guò)程自動(dòng)化、智能化。

目前，智能化垃圾處理設(shè)備的研究主要針對(duì)提升分類的準(zhǔn)確性，研究方向集中在機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)和圖像處理算法。祝朝坤等[2]基于TensorFlow開(kāi)發(fā)深度學(xué)習(xí)應(yīng)用程序，指出Inception-v4在智能識(shí)別中準(zhǔn)確度較高;呂程熙[3]比較了深度神經(jīng)網(wǎng)絡(luò)(DNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)，認(rèn)為CNN在不同分類任務(wù)中具有更高的準(zhǔn)確度；寧凱等[4]設(shè)計(jì)了基于視覺(jué)的智能掃地機(jī)器人，使對(duì)常見(jiàn)的可回收垃圾識(shí)別率提升到85%。在其他垃圾識(shí)別和分類方法研究方面，趙冬娥等[5]研究了高光譜成像在垃圾分類識(shí)別中的應(yīng)用；黃惠玲等[6]基于顏色特征對(duì)建筑垃圾進(jìn)行了識(shí)別；Cordes等[7]通過(guò)模式識(shí)別對(duì)于掩埋在地下的廢物特征進(jìn)行了分析與分類。這些識(shí)別方法各有局限，其對(duì)特定種類的垃圾識(shí)別是有效的，但是在多元化垃圾的分類任務(wù)中，不能準(zhǔn)確地對(duì)所有種類垃圾進(jìn)行分類。因此，研發(fā)一種能夠集合多種識(shí)別方式優(yōu)勢(shì)的垃圾分類裝置是必要的。

本文設(shè)計(jì)了一款集合多種識(shí)別方式的智能分類垃圾桶，將機(jī)器視覺(jué)、物相分析、熱成像圖的溫度場(chǎng)分析和輪廓特征分析這4種識(shí)別方式共同應(yīng)用，并利用投票算法給出可信度較高的分類結(jié)論。這款垃圾桶使垃圾分類不再受單一方法的局限，從而提高垃圾分類的準(zhǔn)確度。

1 智能分類垃圾桶的結(jié)構(gòu)設(shè)計(jì)

本文設(shè)計(jì)的垃圾桶模型如圖1所示，其主體部分分為2層。上層為識(shí)別區(qū)，用于識(shí)別設(shè)備的安置；下層為垃圾桶擺放區(qū)，可以擺放4種不同類別(濕垃圾、可回收垃圾、干垃圾和有害垃圾)的垃圾桶。

圖1 垃圾桶設(shè)計(jì)模型

與普通智能垃圾桶相比，本垃圾桶的特點(diǎn)在于：

a.在垃圾桶內(nèi)部上方增加1個(gè)用于識(shí)別的平臺(tái)，中間是可以打開(kāi)的活頁(yè)結(jié)構(gòu)。沒(méi)有垃圾和正在識(shí)別垃圾時(shí)，識(shí)別平臺(tái)處于合攏狀態(tài)。當(dāng)單個(gè)垃圾識(shí)別結(jié)束后，平臺(tái)向下打開(kāi)，使垃圾落入桶中。

b.識(shí)別平臺(tái)的周圍放置攝像頭、微型光譜儀、紅外熱成像儀這3個(gè)圖像獲取設(shè)備，分別用于機(jī)器視覺(jué)識(shí)別攝像、熱成像圖和物相光譜圖的獲取。設(shè)備之間間隔120°，這樣設(shè)計(jì)既為避免設(shè)備距離太近產(chǎn)生的互相干擾，又可避免2個(gè)設(shè)備呈180°時(shí)紅外線或射線照射造成另一設(shè)備的損壞。

c.識(shí)別平臺(tái)下方是4個(gè)垃圾桶的選擇結(jié)構(gòu)，當(dāng)完成識(shí)別判斷垃圾的類別之后，使相應(yīng)類別的小垃圾桶移動(dòng)到垃圾桶底部中央，待上方識(shí)別臺(tái)板合攏、垃圾不再下落時(shí)，小垃圾桶歸到原位。

d.垃圾桶頂部投入口的開(kāi)閉可調(diào)。當(dāng)內(nèi)部正處于垃圾識(shí)別時(shí)，頂部投入口關(guān)閉，防止新的垃圾對(duì)識(shí)別產(chǎn)生干擾。當(dāng)識(shí)別結(jié)束時(shí)，垃圾被分類到小桶之后，頂部投入口再次打開(kāi)。

在垃圾桶運(yùn)行時(shí)，其上述內(nèi)部指令的流程，如圖2所示。

圖2 垃圾桶工作流程

2 多識(shí)別方式的設(shè)計(jì)

2.1 機(jī)器視覺(jué)識(shí)別

垃圾桶配備的攝像頭用于機(jī)器視覺(jué)方式的識(shí)別。機(jī)器視覺(jué)是一種圖像識(shí)別方法，其通過(guò)圖像與數(shù)據(jù)集比對(duì)，快速高效地推測(cè)分析圖像中的物體種類。目前，機(jī)器視覺(jué)在自動(dòng)駕駛[8]、醫(yī)療診斷[9]和氣候判別[10]等領(lǐng)域有較快的發(fā)展。而在垃圾識(shí)別分類過(guò)程中，數(shù)據(jù)集與算法的選擇是最重要的2個(gè)參數(shù)。

本垃圾桶的機(jī)器視覺(jué)識(shí)別數(shù)據(jù)集選用COCO數(shù)據(jù)集[11]，該數(shù)據(jù)集收錄20余種日常垃圾圖像，數(shù)據(jù)集容量近千張，能夠較好地對(duì)比識(shí)別常見(jiàn)的包裝類垃圾。

算法選擇方面，目前廣泛應(yīng)用的特征提取方法有深度殘差網(wǎng)絡(luò)ResNet算法與谷歌Inception算法，識(shí)別分類方法則有SSD[12]、Faster-RCNN[13]、Mask-RCNN[14]。為選擇在垃圾分類中快速、準(zhǔn)確的提取-識(shí)別算法組合，本文設(shè)計(jì)了組合對(duì)比實(shí)驗(yàn)，共同識(shí)別1幅包含3個(gè)物體(蘋果、剪刀和牙刷)的有重疊的復(fù)雜圖像。識(shí)別物體的結(jié)果與所用時(shí)間如圖3所示。

圖3 不同組合算法識(shí)別結(jié)果

由圖3可知，在6組實(shí)驗(yàn)中， Inception與Faster-RCNN的組合耗時(shí)最短且成功判斷出物體數(shù)量，其圖像見(jiàn)圖3d，但有1個(gè)物品判斷錯(cuò)誤；而Inception與Mask-RCNN耗時(shí)較短，且成功識(shí)別出所有物體?？梢?jiàn)，對(duì)物體進(jìn)行逐個(gè)識(shí)別時(shí)，Inception與Faster-RCNN的組合是高效的；當(dāng)對(duì)多個(gè)物體進(jìn)行復(fù)雜判斷時(shí)，Inception與Mask-RCNN的組合兼顧效率與準(zhǔn)確率，因此本文采用這2套組合算法。

在垃圾桶的應(yīng)用環(huán)境中，可能出現(xiàn)1次投入多個(gè)垃圾的情況。因此在機(jī)器視覺(jué)識(shí)別方法中，選擇COCO數(shù)據(jù)集進(jìn)行匹配，選擇Inception與Mask-RCNN的組合算法。本文采用的數(shù)據(jù)集主要針對(duì)生活垃圾的判斷，故機(jī)器視覺(jué)識(shí)別方式在可回收垃圾與干垃圾的判斷中的結(jié)論是比較可靠的，而對(duì)生活中不常見(jiàn)的有害垃圾和形狀不定的濕垃圾的判斷則較為困難。

2.2 激光照射后熱成像識(shí)別

本垃圾桶配置小功率激光器和熱成像儀，用于產(chǎn)生激光照射后形成物體的熱成像圖，通過(guò)2種圖像分析與識(shí)別方式，分別可以得到物體的材料特性和提取物體的外部輪廓。通過(guò)熱成像圖溫度場(chǎng)的顏色可以提取溫度。經(jīng)有限元仿真驗(yàn)證，通過(guò)熱成像圖中節(jié)點(diǎn)溫度的提取和特征曲線的繪制，可以識(shí)別出木材、塑料、金屬、玻璃和橡膠等固體材料。同時(shí)利用熱量分布，可以判斷物體中是否含有液體。

對(duì)于熱成像圖，同時(shí)采用提取邊界特征的方法，可以得到物體外部輪廓，通過(guò)數(shù)據(jù)庫(kù)對(duì)比判斷該物體是什么。為了提高溫度判斷的敏感性，需要提高熱成像圖中的溫度場(chǎng)對(duì)比度；而要提取合適的邊界特征，需要對(duì)圖像進(jìn)行預(yù)處理。經(jīng)仿真實(shí)驗(yàn)，采用圖像處理與提取技術(shù)，得到了合適的溫度場(chǎng)圖與輪廓圖的3條途徑，可以進(jìn)行濕垃圾和可回收垃圾的判別分類。

2.3 物相分析圖識(shí)別

本垃圾桶配置小型X射線發(fā)射與接收裝置和小型物相分析儀，可用于物相分析。X射線物相定量分析方法是常用的物相成分確定與物相比例分析的方法[15]。

當(dāng)面臨相似組分的分離問(wèn)題時(shí)，采用對(duì)其化學(xué)成分直接進(jìn)行分析的X射線衍射法，能夠準(zhǔn)確判別材料的組成元素。如利用物相分析儀對(duì)一種廢棄類似玻璃物進(jìn)行分析時(shí)，得到廢棄物的光譜圖。經(jīng)過(guò)與已知材料光譜圖對(duì)比，發(fā)現(xiàn)其主要波峰與二氧化硅一致，可以精確證明該物體含有二氧化硅成分，從而判別其為玻璃，屬可回收垃圾。

3 投票表決算法

通過(guò)上述機(jī)器視覺(jué)、熱成像溫度場(chǎng)分析、熱成像輪廓分析與物相分析4種識(shí)別方式的研究，發(fā)現(xiàn)對(duì)于不同種類的廢棄物識(shí)別，各方式各有側(cè)重：

a.機(jī)器視覺(jué)判別法對(duì)可回收物與干垃圾識(shí)別比較敏感，經(jīng)學(xué)習(xí)能識(shí)別一些有害垃圾。

b.基于激光照射熱成像的溫度場(chǎng)圖像分析對(duì)固體垃圾的識(shí)別比較準(zhǔn)確，對(duì)于含水分的濕垃圾也有一定的判斷能力。

c.基于激光照射熱成像的輪廓分析對(duì)于形狀規(guī)則的可回收物有比較強(qiáng)的判斷能力，也能識(shí)別一些有害垃圾。

d.物相分析識(shí)別對(duì)于有害垃圾的識(shí)別比較準(zhǔn)確，對(duì)金屬等可回收材料判別較為準(zhǔn)確，也能識(shí)別到物體中所含的水分。

當(dāng)以上4種識(shí)別結(jié)果完全相同時(shí)，分類將達(dá)成一致。而當(dāng)識(shí)別結(jié)果出現(xiàn)不一致，則引入AHP層次分析法[16]的一種投票算法進(jìn)行表決。

根據(jù)分析所得的側(cè)重點(diǎn)，不同方式判斷出的不同結(jié)果具有各自的可信度，按照可信度評(píng)價(jià)1～9進(jìn)行評(píng)估，建立可信度評(píng)價(jià)表，如表1所示。其中，每種垃圾的總可信度都設(shè)定為20，保證了投票表決結(jié)果的公平性。

表1 可信度評(píng)價(jià)表

當(dāng)判別結(jié)果出現(xiàn)差異，對(duì)判別結(jié)果進(jìn)行可信度投票。例如，在1次判別中，機(jī)器視覺(jué)方式與物相分析方式判定為可回收物，而基于熱成像的溫度場(chǎng)和輪廓分析判定為干垃圾，此時(shí)可回收物的可信度為5+7=12，干垃圾的可信度為7+3=10，可回收物的可信度較高，故可判斷為可回收物。

該投票方法綜合考慮了4種判斷依據(jù)，并且將識(shí)別結(jié)果的可信度納入考量。投票減小了各識(shí)別方式在其不擅長(zhǎng)的領(lǐng)域的干擾，如熱成像溫度場(chǎng)對(duì)有害垃圾、機(jī)器視覺(jué)對(duì)濕垃圾識(shí)別的困難。同時(shí)，投票提升了各識(shí)別方式在擅長(zhǎng)領(lǐng)域判斷的權(quán)重，如在物相分析中判斷出有害垃圾，那么垃圾很可能含有有害因素，最終分類為有害垃圾的可能性較大。

4 組合識(shí)別方式的實(shí)驗(yàn)

為說(shuō)明組合識(shí)別方式在垃圾分類中的優(yōu)越性，制作了組合識(shí)別的模型樣機(jī)進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)中，共取樣50種不同材質(zhì)的垃圾，主要為固體垃圾，其中部分含液體。

實(shí)驗(yàn)判斷圖像如圖4所示，將待識(shí)別垃圾放到識(shí)別臺(tái)上，通過(guò)不同識(shí)別方式依次對(duì)垃圾種類進(jìn)行判斷，利用投票算法得到對(duì)物體材料和分類的判斷。實(shí)驗(yàn)中，共有43種垃圾的材料識(shí)別(包括是否含液體的判斷)結(jié)果正確，準(zhǔn)確率達(dá)86%；46種垃圾的分類結(jié)果正確，準(zhǔn)確率達(dá)92%。

圖4 垃圾組合識(shí)別實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果表明：對(duì)于絕大多數(shù)種類的固體廢棄物，組合識(shí)別方式能夠準(zhǔn)確對(duì)材料進(jìn)行識(shí)別，并做出合理的分類判斷。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了一款基于多種識(shí)別方式的智能分類垃圾桶，研究了設(shè)計(jì)結(jié)構(gòu)和識(shí)別過(guò)程。采用高清攝像頭、紅外熱成像儀與X射線光譜儀3個(gè)采集設(shè)備，使用4種識(shí)別方法對(duì)垃圾進(jìn)行分類：

a.使用高清攝像頭獲取圖像，通過(guò)機(jī)器視覺(jué)、特征提取與卷積神經(jīng)網(wǎng)絡(luò)算法，對(duì)物體進(jìn)行識(shí)別，并給出分類的結(jié)論。

b.使用小功率激光照射垃圾表面，紅外熱成像儀獲取熱成像圖。對(duì)熱成像圖進(jìn)行圖像處理和輪廓提取并與數(shù)據(jù)集中的物體輪廓進(jìn)行比對(duì)，得到分類結(jié)論。

c.對(duì)上述熱成像圖進(jìn)行單一成分的溫度場(chǎng)分析，利用傳熱特性獲得物體的材料特征，根據(jù)推斷出的材料進(jìn)行分類。

d.使用便攜式X射線發(fā)射儀對(duì)垃圾材料進(jìn)行物相分析，準(zhǔn)確識(shí)別物體的組成材料并以此進(jìn)行分類。

當(dāng)4種方式的識(shí)別分類結(jié)果相同時(shí)，可直接獲得最終結(jié)果。而當(dāng)分類結(jié)果不同時(shí)，通過(guò)基于可信度的投票表決算法，計(jì)算比較得到最為可信的結(jié)果。實(shí)驗(yàn)表明，該方法對(duì)各類固體廢棄物的綜合識(shí)別分類準(zhǔn)確率大于90%，因此該垃圾桶在識(shí)別方面發(fā)揮了各識(shí)別方式的優(yōu)勢(shì)，降低了可信度不高的識(shí)別結(jié)果的影響，進(jìn)一步提升垃圾桶的垃圾分類準(zhǔn)確率。