李澥　范斌年　余峻鋒　曹志賢

摘? 要：隨著社會的進步和人們生活水平的提高，垃圾的產(chǎn)生量也隨之增加，意味著資源消耗量不斷加大，垃圾分類刻不容緩。但垃圾分類政策實施以來，分類效果不佳，依然存在分類難、效率低等問題。為此，文章提出采用計算機視覺技術(shù)、CNN卷積神經(jīng)網(wǎng)絡(luò)以及語音交互進行垃圾圖像識別以實現(xiàn)垃圾分類。使用樹莓派驅(qū)動外接攝像頭采集垃圾圖像，上傳圖像并解析返回結(jié)果，使用STM32單片機作為底層驅(qū)動核心板驅(qū)動電機，完成對單個目標(biāo)的分類。

關(guān)鍵詞：樹莓派；STM32；垃圾分類；語音交互；圖像識別

中圖分類號：TP274；TP391.4；TN912.34 文獻標(biāo)識碼：A 文章編號：2096-4706（2023）19-0032-05

Design of Multifunctional Garbage Sorting System Based on Speech Interaction and Image Recognition

LI Xie， FAN Binnian， YU Junfeng， CAO Zhixian

（Software Engineering Institute of Guangzhou， Guangzhou? 510990， China）

Abstract： With the progress of society and the improvement of people's living standards， the amount of generated garbage has also increased， which means that resource consumption is constantly increasing， and garbage classification is urgent. However， since the implementation of the garbage classification policy， the classification effect has been poor， and there are still problems such as difficulty in classification and low efficiency. Therefore， this paper proposes to use computer vision technology， CNN convolutional neural networks， and voice interaction for garbage image recognition to achieve garbage classification. Use a Raspberry Pi to drive external camera to collect garbage images， upload images， and parse the returned results. Use the STM32 Single-Chip Microcomputer as the underlying driver core board to drive the motor， completing the classification of individual targets.

Keywords： Raspberry Pi; STM32; garbage sorting; voice interaction; image recognition

0? 引? 言

垃圾分類政策實施3年多以來，主要依賴居民自主判別垃圾類別后分類投放和垃圾回收站人員人工分揀。目前我國居民的垃圾分類意識還比較薄弱，僅靠居民自主識別垃圾種類的方式達不到理想效果，錯扔錯分的情況屢見不鮮。尤其是在以年輕人為主的大城市中，進行垃圾分類處理的人員占比偏低，一般是對認知內(nèi)的可回收物單獨處理，其他垃圾分類或不分類直接丟進垃圾桶中，靠垃圾站工人再度進行分類處理。無論是居民自主分類還是依賴垃圾站工人再度分類的方式，都存在效率低、成本高、分類效果不佳等問題。因此，研發(fā)一種高效可行的垃圾分類系統(tǒng)將是推動垃圾分類政策落地見效的催化劑。

基于以上信息，采用樹莓派作為圖像處理控制單元，以STM32單片機為控制核心單元來驅(qū)動底層設(shè)備，設(shè)計一款能夠在短時間內(nèi)完成垃圾識別任務(wù)的多功能垃圾桶，如圖1所示。

1? 垃圾分類系統(tǒng)設(shè)計

采用樹莓派和STM32開發(fā)平臺，通過超聲波感應(yīng)開蓋裝置完成垃圾投放，利用攝像頭采集垃圾的圖片，通過樹莓派進行圖像識別并返回識別結(jié)果，樹莓派對識別結(jié)果進行分析后形成自定義協(xié)議內(nèi)容經(jīng)由串口通信發(fā)送到STM32，單片機借助信號驅(qū)動電機驅(qū)動器間接驅(qū)動電機實現(xiàn)垃圾分類投放。此系統(tǒng)底層使用STM32單片機，采用LD3320語音交互模塊，通過咪頭采集語音信息，與提前設(shè)定好的關(guān)鍵詞列表進行匹配，并返回最佳匹配結(jié)果，由MP3語音播報模塊播報垃圾種類，同時STM32單片機間接驅(qū)動電機使垃圾投入到相應(yīng)的垃圾桶完成垃圾分類。通過HX711y壓力傳感器采集垃圾桶的重量以判斷是否需要清理垃圾。

1.1? 硬件設(shè)計

采用樹莓派進行圖像攝取與處理，采用STM32驅(qū)動底層硬件。下文將簡要介紹樹莓派3B和STM32的選取。

目前市場上的樹莓派有Model A和Model B兩種型號。Model A硬件功能裁剪部分多，比如沒有網(wǎng)線接口；相對而言，Model B樹莓派有以太網(wǎng)接口并且支持Wi-Fi，與B+類型相比，成本較低。

樹莓派3B擁有1.2 GHz的64位雙核處理器、板載BCM43438Wi-Fi、40個GPIO引腳，功能強大。基于圖像識別的垃圾分類需要能夠驅(qū)動攝像頭拍攝圖片，通過無線網(wǎng)絡(luò)將圖片上傳至云平臺進行處理并接收返回結(jié)果，同時能夠與STM32進行串口通信?；谝陨闲畔⒖芍瑯漭?B滿足本系統(tǒng)的設(shè)計需求，故選擇樹莓派3B作為圖像識別垃圾分類的控制單元。

STM32系列產(chǎn)品根據(jù)CPU位數(shù)可分為32位和8位。在32位CPU位數(shù)的STM32系列里根據(jù)內(nèi)核不同可分為Cortex-M0、Cortex-M3、Cortex-M4、Cortex-M7；8位的則有超級版6502內(nèi)核，主要應(yīng)用于汽車應(yīng)用領(lǐng)域。本設(shè)計使用32位意法半導(dǎo)體微控制器，選取主頻為72 MHz、48個引腳、64 KB字節(jié)閃存存儲器的STM32F103C8T6單片機作為底層硬件驅(qū)動核心板。

STM32F103C8T6是Cortex-M3系列中的最小系統(tǒng)板，其內(nèi)核的主頻高達72 MHz，能夠快速處理復(fù)雜的控制任務(wù)，可提供包括ADC、DAC、I2C、SPI、USART等在內(nèi)的多種常用外設(shè)，可以擴展更多的外設(shè)或接入外部存儲器，功耗低，能夠滿足本系統(tǒng)的設(shè)計需求，故選擇STM32F103C8T6單片機作為底層硬件驅(qū)動核心板。

1.2? 軟件系統(tǒng)設(shè)計

選擇樹莓派作為核心處理器，用以實現(xiàn)圖像識別與語音交互功能?；赑yTorch搭建ResNet卷積神經(jīng)網(wǎng)絡(luò)模型，通過攝像頭采集垃圾圖像，再調(diào)用訓(xùn)練好的模型進行圖像預(yù)測，識別結(jié)果可通過樹莓派串口發(fā)送到STM32進行控制處理，從而實現(xiàn)語音交互功能。在此過程中，樹莓派搭載LD3320語音識別模塊與SYN6288語音合成模塊協(xié)同工作。

1.2.1? 圖像識別模塊

通過攝像頭采集垃圾圖片，使用PyTorch深度學(xué)習(xí)框架訓(xùn)練出來的模型進行圖像識別，通過串口通信將識別結(jié)果發(fā)送到STM32進行控制處理，與此同時樹莓派結(jié)合SYN6288語音合成模塊將識別結(jié)果文字信息合成語音進行播報，如圖2所示。

模型訓(xùn)練前，首先需要獲取數(shù)據(jù)集，根據(jù)Python爬蟲基本原理向遠程服務(wù)器發(fā)送請求，獲取目標(biāo)網(wǎng)頁的HTML文件，然后跟蹤并解析文件，獲取數(shù)據(jù)并創(chuàng)建數(shù)據(jù)集。需要根據(jù)實際應(yīng)用場景選擇合適的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，在PyTorch開源框架上搭建深度學(xué)習(xí)環(huán)境并訓(xùn)練模型。在圖像識別領(lǐng)域，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有GoogLennet、VGG、ResNet等。本次設(shè)計選用ResNet深度殘差網(wǎng)絡(luò)結(jié)構(gòu)，ResNet是一個基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)的模型，它利用殘差結(jié)構(gòu)來構(gòu)建更深層次的特征表示，有效解決了深度網(wǎng)絡(luò)中“梯度消失”的問題，從而獲得更高的準(zhǔn)確率。ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

ResNet模型定義的核心流程圖如圖4所示。初始化ResNet模型的參數(shù)，包括輸入數(shù)據(jù)的形狀、卷積核數(shù)量、步長。定義第一層卷積層，包括一個7×7大小的卷積核、步幅為2、填充為3的卷積操作，以及批量標(biāo)準(zhǔn)化和ReLU激活函數(shù)。定義四個殘差模塊，每個模塊包含若干個殘差塊。其中，第一個殘差模塊進行降采樣，每個殘差塊包含兩個3×3卷積層以及批量標(biāo)準(zhǔn)化和ReLU激活函數(shù)；后續(xù)三個殘差模塊均包含連續(xù)存在的若干個殘差塊，在最后一個殘差模塊結(jié)束后，進行全局平均池化層的操作，將特征圖轉(zhuǎn)換為固定長度的向量，然后傳遞到全連接層中，輸出結(jié)果為分類概率。最后，采用交叉熵損失函數(shù)進行訓(xùn)練，并選擇合適的優(yōu)化算法反向傳播更新參數(shù)，直至損失函數(shù)收斂。整個ResNet-50網(wǎng)絡(luò)模型的主要特點在于使用殘差塊技術(shù)，緩解深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的梯度消失和精度下降問題，實現(xiàn)更好的圖像分類效果。

在PyTorch上根據(jù)50-layer模型結(jié)構(gòu)搭建ResNet-50網(wǎng)絡(luò)模型，如圖5所示。

1.2.2? 語音功能模塊

語音交互功能包含語音識別和語音合成兩種功能，語音識別功能基于LD3320語音模塊實現(xiàn)，LD3320是一種基于非特定人語音識別技術(shù)的語音識別/聲控芯片，如圖6所示。LD3320芯片上集成了高精度的A/D和D/A接口，無須外接輔助的Flash和RAM即可實現(xiàn)語音識別/聲控/人機對話功能。LD3320對語音信息進行頻譜分析并提取相對應(yīng)的特征，通過設(shè)定好的關(guān)鍵詞列表進行匹配，將識別率最高的關(guān)鍵詞作為識別結(jié)果。

LD3320語音識別模塊初始化包括GPIO初始化、中斷初始化、SPI初始化，最后復(fù)位LD3320模塊等待音頻信號，當(dāng)模塊接收到音頻信號時觸發(fā)中斷，在中斷處理函數(shù)中讀取識別碼判斷是否識別成功，成功則發(fā)送識別結(jié)果，失敗則忽略。識別流程圖如圖7所示。

語音合成采用SYN6288語音合成模塊，該模塊采用一種先進的數(shù)字信號處理技術(shù)，基于差值融合的音素合成技術(shù)，可以將文本轉(zhuǎn)換為高質(zhì)量的語音輸出。該模塊支持中文、英文、日文等多種語言的語音合成；聲音可制定，可根據(jù)客戶要求定制不同類型的聲音，如男生、女生、年輕人或老年人的聲音等；靈活性強，支持不同的音頻格式輸出，如WAV、MP3等；易于集成，提供多種接口和SDK。如圖8所示為SYN6288芯片原理圖。

樹莓派和SYN6288語音合成模塊通過UART接口進行連接。當(dāng)需要進行語音合成時，樹莓派會向SYN6288語音合成模塊發(fā)送文本信息。SYN6288語音合成模塊接收到文本信息后會將其轉(zhuǎn)換為語音信號輸出。輸出的信號經(jīng)過功率放大器放大后，通過喇叭進行播放，具體流程圖如圖9所示。

利用模塊板載的咪頭采集語音信息，通過內(nèi)置的離線語音芯片對采集到的語音信息進行一系列處理（包括頻譜分析、特征提取以及匹配詞匯列表等），以實現(xiàn)語音信號識別，并將識別結(jié)果發(fā)送到該模塊板載的STC11L08單片機。樹莓派通過SPI通信讀取LD3320內(nèi)部識別碼，通過匹配識別碼得到識別結(jié)果，再利用串口將識別結(jié)果發(fā)送至STM32進行控制處理，與此同時樹莓派結(jié)合SYN6288語音合成模塊將識別結(jié)果文字信息合成語音進行播報。如圖10所示為語音交互功能結(jié)構(gòu)圖。

2? 結(jié)果分析

構(gòu)建好模型后，設(shè)置數(shù)據(jù)集加載路徑，在搭建好的環(huán)境中進行模型訓(xùn)練，通過可視化輸出與實際要求準(zhǔn)確率的對比結(jié)果，若準(zhǔn)確率達不到實際要求則通過反復(fù)調(diào)整參數(shù)進行模型訓(xùn)練，最終得到準(zhǔn)確率較高的模型，最終訓(xùn)練結(jié)果如圖11所示。

當(dāng)用戶對LD3320模塊說出預(yù)設(shè)的垃圾名稱時，觸發(fā)語音識別垃圾分類功能，MP3模塊播報出對應(yīng)垃圾種類名稱，STM32驅(qū)動電機完成垃圾分類。

通過黑盒測試得知，本系統(tǒng)垃圾圖像識別功能準(zhǔn)確率符合預(yù)期目標(biāo)，語音交互功能測試過程中系統(tǒng)處于噪音較大的環(huán)境下，系統(tǒng)的語音交互功能受到一定的影響，不過通過反復(fù)修改，系統(tǒng)的各項功能均滿足基本要求，符合“多功能應(yīng)用分類垃圾桶”的需求設(shè)計。

3? 結(jié)? 論

項目使用了語音交互、圖像識別和傳感器技術(shù)。語音交互技術(shù)采用LD3320模塊，在對語音信息進行頻譜分析、提取特征后，將語音識別器中的內(nèi)容與寄存器儲存的關(guān)鍵詞語列表進行匹配，輸出最優(yōu)匹配結(jié)果發(fā)送到STM32F103C8T6單片機，啟動控制程序，控制電機和語音播報。選擇超聲波模塊作為啟動模塊，當(dāng)超聲波檢測到的距離比閾值小時，啟動舵機并開啟攝像頭獲取圖片，然后將圖片上傳至云平臺進行處理并返回結(jié)果，從而完成圖像識別。然而，由于時間所限，該系統(tǒng)在穩(wěn)定性和識別精度上仍然存在一定的缺陷，如語音識別上需要在絕對安靜的環(huán)境下才能有較好的識別準(zhǔn)確度；圖像識別上對實時拍攝的照片質(zhì)量有較為嚴格的要求，光線充足地方拍攝的圖片才有更高的識別準(zhǔn)確度。本系統(tǒng)可以廣泛應(yīng)用于家庭和寫字樓辦公場所等地方。

參考文獻：

[1] 劉祥臻，王紅梅，戚成功，等.Android環(huán)境下車載智能音樂播放APP的開發(fā)設(shè)計 [J].林業(yè)機械與木工設(shè)備，2020，48（3）：41-45.

[2] 秦川，劉浩然，韓曉燕，等.基于物聯(lián)網(wǎng)的多功能智能豆?jié){機設(shè)計 [J].中國科技信息，2021（20）：89-92.

[3] 毛昕蓉，趙嘉豪，史智帥.基于樹莓派的智能垃圾分類系統(tǒng)設(shè)計 [J].電子設(shè)計工程，2022，30（20）157-160+165.

[4] 龍昭鵬.基于無線通信技術(shù)的出租車調(diào)度系統(tǒng)設(shè)計 [D].齊齊哈爾：齊齊哈爾大學(xué)，2014.

[5] 陳德勝.實時領(lǐng)域圖形化元模型構(gòu)建方法研究 [D]. 昆明：昆明理工大學(xué)，2014.

[6] 李妍.基于ResNet算法的垃圾圖像識別分類研究 [J].長江信息通信，2021，34（5）：25-27.

[7] 程時升.卷積神經(jīng)網(wǎng)絡(luò)在交通圖像識別中的應(yīng)用 [D].蘭州：西北師范大學(xué)，2021.

[8] 張旭娟.基于圖像識別的垃圾分類深度學(xué)習(xí)模型研究 [D]. 蘭州：西北師范大學(xué)，2021.

[9] 許華威，喬雪濤，梁發(fā)明，等.智能語音識別城市生活垃圾分類箱的設(shè)計 [J].成組技術(shù)與生產(chǎn)現(xiàn)代化，2020，37（3）：45-48.

[10] 馬俊.語音識別技術(shù)研究 [D].哈爾濱：哈爾濱工程大學(xué)，2004.

[11] 雷靜.語音識別技術(shù)的研究及基本實現(xiàn) [D].武漢：武漢理工大學(xué)，2002.

作者簡介：李澥（1963—），男，漢族，廣東梅縣人，副教授，本科，主要研究方向：物聯(lián)網(wǎng)應(yīng)用技術(shù)、嵌入式系統(tǒng)原理與應(yīng)用等；范斌年（1997—），男，漢族，廣東茂名人，產(chǎn)品經(jīng)理，本科，主要研究方向：深度學(xué)習(xí)、機器學(xué)習(xí)、計算機視覺等人工智能領(lǐng)域；余峻鋒（2000—），男，漢族，廣東汕尾人，本科在讀；主要研究方向：物聯(lián)網(wǎng)應(yīng)用技術(shù)、自動化應(yīng)用與研究等；曹志賢（2000—），男，漢族，廣東廉江人，本科在讀，主要研究方向：物聯(lián)網(wǎng)應(yīng)用技術(shù)、嵌入式驅(qū)動開發(fā)等。

收稿日期：2023-04-14

基金項目：廣東省科技創(chuàng)新戰(zhàn)略專項資金立項項目（“攀登計劃”專項資金）（pdjh2021a0702）