王可欣 衛(wèi)九蓉 楊嘉融 李程 王晨 石玉 強(qiáng)寧

摘? 要：依托高校人工智能課程，結(jié)合垃圾分類這一重要民生問題，本文設(shè)計了基于NAO機(jī)器人的垃圾識別與目標(biāo)抓取創(chuàng)新實驗?；贜AO的實驗開發(fā)平臺Choregraphe，使用視頻監(jiān)視器進(jìn)行圖像數(shù)據(jù)的學(xué)習(xí)，建立圖像數(shù)據(jù)庫，進(jìn)而使用Vision Reco.指令盒進(jìn)行視覺識別。根據(jù)機(jī)器人運動學(xué)理論，實現(xiàn)NAO對目標(biāo)的抓取動作設(shè)計，并使用NAOMarks進(jìn)行定位信息處理，確保NAO正確定位垃圾桶位置。經(jīng)過教學(xué)實踐發(fā)現(xiàn)，學(xué)生對該種模式的教學(xué)方法有極高的學(xué)習(xí)興趣，培養(yǎng)了學(xué)生的動手實踐能力，對于學(xué)生創(chuàng)新實踐思維的培養(yǎng)有積極的促進(jìn)意義。

關(guān)鍵詞：NAO機(jī)器人 視覺識別 機(jī)器人運動控制 垃圾分類

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2021）07（a）-0178-06

Innovative Experimental Design Based on NAO Robot Visual Recognition

WANG Kexin? WEI Jiurong? YANG Jiarong? LI Cheng? WANG Chen? SHI Yu? QIANG Ning*

（School of Physics and Information Technology， Shaanxi Normal University， Xi'an， Shaanxi Province， 710062? China）

Abstract： Relying on the artificial intelligence course in colleges and universities， combined with the important livelihood problem of garbage classification， this paper designs an innovative experiment of waste identification and target capture based on NAO robot. The experimental development platform Chorepache based on NAO uses video monitor to learn image data， establish image database， and then use Vision Reco. Instruction box for visual recognition. According to the robot kinematics theory， the grasping action design of NAO to the target is realized， and NAOMarks is used to process the positioning information to ensure that NAO can correctly locate the trash can. Through teaching practice， it is found that students have a high interest in this mode of teaching method， cultivate students' practical ability， and have a positive significance in promoting the cultivation of students' innovative practical thinking.

Key Words： NAO robot; Visual recognition; Robot motion control; Garbage classification

仿人型機(jī)器人具備與人類相似的外觀，可以適應(yīng)人類的生活和工作環(huán)境，代替人類完成各種作業(yè)，其中Aldebaran Robotics公司研制的NAO是目前世界上應(yīng)用最廣泛的人形機(jī)器人[1]。

人形機(jī)器人的主要應(yīng)用包括面向商業(yè)發(fā)展、家庭生活、學(xué)校教育及科學(xué)研究，有較為豐富的應(yīng)用拓展。本文結(jié)合學(xué)校教育與垃圾分類問題，依托高校人工智能課程教，借助NAO仿人型機(jī)器人的圖像開發(fā)平臺Choregraphe設(shè)計NAO關(guān)于垃圾回收的創(chuàng)新實驗，建立NAO已知對象的數(shù)據(jù)庫，利用視覺關(guān)鍵特征進(jìn)行識別，最終實現(xiàn)對不同垃圾進(jìn)行分類識別的目標(biāo)。本文設(shè)計的創(chuàng)新實驗過程遵循理論結(jié)合實際、循序漸進(jìn)的原則，從平臺指令盒的初步使用到建立圖像數(shù)據(jù)庫、設(shè)計抓取動作、定位垃圾桶等一系列動作的實現(xiàn)，幫助培養(yǎng)學(xué)生的專業(yè)學(xué)科素養(yǎng)及動手實踐能力。

1? Choregraphe平臺使用

NAO提供了Choregraphe、NAOqi和檢測器作為開發(fā)軟件，本文基于Choregraphe開發(fā)平臺進(jìn)行實驗設(shè)計。Choregraphe是一個具有高可視化的圖像開發(fā)工具，內(nèi)部裝載了面向?qū)ο蟮闹弊g程序語言Python。編程過程清晰、直觀，程序代碼可讀性高[2]。使用該平臺可以在NAO機(jī)器人上測試實驗過程中所創(chuàng)建的不同指令模塊，基于圖像編程工具實現(xiàn)對NAO機(jī)器人行為的控制，其內(nèi)置的指令盒在一定程度上簡化了實驗過程中對于NAO機(jī)器人基礎(chǔ)應(yīng)用的實現(xiàn)。

對于入門級學(xué)生來說，Choregraphe圖像化編程的圖像化編輯平臺很容易上手，并可以提供NAO指令的即時反饋，這將大大提高學(xué)生的編程興趣，更有利于后續(xù)開展的相關(guān)編程課程的學(xué)習(xí)[3]。

2? 實驗總體方案

實驗設(shè)計總體分為兩大部分，即基礎(chǔ)視覺識別實驗設(shè)計和拓展應(yīng)用實驗設(shè)計，所有實驗設(shè)計均基于Choregraphe平臺的使用。基礎(chǔ)視覺識別實驗中，NAO機(jī)器人使用視頻監(jiān)視器進(jìn)行圖像特征信息的學(xué)習(xí)，調(diào)用Vision Reco.指令盒對已建立的圖像數(shù)據(jù)庫信息進(jìn)行視覺識別。拓展應(yīng)用實驗中，主要設(shè)計NAO機(jī)器人的手部抓取動作，并使用NAOMarks進(jìn)行目標(biāo)定位功能的實現(xiàn)。

本文的創(chuàng)新實驗設(shè)計是以學(xué)生為中心，以現(xiàn)實生活中的垃圾分類與處理問題為驅(qū)動，旨在將課堂與生活實踐聯(lián)系起來，培養(yǎng)學(xué)生對于學(xué)習(xí)人工智能課程的興趣和熱情。本文的總體實驗設(shè)計難度循序漸進(jìn)、由淺入深，從目標(biāo)識別到目標(biāo)捕獲再到目標(biāo)定位，系統(tǒng)地、全面地引導(dǎo)學(xué)生從理解和運用NAO向開發(fā)NAO過渡，能夠有效培養(yǎng)學(xué)生動手實踐、獨立思考的能力[4]。實驗總體設(shè)計如圖1所示。

3? 基礎(chǔ)視覺識別實驗

實驗通過使用Choregraphe平臺提供的Video monitor（視頻顯示器）窗口進(jìn)行圖像學(xué)習(xí)。在學(xué)習(xí)過程中，實驗人員手動截取不同形狀輪廓的物體圖片模擬實際物體，之后NAO通過對學(xué)習(xí)對象進(jìn)行標(biāo)定，提取相應(yīng)的形狀及顏色特征，將學(xué)習(xí)對象的名稱、方位存儲到數(shù)據(jù)庫中。其中，視覺學(xué)習(xí)對象為平坦且具有不同顏色和不同輪廓物體的圖片，圖片背景為無特殊花紋形狀的白色背景，以減小外界環(huán)境對于NAO的學(xué)習(xí)識別帶來的干擾，保證NAO視覺識別過程環(huán)境背景的純凈。

3.1 圖像獲取

NAO機(jī)器人擁有兩個攝像頭以實現(xiàn)視覺認(rèn)知，其中，軟件開發(fā)平臺中的視頻顯示器窗口用于顯示NAO的攝像頭實時畫面和內(nèi)存信息的程序。

實驗人員利用Choregraphe平臺上提供的視覺學(xué)習(xí)工具Video monitor進(jìn)行NAO機(jī)器人的圖像學(xué)習(xí)實驗，詳見圖2。實驗中，選不同類型的垃圾圖片，確保圖像清晰且有較明顯的可識別特征。在視頻顯示器窗口，NAO通過自身攝像頭對圖片經(jīng)過4s學(xué)習(xí)后，相機(jī)捕獲一張320×240分辨率的圖像[5]。NAO在學(xué)習(xí)過程中會抽取選定圖像的關(guān)鍵特征，即顏色和形狀輪廓等進(jìn)行提取。實驗人員手動畫出物體圖像的形狀輪廓，對已學(xué)習(xí)圖像的名稱、方位、類別等信息進(jìn)行規(guī)定并上傳數(shù)據(jù)庫。多次重復(fù)上述過程，操作NAO學(xué)習(xí)多組對象的圖片信息，建立小型圖像數(shù)據(jù)庫并存儲在計算機(jī)中。

對于不同類型的垃圾采用格式一致的命名規(guī)范——“垃圾名稱_垃圾類型”。同時按照西安現(xiàn)行的垃圾分類管理辦法簡化名稱：規(guī)定A表示廚余垃圾;B表示有害垃圾;C表示可回收垃圾;D表示其他垃圾。

3.2 色彩空間

NAO機(jī)器人的攝像頭主要支持RGB顏色空間和HSV顏色空間模型[6]，詳見圖3、圖4。

RGB模式表示像素色時，是通過改變紅、綠、藍(lán)3種顏色不同程度上的疊加比例來表示不同的顏色。但在RGB空間中沒有光照記錄外界光照變化的影響，在識別過程中，外界光照的改變會引起3個分量的變化，導(dǎo)致識別過程無效。

HSV空間模型能夠記錄色調(diào)、亮度和飽和度的變化。但在該色彩空間下，NAO機(jī)器人攝像頭采集圖像的時間較長，不能滿足即時識別的性能要求[7]。

為滿足實驗設(shè)計對于垃圾圖像的實時處理識別，本文采用NAO機(jī)器人攝像頭默認(rèn)的RGB色彩空間模型下進(jìn)行圖像學(xué)習(xí)及識別處理。為排除因光照情況不同而產(chǎn)生的識別干擾，將實驗安排在有恒定光強(qiáng)照射且光源照射角度相同的室內(nèi)進(jìn)行。

3.3 視覺識別

實驗設(shè)計使用Choregraphe平臺的Vision Reco.指令盒，如圖5所示。該指令盒的主要功能是識別機(jī)器人已知的圖片、物體和位置。該指令盒的輸入為待識別圖像的相關(guān)特征信息，NAO通過提取圖像的形狀輪廓及顏色等特征信息進(jìn)行識別分析。

識別過程中需要將之前NAO在視頻顯示器上學(xué)習(xí)的圖像信息作為視覺識別數(shù)據(jù)庫全部導(dǎo)出到本地計算機(jī)默認(rèn)文件夾下，生成本地數(shù)據(jù)庫，再將當(dāng)前的本地視覺識別數(shù)據(jù)庫上傳到NAO機(jī)器人上，最后使用Vision Reco.指令盒進(jìn)行視覺識別。具體識別演示情況可見圖6。

實驗中為向?qū)W生說明NAO機(jī)器人的顏色識別方式，設(shè)計可控制變量的實驗，即在保證其他實驗條件不變的情況下，通過使用圖像編輯軟件，僅改變待識別圖像的顏色信息。讓NAO再次識別，觀察NAO并不會將錯誤顏色信息的圖像識別成為已存儲在視覺識別數(shù)據(jù)庫中的圖像。多次重復(fù)實驗后，讓學(xué)生自行結(jié)合已學(xué)理論知識進(jìn)行總結(jié)驗證，提高學(xué)生的實驗操作能力。

在建立數(shù)據(jù)庫成功識別圖像的基礎(chǔ)上，鼓勵學(xué)生開拓思維，基于實驗開發(fā)平臺自行設(shè)計拓展應(yīng)用。如使用switch case語句指令盒，實現(xiàn)NAO機(jī)器人的人機(jī)交互功能，拓展應(yīng)用如圖7所示。

4? 拓展應(yīng)用實驗

4.1 抓取設(shè)計

NAO機(jī)器人具有多自由度，身體關(guān)節(jié)靈活，可基于時間的編程進(jìn)行動作變化。

時間軸分為動作層和行為層，在時間軸編輯器可設(shè)定關(guān)節(jié)動作?？紤]到教學(xué)過程的普適性及靈活性，通過記錄模式編輯動作進(jìn)行動作設(shè)計。使用Choregraphe平臺指令盒庫中的Animation指令盒，點擊進(jìn)入該指令盒后，打開時間軸編輯器，激活記錄模式，即可進(jìn)行NAO動作的記錄[7]。在行為層中添加Ear LEDs指令盒，配合時間軸中的動作讓NAO的抓取動作更具活力，實驗演示見圖8。

學(xué)生在編寫行為和動作時，需要深入了解Choregraphe模塊化編程的框架搭建，提高了學(xué)生問題分析能力和邏輯思維能力。在設(shè)計NAO的手部抓取動作時，學(xué)生需要對NAO機(jī)器人控制關(guān)節(jié)的自由度、身體平衡、運動控制等相關(guān)知識背景進(jìn)行深入學(xué)習(xí)，是理論聯(lián)系實際的過程，詳見圖9。

4.2 NAOMark定位

Choregraphe附帶了一個自動檢測NAOMarks 的算法，可以辨認(rèn)出已定義的標(biāo)志。該算法會檢測NAOMarks獨特的形狀，并根據(jù)該標(biāo)記內(nèi)白色和藍(lán)色區(qū)域的大小來劃分。Nao可以把直接尋找目標(biāo)物體的任務(wù)轉(zhuǎn)換成通過探測NaoMarks來間接定位目標(biāo)物體[8]。其中部分標(biāo)志見圖10。

本文設(shè)計的實驗中使用Mark64、Mark112、Mark130、Mark170進(jìn)行識別檢測。采用長寬均為5cm的NAOMarks標(biāo)志，黑色背景白色形狀。調(diào)整轉(zhuǎn)椅高為58cm，確保NAO機(jī)器人在選擇上方攝像頭后能夠完整識別到NAOMarks，見圖11。

實驗將NAOMarks標(biāo)志貼在指定垃圾桶上，學(xué)生通過小組合作的形式設(shè)計實驗路線及對NAO進(jìn)行運動控制，保證NAO能夠平穩(wěn)、正確地定位到垃圾桶的位置，完成垃圾回收實驗的全部過程。學(xué)生使用Choregraphe平臺進(jìn)行圖形化編程，最終實現(xiàn)NAO機(jī)器人可以按照既定路線行走，并且通過編程設(shè)計識別到不同的NAOMarks標(biāo)志即觸發(fā)不一樣的行為動作，指導(dǎo)學(xué)生團(tuán)結(jié)協(xié)作，為NAO設(shè)計不同的行為指令以實現(xiàn)更多具有創(chuàng)新性的想法。

4.3 實驗結(jié)果

實驗建立起一個小型圖像數(shù)據(jù)庫，使用Vision Reco.指令盒進(jìn)行視覺識別。實驗過程中保證實驗環(huán)境干凈且待學(xué)習(xí)圖像有足夠的顏色及形狀輪廓信息，確保NAO能夠識別不同垃圾圖像并進(jìn)行有效分類。同時設(shè)計拓展應(yīng)用實驗，在時間軸編輯器中為NAO設(shè)計手部抓取動作，使用NAOMarks算法進(jìn)行定位信息處理。由于NAO手部不同位置的摩擦力不同且待抓取物體形狀大小不同，抓取精度不高，需人為輔助進(jìn)行。

實驗結(jié)果表明，NAO對已建立在數(shù)據(jù)庫中的圖像特征信息采集完整度好，識別準(zhǔn)確度高、最終能夠完整地實現(xiàn)NAO對垃圾的識別、抓取與定位垃圾桶的一系列實驗設(shè)計過程。

5? 結(jié)語

本文設(shè)計了一種基于NAO實驗平臺的垃圾回收創(chuàng)新實驗，有效聯(lián)系起高校人工智能課程的理論學(xué)習(xí)和實踐操作。該實驗涉及融合NAO機(jī)器人的視覺系統(tǒng)、自由度控制、傳感器、目標(biāo)定位等多方面的理論知識，使用Choregraphe平臺對不同類型垃圾的關(guān)鍵特征進(jìn)行學(xué)習(xí)，進(jìn)而快速識別出垃圾類型的應(yīng)用拓展，為智能機(jī)器人方面的課程教學(xué)提供一種新的思路。

學(xué)生能夠?qū)崿F(xiàn)從簡單動作的調(diào)試到自主拓展功能的開發(fā)，用自主性學(xué)習(xí)補充傳統(tǒng)課堂教學(xué)，培養(yǎng)學(xué)生主動學(xué)習(xí)的能力[9]。教學(xué)過程中不必局限于現(xiàn)有的指令模塊進(jìn)行動作設(shè)計，可以更改或者書寫新的代碼實現(xiàn)需求，從而激發(fā)學(xué)生的學(xué)習(xí)興趣，提升教學(xué)內(nèi)容的教學(xué)效果[10]。讓學(xué)生熟悉圖形化指令盒的編程構(gòu)建，以及機(jī)器人視覺學(xué)習(xí)和動作的控制方法，大大提高了教學(xué)效果和教學(xué)趣味性。鼓勵學(xué)生對實驗結(jié)果多次重復(fù)，培養(yǎng)學(xué)生嚴(yán)謹(jǐn)?shù)奶骄克季S，為后續(xù)開展的人工智能高級實驗實訓(xùn)奠定良好基礎(chǔ)。

參考文獻(xiàn)

[1] 楊杰.NAO機(jī)器人對目標(biāo)紅球識別與視野中心追蹤策略[J].科教導(dǎo)刊：電子版，2017（6）：159-160.

[2] 郭鉞.基于NAO機(jī)器人在高職人工智能機(jī)器人專業(yè)教學(xué)中的應(yīng)用[J].科學(xué)大眾（科學(xué)教育），2019（4）：126.

[3] 王振，張星.NAO機(jī)器人平臺的創(chuàng)新實驗設(shè)計與實現(xiàn)[J].實驗室研究與探索，2016，35（12）：156-159.

[4] 高唯，王曉麗，李杰.基于仿人機(jī)器人相關(guān)競賽教學(xué)研究[J].信息系統(tǒng)工程，2019（10）：170-171.

[5] 王大東.NAO機(jī)器人程序設(shè)計[M].北京：清華大學(xué)出版社，2019：165-168.

[6] 梁付新，劉洪彬，張福雷，等.基于NAO機(jī)器人的目標(biāo)識別方法[J].計算機(jī)工程與設(shè)計，2017（8）：2235-2239

[7] 宗鵬程.基于NAO機(jī)器人的視覺目標(biāo)檢測與跟蹤[D].北京：華北電力大學(xué)，2015.

[8] 鹿天柱，羅罹，胡開亮.基于Nao機(jī)器人的撿垃圾流程及算法研究[J].電腦知識與技術(shù)，2015，11（11）：154-155.

[9] 陳小平，羅文堅.以機(jī)器人實驗為載體的實踐創(chuàng)新培養(yǎng)體系研究[J].研究生教育研究，2011（3）：48-52.

[10] 齊晶薇.以機(jī)器人教學(xué)和實驗平臺為載體培養(yǎng)大學(xué)生實踐創(chuàng)新能力[J].科技資訊，2018，16（32）：186-187.