謝作如 浙江省溫州科技高級(jí)中學(xué)

高毓甜 王海濤 上海人工智能實(shí)驗(yàn)室

人工智能教育的核心內(nèi)容關(guān)注AI模型的理解、訓(xùn)練和應(yīng)用，但如果模型不結(jié)合開源硬件設(shè)計(jì)交互作品，就顯得不夠有趣。在2023年的某人工智能活動(dòng)線下的展示會(huì)中，筆者接到了設(shè)計(jì)現(xiàn)場(chǎng)交流活動(dòng)的設(shè)計(jì)任務(wù)。因?yàn)榍捌谝呀?jīng)研究過ESP32-CAM結(jié)合普通機(jī)器人小車的項(xiàng)目（請(qǐng)參考本欄目的《讓ESP32-CAM小車“智能”起來》一文），經(jīng)過多次討論，筆者最終選擇了麥昆小車和掌控板為載體，設(shè)計(jì)了一個(gè)AI硬件交互活動(dòng)。

● “低門檻”的含義及其實(shí)現(xiàn)

考慮到全國各地的信息技術(shù)課程實(shí)施情況差異較大，學(xué)生編程水平也參差不齊，所以，這個(gè)活動(dòng)內(nèi)容的設(shè)計(jì)在考慮真實(shí)問題解決的同時(shí)，還要做到低門檻，這樣才能讓不同水平的學(xué)生都有收獲。這里的“低門檻”有兩層含義：其一指技術(shù)門檻低，無論是硬件的連接、搭建，還是驅(qū)動(dòng)硬件的代碼編寫，都比較容易；其二指實(shí)施門檻低，包括硬件的價(jià)格要適宜、采購要便捷、對(duì)算力的要求要低等。

相對(duì)來說，麥昆小車的性價(jià)比很高，掌控板更是國內(nèi)較受歡迎的開源硬件之一，因而“低門檻”的重點(diǎn)在于編程難度。為了能夠?qū)崿F(xiàn)用最簡(jiǎn)潔的方式控制小車，筆者放棄了常見的MQTT協(xié)議而選擇了Scoket，畢竟MQTT還需要單獨(dú)部署MQTT服務(wù)器。具體的工作流程如圖1所示，電腦端借助OpenCV獲取ESP32-CAM的畫面，經(jīng)過XEduhub的模型推理后，借助XEduGPIO庫發(fā)送指令給掌控板，掌控板再驅(qū)動(dòng)小車。這樣一來，這個(gè)麥昆小車就成了一輛擁有強(qiáng)悍算力的智能小車了。

圖1

圖1中的XEduGPIO庫內(nèi)置了Scoket連接的各種協(xié)議。核心類CarComm提供了speed、servo、led和stop四種最基本的方法，分別用于驅(qū)動(dòng)小車前進(jìn)、舵機(jī)轉(zhuǎn)動(dòng)、改變led狀態(tài)和停止運(yùn)動(dòng)等。在“XEduGPIO”庫的支持下，4行代碼即可實(shí)現(xiàn)小車的驅(qū)動(dòng)。當(dāng)然，掌控板也需要另外做相應(yīng)的Scoket編程，筆者寫好相應(yīng)的固件，刷入即可運(yùn)行（如圖2）。

圖2

● AI交互活動(dòng)的主題設(shè)計(jì)

按照慣例，需要給這個(gè)AI交互活動(dòng)編寫一個(gè)故事，也就是主題設(shè)計(jì)。由于該活動(dòng)的線上主題“算法挑戰(zhàn)”使用了“八段錦”數(shù)據(jù)集，內(nèi)置了3萬多張不同人做八段錦動(dòng)作的截圖，所以這個(gè)主題也應(yīng)與這個(gè)數(shù)據(jù)集有關(guān)，并且還要結(jié)合學(xué)生自己訓(xùn)練的AI模型，體現(xiàn)出活動(dòng)的關(guān)聯(lián)性。

筆者將主題確定為“星球基地建設(shè)”，然后在大語言模型的幫助下，設(shè)計(jì)了如下故事，并繪制了一張供小車運(yùn)行的地圖（如圖3）。

圖3

在不久后的未來，地球聯(lián)合航天局為了推進(jìn)人類在星球基地的長(zhǎng)期居住計(jì)劃實(shí)施，以及推廣中華傳統(tǒng)養(yǎng)生功法——八段錦，舉辦了一場(chǎng)創(chuàng)新獨(dú)特的“八段錦巡線推物挑戰(zhàn)賽”……

對(duì)應(yīng)八段錦的動(dòng)作名稱，筆者給地圖的四種路段做了一一對(duì)應(yīng)標(biāo)注：左上方路段為“左右開弓似射雕”，右上方路段為“兩手托天理三焦”，左下方路段為“調(diào)理脾胃須單舉”，右下方路段為“搖頭擺尾去心火”。具體的含義這里不展開。

● AI交互活動(dòng)的任務(wù)設(shè)計(jì)和難度解析

“星球基地建設(shè)”任務(wù)共分為三個(gè)，分別為小車測(cè)試、車人合一和無人駕駛。挑戰(zhàn)者需依次完成三個(gè)任務(wù)。其中，“小車測(cè)試”環(huán)節(jié)要完成小車的機(jī)械拼裝，并且實(shí)現(xiàn)讓小車走一個(gè)正方形，算是一個(gè)入門熱身的活動(dòng)。而任務(wù)二和任務(wù)三的難度就逐步增加了，任務(wù)二要使用電腦攝像頭，互動(dòng)性較強(qiáng)，任務(wù)三需用到ESP32-CAM，讓學(xué)生挑戰(zhàn)無人駕駛。

任務(wù)二：車人合一。

描述：學(xué)生在電腦攝像頭前，通過自己的姿態(tài)控制小車移動(dòng)和鏟子起落，按跑道軌跡將物體分別移至三個(gè)目的地。

難度解析：要完成本任務(wù)，需使用電腦上的攝像頭。首先要用XEduHub的det_body任務(wù)，獲得畫面中的人體，然后再將檢測(cè)到的人體畫面送到人體關(guān)鍵點(diǎn)檢測(cè)任務(wù)中。以pose_body17為例，pose_body17檢測(cè)出的keypoints以二維數(shù)組的形式保存了所有關(guān)鍵點(diǎn)的坐標(biāo)，每個(gè)關(guān)鍵點(diǎn)(x,y)被表示為[x,y]。如圖4所示，要獲取到某個(gè)特定序號(hào)i的關(guān)鍵點(diǎn)，只需要訪問keypoints[i]即可。

圖4

需要注意的是，det_body任務(wù)是支持多人體的檢測(cè)，建議選取第一個(gè)人體（bbox[0]）進(jìn)行檢測(cè)，避免當(dāng)畫面有多個(gè)人存在而出現(xiàn)誤判。相關(guān)的參考代碼如下頁圖5所示。

圖5

任務(wù)三：無人駕駛。

任務(wù)描述：使用電腦讀取小車上的ESP32-CAM畫面，根據(jù)推理結(jié)果來控制小車自主完成八段錦姿態(tài)分類任務(wù)，小車能夠合理規(guī)劃路徑，完成尋找地圖中與目標(biāo)八段錦姿態(tài)相同的立牌（樹立呈現(xiàn)的圖片）并轉(zhuǎn)動(dòng)鏟子。

難度分析：這個(gè)任務(wù)看起來最難，其實(shí)不過是在上一個(gè)任務(wù)的基礎(chǔ)上，增加了姿態(tài)分類模型的應(yīng)用。而學(xué)生之前已經(jīng)用BaseNN搭建全連接神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練過姿態(tài)分類模型，所有的挑戰(zhàn)在于如何將各種綜合的任務(wù)合并在一起。鑒于篇幅，這里僅僅提供了用OpenCV讀取ESP32-CAM畫面的參考代碼（如圖6）。

任務(wù)號(hào)任務(wù)要求評(píng)分說明評(píng)分正確搭建小車正確組裝小車，屏幕亮起10讓小車動(dòng)起來讓小車走一個(gè)正方形10任務(wù)一出發(fā)控制小車前進(jìn)5分別完成A、B、C物品搬運(yùn)任務(wù)二小車完成鏟起動(dòng)作、放下動(dòng)作小車和物品移動(dòng)至目的地30結(jié)束回到出發(fā)點(diǎn)5讀取小車攝像頭數(shù)據(jù)顯示攝像頭畫面5完成關(guān)鍵點(diǎn)檢測(cè)任務(wù)顯示關(guān)鍵點(diǎn)檢測(cè)結(jié)果5完成姿態(tài)分類任務(wù)并控制小車出發(fā)任務(wù)三完成目標(biāo)姿態(tài)分類任務(wù)，顯示類別（5分）小車掉頭，并朝目標(biāo)方向前進(jìn)（5分）10尋找相同的目標(biāo)姿態(tài)立牌小車移動(dòng)至正確的目標(biāo)姿態(tài)立牌前（8分）小車完成鏟起動(dòng)作、放下動(dòng)作（2分）10整理材料材料整理清理垃圾，完成現(xiàn)場(chǎng)清理復(fù)原，將所有的物資歸還10

圖6

● AI交互活動(dòng)的評(píng)價(jià)設(shè)計(jì)

在設(shè)計(jì)好活動(dòng)后，最后一個(gè)環(huán)節(jié)就是設(shè)計(jì)活動(dòng)的評(píng)價(jià)表了。筆者采用100分制（如左下表），將這三個(gè)任務(wù)的細(xì)節(jié)分解成一個(gè)個(gè)得分點(diǎn)。另外，為了避免某一個(gè)環(huán)節(jié)失敗導(dǎo)致下面的環(huán)節(jié)都無法進(jìn)行的情況出現(xiàn)，允許部分小任務(wù)可以跳過，只是不給分而已。

● AI交互活動(dòng)的反饋

通過這次嘗試，筆者認(rèn)識(shí)到，在青少年的人工智能活動(dòng)中增加與開源硬件結(jié)合的內(nèi)容，能夠更直觀地展現(xiàn)AI模型，且能有效提升學(xué)生的學(xué)習(xí)興趣。實(shí)際上，這個(gè)基于ESP32-CAM的AI硬件交互方案，不僅可以做無人駕駛，還可以結(jié)合無人機(jī)做智能巡檢、結(jié)合智慧農(nóng)場(chǎng)做蟲害監(jiān)測(cè)、結(jié)合保護(hù)區(qū)做生態(tài)監(jiān)測(cè)之類的有趣課程內(nèi)容。對(duì)中小學(xué)的人工智能教育來說，“低門檻”是一個(gè)重要的設(shè)計(jì)原則，相信會(huì)有更多的人為“低門檻”提供更多的可能。