吳方,徐瑋良,鐘志森,鄭雄威,張杰龍
(北京理工大學(xué)珠海學(xué)院,珠海519088)
隨著計(jì)算機(jī)技術(shù)和傳感器等技術(shù)的迅猛發(fā)展,網(wǎng)絡(luò)帶寬以及網(wǎng)絡(luò)速度的逐漸提升,物聯(lián)網(wǎng)也在逐漸進(jìn)入迅猛發(fā)展時(shí)期。而教育信息化在國(guó)家政策的推動(dòng)下正在迎來(lái)高峰,智慧教室作為物聯(lián)網(wǎng)的應(yīng)用決定了教育環(huán)境的優(yōu)劣。本文在研究智慧教室應(yīng)有的功能,采用了模數(shù)轉(zhuǎn)換、人臉識(shí)別、指紋識(shí)別以及深度學(xué)習(xí)等技術(shù),對(duì)智慧教室進(jìn)行了功能設(shè)計(jì)、軟硬件設(shè)計(jì),實(shí)現(xiàn)了人臉指紋實(shí)時(shí)考勤、根據(jù)環(huán)境自動(dòng)更改照明亮度溫度以及實(shí)時(shí)檢測(cè)學(xué)生狀態(tài)等智慧教室應(yīng)有的功能。
一個(gè)合格的智慧教室主要是實(shí)現(xiàn)讓教室能夠自動(dòng)化檢測(cè)環(huán)境,并進(jìn)行相應(yīng)調(diào)整,使其維持相對(duì)舒適的環(huán)境。例如,檢測(cè)環(huán)境的亮度,及時(shí)調(diào)整燈光使老師學(xué)生都能在一個(gè)不至于太亮或者太暗的環(huán)境,或者收集周?chē)臏囟仁菇淌夷芫S持在一個(gè)溫暖的溫度范圍。同時(shí),它也能夠通過(guò)人臉和指紋實(shí)現(xiàn)實(shí)時(shí)的簽到,并主動(dòng)向教師反饋,讓教師清楚學(xué)生的出勤情況。為了得到更好的學(xué)習(xí)效果,該系統(tǒng)能讓教師獲知學(xué)生的精神狀態(tài),讓教師能夠進(jìn)行適當(dāng)?shù)恼n堂調(diào)整。
圖1 智慧教室總框架圖
在采集環(huán)境的溫度或者亮度等模擬的環(huán)境變量時(shí),需要通過(guò)模數(shù)轉(zhuǎn)換(即AD 轉(zhuǎn)換)把環(huán)境的模擬量轉(zhuǎn)換成我們所能看見(jiàn)的電壓值,進(jìn)而判斷周?chē)h(huán)境的情況。在模數(shù)轉(zhuǎn)換的芯片中,選用了工業(yè)較為常用的PCF8591 芯片。在PCF8591 器件上輸入輸出的地址、控制和數(shù)據(jù)信號(hào)都是通過(guò)雙線(xiàn)雙向I2C 總線(xiàn)以串行的方式進(jìn)行傳輸。在該芯片的通道0 接入了光敏電阻電路,亮度的變化導(dǎo)致電阻值的變化從而影響了電壓值的變化,PCF8591 根據(jù)電壓的變化輸出相應(yīng)數(shù)值從而達(dá)到檢測(cè)亮度的目的。
在對(duì)溫度的控制上設(shè)計(jì)了兩種方案,第一種是PCF8591 芯片的通道1 接入熱敏電阻。熱敏電阻和光敏電阻是相似,根據(jù)環(huán)境溫度的不同,熱敏電阻會(huì)體現(xiàn)出不一樣的電阻值,PCF8591 檢測(cè)到不同的電壓,會(huì)根據(jù)不同的電壓輸出不同的比例值,然后再用溫度計(jì)測(cè)量實(shí)際溫度值,找出PCF8591 輸出值與溫度值之間的比例關(guān)系,總結(jié)公式,再通過(guò)公式去計(jì)算溫度值。第二種是使用DS18B20 單總線(xiàn)芯片,DS18B20 是溫度傳感器,可以直接在芯片內(nèi)部計(jì)算出溫度值并進(jìn)行輸出,精度能夠達(dá)到12 位二進(jìn)制數(shù)(其中有4 位為小數(shù)),通過(guò)發(fā)送設(shè)定好的指令使DS18B20 讀取環(huán)境溫度并進(jìn)行溫度轉(zhuǎn)換,最后輸出結(jié)果。第一種方法由于是接在已有的PCF8591 上,所以不用另外使用引腳,而且成本也比較低,占用空間較小,但該方法的缺點(diǎn)是精度比較低;第二種方法精度比較高,但需要另外占用I/O 口,成本比第一種略高,可以根據(jù)不同教室的實(shí)際情況去選用不同的方案。
在指紋識(shí)別技術(shù)上,該系統(tǒng)中選用AS608 芯片控制的指紋識(shí)別模塊,該模塊集成了獲取指紋圖像,生成特征信息,保存特征信息,對(duì)比特征信息以及搜索指紋等等功能,可以在本地儲(chǔ)存300 枚指紋信息。同時(shí)該模塊也支持通過(guò)UART 串口進(jìn)行指紋信息的上傳和下載。
本系統(tǒng)由樹(shù)莓派4 作為系統(tǒng)的中心,通過(guò)樹(shù)莓派的GPIO 的設(shè)置連接各種能夠感知環(huán)境的傳感器,并且做出反饋。教室作為一個(gè)專(zhuān)門(mén)學(xué)習(xí)場(chǎng)所,能夠影響學(xué)習(xí)質(zhì)量的環(huán)境信息主要是亮度以及溫度。而亮度能通過(guò)燈光的大小去調(diào)整,溫度的高低也能通過(guò)對(duì)空調(diào)或風(fēng)扇的調(diào)節(jié)進(jìn)行調(diào)整。主要流程如圖2-圖3。
圖2 溫度采集流程
圖3 亮度采集流程
在已知的環(huán)境中進(jìn)行檢測(cè),獲取適合亮度相對(duì)應(yīng)的電壓值范圍,獲取數(shù)據(jù)后計(jì)算適當(dāng)?shù)牧炼确秶x值(在測(cè)試實(shí)驗(yàn)環(huán)境中,較亮?xí)rAD 讀值為135,較暗時(shí)AD 讀值為216),當(dāng)讀數(shù)高于預(yù)定最大值時(shí)標(biāo)識(shí)亮度較暗,需打開(kāi)照明系統(tǒng),并按照一定比例,當(dāng)值越大時(shí),控制照明的PWM 波可實(shí)現(xiàn)照明亮度的高低。但由于位置不一樣,教室不同方位的亮度可能也不一樣,同時(shí)不同人對(duì)不同亮度的適應(yīng)程度不一樣,而且有時(shí)候計(jì)算值并不一定非常準(zhǔn)確,所以還需要添加一個(gè)開(kāi)關(guān)以實(shí)現(xiàn)人為的亮度調(diào)整,實(shí)現(xiàn)自動(dòng)模式和手動(dòng)模式的切換。對(duì)于溫度的獲取類(lèi)似,獲取環(huán)境溫度值后,根據(jù)實(shí)際對(duì)教室風(fēng)扇或者空調(diào)進(jìn)行調(diào)整。
智慧教室可以根據(jù)教室大小存在一個(gè)或者多個(gè)人體熱釋電傳感器,人體熱釋電傳感器可以接收到人體身體散發(fā)的微弱紅外線(xiàn)從而產(chǎn)生信號(hào)。當(dāng)處于自動(dòng)模式時(shí),人體熱釋電傳感器可以檢測(cè)整個(gè)教室是否有人,從而判斷并控制整個(gè)教室設(shè)備電源開(kāi)關(guān),當(dāng)有人的時(shí)候,整個(gè)教室電源自動(dòng)打開(kāi),給教室燈光,電腦等各個(gè)設(shè)備供電。人體熱釋電模塊可以設(shè)置每隔3 分鐘或5分鐘做一次檢測(cè),若超過(guò)規(guī)定時(shí)間檢測(cè)到?jīng)]有人存在,則關(guān)閉教室的電源,以最大程度節(jié)省教室用電。通過(guò)調(diào)節(jié)接收敏感度,還可以輔助檢測(cè)上課時(shí)是否有人遲到或者早退,可以讓老師更加專(zhuān)注于教學(xué)。
課室有時(shí)候不僅僅是上課的場(chǎng)所而且可以作為考試的場(chǎng)所。樹(shù)莓派也可以外接指紋采集器,每個(gè)人的指紋都是獨(dú)一無(wú)二的,通過(guò)對(duì)采集到的指紋跟數(shù)據(jù)庫(kù)提前收集到的指紋進(jìn)行對(duì)比,再輔以人臉識(shí)別,能極大加快對(duì)考場(chǎng)學(xué)生的認(rèn)證速度以及維護(hù)考場(chǎng)秩序。生物識(shí)別是現(xiàn)今身份識(shí)別最常用的方法,每個(gè)人的身體里都有著獨(dú)一無(wú)二的標(biāo)識(shí),現(xiàn)今使用得最廣泛就是指紋識(shí)別和人臉識(shí)別。
圖4 指紋模塊和攝像頭
由于UART 串口傳送的速率有限,如果全部指紋數(shù)據(jù)都儲(chǔ)存在指紋模塊外的數(shù)據(jù)庫(kù)中,會(huì)導(dǎo)致每次指紋比對(duì)都需要通過(guò)串口傳輸指紋數(shù)據(jù)從而導(dǎo)致識(shí)別速度慢。考慮到一般情況下一段時(shí)間內(nèi)需要使用指紋識(shí)別的人數(shù)有限,采取的方案是把采集到的指紋數(shù)據(jù)儲(chǔ)存到數(shù)據(jù)庫(kù)中,每次使用前先提前把需要用到的指紋數(shù)據(jù)從數(shù)據(jù)庫(kù)載入到模塊儲(chǔ)存中,然后再進(jìn)行高速識(shí)別。
圖5 指紋識(shí)別流程
圖6 AS608指紋識(shí)別指令包格式
在傳統(tǒng)教室中,一個(gè)老師要面對(duì)很多個(gè)學(xué)生,有時(shí)候無(wú)法很準(zhǔn)確地獲取學(xué)生狀態(tài),而在智慧教室中,機(jī)器視覺(jué)不僅可以獲取人臉信息,還能夠提取人臉的特征點(diǎn),根據(jù)采集到的特征點(diǎn)(如嘴巴的閉合等),通過(guò)深度學(xué)習(xí),進(jìn)而判斷學(xué)生是否困倦,并及時(shí)提交給教師,讓教師可以及時(shí)調(diào)整教學(xué)方式和加強(qiáng)教學(xué)管理。
樹(shù)莓派可以通過(guò)攝像頭進(jìn)行視頻或者圖像的采集,通過(guò)人臉識(shí)別的算法,能夠精準(zhǔn)識(shí)別出每個(gè)人的身份,從而簡(jiǎn)化傳統(tǒng)而繁瑣的老師點(diǎn)名進(jìn)行簽到的步驟,使得課堂不再用過(guò)多的時(shí)間在確認(rèn)學(xué)生人數(shù)上,提高了課堂的學(xué)習(xí)效率。
在圖像識(shí)別領(lǐng)域,現(xiàn)在有很多個(gè)開(kāi)源的項(xiàng)目都有著非常好的算法支持。比較常用的是基于C++的OpenCV,它提供Python 接口,可以讓大家很便捷地使用OpenCV。同時(shí),基于OpenCV 和深度學(xué)習(xí)還有眾多的人臉識(shí)別項(xiàng)目。
圖7 人臉識(shí)別流程
圖8 身份識(shí)別
在Face Recognition 的人臉識(shí)別庫(kù)中不僅僅能做人臉識(shí)別,還能描繪出人臉部的特征點(diǎn),描繪人臉部的輪廓,結(jié)合TensorFlow 等深度學(xué)習(xí)算法可以判斷人的情緒。
為了識(shí)別學(xué)生是否困倦,我們自己通過(guò)拍照或者網(wǎng)上搜索收集的幾百?gòu)堈D樀恼掌约啊袄Ь搿蹦樀恼掌?,提取出特征,并進(jìn)行了驗(yàn)證。
圖9 正常臉識(shí)別
圖10 “困倦”臉識(shí)別
為了儲(chǔ)存大量地人物信息,必然需要用到數(shù)據(jù)庫(kù),MySQL 是一個(gè)開(kāi)源的、性能非常好的、支持跨系統(tǒng)而且體積非常小的數(shù)據(jù)庫(kù)。該項(xiàng)目中主要儲(chǔ)存的數(shù)據(jù)有人的身份信息(姓名、性別等)、對(duì)應(yīng)的人臉信息、指紋信息。在需要的時(shí)候,從數(shù)據(jù)庫(kù)中提取出相關(guān)的信息進(jìn)行比對(duì)。指紋的特征是固定的512B 大小,而人臉特征太過(guò)復(fù)雜則在提取特征的時(shí)候通過(guò)把浮點(diǎn)數(shù)改成一個(gè)長(zhǎng)字符串從而可以使用數(shù)據(jù)庫(kù)中的變長(zhǎng)字符串儲(chǔ)存。
本系統(tǒng)以樹(shù)莓派4B 作為主控平臺(tái)搭建了一個(gè)基于樹(shù)莓派的智慧教室系統(tǒng),通過(guò)對(duì)教室環(huán)境監(jiān)測(cè)自動(dòng)控制教室設(shè)備的開(kāi)閉,自動(dòng)調(diào)整課室的燈光溫度等,給師生提供一個(gè)舒適的課堂環(huán)境。同時(shí),該系統(tǒng)具備身份識(shí)別的能力,可以較為準(zhǔn)確快速地識(shí)別學(xué)生身份,以便教師考勤和識(shí)別代上課代考試等問(wèn)題。再者該系統(tǒng)還可以通過(guò)定時(shí)檢測(cè)學(xué)生人臉來(lái)判斷學(xué)生是否存在早退、學(xué)習(xí)困倦等問(wèn)題,輔助教師課堂管理。