靳麒平，鐘 玲，李 達，魯玉龍

(沈陽工業(yè)大學(xué)軟件學(xué)院，遼寧 沈陽 110072)

0 引言

在校學(xué)生經(jīng)常發(fā)生證件遺失，如校園一卡通、身份證、學(xué)生證等證件。這些證件與學(xué)生的生活、學(xué)習(xí)息息相關(guān)，而且有的證件集成了多種功能，遺失會造成諸多不便或經(jīng)濟損失。目前高校的丟失證件招領(lǐng)以人工為主，從全國范圍看，也存在一些丟失證件招領(lǐng)系統(tǒng)，但需要人工錄入丟失證件信息，工作量大，信息錄入嚴重滯后，影響了招領(lǐng)效率和人們查詢丟失證件信息的積極性。絕大部分網(wǎng)站功能為將丟失證件簡單的分類，缺少智能地將丟失證件與失主信息匹配功能，在失主尋找丟失證件的人工成本上沒有做到實質(zhì)性的改善。即使建立了丟失證件招領(lǐng)系統(tǒng)，從目前檢索的資料看，也缺少把人工智能技術(shù)與丟失證件招領(lǐng)系統(tǒng)互相結(jié)合的實際應(yīng)用案例。

基于人工智能技術(shù)和學(xué)校管理實際，研究開發(fā)智能識別失主信息的智能證件招領(lǐng)箱和基于云服務(wù)的校園證件招領(lǐng)一體化平臺有著積極的現(xiàn)實意義。通過智能硬件、圖像識別、GIS、網(wǎng)站開發(fā)、遠程數(shù)據(jù)傳輸?shù)燃夹g(shù)，智能獲取丟失證件上的信息，自動與失主信息匹配并且將丟失信息實時發(fā)布到網(wǎng)上，失主可以第一時間知道自己證件的丟失情況并且精確獲得丟失證件存放地點，自助領(lǐng)取丟失的證件，減少管理丟失證件的人工成本，及失主各處尋找丟失證件的不便。對于一些重要證件，智能證件招領(lǐng)箱也降低了多人接觸丟失證件造成的信息泄漏問題。

1 系統(tǒng)總體設(shè)計

系統(tǒng)由智能證件招領(lǐng)箱和云管理平臺兩部分構(gòu)成。智能證件招領(lǐng)箱放置于教學(xué)樓、寢室樓、食堂等場所，若有人撿到丟失的證件，則存入招領(lǐng)箱。存儲過程為拾取人在招領(lǐng)箱可視化控制界面選擇存儲功能，按照語音提示，將證件對準(zhǔn)招領(lǐng)箱上的攝像頭，招領(lǐng)箱獲取圖像信息并傳給云平臺，云平臺提取圖像及文字信息，經(jīng)過校驗的信息將存入云平臺丟失證件管理系統(tǒng)，云平臺選擇對應(yīng)招領(lǐng)箱空閑柜號，發(fā)送開鎖指令，對應(yīng)智能鎖開啟，丟失證件存入。招領(lǐng)者可以登錄云平臺（為保障丟失證件安全，招領(lǐng)者需填寫個人必要信息，成為注冊用戶），在丟失證件大廳搜索丟失證件相關(guān)姓名及證件上人臉圖像信息，若已存入招領(lǐng)箱，則根據(jù)地圖模塊給出的位置，找到對應(yīng)招領(lǐng)箱，選擇招領(lǐng)功能，智能招領(lǐng)箱獲取認領(lǐng)者人臉信息并傳送給云平臺，云平臺通過人臉圖像分析與比對，如果當(dāng)前認領(lǐng)者與證件上人臉為同一人，則發(fā)送對應(yīng)箱號柜號開鎖指令，失主自助領(lǐng)取丟失證件，相關(guān)領(lǐng)取信息存入云平臺備查。

2 智能證件招領(lǐng)箱設(shè)計

2.1 智能證件招領(lǐng)箱硬件設(shè)計

招領(lǐng)箱選用了基于ARM 的raspiberry model 4B+微型電腦主板作為微控制單元，圖像采集模塊通過調(diào)取微控制單元的攝像功能進行拍攝，智能門鎖則是以微控制單元為核心通過控制繼電器的高低電平給電磁閥所發(fā)送電信號，電磁閥所接收到電信號后，完成鎖的打開與關(guān)閉。GPS則通過調(diào)取預(yù)先編譯好的上位機程序?qū)崟r讀取當(dāng)前智能證件招領(lǐng)箱的地理位置并上傳。箱體內(nèi)嵌了一塊高清觸摸屏以便于用戶進行丟失證件的存取操作。圖1為智能證件招領(lǐng)箱的硬件框圖。

圖1 智能證件招領(lǐng)箱硬件框圖

2.2 智能證件招領(lǐng)箱功能模塊設(shè)計

智能證件招領(lǐng)箱包括模式選擇、圖像信息采集、通訊校驗與上傳、智能鎖控制、語音提示幾個模塊。用戶在圖形化界面上通過模式選擇模塊選取對應(yīng)操作，后臺根據(jù)選擇調(diào)用不同功能模塊后進行下一步處理，語音提示模塊在各步操作前給用戶語音提示，有效指導(dǎo)用戶操作，方便用戶。

⑴圖像采集模塊

在調(diào)取攝像頭時，基于安全考慮，網(wǎng)站并不被允許直接調(diào)用本地文件，故本項目在微控制單元預(yù)留一個HTTP 接口用于在攝像頭需要被調(diào)用的時候訪問，當(dāng)本地接口被調(diào)用的時候，微控制單元將發(fā)送一個cmd 命令來啟動相關(guān)的程序，這樣就可以實現(xiàn)攝像頭調(diào)用的效果。

⑵通訊校驗與上傳模塊

從智能證件招領(lǐng)箱向云管理平臺進行數(shù)據(jù)傳輸時，采用Socket 通訊方式。當(dāng)圖像采集模塊獲取到用戶的人臉或者證件照片之后，將圖像解析為base 流并清空磁盤，若解析成功后，通過Socket嘗試訪問云管理平臺的指定接收端口，當(dāng)端口成功連通之后，開始進行數(shù)據(jù)上傳，上傳成功后在服務(wù)器解析對應(yīng)數(shù)據(jù)轉(zhuǎn)換成jpg 格式文件，并存入磁盤，確認收到目標(biāo)圖片后在服務(wù)器端斷開該連接并開啟新的監(jiān)聽窗口。

⑶智能鎖控制模塊

為了控制多路電磁鎖并節(jié)省成本，本項目采用9路12v繼電器模塊。默認狀態(tài)下繼電器與電磁鎖電路為常開狀態(tài)，電磁鎖閉合。當(dāng)繼電器IN 口檢測到高電平時，電路為閉合狀態(tài)，電磁鎖打開。當(dāng)繼電器IN 口檢測到外界低電平時，開關(guān)斷開。當(dāng)繼電器IN 口檢測到外界高電平時，開關(guān)閉合。由一個繼電器控制多個智能鎖的工作，當(dāng)云平臺判定為可以開鎖時，會下發(fā)開鎖指令，經(jīng)微控制單元編譯后發(fā)送高低電平電流給繼電器轉(zhuǎn)換后，發(fā)送微電流到特定編號的電磁閥鎖，控制它的開鎖，圖2為繼電器控制各個鎖的總體電路圖。

圖2 繼電器總體電路圖

3 云管理平臺設(shè)計

當(dāng)云管理平臺處于時，通過Socket 通訊接收到由智能證件招領(lǐng)箱采集到的證件圖片后，提取并綁定證件上的姓名等文字信息和人臉圖像，待操作成功之后，云管理平臺將提取出來的文字信息、智能證件招領(lǐng)箱位置、證件存儲的柜號、存入時間等信息，存儲到mysql 數(shù)據(jù)庫中，同時將提取出來的人臉圖像存儲到HDFS 數(shù)據(jù)倉庫中，以便后續(xù)的信息查詢，同時云管理平臺通過遠程交互模塊發(fā)送開鎖及語音指令，打開智能證件招領(lǐng)箱的柜門，并發(fā)出語音操作提示，同時證件招領(lǐng)網(wǎng)站發(fā)布新拾取到的證件信息。

當(dāng)云管理平臺處于時，通過Socket 通訊接收到由智能證件招領(lǐng)箱采集到的招領(lǐng)者人臉圖片及準(zhǔn)備開鎖的柜號ID，云管理平臺通過此ID 查找HDFS 預(yù)先存入的證件人臉圖像，并與收到的招領(lǐng)者真實人臉圖像進行比對，若相似度超過設(shè)定閾值，則認定為同一個人，云管理平臺通過遠程交互模塊發(fā)送開鎖及語音指令，智能證件招領(lǐng)箱的柜門打開并發(fā)出語音提示，同時將數(shù)據(jù)庫中對應(yīng)的數(shù)據(jù)標(biāo)記為“歷史記錄”，招領(lǐng)者取回丟失證件。

4 系統(tǒng)實現(xiàn)

4.1 證件信息提取

對于采集上來的證件圖片，云平臺提取出其中文字信息和人臉圖像。

⑴OCR技術(shù)提取證件文字信息

對于如圖3(a)所示的證件圖像，先運用CTPN 模型檢測出文本行的位置，其效果如圖3(b)，而后采用CRNN 模型對檢測出的文本行內(nèi)容進行翻譯，其結(jié)果作為最終提取出的證件文字信息，其效果如圖3(c)所示。

圖3 圖像文本信息提取

⑵證件人臉圖像識別與剪裁

本項目采用Yolov5 目標(biāo)檢測模型，當(dāng)準(zhǔn)確檢測出人臉圖像后，利用OpenCV 庫完成對檢測后人臉圖像的提取，具體效果如圖4 所示，其中圖4(a)展示了原始證件的圖像，圖4(b)展示了檢測出的人臉圖像效果圖，圖4(c)展示了剪裁出的失主人臉圖像。

圖4 證件人臉圖片提取

4.2 人臉比對模塊

將招領(lǐng)者通過智能證件招領(lǐng)箱傳上來的人臉圖像，進行人臉圖像的裁剪，同時查詢出預(yù)先存入HDFS中的證件人臉圖像，而后利用人臉特征檢測模型分別找出招領(lǐng)者和證件上人臉圖像的64 個特征點位矩陣進行分析比對。其中圖5(a)展示了系統(tǒng)分析出的招領(lǐng)者人臉的64 個特征點位，圖5(b)展示了證件失主人臉的64個特征點位。

圖5 人臉比對

實驗結(jié)果表明，對于攝像頭接收的人臉圖像，在不同位置，或有一定角度偏轉(zhuǎn)，系統(tǒng)均能有效識別。

4.3 軟硬件實現(xiàn)效果

智能證件招領(lǐng)箱主體利用CAD 制圖的方式確定其初貌，而后結(jié)合3D 打印技術(shù)，對所需的原材料進行精準(zhǔn)切割與制作，同時為方便與用戶交互，采用可觸控的高清屏。圖6 展示了智能證件招領(lǐng)箱的整體效果。

圖6 智能證件招領(lǐng)箱正面效果圖

當(dāng)用戶進行操作之前，要預(yù)先登錄同時進行存取模式選擇。圖7給出了招領(lǐng)箱觸屏顯示的模式選擇頁面效果，包含證件存儲模式與證件招領(lǐng)模式。

圖7 存取模式選擇功能頁面

云管理平臺的招領(lǐng)網(wǎng)站進行相應(yīng)信息的展示與管理。已存入的失物信息集中展示在招領(lǐng)大廳，包括從證件中提取的文字信息和圖像信息，如丟失證件的失主姓名、失主人臉照片、存入時間、智能證件招領(lǐng)箱的位置以及證件存儲的柜號信息等，失主可登錄網(wǎng)站進行查詢，其實現(xiàn)效果如圖8 所示。同時為了方便失主盡快找到自己的證件，本項目加入了地圖模塊，以展示智能證件招領(lǐng)箱的具體位置。

圖8 云平臺實現(xiàn)效果

5 結(jié)束語

實現(xiàn)了一款軟硬件結(jié)合的智能證件招領(lǐng)系統(tǒng)，智能證件招領(lǐng)箱以微控制單元為核心控制帶有校驗機制的網(wǎng)絡(luò)遠程控制智能鎖，以及完成證件或者招領(lǐng)者人臉圖像的采集和上傳，云管理平臺分為兩種模式，當(dāng)平臺處于證件存儲模式時，能夠?qū)Σ煌C件信息進行自動識別，提取信息精準(zhǔn)，識別效果良好。當(dāng)平臺處于證件招領(lǐng)模式時，運用人臉比對技術(shù)判定招領(lǐng)者是否為證件本人，保障系統(tǒng)的安全性和方便性，減少了管理人員投入。同時利用網(wǎng)站實時進行丟失信息展示的方式，方便失主查找并提高證件招領(lǐng)的時效性。后續(xù)本系統(tǒng)將不斷改進圖像算法的準(zhǔn)確率及精度，同時提高招領(lǐng)箱的安全性能。