陳小娥，李慧敏，陳德濤

（福建船政交通職業(yè)學院信息與智慧交通學院，福州 350007）

0 引言

隨著“新零售”概念的提出，應用互聯(lián)網(wǎng)大數(shù)據(jù)、人工智能技術等方法，重構商圈構造與生態(tài)鏈，并對線上線下服務項目、線下推廣感受及其智慧物流開展創(chuàng)新發(fā)展的零售新方式，各銷售行業(yè)掀起了全新的發(fā)展浪潮。在校園餐廳、企業(yè)和政府餐廳、連鎖快餐等地方，餐飲消費時間段相對集中，高峰期的排隊大大降低了顧客就餐體驗。在餐飲行業(yè)中占比較大是中小商家，眾多中小商家面臨經營成本高、利潤低等問題。餐飲的信息化和自動化是餐飲“新零售”的重要體現(xiàn)，而自助結算實現(xiàn)的自動化可以有效地降低餐飲商家的人工成本和經營效率。

目前比較常見的餐廳自動結算系統(tǒng)主要有基于RFID 的射頻技術和圖像識別技術?；赗FID技術的系統(tǒng)主要是由一個顯示屏、讀寫器和讀卡器的智能自助結算終端構成，每一個根據(jù)不同菜品定制的餐盤內都植入一個RFID 芯片，結算時將裝有智慧菜碟的托盤放到能自助結算終端的“結算區(qū)”，讀取芯片信息，經過顯示屏向就餐顧客顯示本次飯菜份數(shù)、金額，由此進行結算，如文獻［1］選用STM 32 作為主控板，TFT-LCD 作為顯示模塊，實現(xiàn)了基于二進制算法的RFID 射頻技術的無人結算［1］。而圖像識別技術應用于自助結算，早期主要是采用傳統(tǒng)的機器學習方法，根據(jù)餐具的大小、形狀、顏色或菜品等圖像信息，先通過圖像分割，后提取相應的特征，再選取分類器進行分類。隨著深度學習的流行，現(xiàn)在逐步地采用深度學習中的目標檢測算法實現(xiàn)自助結算功能。當前比較主流的目標檢測方法有以RCNN、Faster R-CNN［2］系列為代表的Two-Stage 方法和以YOLO［3］和SSD［4］系列為代表的One-Stage方法。文獻［5］實現(xiàn)的系統(tǒng)通過餐盤的顏色和形狀對不同的菜品進行分類計價并算出總價,再進行自動扣款。文獻［6］通過對YOLOv3目標檢測模型進行改進，去除中小尺度的邊界框檢測，結合傳統(tǒng)圖像處理技術，實現(xiàn)了魯棒性更高的菜品識別算法。

本文主要采用MMDetection 框架［7］，通過Faster R-CNN目標檢測模型實現(xiàn)菜品定位、分類。在預測網(wǎng)絡的設計中，通過模塊化設計初篩+細分類的方式對一些易混淆的菜品類別單獨分類處理，避免多尺度環(huán)境下引起的誤識別，有效地提高了預測精度并且降低了數(shù)據(jù)集的需求量。

1 相關技術及原理

1.1 Faster R-CNN

Faster R-CNN 由兩個模塊組成。第一個模塊叫候選區(qū)域生成網(wǎng)絡（region proposal network，RPN），它是深度全卷積網(wǎng)絡，對于本文的應用場景，可以輸出可能存在餐盤的區(qū)域。第二個模塊叫Faster R-CNN 檢測器，判斷每個區(qū)域是餐盤或不是餐盤。RPN 使用近年來流行的“注意力機制”告訴Faster R-CNN 檢測器應該關注哪些區(qū)域。圖1引用文獻［3］中的圖3簡述RPN。

圖1 候選區(qū)域生成網(wǎng)絡（RPN）

在特征圖的每一片區(qū)域，我們并行地預測多個候選區(qū)域。用k表示每一片區(qū)域能預測的最大候選區(qū)域數(shù)量。每個候選區(qū)域要用4 個數(shù)字表示坐標軸位置，用2 個數(shù)字判斷這個區(qū)域屬于前景還是背景。所以reg layer 要輸出4k個輸出，cls layer 要用2k個輸出。這k個候選區(qū)域將根據(jù)k個“錨框”編碼。錨框位于每個3×3區(qū)域的中心，我們用3 組大小和3 組長寬比組合出9 個不同的錨框。

1.2 目標檢測框架MMDetection

當預測值與真實值一樣時，預測值為正樣本（真實值為正樣本）記為‘TP’,預測值為負樣本（真實值為負樣本）記為‘TN’；當預測值與真實值不一樣時，預測值為正樣本（真實值為負樣本）記為‘FP’，預測值為負樣本（真實值為正樣本）記為‘FN’。

1.3 評估指標

準確率（Accuracy）用分對的樣本數(shù)除以所有的樣本數(shù)，計算公式如下：

綜上所述，該區(qū)隱伏巖體埋藏深，上覆地層厚度大，區(qū)域重磁異常規(guī)模大，區(qū)域磁異常反映有NE和NW向構造存在，地表淺部有大范圍銻、汞等低溫熱液礦床存在，上述特征顯示該地帶找礦空間廣闊，具備尋找中大型低-中-高溫熱液礦床的條件。

MMDetection 是一個基于PyTorch 的開源目標檢測工具箱。它提供了多種視覺檢測核心模塊，我們可以組合這些模塊搭建出各種檢測框架。它的主要特性有：進行了模塊化設計，通過組合不同的組件，可以容易地構建定制的對象檢測框架；支持當前流行的檢測框架，如Faster RCNN、Mask R-CNN、RetinaNet 等；具有高效性，所有基本的bbox 和掩碼操作現(xiàn)在都在GPU 上運行。

2 基于卷積神經網(wǎng)絡的智能結算算法

2.1 算法基本思路

采用MMDetection 目標檢測框架進行模型構建、訓練。使用LabelMe 進行目標檢測數(shù)據(jù)標注。具體的步驟如下：①采集真實餐廳托盤數(shù)據(jù)，對采集到的圖片進行清洗、用LabelmMe進行圖片標注。②采用MMDetection 框架進行搭建，采用Faster R-CNN 目標檢測模型實現(xiàn)。③目標檢測模型的測試與應用。

在航道區(qū)域取18個采樣點，分析工程后沿深槽方向水流分布特征。將各采樣點橫流分布繪于圖5，同時由于篇幅有限，將部分采樣點的特征流速、流向統(tǒng)計值列于表3。

2.2 算法設計

2.2.1 改進的預測網(wǎng)絡

在預測網(wǎng)絡的設計中，我們通過模塊化設計粗篩+細分類的方式對米飯、炒飯等易混淆的類別單獨分類處理，避免多尺度環(huán)境下大托盤引起的誤識別，圖2是預測網(wǎng)絡流程示意圖。

圖2 預測網(wǎng)絡流程

實驗過程中，設置優(yōu)化器的類型為SGD，學習率初始值為0.01，動量為0.9，權重衰減率為0.0001。圖4 為模型訓練的training loss 折線圖。圖5 為菜品識別實驗過程中獲得的accuracy top1的折線圖。

使用OpenCV 與攝像頭交互，由于OpenCV 不支持GBK 編碼的文件系統(tǒng)，所以采用NumPy讀取圖片，再用OpenCV 解碼的方式。由于OpenCV 默認使用BGR 顏色通道，而其他程序包大多使用RGB 顏色通道，所以我們?yōu)樽x取圖片和保存圖片的函數(shù)都加上了”rgb”標志，用于指示圖片的顏色通道。以下為讀取函數(shù)的代碼。

2.2.3 數(shù)據(jù)集格式轉換

Accuracy=(TP+TN)/(TP+TN+FP+FN)

MMDetection 使用數(shù)據(jù)集是COCO 格式，所以先將LabelMe 格式的標注數(shù)據(jù)轉換為COCO 格式的數(shù)據(jù)。COCO 數(shù)據(jù)集可以分解為一個數(shù)據(jù)庫里的3張表，圖片表、標注表、類別表。

下面以關系模式描述這些表：

全固態(tài)離子選擇性電極因為不含內充液，極易微型化、陣列化和制備成一次性的紙質電極和塑料柔性電極，受到越來越多研究人員的關注。

選入“少兒萬有經典文庫”的原典在人類科學史上的重要性和經典性不容置疑，但其厚重的篇幅和深邃的理論體系，讓一般讀者都可能望而卻步，更不要說理解能力有限的少年兒童。而在這套文庫里，少兒彩繪版呈現(xiàn)出生機勃勃的氣息，吸引著小讀者從容地走進經典。

圖片表（圖片ID，寬，高，文件名）；

標注表（標注ID，圖片ID，類別ID，面積，x，y，寬，高，群聚標識）；

將數(shù)據(jù)集轉換成COCO 格式后，還需要編寫數(shù)據(jù)集類，具體做法為繼承COCO 類，然后將類別列表修改成我們數(shù)據(jù)集的類別列表。以下為部分代碼。

類別表（類別ID，類別名，超類名）。

（3）提升施工技術人員的專業(yè)素質。施工人員在工程施工建設中，是第一梯隊的人才，是工程質量的基本保障，因此施工技術人員的專業(yè)素質以及技術水平會對工程的質量以及工程的施工進度起到直接影響。所以建筑企業(yè)需要對管理人員、技術人員以及施工人員的專業(yè)素質培養(yǎng)進行關注。為了更好地提升工作人員的專業(yè)技能以及素質，企業(yè)可以定期分批對相關施工技術人員等進行培訓教育工作，幫助施工人員以及技術人員的專業(yè)知識進行提升，縮小隊伍內部的專業(yè)差距。建筑企業(yè)在對相關工作人員進行選擇的時候，需要提升要求，做好崗前教育以及后期的提升培訓，讓施工人員和技術人員積極主動的接受培訓和指導，使得企業(yè)人力資源配置達到最優(yōu)。

3 實驗過程及分析

3.1 餐廳數(shù)據(jù)采集與處理

首先，采集真實的結算場景圖片。如圖3 所示，采集2302 幅托盤圖片，總計63 道菜。采集過程中，調整攝像頭的位置到結算臺面固定50厘米的高度，同時在攝像頭旁放置一個補光燈，避免由于不同采集時間引起的一些干擾因素影響實驗結果。采集完成后，我們進行一定的數(shù)據(jù)清洗并標注。

圖3 數(shù)據(jù)集樣本示例

3.2 模型搭建與訓練

2.2.2 圖像的讀寫設計

圖4 training loss結果分析

圖5 accuracy top1折線

3.3 模型應用

（六）藥敏試驗 按常規(guī)紙片法進行藥敏試驗，不同場分離的菌株，其敏感性有明顯不同，但多數(shù)的菌株對硫酸新霉素、恩諾沙星、氨芐青霉素、氯霉素、丁胺卡那霉素敏感，對常用的青霉素、土霉素、金霉素不敏感。

針對采集的結算場景，利用計算機視覺算法，利用標注的位置信息和類別信息，訓練多個能夠檢測圖像中菜品的模型。選擇精準度最高的模型作為應用程序使用的模型。設計的軟件界面如圖6所示。

圖6 結算界面

用戶只需將選好菜品的托盤放進攝像頭下，系統(tǒng)主顯示區(qū)最終顯示每道菜的價格，結算區(qū)顯示就餐者所有菜加起來的應付的總價格。程序運行過程中，會不斷讀取視頻幀，對每一幀進行預測，當圖片中出現(xiàn)餐盤時，識別接口會將餐盤區(qū)域裁剪下來，輸入到分類網(wǎng)絡進行分類。再將識別的結果繪制在攝像頭讀入的圖片上，最后再繪制到界面上。經過實測，菜品正確識別率達95%。如果能夠避免同一餐中出現(xiàn)過于相似的菜品，準確率更高。

[譯文1]Observing abnormal behavior of animals suggests a particular disease problem or bad feeding management.

4 結語

針對餐廳自助結算的應用場景，本文實現(xiàn)了基于Faster R-CNN 的菜品識別檢測算法。對于添加新菜，現(xiàn)階段我們仍需通過遷移學習訓練模型實現(xiàn)，在未來，我們考慮通過孿生網(wǎng)絡的方式實現(xiàn)更快更簡易的添加菜品，以更好地適用于自助結算等場景。