吳珺泓，朱雅薇，段枕貞

（1.成都理工大學(xué)信息科學(xué)技術(shù)學(xué)院（網(wǎng)絡(luò)安全學(xué)院、牛津布魯克斯學(xué)院），成都610000；2.成都理工大學(xué)管理科學(xué)學(xué)院，成都610000）

0 引言

餐飲業(yè)，作為存在歷史悠久的行業(yè)種類，不斷在創(chuàng)新中發(fā)展。近年來，更是呈現(xiàn)成出蓬勃的生命力。菜單，作為餐飲企業(yè)經(jīng)營活動中的主要展示窗口，側(cè)面展示了企業(yè)文化和經(jīng)營策略。高質(zhì)量、便捷的點菜方式一直是餐飲企業(yè)的追求。從掛牌菜單、紙質(zhì)菜單到電子設(shè)備菜單、移動設(shè)備掃碼等，多種菜單形式的演變也體現(xiàn)了其具有不同的利弊和能夠解決的痛點。

傳統(tǒng)中小型餐飲店具有分布廣、受眾大、數(shù)量多等特點。該類餐飲店普遍采取的服務(wù)經(jīng)營模式為現(xiàn)場服務(wù)人員通過紙質(zhì)菜單或肉眼人腦記憶顧客需要的菜品和消費金額。過程中就會存在人力物力投入較大、服務(wù)耗時長且出錯率高的問題。

互聯(lián)網(wǎng)時代的來臨，特別是人工智能技術(shù)的迅速發(fā)展，給傳統(tǒng)餐飲店帶來了巨大的經(jīng)濟帶動效力和發(fā)展機遇。筆者經(jīng)過調(diào)研統(tǒng)計發(fā)現(xiàn)，紙質(zhì)菜單在中國餐飲業(yè)仍有極大的普及度。但存在上文中提到的困境。針對傳統(tǒng)紙質(zhì)菜單存在的弊端，筆者將圖像處理技術(shù)、計算機視覺方法引入餐飲服務(wù)領(lǐng)域，提出創(chuàng)新性思路方案。

1 菜單形式演變分析及改進方法提出

1.1 演變分析

掛牌菜單，常見于上世紀老式餐館。因其信息匱乏、展示效果差、不易更新等諸多缺點，除特色風格餐廳外，極少餐飲店會選擇使用。掛牌菜單樣例如圖1。

圖1 掛牌菜單樣例

一般情況，我們所接觸到的餐單主要是紙質(zhì)菜單。傳統(tǒng)紙質(zhì)菜單形式具有以下幾個特點：

（1）具有高認可度和熟悉度，操作簡單。精致的紙質(zhì)菜單體現(xiàn)餐飲店文化氛圍和經(jīng)營理念。

（2）服務(wù)人員與顧客在點菜時可以有良好的交流介紹，能夠更好的提供服務(wù)。

（3）紙張消耗量雖大，但成本并不多，一般店家完全可以接受。

（4）需要人員人工記憶和結(jié)算金額等環(huán)節(jié)耗時長、易出錯。

電子菜單是在二十一世紀后伴隨著移動電子商務(wù)的火熱而發(fā)展起來的。目的是節(jié)約人力、集成業(yè)務(wù)流程。常見于高檔餐廳，具有一下特點：

（1）易于及時更新、信息容量大、良好的客戶體驗感特點。

（2）需結(jié)合無線網(wǎng)絡(luò)、觸摸屏等硬件設(shè)備和數(shù)據(jù)庫、軟件系統(tǒng)等。

（3）購買硬件設(shè)備軟件系統(tǒng)維護的成本開銷對于數(shù)量眾多的中小型餐飲店是難以承受的負擔。

（4）存在數(shù)據(jù)傳輸穩(wěn)定性、降低消費者點餐欲望和自主點菜沒有服務(wù)人員介紹等隱形缺陷。

1.2 改進紙質(zhì)菜單方式

菜單在現(xiàn)在餐廳中的主要使命為商家向食客推廣介紹自己的菜品，通過擬定菜品名稱和搭配精美的圖片，以提供價位與簡介等信息給消費者。菜單不僅是餐廳的消費指南，更是餐廳對外界作形象宣傳的重要名片[1]。改進紙質(zhì)菜單點菜方式保留使用紙質(zhì)形式，通過智能手機拍攝顧客勾選后的菜單，通過深度學(xué)習(xí)中的目標檢測算法，如SSD（Single Shot Multibox Detector）[2]、YOLO（You Only Look Once）[3]等可以實現(xiàn)對菜單中勾選菜品的檢測識別、信息傳輸。

但在目標檢測領(lǐng)域存在不可避免的準確度和時間復(fù)雜度的問題。筆者通過數(shù)字圖像處理技術(shù)對該方法中的諸多問題提出改進思路。一定程度上保留了紙質(zhì)菜單的主流使用行、儀式感、品牌傳遞性等優(yōu)勢，克服了耗時長、結(jié)算易出錯、等弊端。

2 圖像處理思路及實現(xiàn)效果

一幅圖像可定義為一個二維函數(shù)f（x,y），當空間坐標、和幅值為有限的離散數(shù)值時，稱該圖像為數(shù)字圖像[4]。應(yīng)用計算機來合成、變化已有的數(shù)字圖像，從而產(chǎn)生一種新的效果，并把加工處理后的圖像重新輸出的過程稱為數(shù)字圖像處理[5]。圖像處理技術(shù)伴隨計算機發(fā)展到現(xiàn)階段，技術(shù)不斷在理論和實際應(yīng)用中完善，在生物醫(yī)學(xué)、地球科學(xué)、航天航空、軍事、電子商務(wù)等諸多領(lǐng)域發(fā)揮重要作用。筆者針對前文提出的需求和特點分析，讓計算機完成人們通過人眼獲取和人腦記憶就可菜單信息的一系列動作。探討該技術(shù)在紙質(zhì)菜單目標檢測中的應(yīng)用。并與成都碼頭故事有限責任公司合作，經(jīng)過實驗和實際測試表明該思路和方法革新取得明顯的效果。

2.1 圖像及信息的獲取

搭載攝像設(shè)備的智能手機可以讓人們隨時隨地輕易地拍攝數(shù)字圖像。同樣，用餐的客戶或者是服務(wù)人員可以通過智能手機拍攝完整的菜單圖像。圖像可以通過開發(fā)的軟件接口傳輸輸入服務(wù)器進行圖像處理識別以獲取后續(xù)需要處理的信息。OpenCV 技術(shù)是開源的計算機視覺庫，為用戶提供了計算機視覺處理的算法和圖像處理函數(shù)庫。實驗中通過計算機對圖像的讀取、各種處理和輸出的實現(xiàn)均依托于Python 語言和OpenCV 技術(shù)。

2.2 圖像的處理識別過程

餐飲菜單普遍具有背景花哨、文字圖形復(fù)雜等特點，直接將圖像應(yīng)用于目標檢測算法中會導(dǎo)致準確率大大降低。小目標檢測、精準定位、虛檢漏檢等問題同樣是在數(shù)字圖像處理方面影響目標檢測算法的因素。筆者提出通過一系列組合圖像處理技術(shù)進行圖像特定處理已到達優(yōu)化目標檢測的效果。

（1）圖像預(yù)處理

對拍攝的菜單圖像進行灰度化處理得到灰度圖。灰度圖像上每個像素的顏色值成為灰度，指黑白圖像中點的顏色深度，范圍一般從0 到255。拍攝的彩色圖像采用RGB 色彩模式，處理圖像時就要對三種分量進行處理，而實際該信息不能反映內(nèi)容特征。灰度化可以將顏色信息忽略，得到梯度信息。通過高斯濾波對圖片進行噪聲抑制。數(shù)字圖像的噪聲抑制是圖像預(yù)處理的關(guān)鍵步驟，直接影響到圖像增強、圖像分割、圖像編碼等后續(xù)圖像處理的效果[6]。高斯濾波是一種線性非平均濾波器，通過對像素的灰度值進行計算重新賦值達到對平滑圖像的效果。處理后效果如圖2。

圖2 預(yù)處理效果圖

（2）定位及圖像矯正方法

為快速準確的獲取菜單在圖像中的位置和內(nèi)部待識別信息的相對位置，提出一種改進方法：在菜單的左上、左下、右上添加繪制一個簡單“二維碼”，如圖3。通過局部二值化，將圖像的像素灰度值設(shè)置為0 或255，也就是非黑即白，使整個圖像呈現(xiàn)出明顯的黑白效果。在對其進行數(shù)學(xué)形態(tài)學(xué)中的膨脹運算，作用是在結(jié)構(gòu)元素的約束下將與目標區(qū)域（二維碼）相接觸的背景合并到該目標物中，使二維碼顯示完整。處理效果如圖4。在圖像處理與機器視覺等應(yīng)用領(lǐng)域中，形狀是物體的重要信息。數(shù)學(xué)形態(tài)學(xué)通過物體的邊緣、形態(tài)骨架等對圖像的幾何結(jié)構(gòu)進行描述，提供了一個有效的形狀描述與分析方法[7]。選擇腐蝕、膨脹、開啟、閉合四種基本運算處理圖像可以實現(xiàn)許多使用算法。為實現(xiàn)依據(jù)二維碼定位的目的，利用OpenCV 尋找子輪廓深度是2 且近似正方形的輪廓，對查找到的輪廓進行范圍過濾，確定二維碼定位點。處理后效果如圖5。

圖3 菜單正面圖

圖4 形態(tài)學(xué)膨脹

圖5 中心定位

為適應(yīng)實際中出現(xiàn)的菜單在不同拍攝圖像中位置的差異和畸變，如平移、旋轉(zhuǎn)、彎曲、背景噪聲等，對圖像能進行精確的識別操作。圖層拷貝后根據(jù)三個定位點使用最小包圍矩陣并進行仿射變換、透視變換、旋轉(zhuǎn)矯正操作。仿射變換（Affine Transformation）是一種二維坐標到二維坐標的線性變換，保持了圖形的平直性和平行性。透視變換（Perspective Transformation）是將圖像投影到一個新的視平面。以上的矯正操作實現(xiàn)了對受手機角度、高度等影響拍攝的不規(guī)則圖像轉(zhuǎn)換成矩形的結(jié)果。以某次實驗拍攝圖像處理，處理效果如圖6-圖7。

圖6 某次拍攝圖像的二值化圖

圖7 仿射變換后圖像

（3）子菜單分割及信息提取

同樣通過樹形結(jié)構(gòu)遞歸查找輪廓得到過濾后符合條件的子菜單輪廓，用最小矩陣包圍。以實驗菜單為例，菜單正面有七個子菜單，反面有五個子菜單。效果如圖。根據(jù)二維坐標將每個矩形框進行定位并分組、排序。為檢測到勾選的菜品目錄，對子圖像進行二值化、形態(tài)學(xué)閉合操作。閉運算是先膨脹后腐蝕的組合運算，目的是填充目標內(nèi)部的細小間隙，斷開與臨近目標的連接，在不明顯改變形狀的條件下平滑邊界。實現(xiàn)后續(xù)識別每個菜品前的勾選標記。對坐標進行按行水平分割并排序。通過目標檢測算法可以提取勾選標記所在行位置，存儲記錄以和后臺數(shù)據(jù)庫匹配。以子菜單1 為例展示子菜單分割及按行分割效果如圖8-圖10。

3 結(jié)語

將現(xiàn)代流行的深度學(xué)習(xí)中目標檢測算法應(yīng)用在傳統(tǒng)餐飲行業(yè)，提出是智能化紙質(zhì)菜單點餐結(jié)算方式有利于餐飲店的經(jīng)營和顧客的消費感受。圖像數(shù)字處理在目標檢測這一計算機視覺領(lǐng)域又有著重要的地位。針對菜單識別的實際背景和特點，提出了諸多改進識別準確度和時間的思路。通過對成都碼頭故事有限責任公司的紙質(zhì)菜單的實驗，進一步的驗證了思路的可行行和結(jié)果。能夠?qū)鹘y(tǒng)識別算法的準確度提高10-20%。同時也能夠滿足通過App 軟件接口實時響應(yīng)的效果。創(chuàng)新性的點餐和結(jié)算方式將可能擴展于更多的餐飲店，逐漸體現(xiàn)出該方法的優(yōu)勢，推動行業(yè)的高速高質(zhì)量發(fā)展。

圖8 尋找輪廓分割子菜單

圖9 子菜單1二值化及閉運算

圖10 子菜單1按行分割