張永雄 王亮明 李東

摘 要： 為了解決當前交通標志種類繁多和所處環(huán)境多變，導致智能識別正確率不高的問題，提出基于多示例深度學習的交通標志識別算法。根據(jù)樣本圖像塊與其對應的標簽設計一個包含顏色、幾何、區(qū)域特征的訓練集，得到樣本特征與標簽的對應規(guī)律；根據(jù)權重修正反饋，推導包與標簽的邏輯關系，建立多示例訓練學習算子，準確分類交通標志。進行訓練集損失函數(shù)計算，通過最優(yōu)分類器響應減少訓練數(shù)據(jù)損失。最后，基于大數(shù)據(jù)樣本驅(qū)動形成背景約束，從而去除示例中模棱兩可的訓練數(shù)據(jù)，完成交通標志的準確識別。基于QT平臺，開發(fā)相應的識別軟件。實驗測試結果顯示，與當前交通標志識別技術相比，所提算法擁有更高的識別正確性與魯棒性，且對各類交通標志具有較高的識別準確率，在智能汽車、自動交通監(jiān)控等領域具有一定的應用價值。

關鍵詞： 交通標志識別； 損失函數(shù)優(yōu)化； 訓練集； 多示例； 深度學習； 背景約束

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）15?0133?04

Traffic sign recognition algorithm based on multi?instance deep learning and

loss function optimization

ZHANG Yongxiong1， 3， WANG Liangming2， LI Dong1

（1. School of Software Engineering， South China University of Technology， Guangzhou 510006， China；

2. School of Computer Science & Engineering， South China University of Technology， Guangzhou 510006， China；

3. Guangzhou College of Technology and Business， Guangzhou 510850， China）

Abstract： Since the current traffic signs recognition algorithm has low intelligent recognition accuracy due to its various types of traffic signs and changeable environments， a traffic sign recognition algorithm based on multi?instance deep learning is proposed. According to the image block of samples and its corresponding label， a training set including color， geometry and regional characteristics is designed to obtain the correspondence rule between the sample characteristic and tag. On the basis of feedback of weight correction， the logical relation between package and label is derived， and the learning operator of multi?instance training is established to classify the traffic signs accurately. The loss function of training set is calculated by means of the optimal classifier response to reduce the loss of training data. The background constraint is formed on the basis of large data sample driver， so as to eliminate the ambiguous training data in the instance and accomplish the accurate recognition of traffic signs. The corresponding recognition software was developed with QT platform. The experimental results show that， in comparison with the current traffic signs identification technology， the proposed algorithm has higher recognition accuracy and robustness. The algorithm has high recognition accuracy for various traffic signs， and a certain application value in the fields of intelligent vehicle and automatic traffic monitoring.

Keywords： traffic sign recognition； loss function optimization； training set； multi?instance； depth learning； background constraint

0 引 言

隨著城市汽車保有量的上升，在交通擁堵和事故日益多發(fā)的背景下，主動安全駕駛技術越來越受到企業(yè)和人們的重視。作為主動安全駕駛技術的核心之一，交通標志識別在主動安全系統(tǒng)中有著重要的作用，當駕駛員由于疲勞未注意交通標志時，自動識別算法可以準確及時地識別并提醒駕駛員，由此可以避免發(fā)生交通事故，達到主動安全駕駛的目的[1]。目前交通標志識別的難點在于標志種類繁多，且每種標志隨著天氣、時間和季節(jié)會發(fā)生視覺特征的變化，從而使得樣本量巨大，對識別算法的抗干擾性提出了挑戰(zhàn)[2]。

為此，在交通標志識別方面，國內(nèi)研究人員已經(jīng)取得了一定研究成果。文獻[3]提出基于優(yōu)化卷積神經(jīng)網(wǎng)絡結構的交通標志識別算法，綜合批量歸一化（BN）方法、逐層貪婪預訓練（GLP）方法，以及把分類器換成支持向量機（SVM）這三種方法對卷積神經(jīng)網(wǎng)絡（CNN）結構進行優(yōu)化，提出基于優(yōu)化CNN結構的交通標志識別算法。但是，此技術未充分考慮交通標志樣本的海量多變，往往影響了識別準確性。文獻[4]提出基于分塊自適應融合特征的交通標志識別算法，交通標志由外部輪廓和內(nèi)部指示符號組成。HOG特征可較好地描述圖像輪廓但易受噪聲影響，而LBP特征對圖像細節(jié)刻畫好，提出基于分塊HOG?LBP自適應融合特征的交通標志識別方法；通過分塊計算梯度直方圖得到的權重系數(shù)判斷該塊是屬于輪廓還是內(nèi)部指示，前者選擇HOG權重大，后者選擇LBP特征權重大，將自適應串行融合后的特征送入支持向量機識別。然而，這種技術思維仍然是算法驅(qū)動，而不是大數(shù)據(jù)驅(qū)動，在交通標志超出樣本范圍時往往不準確。

為提高交通標志的識別率，本研究以數(shù)據(jù)驅(qū)動的思維提出多示例深度學習算法，完成大數(shù)據(jù)樣本的收集整理標注工作；綜合特征向量（顏色、幾何和區(qū)域特征），建立數(shù)據(jù)訓練?算法的邏輯推導關系；最后加入訓練集損失函數(shù)計算，進一步去除特征數(shù)據(jù)冗余，完成對交通標志的準確識別。

1 本文交通標志識別算法

人類大腦學習過程主要是根據(jù)過去的經(jīng)驗形成總結或者規(guī)律；計算機學習過程，就是根據(jù)已有數(shù)據(jù)進行樣本訓練，得到分類器或者擬合函數(shù)的過程。以學習過程分類，其中分為監(jiān)督學習、半監(jiān)督學習和非監(jiān)督學習。其中，監(jiān)督學習中每個訓練樣本都有已知標記，半監(jiān)督學習中部分樣本沒有標記，而非監(jiān)督學習中樣本都沒有標記[5]。

多示例學習中有：包（bags）和示例（instance）兩個概念。包由多個示例組成，本研究中一張幅圖片就是一個包，圖片分割出的圖像塊（patches）就是示例。在多示例學習中，包帶有類別標簽而示例不帶類別標簽，最終目的是給出對新的包的類別預測[6]。由于用于訓練分類器的示例是沒有類別標記的，但是對于包所屬標簽定義卻存在類別標記，因此，在本文中，多示例學習是介于監(jiān)督學習與無監(jiān)督學習之間且不同于半監(jiān)督學習的一種學習方法。另外，在本文多示例學習機制中，如果一個包里面存在至少一個被分類器判定標簽為“+”的示例，則該包為正包，反之，若其示例均被分類器判定標簽為“-”，則其為負包[6]。

在本文中，當一個bag的標記為A時，這個bag里面所有數(shù)據(jù)的標記都是A；當一個bag的標記為B時，這個bag里面至少有一個數(shù)據(jù)的標記為B，目標是把每種交通標志，即每個包分別歸類。如圖1所示，圖中交通標志種類繁多，即本研究的識別對象。

1.1 基于多示例深度學習算子的標志分類

本研究首先設計一個訓練集[X]，其中[Xi]代表訓練集[X]中第[i]個包，每個包含有一系列示例，如有[m]個示例：

2 實驗與討論

為了體現(xiàn)本文算法的優(yōu)勢，將交通標志識別性能較好的技術，即文獻[3?4]設為對照組；并基于QT平臺開發(fā)識別軟件。執(zhí)行算法實驗參數(shù)為：多示例模型分子= [38，96，12，4]，特征模型為[12，7，57，34]。

本文開發(fā)的交通標志系統(tǒng)界面如圖4a）所示，系統(tǒng)功能具有實時視頻開啟、主動安全開啟、多示例學習、深度學習、智能識別等。本研究先設計訓練集，包含顏色、幾何、區(qū)域特征，建立包與標簽的關系，然后進行損失函數(shù)計算，得到最優(yōu)分類器，如圖4b）所示，本文算法能夠準確識別交通標志。

利用對照組文獻[3]技術，把分類器換成支持向量機（SVM），這三種方法對卷積神經(jīng)網(wǎng)絡（CNN）結構進行優(yōu)化，提出基于優(yōu)化CNN結構的交通標志識別算法。但是，此技術未充分考慮交通標志樣本的海量多變，往往影響了識別準確性，如圖4c）所示，識別有誤差，左上角標志識別錯誤。

利用對照組文獻[4]技術，通過分塊計算梯度直方圖得到的權重系數(shù)來判斷該塊是屬于輪廓還是內(nèi)部指示，前者選擇HOG權重大，后者選擇LBP特征權重大，將自適應串行融合后的特征送入支持向量機識別。然而，這種技術思維仍然是算法驅(qū)動，而不是大數(shù)據(jù)驅(qū)動，在交通標志超出樣本范圍時，識別往往不準確，如圖4d）所示，識別有誤差，右下角標志識別錯誤。

為了進一步測試三種算法的穩(wěn)定性，基于本文整理的500 000個交通標志作為測試數(shù)據(jù)庫，測試結果見表1。由表1可知，本文算法的穩(wěn)健性最高，在這種大型樣本庫中，其準確識別率為96.3%，而文獻[3?4]兩種算法的準確識別率要低于所提算法，分別為91.7%，93.4%。這表明所提交通標志識別算法具有更理想的穩(wěn)健性。

3 結 論

為了解決交通標志識別算法容易受到標志種類變化和環(huán)境時間變化的干擾，導致交通標志識別系統(tǒng)存在識別力不足，影響系統(tǒng)功能實現(xiàn)。本文分別從大數(shù)據(jù)樣本收集標注、多示例深度學習、集成智能識別出發(fā)，提出基于多示例深度學習的交通標志識別算法?；诖髷?shù)據(jù)樣本與深度學習算法彌補了傳統(tǒng)算法驅(qū)動技術的不足，即將規(guī)則人為寫入程序；而本研究采用數(shù)據(jù)驅(qū)動的深度學習技術，不僅賦予系統(tǒng)更多的智能反饋自調(diào)節(jié)，同時保證了識別精度與穩(wěn)定性。實驗結果表明本文交通標志識別算法具有更高的準確度和穩(wěn)定性。

參考文獻

[1] 謝錦，蔡自興，鄧海濤，等.基于圖像不變特征深度學習的交通標志分類[J].計算機輔助設計與圖形學學報，2017，29（4）：632?640.

XIE Jin， CAI Zixing， DENG Haitao， et al. Classification of traffic signs based on image invariant feature depth learning [J]. Journal of computer aided design and computer graphics， 2017， 29（4）： 632?640.

[2] KR??K E， TOTH ?. Traffic sign recognition and localization for databases of traffic signs [J]. Acta electrotechnica et informatica， 2011， 11（4）： 31?35.

[3] 王曉斌，黃金杰，劉文舉.基于優(yōu)化卷積神經(jīng)網(wǎng)絡結構的交通標志識別[J].計算機應用，2017，37（2）：530?534.

WANG Xiaobin， HUANG Jinjie， LIU Wenju. Traffic sign re?cognition based on optimized convolutional neural network [J]. Computer applications， 2017， 37（2）： 530?534.

[4] 戈俠，于鳳芹，陳瑩.基于分塊自適應融合特征的交通標志識別[J].計算機工程與應用，2017，53（3）：188?192.

GE Xia， YU Fengqin， CHEN Ying. Traffic sign recognition based on block adaptive fusion feature [J]. Computer enginee?ring and applications， 2017， 53（3）： 188?192.

[5] ZHOU Shusen， ZOU Hailin， LIU Chanjuan. Deep extractive networks for supervised learning [J]. Optik： international journal for light and electron optics， 2016， 127（20）： 9008?9019.

[6] FARIA A W C， COELHO F G F， SILVA A M. A new approach for multiple instance learning based on positive instance selection and kernel density estimation [J]. Engineering applications of artificial intelligence， 2017， 59（12）： 196?204.

[7] 劉占文，趙祥模，李強，等.基于圖模型與卷積神經(jīng)網(wǎng)絡的交通標志識別方法[J].交通運輸工程學報，2016，16（5）：122?131.

LIU Zhanwen， ZHAO Xiangmo， LI Qiang， et al. A traffic sign recognition method based on graph model and convolutional neural network [J]. Journal of traffic and transportation engineering， 2016， 16（5）： 122?131.

[8] ZHONG Jingjing， TSE P W， WANG Dong. Novel Bayesian inference on optimal parameters of support vector machines and its application to industrial survey data classification [J]. Neurocomputing， 2016， 211： 159?171.

[9] YU Yongtao. Bag?of?visual?phrases and hierarchical deep mo?dels for traffic sign detection and recognition in mobile laser scanning data [J]. ISPRS journal of photogrammetry and remote sensing， 2016， 11（7）： 36?39.

[10] OUERHANI Y. Advanced driver assistance system： road sign identification using VIAPIX system and a correlation technique [J]. Optics and lasers in engineering， 2016， 12（2）： 71?76.