劉興 錢進

一汽-大眾汽車有限公司佛山分公司，中國·廣東 佛山 528000

1 引言

圖像識別是指計算機對圖片進行讀取，解析圖片中的信息，依據(jù)于智能識別算法，對圖像進行處理、分析、識別、分類。CNN 的快速發(fā)展，大大提升了圖像識別處理的能力[1]。

在汽車在生產過程中需要安裝多根線束，因為線束形狀的特異性等，主要依靠人工進行安裝，在安裝過程中如果發(fā)生錯裝漏裝等現(xiàn)象，不易第一時間發(fā)現(xiàn)問題，一旦出現(xiàn)問題就會產生較大的返工維修等，會造成巨大的損失。

針對上述錯漏裝不易發(fā)現(xiàn)的問題，而且為了實現(xiàn)最低成本實現(xiàn)預防的問題，論文主要描述了一套基于樹莓派，通過python、OpenCV、CNN 模型來實現(xiàn)汽車線束圖像識別的方法，從而杜絕錯漏裝的現(xiàn)象。本系統(tǒng)通過python snap7 與線體PLC 通信來獲取當前車輛信息和車輛所處的位置；其次利用OpenCV 進行拍照然后對拍攝圖像進行預處理；再利用CNN 進行圖像識別分類；最后利用樹莓派外接相應的報警設施最終實現(xiàn)錯漏裝或者安裝不到位的報警[2]，該系統(tǒng)具有低成本、低功率、高準確率的特點。

2 系統(tǒng)功能和框架整體介紹

主要包含3 大模塊，分別為車輛信息采集模塊、圖像采集模塊，圖像識別模塊。

車輛信息采集模塊：利用python-snap7 與plc s7-300 實時通訊獲得固定位置車輛到達信息，作為后續(xù)拍照、分析啟動的先決條件。

圖像采集模塊：利用OpenCV 進行現(xiàn)場圖片采集并進行降噪、灰度處理、像素大小處理。

圖像識別模塊：利用遷移學習，訓練自己的網(wǎng)絡模型，將采集處理后的圖片與模型對比分析，判斷安裝狀態(tài)

3 系統(tǒng)搭建

3.1 圖片降噪

在汽車生產過程因為多車型并線生產，故線束安裝狀態(tài)有多種情況，這里暫時以兩種車型安裝后的狀態(tài)為初始圖片集合。利用樹莓派和UVC 相機共收集auok、aunook、vwok、vwnook 四種狀態(tài)下1112 張圖片，圖片大小為640*480px。然后對圖片進行二極化灰度處理，因為在樣本拍攝過程中，因為相機自身的問題及信號傳輸?shù)目赡軙盏叫盘柛蓴_問問題，會導致圖片中通常會產生高斯噪聲和椒鹽噪聲，會出現(xiàn)影響視覺判斷的黑白像素點，論文利用OpenCV的cv2.blur（）均值濾波函數(shù)對其進行降噪處理，其濾波核ksize 為（5,5）[3]。

并根據(jù)卷積神經(jīng)網(wǎng)絡的計算要求，對圖片進行歸一化處理，確保圖片大小等為標準形式[4]。

式中：xi 為圖像像素點值；min（x）、max（x）分別為圖像像素的最小值與最大值。

3.2 數(shù)據(jù)集構建

為了數(shù)據(jù)統(tǒng)一處理，Tensorflow 框架使用的圖片數(shù)據(jù)格式為TFRecord 格式，其可以將各種數(shù)據(jù)類型轉換為tensorflow 可以識別的數(shù)據(jù)，在python 中，其主要依靠TFRecordWriter 存入到Example 協(xié)議內存中，更易應用于神經(jīng)網(wǎng)絡框架中[4]。

3.3 模型構建

卷積神經(jīng)網(wǎng)絡為當前最為火爆的深度學習網(wǎng)絡學習的一種，其主要為識別二維圖形，通過卷積層和池化層交替連接，最終通過全連接層輸出分類結果[5]。

本系統(tǒng)利用TensorFlow 框架自主搭建一個簡易的卷積神經(jīng)網(wǎng)絡，分別為→卷積層→池化層→卷積層→池化層→卷積層→全連接層→全連接層→回歸分類層（見表1）。

表1 網(wǎng)絡結構

3.4 模型訓練

讀取存儲的tfrecord格式數(shù)據(jù)集，并聲明程序所需的變量，包含圖像的高寬、圖像分類種類、訓練次數(shù)，學習率，batch 等，利用Tensorflow 的tf.train.Saver( ).save(sess,path)保存訓練好的模型。

3.5 圖像采集并驗證

為便于操作，利用智能語音控制模塊采集語音，通過RXTX 串口協(xié)議，將語音信號作為啟動條件，然后通過snap7 獲取車輛信息，作為拍照程序的啟動信號二，并拍攝當前狀態(tài)照片，然后對當前照片進行降噪、灰度二值化、圖片大小統(tǒng)一等處理，然后載入訓練好的預測模型中，進行驗證測試。

4 結語

論文提出了一種基于CNN 和OpenCV，利用樹莓來解決汽車線束安裝是否錯漏裝的解決方案。其主要利用Tensorflow 平臺構建一個7 層的CNN，利用OpenCV 對拍攝的圖片進行降噪處理，利用樹莓派處理能力進行圖像識別分類。

本系統(tǒng)主要有車輛信息采集模塊、圖像采集模塊，圖像識別模塊系統(tǒng)三大模塊，利用了CNN、OpenCV、GPIO、語音模塊、UVC、樹莓派，構建了低成本、低功耗的汽車線束安裝識別系統(tǒng)，拓展了圖像識別在汽車制造領域的使用場景。