朱文博　杜鋒

摘? 要：為了減輕制圖教師批改尺規(guī)作業(yè)的工作量，提出一種基于圖像處理的匹配算法。首先將紙質(zhì)版作業(yè)拍照為圖像;然后對圖像進(jìn)行灰度化，利用OTSU方法二值化，對有效區(qū)域進(jìn)行裁剪，調(diào)節(jié)標(biāo)準(zhǔn)答案與學(xué)生作業(yè)像素尺寸大小，采用幀差法進(jìn)行標(biāo)準(zhǔn)答案和學(xué)生作業(yè)的匹配，將標(biāo)準(zhǔn)答案與學(xué)生作業(yè)相減得出不同之處;最后在學(xué)生作業(yè)中將不同之處標(biāo)記出來，從而實現(xiàn)尺規(guī)作業(yè)的自動批改。通過實驗驗證，該方法能快速準(zhǔn)確地批改尺規(guī)作圖。對于采用AutoCAD等軟件繪圖的作業(yè)只需另存為圖片格式，同樣適用于本文所述方法。

關(guān)鍵詞：圖像處理;圖像匹配;幀差法;工程制圖作業(yè);自動批改

中圖分類號：TP391.4? ? ?文獻(xiàn)標(biāo)識碼：A

Research on the Correcting Method of Engineering Drawing

Homework based on Image Processing

ZHU Wenbo， DU Feng

（School of Mechanical Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

teacherzwb@163.com; 1002054400@qq.com

Abstract： In order to reduce the workload of drawing teachers in correcting ruler-and-compass construction assignments， this paper proposes a matching algorithm based on image processing. Firstly， the paper homework is photographed as an image that is then grayed and binarized by OTSU method. The effective area is clipped， and the pixel size of the standard answer and the students' homework are adjusted. The frame difference method is used to match the standard answer and students' homework. The standard answer and the students' homework are subtracted to get their differences， which are finally marked in students' homework. Therefore， the automatic correction of students' homework is realized. The experimental results show that the method can correct ruler-and-compass construction homework quickly and accurately. The proposed method also applies to drawing homework with software such as AutoCAD， which only needs to be saved as an image format.

Keywords： image processing; image matching; frame difference method; engineering drawing homework; automatic

correction

1? ?引言（Introduction）

工程制圖是工科學(xué)生必修的一門專業(yè)基礎(chǔ)課程，是培養(yǎng)學(xué)生繪制與閱讀各類機(jī)械圖樣能力的課程。要掌握此課程的知識，練習(xí)習(xí)題是必不可少的。練習(xí)習(xí)題可以分為兩類，一類是計算機(jī)軟件繪圖;另一類是最為廣泛的尺規(guī)繪圖。目前已有一些針對計算機(jī)軟件繪圖自動批改的研究[1]。然而在尺規(guī)繪圖方面，仍然是教師手動批改，這使得教師需要花費大量的精力批改習(xí)題，導(dǎo)致教師的科研效率大大降低。繁重的工作量使基于圖像處理的自動批改系統(tǒng)得到較好的應(yīng)用，其核心包括圖像采集、圖像處理、分析模塊以及人機(jī)交互模塊等。采用圖像處理的方法如何自動批改大量的制圖作業(yè)，減輕制圖教師的工作量，是一個值得研究的課題。

2? ?研究現(xiàn)狀（Research status）

在現(xiàn)有的自動批改制圖作業(yè)的方法中，絕大部分需要學(xué)生首先使用繪圖軟件做作業(yè)，之后再進(jìn)行軟件的二次開發(fā)完成作業(yè)批改任務(wù)。沈培玉等[2]利用ObjectARX反應(yīng)器編寫程序進(jìn)行圖元整理及分類;劉小婷[3]基于立體重構(gòu)，使用AutoCAD的二次開發(fā)完成作業(yè)批改。楊萬理等[4]自主研發(fā)了矢量圖形平臺ATVGP完成作業(yè)以及進(jìn)行作業(yè)的批改，此研究突破了CAD平臺繪圖的限制，但仍需要在固定平臺中完成作業(yè)。目前來看，剛進(jìn)入大學(xué)的學(xué)生還是以尺規(guī)畫圖為主，軟件作圖為輔，然而針對尺規(guī)畫圖作業(yè)的自動批改卻鮮有研究。本文將學(xué)生的紙質(zhì)尺規(guī)作業(yè)進(jìn)行拍照，將軟件作圖作業(yè)進(jìn)行截圖，基于圖像處理來進(jìn)行圖像匹配，從而完成作業(yè)的批改。

目前應(yīng)用廣泛的圖像匹配方法主要有兩大類：一是基于灰度化相關(guān)的圖像匹配，此方法算法簡單，但計算量大;另一種是基于特征進(jìn)行圖像匹配，主要的算法有：SURF算法、Harris算法、SIFT算法等，計算量小，但精確度不高。這兩種方法只能找到兩幅圖像相同像素的對應(yīng)位置，而制圖作業(yè)批改需要找到標(biāo)準(zhǔn)答案與學(xué)生作業(yè)（均拍攝為圖像）這兩幅圖像之間的不同之處，使用這兩種方法均不能得到所需結(jié)果。本文將采用幀差法對標(biāo)準(zhǔn)答案與學(xué)生作業(yè)進(jìn)行圖像匹配，找出不同之處并做出標(biāo)記。

3 基于圖像處理的工程制圖作業(yè)批改方法（Correcting method of engineering drawing based on image processing）

3.1? ?圖像灰度處理及二值化

標(biāo)準(zhǔn)答案與學(xué)生作業(yè)的圖像匹配與圖像顏色無關(guān)，因此將彩色圖像灰度化后其傳輸數(shù)據(jù)由三維矩陣降至一維矩陣，即可加快后期對圖像處理的速度，故本文將所采集的彩色圖像一律采用加權(quán)平均算法進(jìn)行圖像灰度處理。

二值化處理是對灰度化圖像進(jìn)行閾值操作，去除灰度圖像中的噪聲。本文采用最大類間方差法[5]。該方法是日本學(xué)者大津（Nobuyuki Otsu）于1979 年提出的用于二值化的一種閾值確定方法，又稱為大津法（OTSU）。此方法計算速度較快，可根據(jù)灰度圖像自行確定閾值，因此可以較好地適應(yīng)不同場景的圖像。

3.2? ?有效區(qū)域截取及旋轉(zhuǎn)

標(biāo)準(zhǔn)答案與學(xué)生作業(yè)在拍照或截圖時會出現(xiàn)無效區(qū)域，為了節(jié)省計算時間，對標(biāo)準(zhǔn)答案與學(xué)生作業(yè)提取有效區(qū)域。本文采用基于輪廓最小正外接矩形的方法截取所需的有效區(qū)域。遍歷整張圖像，尋找最小正外接矩形所需最大坐標(biāo)與最小坐標(biāo)，原始圖像如圖1（a）所示。根據(jù)最大坐標(biāo)與最小坐標(biāo)，利用最小正外接矩形截取有效區(qū)域后的圖像如圖1（b）所示。由于學(xué)生拍攝的圖像可能是歪的，截取出來的圖片在矩形框中也是歪的，因此需要對其進(jìn)行旋轉(zhuǎn)校正。從圖1（b）中獲取矩形框的四個頂點的坐標(biāo)，的角度以及圖像中心點，以中心點為旋轉(zhuǎn)中心利用圖像仿射旋轉(zhuǎn)變換原理[6]對圖像進(jìn)行旋轉(zhuǎn)校正，如圖1（c）所示。

3.3? ?有效區(qū)域圖像的像素矩陣調(diào)節(jié)

無論標(biāo)準(zhǔn)答案還是學(xué)生作業(yè)的有效區(qū)域圖像均是以像素矩陣的形式存儲的。為了便于后續(xù)使用幀差法匹配標(biāo)準(zhǔn)答案與學(xué)生作業(yè)圖像，需使兩幅圖的像素矩陣行列數(shù)一致。對于一道制圖題目，標(biāo)準(zhǔn)答案是固定的，學(xué)生作業(yè)卻各式各樣，標(biāo)準(zhǔn)答案只需處理一次，故將學(xué)生作業(yè)行列數(shù)調(diào)整為標(biāo)準(zhǔn)答案的行列數(shù)。

設(shè)學(xué)生作業(yè)像素矩陣為，標(biāo)準(zhǔn)答案像素矩陣為。若且，則不需要更改像素矩陣。若或，則需利用雙線性插值算法[7]將作業(yè)原圖像素矩陣變?yōu)樽鳂I(yè)新圖像素矩陣。表示作業(yè)原圖圖像的像素值;表示作業(yè)新圖圖像的像素值，如圖2所示。

（1）若求得作業(yè)原圖中的行、列數(shù)值均為整數(shù)，直接將賦予到作業(yè)新圖。

（2）若求得作業(yè)原圖中的行、列數(shù)值均為非整數(shù)，需利用雙線性插值的方法得到。對行、列數(shù)值取整，找到、、、像素值，如圖3所示。用式（2）求出。

（3）若行、列數(shù)值一個為整數(shù)，另一個為非整數(shù)。假設(shè)行為非整數(shù)，列為整數(shù)，利用式（3）求得像素值;若列為非整數(shù)，行為整數(shù)，則利用式（4）求得。

式（2）、式（3）、式（4）求出的數(shù)值若為小數(shù)，四舍五入為整數(shù)。通過式（1）—（4）求出作業(yè)新圖像素矩陣。

3.4? ?圖像匹配

采用幀差法將標(biāo)準(zhǔn)答案與學(xué)生作業(yè)進(jìn)行匹配，此方法廣泛應(yīng)用于對運動目標(biāo)的檢測[8]。將像素矩陣大小一致的標(biāo)準(zhǔn)答案與學(xué)生作業(yè)進(jìn)行灰度處理。設(shè)學(xué)生作業(yè)灰度圖像為，標(biāo)準(zhǔn)答案灰度圖像為，根據(jù)幀差法的運算過程將對應(yīng)像素點相減，并取絕對值，如式（5）所示，得到最終的差分結(jié)果圖像為。

設(shè)定閾值將差分圖二值化處理。經(jīng)過大量實驗對比，設(shè)定閾值為225比較合理。隨后繼續(xù)處理該二值化圖像，若差分圖像中的像素值大于225，則為圖像目標(biāo);若小于225，則為背景。采用自適應(yīng)中值濾波[9]進(jìn)行濾波降噪，并采用形態(tài)學(xué)梯度算子[10]中的膨脹腐蝕性算子進(jìn)行邊緣處理，通過膨脹連接目標(biāo)邊緣、填充黑洞，腐蝕二值化圖像背景中的噪聲點。

3.5? ?批改結(jié)果顯示

采用輪廓查找的方法將處理后的二值化圖像中所有像素點檢測出來并保存。之后，在學(xué)生作業(yè)中，將保存的所有像素點用輪廓繪制的方法使用紅色線條繪制出學(xué)生作業(yè)錯誤之處，最終完成作業(yè)批改。

4? 實驗步驟與結(jié)果（Experimental procedures and results）

4.1? ?實驗條件的構(gòu)建

實驗平臺的搭建包括計算機(jī)一臺，本實驗采用VS2015+OpenCV進(jìn)行實驗軟件系統(tǒng)的開發(fā)。實驗設(shè)備還包括用于拍攝尺規(guī)作業(yè)的設(shè)備，使用普通手機(jī)即可，為了拍照清晰，手機(jī)安裝在支架上，避免拍照時人為晃動手機(jī);作業(yè)放置在載物臺上;采用成本低、光亮穩(wěn)定的條形LED燈光源照明，如圖4所示。

由于本文所提算法是針對一個具有外輪廓的圖進(jìn)行匹配，如果是一個不加外框的三視圖，則會匹配出單獨的三個圖，因此對于三視圖的作業(yè)，需要將三視圖加一個邊框，即作為一個整體圖像來解決這一問題。如圖5所示，原習(xí)題集格式為圖5（a），需修改為如圖5（b）所示格式。

4.2? ?實驗步驟

以圖6（a）為標(biāo)準(zhǔn)答案，圖6（b）為學(xué)生作業(yè)為例，對兩幅圖進(jìn)行圖像處理，找出該學(xué)生作業(yè)錯誤之處，并對錯誤之處進(jìn)行標(biāo)注。用手機(jī)拍照紙質(zhì)版作業(yè)，并用手機(jī)里安裝的全能掃描王APP處理后得到的JPG圖像如圖6所示。

實驗過程如下：

（1）圖像預(yù)處理——灰度化、二值化

將掃描的原圖采用OpenCV[11]中的CV_BGR2GRAY函數(shù)進(jìn)行灰度化處理，得到標(biāo)準(zhǔn)答案與學(xué)生作業(yè)的灰度化圖像?；叶然笞龆祷幚恚捎肙TSU的方法，利用threshold函數(shù)分割目標(biāo)與背景兩部分，得到標(biāo)準(zhǔn)答案二值化圖像，如圖7（a）所示;得到學(xué)生作業(yè)二值化圖像，如圖7（b）所示。

（2）按輪廓剪切有效區(qū)域圖像

由于學(xué)生拍攝的圖或大或小，而圖像處理只需要矩形框內(nèi)的圖形，需裁剪矩形框外面的空白處，得到有效矩形框及內(nèi)部圖形。利用OpenCV中的findContours函數(shù)獲取矩形的輪廓，利用boundRect函數(shù)中的正外接矩形存儲上面所獲取的輪廓，然后用仿射變換進(jìn)行旋轉(zhuǎn)校正并裁剪掉輪廓外的區(qū)域。兩幅生成的有效區(qū)域圖像保存到本地文件夾，方便后續(xù)步驟所用。

（3）調(diào)整標(biāo)準(zhǔn)答案與學(xué)生作業(yè)像素矩陣大小

調(diào)整學(xué)生作業(yè)像素矩陣大小與標(biāo)準(zhǔn)答案一致。調(diào)用OpenCV庫中的resize函數(shù)，用雙線性插值算法調(diào)整學(xué)生作業(yè)像素矩陣。

（4）幀差法進(jìn)行圖形匹配

截取有效區(qū)域以及統(tǒng)一像素矩陣大小后，對標(biāo)準(zhǔn)答案與學(xué)生作業(yè)進(jìn)行灰度處理，利用subtract函數(shù)對標(biāo)準(zhǔn)答案與學(xué)生作業(yè)進(jìn)行差分運算，得到兩幅圖的差分圖像，如圖8（a）所示。對差分圖像選用225的閾值進(jìn)行二值化處理得到二值化圖像，之后進(jìn)行自適應(yīng)中值濾波去除噪聲，然后采用形態(tài)學(xué)中的閉運算處理，選取矩形結(jié)構(gòu)，先膨脹后腐蝕，連接目標(biāo)邊緣，填充黑洞，使得邊緣更加清晰，得到的二值化圖像如圖8（b）所示。

（5）顯示批改結(jié)果

得到標(biāo)準(zhǔn)答案與學(xué)生作業(yè)的不同之處之后，用上述的findcontours函數(shù)找尋二值化圖像中的輪廓，然后用drawcontours函數(shù)調(diào)節(jié)為紅色線條（本文顯示為粗線條處）在學(xué)生作業(yè)中繪制出來，即可得到最終的批改效果。批改結(jié)果如圖8（c）所示。

4.3? ?實驗驗證及數(shù)據(jù)分析

為了驗證本文方法的準(zhǔn)確性，對學(xué)生紙質(zhì)尺規(guī)作圖作業(yè)進(jìn)行大量測試，部分作業(yè)、批改結(jié)果以及耗時如表1所示。

基于某一圖形，對不同學(xué)生的作業(yè)、批改結(jié)果進(jìn)行了測試，如表2所示（僅列出兩位學(xué)生）。

從表1和表2可以看出，無論是圓形、弧形、直線、虛線，還是漏線、多線的地方都是可以標(biāo)出的。經(jīng)過500 張標(biāo)準(zhǔn)答案與學(xué)生作業(yè)實驗的對比，經(jīng)檢測有487 張批改結(jié)果是正確的。此方法準(zhǔn)確率高達(dá)97.4%。同時經(jīng)測試，一個矩形框內(nèi)的作業(yè)匹配程序運行大約為0.01 μs，運行速度快，節(jié)省了教師大量的批改作業(yè)時間。

本文所提方法對于采用AutoCAD等軟件繪制的圖形，只要將文件保存為JPG或其他圖片格式，同樣適用。部分實驗結(jié)果如表3所示。

5? ?結(jié)論（Conclusion）

本文基于圖像處理實現(xiàn)了制圖作業(yè)的自動批改，對作業(yè)圖像進(jìn)行灰度化、二值化，并提取有效區(qū)域，隨后利用幀差法對比標(biāo)準(zhǔn)答案與學(xué)生作業(yè)，在學(xué)生作業(yè)中標(biāo)注錯誤地方，最終獲得批改結(jié)果。該方法減輕了制圖教師批改作業(yè)的負(fù)擔(dān)。相對于采用CAD二次開發(fā)作業(yè)批改系統(tǒng)，本文方法既可以處理計算機(jī)軟件繪圖的作業(yè)，更能處理尺規(guī)作圖的作業(yè)，處理作業(yè)的形式更廣泛，并且運行準(zhǔn)確且速度快。實驗測試準(zhǔn)確率為97.4%，每個圖形批改運行時間約為0.01 μs，大大節(jié)省了制圖教師批改作業(yè)時間。

參考文獻(xiàn)（References）

[1] 陳振興.一種簡單的《工程制圖》作業(yè)自動評判系統(tǒng)的實現(xiàn)[J].科技創(chuàng)新與應(yīng)用，2020（12）：44-45.

[2] 沈培玉，周洪軍.基于反應(yīng)器的制圖作業(yè)批改CAI系統(tǒng)研究[J].工程圖學(xué)學(xué)報，2010，31（04）：179-182.

[3] 劉小婷.基于立體重構(gòu)的工程制圖作業(yè)智能批改技術(shù)的研究與實踐[D].鎮(zhèn)江：江蘇科技大學(xué)，2016.

[4] 楊萬理，王寧，王廣俊.土木工程制圖作業(yè)批改系統(tǒng)的研究與實現(xiàn)[J].圖學(xué)學(xué)報，2014，35（04）：613-618.

[5] 袁小翠，吳祿慎，陳華偉.基于Otsu方法的鋼軌圖像分割[J].光學(xué)精密工程，2016，24（07）：1772-1781.

[6] 李海彥，徐汀榮，張立曉，等.基于仿射變換的多姿態(tài)人臉矯正和識別[J].計算機(jī)應(yīng)用研究，2014，31（04）：1215-1219，1228.

[7] SURESH C， SINGH S， SAINI R， et al. A comparative analysis of image scaling algorithms[J] Image， Graphics and Signal Processing， 2013， 5（5）：55-62.

[8] RAMYA P， RAJESWARI R. A modified frame difference method using correlation coefficient for background subtraction[J]. Procedia Computer Science， 2016， 93：478-485.

[9] 劉鵬宇，哈睿，賈克斌.改進(jìn)的自適應(yīng)中值濾波算法及其應(yīng)用[J].北京工業(yè)大學(xué)學(xué)報，2017，43（04）：581-586.

[10] 徐國靖.基于形態(tài)學(xué)梯度的圖像邊緣檢測算法[D].西安：西安電子科技大學(xué)，2013.

[11] 張廣淵.數(shù)字圖像處理：OpenCV3實現(xiàn)[M].北京：中國水利水電出版社，2019：110-153.

作者簡介：

朱文博（1973-），女，博士，副教授.研究領(lǐng)域：數(shù)字化設(shè)計及制造.

杜? 鋒（1996-），男，碩士生.研究領(lǐng)域：機(jī)器視覺，圖像處理.