趙衛(wèi)東，秦 鋒

?

基于軟件工程與多模塊的工業(yè)圖像在線處理系統(tǒng)

*趙衛(wèi)東1，秦 鋒2

（1. 滁州職業(yè)技術(shù)學(xué)院，安徽，滁州 239000；2. 安徽工業(yè)大學(xué)人工智能研究所，安徽，合肥 230009）

為了提高工業(yè)圖像處理效率，通過開發(fā)一站式軟件系統(tǒng)，設(shè)計(jì)了一種基于軟件工程與多模塊的工業(yè)圖像在線處理系統(tǒng)。首先，開發(fā)一個(gè)基于圖像幀文件聯(lián)合存儲(chǔ)的圖像制式合并模塊，將數(shù)百圖像幀合并為一個(gè)便于傳輸和管理的大文件。然后，設(shè)計(jì)一種基于人機(jī)交互的圖像瀏覽模塊，實(shí)現(xiàn)圖像特征標(biāo)注與瀏覽。隨后，結(jié)合線程機(jī)制與百度云OSS，開發(fā)上傳模塊，達(dá)到遠(yuǎn)程存儲(chǔ)與分析的目的，并將圖像分析模塊與圖文報(bào)告模塊融合，自動(dòng)給出工業(yè)圖像分析結(jié)果。最后，基于QTcreator開發(fā)平臺(tái)與QT語言編程來實(shí)現(xiàn)各個(gè)模塊的功能。測(cè)試結(jié)果顯示：與單一模塊的圖像處理系統(tǒng)相比，所提系統(tǒng)具有更好的在線處理性能，具備更高的作業(yè)穩(wěn)定時(shí)間。

圖像分析；圖像瀏覽；軟件工程；多模塊；在線處理；人機(jī)交互

0 引　言

近年來，各企業(yè)為了提高生產(chǎn)效率，在生產(chǎn)中采用了較多的自動(dòng)化設(shè)備，尤其是圖像采集與分析這一環(huán)節(jié)，這些設(shè)備存在較大的不足[1-2]。因此，開發(fā)優(yōu)異的圖像在線處理系統(tǒng)對(duì)于提高自動(dòng)化設(shè)備的生產(chǎn)效率具有重大意義。

目前已提出的類似解決方案與技術(shù)系統(tǒng)中，比如，劉偉華等人[3]提出了基于圖像分析的煤塵在線監(jiān)測(cè)系統(tǒng)，開發(fā)了圖像采集、分析和管理模塊，完成在線檢測(cè)，但是缺少數(shù)據(jù)合并、上傳、報(bào)告自動(dòng)生成等模塊，在人力對(duì)應(yīng)情況下，導(dǎo)致系統(tǒng)存在主觀性的問題。李小斌等人[4]解決了傳統(tǒng)軸承溫度只能依靠工人巡檢的問題，開發(fā)了信息采集與處理模塊，但是缺少數(shù)據(jù)合并、上傳、報(bào)告自動(dòng)生成等模塊，在人力對(duì)應(yīng)情況下，導(dǎo)致系統(tǒng)存在對(duì)應(yīng)現(xiàn)場(chǎng)業(yè)務(wù)效率不高的情況。

為了提高工業(yè)現(xiàn)場(chǎng)業(yè)務(wù)流程效率，盡可能無人化地運(yùn)作工業(yè)圖像在線處理流程，本文提出了基于軟件工程與多模塊的工業(yè)圖像在線處理系統(tǒng)，該系統(tǒng)含有圖像采集合并、上傳、分析處理和圖文報(bào)告等功能。本文針對(duì)生產(chǎn)線上工業(yè)圖像采集、收集、查看、人力對(duì)應(yīng)分析、瀏覽、報(bào)告制作和上傳工作展開研究應(yīng)用開發(fā)，以軟件工程思想為指導(dǎo)，將系統(tǒng)框架進(jìn)行分解設(shè)計(jì)為多模塊，完成工業(yè)圖像在線處理工作，整個(gè)過程無人工值守。最后，測(cè)試了所設(shè)計(jì)系統(tǒng)的圖像處理性能。

1 所提軟件系統(tǒng)設(shè)計(jì)

本文設(shè)計(jì)的基于軟件工程與多模塊的工業(yè)圖像在線處理系統(tǒng)框架見圖1?？梢?，所提系統(tǒng)要實(shí)現(xiàn)的模塊有5個(gè)，分別是：(1)圖像制式合并模塊，將一系列圖像文件合并為一個(gè)大文件；(2)圖像瀏覽模塊，將大圖像文件顯現(xiàn)在軟件界面上；(3)圖像分析處理模塊，完成圖像自動(dòng)識(shí)別分析，主要是基于圖像算法實(shí)現(xiàn)，在本文不予以詳細(xì)描述；(4)圖文報(bào)告自動(dòng)生成模塊；(5)圖像自動(dòng)上傳模塊。

如圖1所示，本文設(shè)計(jì)的圖像在線系統(tǒng)的結(jié)構(gòu)，分為五大模塊。（1）圖像制式合并模塊。工業(yè)制造場(chǎng)景中經(jīng)常有大型工件待表面缺陷檢測(cè)，如果采用大幅面面陣相機(jī)或線掃相機(jī)，存在視野難以覆蓋全部工件表面問題，且提高了系統(tǒng)成本，因此本系統(tǒng)采用普通面陣相機(jī)分行分列拍攝工件表面，得到工件表面全部圖像幀；帶來的問題是每個(gè)工件的表面圖像幀數(shù)量很多，達(dá)到數(shù)百，這對(duì)后續(xù)圖像傳輸管理帶來了困難。因此，本文首先設(shè)計(jì)開發(fā)圖像制式合并模塊。（2）圖像瀏覽模塊。將數(shù)百幀圖像按拍攝順序排列組合至軟件界面，供使用者查看。（3）圖像處理分析模塊。將工件表面圖像進(jìn)行處理和分析，得到缺陷檢查輔助判斷結(jié)果。（4）圖像上傳模塊。工業(yè)圖像珍貴，為了多地保存和遠(yuǎn)程檢查，實(shí)現(xiàn)實(shí)時(shí)圖像數(shù)據(jù)共享，將本地工業(yè)圖像轉(zhuǎn)出至遠(yuǎn)程服務(wù)器保存，供第三方查看。（5）圖文報(bào)告模塊。當(dāng)工業(yè)圖像經(jīng)過自動(dòng)分析，得出信息時(shí)，自動(dòng)啟動(dòng)該模塊，數(shù)據(jù)導(dǎo)入模板，自動(dòng)生成圖文報(bào)告存檔，供專業(yè)人員輔助分析。

本文系統(tǒng)業(yè)務(wù)流程如圖2所示，首先采集工業(yè)圖像，一系列工業(yè)圖像經(jīng)過圖像制式合并模塊處理，成為一個(gè)包含數(shù)百圖像幀的大文件；經(jīng)過圖像瀏覽模塊處理，在軟件界面顯示；經(jīng)過圖像分析處理模塊處理，得到分析數(shù)據(jù)；經(jīng)過圖像上傳模塊，實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程存儲(chǔ)與輔助診斷；圖文報(bào)告模塊，將軟件系統(tǒng)采集及分析處理數(shù)據(jù)，自動(dòng)導(dǎo)入模板，自動(dòng)生成圖文分析報(bào)告，作為本系統(tǒng)的最終輸出。

圖1 本文系統(tǒng)的結(jié)構(gòu)

圖2 本文系統(tǒng)的在線處理過程

2 圖像合并與瀏覽

每個(gè)工件的表面圖像幀達(dá)到數(shù)百個(gè)文件，首先需要把它們按一定規(guī)則合并為一個(gè)大文件，并留有讀取接口，后續(xù)可以被軟件讀取顯示在界面上[5-6]。本系統(tǒng)設(shè)計(jì)的圖像制式規(guī)則：

(1) 需要一個(gè).xml配置文件，文件格式：為了獲取圖像的Width和Height兩個(gè)數(shù)據(jù)，申明為public static string[,,]，函數(shù)為getPath(string mainPath, int width, int length)提供參數(shù)，并構(gòu)建出子圖像索引。其中，子圖像是大圖按256x256大小分割的圖像塊，如果塊圖像小于256x256，則按實(shí)際大小分割。

(2) 需要一個(gè)jpg.txt二進(jìn)制字節(jié)文件。這個(gè)文件是所有l(wèi)ayer的所有子圖像的二進(jìn)制字節(jié)文件，按照layer由高到低的順序，將對(duì)應(yīng)layer的子圖像按照[line,row]的索引順序以二進(jìn)制字節(jié)流的方式逐個(gè)寫入jpg.txt文件中。

(3) 需要一個(gè)index.txt文件。這個(gè)文件是FileInfor對(duì)象信息的字節(jié)數(shù)組集合。每一個(gè)FileInfor對(duì)象描述某一個(gè)layer下sline行srow列的子圖像，包括子圖像所屬的layer，sline，srow，在jpg.txt文件中的起始偏移量，子圖像的size。當(dāng)開發(fā)者想獲取某張子圖像時(shí)，只需要去檢索描述該子圖像的FileInfor對(duì)象，從而知道該子圖像在jpg.txt文件中位置，并通過二進(jìn)制字節(jié)流獲取加載進(jìn)內(nèi)存。

(4) 需要一個(gè)HeadInfo對(duì)象。這是一個(gè)存在于內(nèi)存中的Dmetrix文件描述對(duì)象。HeadInfo對(duì)象[7-8]描述了Dmetrix文件的company（所屬機(jī)構(gòu)）、device（設(shè)備描述）、date（創(chuàng)建日期）、IndexIn（層屬性）、isEncrypted（加密狀態(tài)）、width（寬度）、height（高度）、hSize（HeadInfo對(duì)象字節(jié)數(shù)）、tSize（Dmetrix文件總大小）、maxLayer（最大層數(shù)）、XLength（像素點(diǎn)寬度）、YLength（像素點(diǎn)長(zhǎng)度）、Multiple（最大放大倍數(shù)）。如圖3所示，工件表面圖像幀待合并，可見數(shù)量較多；如圖4所示，依據(jù)本節(jié)規(guī)則合并得到單個(gè)大文件，顯然便于管理。

根據(jù)上述得到的合并文件來開發(fā)圖像瀏覽模塊，其具有的功能有：色彩設(shè)置、對(duì)比度設(shè)置、存儲(chǔ)位置設(shè)置、縮放處理、平移處理、按比例查看、全圖截取記錄、局部截取記錄、圖像整體瀏覽。如圖5所示，可見實(shí)現(xiàn)了以上功能。

圖3 每個(gè)工件的表面圖像幀

圖4 合并后的大文件

3 圖像上傳與報(bào)告

完成上節(jié)的圖像制式合并、圖像瀏覽顯示，進(jìn)入圖像分析處理階段。隨后，進(jìn)行圖像合并大文件的上傳作業(yè)[9-10]，即自動(dòng)探測(cè)指定文件夾內(nèi)是否有新的大文件生成，如果有，則自動(dòng)打包上傳至服務(wù)器或者遠(yuǎn)程電腦上，實(shí)現(xiàn)遠(yuǎn)程共享和數(shù)據(jù)異地備份存儲(chǔ)。本文系統(tǒng)借助阿里云OSS接口實(shí)現(xiàn)上傳功能，因?yàn)镺SS有相對(duì)成熟的SDK，方便實(shí)現(xiàn)連接、上傳、查看、斷開和斷電續(xù)傳的功能。如圖6所示，為上傳模塊界面，可見進(jìn)度條展示上傳進(jìn)度，增加用戶體驗(yàn)和系統(tǒng)完善性。

完成上傳業(yè)務(wù)后，開始最后的圖文報(bào)告模塊的業(yè)務(wù)[11]，經(jīng)過圖像合并、瀏覽、分析處理和上傳，已經(jīng)生成一套數(shù)據(jù)信息，比如工件名、型號(hào)、時(shí)間、分析結(jié)果等，將以上信息自動(dòng)導(dǎo)入圖文報(bào)告模板，自動(dòng)生成工件圖像報(bào)告，發(fā)送至質(zhì)量部門，由他們最終確認(rèn)，從而達(dá)到本系統(tǒng)輔助智能工件在線圖像檢測(cè)的目的。如圖7所示，圖文報(bào)告功能有：報(bào)告添加、報(bào)告刪除、報(bào)告修改等。部分關(guān)鍵代碼如下：

void MainWindow::on_pushButton_3_clicked()

{

std::ofstream ff;

ff.open(featureFileName,ios::app);

QTime time;

QString imagepath;

QString modelName = "E:/AI/WorkSpace/Project/.model";

QByteArray ba1 = modelName.toLatin1();

char *mm1 = ba1.data();

gth818n::ClassSVM svm;

int featureDim = 12288;

svm.loadSvmModel(mm1, featureDim);

QString file_full = QFileDialog::getOpenFileName(this);//

QDir *dir=new QDir("E:/AI/DataSet/DataSettest/n ");

for(int i=0;icount();i++)

{

QFileInfo fi = QFileInfo(QString(fileInfo->at(i).filePath()));

imageName = fi.fileName();

imageName.replace(QString(".dmetrix"), QString(""));

QString fileName = fi.filePath();

QByteArray ba = fileName.toLatin1();

mm = ba.data();

time.start();

imagepath="E:/AI/DataSet/test/"+imageName;

QDir imagedir(imagepath);

imagedir.mkdir(imagepath);

QString outputPrefix;

outputPrefix=imagepath+"/"+imageName;

圖6 上傳模塊

圖7 圖文報(bào)告模塊

4 實(shí)驗(yàn)結(jié)果及分析

采用Intel i7 雙核CPU，16GB的內(nèi)存，電腦系統(tǒng) Windows 10，借助QT開發(fā)平臺(tái)對(duì)本文提出的基于軟件工程和多模塊的工業(yè)圖像在線處理系統(tǒng)性能進(jìn)行驗(yàn)證。

為了評(píng)估系統(tǒng)的效率，本文設(shè)立了對(duì)照組，對(duì)照組為文獻(xiàn)[3]和文獻(xiàn)[4]，分別記為A、B系統(tǒng)，A、B系統(tǒng)含人工交互，即人工加系統(tǒng)。如圖8所示為本系統(tǒng)，包含模塊有圖像合并、圖像上傳、圖文報(bào)告、圖像瀏覽和圖像在線處理。隨后，利用本文技術(shù)、A組與B組技術(shù)來完成既定工序流程。本文技術(shù)因采用一站式處理，多模塊集成框架，取代流程，高效完成作業(yè)。A、B組技術(shù)缺少數(shù)據(jù)合并、上傳、報(bào)告自動(dòng)生成等模塊，在人力對(duì)應(yīng)情況下，導(dǎo)致系統(tǒng)存在主觀性、對(duì)應(yīng)現(xiàn)場(chǎng)業(yè)務(wù)效率不高的問題。

為了量化驗(yàn)證系統(tǒng)每次工序作業(yè)時(shí)間的穩(wěn)定性，即每次工序秩序花費(fèi)多少時(shí)間，本文對(duì)三種系統(tǒng)進(jìn)行穩(wěn)定性測(cè)試，共選取500批次工序，在第100、200、300、400、500次工序這5個(gè)節(jié)點(diǎn)統(tǒng)計(jì)所在工序工作時(shí)間，如圖9所示，縱軸代表單次工序工作時(shí)間，橫軸代表工件批次數(shù)量?？梢姳疚乃惴?，穩(wěn)定保持在95-98 s的范圍，A組算法穩(wěn)定保持在90-92 s的范圍，B組算法穩(wěn)定保持在88-91 s的范圍。本文算法效率穩(wěn)定的高于A組、B組。

圖8 工業(yè)圖像在線處理軟件系統(tǒng)

圖9 不同系統(tǒng)的穩(wěn)定作業(yè)時(shí)間測(cè)試

5 結(jié)束語

為了提高工業(yè)圖像在線處理檢測(cè)工作效率，減少人力值守成本，本文設(shè)計(jì)并開發(fā)實(shí)現(xiàn)了基于軟件工程與多模塊的工業(yè)圖像在線處理系統(tǒng)。有機(jī)融合圖像合并、上傳、處理分析、瀏覽和圖文報(bào)告，構(gòu)建起一個(gè)包含一體化工業(yè)圖像處理的軟件系統(tǒng)，取代原來人力對(duì)應(yīng)加系統(tǒng)的模式。自主研發(fā)的工業(yè)圖像在線處理系統(tǒng)，完成對(duì)大型工件的實(shí)時(shí)圖像采集、合并、處理，再瀏覽、上傳和自動(dòng)出報(bào)告，達(dá)到了以機(jī)器代替人力，以系統(tǒng)代替流程，并且在實(shí)現(xiàn)流程業(yè)務(wù)的同時(shí)，保證工作質(zhì)量和穩(wěn)定性。用QT平臺(tái)來實(shí)現(xiàn)本文系統(tǒng)，并進(jìn)行了對(duì)比測(cè)試驗(yàn)證，結(jié)果表明：在保證系統(tǒng)功能前提下，本文系統(tǒng)具備更好的穩(wěn)定性。

將在線處理系統(tǒng)布置在云端是本文目前研究成果上后續(xù)開展的內(nèi)容，從云計(jì)算和云存儲(chǔ)展開技術(shù)研究，整個(gè)過程繼續(xù)采用無人化智能技術(shù)實(shí)現(xiàn)，將進(jìn)一步提高生產(chǎn)線的智能程度。

[1] Deng G. A Statistical Framework for Generalized Linear Image Processing Systems[J]. Journal of Mathematical Imaging and Vision, 2017, 58(1):2-26.

[2] Jeon G, Anisetti M, Damiani E. Real-Time Image Processing Systems Using Fuzzy and Rough SetsTechniques[J]. Soft Computing, 2018, 22(8): 1381-1384.

[3] 楊平良. 基于模塊軟件系統(tǒng)的測(cè)試資源分配研究[J]. 機(jī)械設(shè)計(jì)與制造工程,2018, 17(2):71-76.

[4] 劉偉華. 基于圖像分析的煤塵在線監(jiān)測(cè)系統(tǒng)[J]. 電子測(cè)量系統(tǒng), 2018, 31(2): 58-63.

[5] Gerald S, Matthew T, Daniel F, et al. Interactive Browsing of Image Collections on Mobile Devices [J]. Multimedia Tools and Applications，2015, 74(19): 8267-8277.

[6] Guldogan E, Olsson T, Lagerstam E, et al. Instance Based Personalized Multi-Form Image Browsing and Retrieval [J]. Multimedia Tools and Applications, 2014, 71(3): 1087-1104.

[7] Xu Y, Song W, Yan Y , et al. Taking Advantage of Motif Matrix Inference for Rotated Image Indexing and Retrieval [J]. EURASIP Journal on Advances in Signal Processing, 2018, 31(1): 112-119.

[8] 朱瑾. 基于并行編程的輪對(duì)圖像在線處理算法優(yōu)化技術(shù)研究[D]. 杭州: 杭州電子科技大學(xué), 2016: 16-23.

[9] 王德廉. 面向在線視頻彈幕數(shù)據(jù)的挖掘方法研究[D]. 海南: 海南大學(xué), 2018: 13-34.

[10] 鐘華. 科學(xué)大數(shù)據(jù)智能分析軟件的現(xiàn)狀與趨勢(shì)[J]. 中國(guó)科學(xué)院院刊, 2018, 9(2): 27-35.

[11] 伍琴蘭. 軟件工程方法在計(jì)算機(jī)軟件開發(fā)中的應(yīng)用分析[J]. 信息系統(tǒng)工程, 2018, 17(9): 39-41.

Industrial Image Online Processing System Based on Software Engineering and Multi-module

*ZHAO Wei-dong1, QIN Feng2

(1. Chuzhou Vocational and Technical College, Chuzhou, Anhui, 239000, China; 2. Institute of Artificial Intelligence, Anhui University of Technology, Hefei, Anhui 230009, China)

In order to improve the efficiency of industrial image processing process, this paper designs an industrial image online processing system based on software engineering and multi-module which developing one-stop software system. Firstly, an image standard merging module based on joint storage of image frame files is developed to merge hundreds of image frames into a large file for easy transmission and management. Then, an image browsing module based on human-computer interaction is designed to achieve the goal of image feature annotation and browsing. Subsequently, combined with thread mechanism and Baidu Cloud OSS, the upload module is developed to achieve the purpose of remote storage and analysis. The image analysis module and the graphic report module are fused to automatically give the results of industrial image analysis and assist the industrial quality analysis department in product diagnosis. Finally, based on the development platform of QTcreator and the programming of QT language, each module is realized and the complete system is constructed. The test results show that the proposed system has better on-line processing performance and higher job stabilization time compared with the single module image processing system.

image analysis; image browsing; software engineering; multi-module; on-line processing; human-computer interaction

1674-8085(2019)03-0067-05

TP391

A

10.3969/j.issn.1674-8085.2019.03.012

2018-12-27；

2019-03-27

安徽省高校自然科學(xué)研究重點(diǎn)項(xiàng)目(KJ2016A543)；安徽省高等學(xué)校教學(xué)研究項(xiàng)目(2017jyxm1024)；安徽省高等學(xué)校精品開放課程(2017kfk144)；滁州職業(yè)技術(shù)學(xué)院院級(jí)規(guī)劃科研課題(YJY-2017-02)

*趙衛(wèi)東(1979-)，男，安徽無為人，講師，碩士，主要從事圖像處理、軟件工程等研究(E-mail: zhaowd91@aliyun.com);

秦 鋒(1962-)，男，安徽和縣人，教授，碩士，主要從事圖像處理、人工智能、數(shù)據(jù)挖掘等研究(E-mail:QinF1962anzn@163.com).