姚剛 廖港 楊陽 李青澤 魏伏佳
摘要:在生產(chǎn)過程中,預(yù)制構(gòu)件尺寸不合格問題將導(dǎo)致其在施工現(xiàn)場無法順利安裝,從而影響工期。為推進(jìn)預(yù)制構(gòu)件智能化生產(chǎn)的進(jìn)程,以預(yù)制疊合板為例,基于卷積神經(jīng)網(wǎng)絡(luò)研究生產(chǎn)過程中的智能檢測方法,在生產(chǎn)流水線上設(shè)計(jì)并安裝圖像采集系統(tǒng),建立預(yù)制疊合板尺寸檢測數(shù)據(jù)集。通過YOLOv5算法實(shí)現(xiàn)對混凝土底板、預(yù)埋PVC線盒及外伸鋼筋的識(shí)別,并以固定磁盒作為基準(zhǔn)參照物進(jìn)行尺寸檢測誤差分析,實(shí)現(xiàn)混凝土底板尺寸、預(yù)埋PVC線盒坐標(biāo)的檢測,在降低訓(xùn)練數(shù)據(jù)集參數(shù)規(guī)模的工況下保持較高的識(shí)別精度。結(jié)果表明:該方法可以有效檢測預(yù)制疊合板的底板數(shù)量和尺寸、預(yù)埋PVC線盒數(shù)量和坐標(biāo),并實(shí)現(xiàn)彎折方向不合格的外伸鋼筋檢測,并能降低人工成本,提高檢測精度,加快檢測速度,提高預(yù)制疊合板的出廠質(zhì)量。
關(guān)鍵詞:預(yù)制疊合板;多目標(biāo)檢測;卷積神經(jīng)網(wǎng)絡(luò);預(yù)制構(gòu)件;智能化生產(chǎn)
中圖分類號:TU741.2? ? ?文獻(xiàn)標(biāo)志碼:A? ? ?文章編號:2096-6717(2024)01-0093-09
Multi-target intelligent detection method of prefabricated laminated board based on convolutional neural network
YAO Gang1, LIAO Gang1, YANG Yang1, LI Qingze1, WEI Fujia2
(1. Key Laboratory of New Technology for Construction of Cities in Mountain Area, Ministry of Education; School of Civil Engineering, Chongqing University, Chongqing 400045, P. R. China; 2.China Machinery China United Engineering Co., Ltd., Chongqing 400050, P. R. China)
Abstract: The unqualified size of prefabricated component in the production process will lead to the failure of the installation on the construction site, and affect the construction period. In order to promote the process of intelligent production of prefabricated components. Based on a convolutional neural network, the prefabricated laminated board is used as an example to study the intelligent detection method of the production process. Design and install an image acquisition system on the production line, establish a prefabricated laminated board detection data set, and use the YOLOv5 algorithm to detect the concrete plate, the embedded PVC junction box and the overhanging steel bar. The fixed magnetic box is used as the benchmark to analyze the detection error of the dimension of the concrete plate and the coordinate of the embedded PVC junction box, and maintains a high recognition accuracy with a smaller parameter scale of the training data set. The result shows that the method can effectively detect the number and dimension of the concrete plate, the number and coordinate of the embedded PVC junction box, and detect the overhanging steel bar of unqualified bending direction. The method can reduce labor costs, improve detection accuracy, speed up detection process, and improve the delivery quality of prefabricated laminated board.
Keywords: prefabricated laminated board; multi-target detection; convolutional neural network; prefabricated component; intelligent production
近年來,裝配式建筑發(fā)展迅速,2016年中國新開工裝配式建筑面積1.1×109 m2,2020年增長至6.3×109 m2[1],年平均增長率55.4%。預(yù)制構(gòu)件作為裝配式建筑的基本部件,其生產(chǎn)過程中的質(zhì)量控制對提高裝配式建筑質(zhì)量具有重要意義[2-4]。預(yù)制疊合板作為目前使用廣泛的預(yù)制構(gòu)件,構(gòu)造簡單,施工便捷,被廣泛應(yīng)用于各類裝配式住宅體系[5-7]。
裝配式建筑施工過程中,尺寸不合格的預(yù)制疊合板需返廠,不僅造成材料浪費(fèi)、成本增加,還直接影響現(xiàn)場安裝進(jìn)度[8]。目前,預(yù)制構(gòu)件廠進(jìn)行預(yù)制疊合板尺寸檢測主要采用人工鋼尺抽查的方法,人工投入量大,檢測速度及精度低,存在漏檢的現(xiàn)象。因此,發(fā)展非接觸式預(yù)制疊合板智能化檢測方法,對于加快速度、提高精度及降低成本具有重要的現(xiàn)實(shí)意義。在非接觸式檢測上,已有部分學(xué)者使用激光掃描技術(shù)來檢測構(gòu)件尺寸[9-11],并通過實(shí)際項(xiàng)目建立檢測與評估系統(tǒng)[12]。激光掃描由于需要后期處理數(shù)據(jù)并生成影像圖,檢測結(jié)果反饋較慢,且對于移動(dòng)目標(biāo)檢測效果不佳,在工業(yè)化的流水線生產(chǎn)中應(yīng)用受限。
基于計(jì)算機(jī)視覺,有學(xué)者通過Canny邊緣檢測算子開展成品預(yù)制構(gòu)件的尺寸檢測研究[13],實(shí)現(xiàn)大尺度構(gòu)件的尺寸檢測,但是,在實(shí)際操作中需要人工設(shè)定閾值,泛化能力較低,且對于邊緣較為模糊的小尺度構(gòu)件檢測精度受限。隨著人工智能技術(shù)的發(fā)展,智能化檢測方法在土木工程領(lǐng)域獲得廣泛應(yīng)用[14-15]。其中,卷積神經(jīng)網(wǎng)絡(luò)通過大量的訓(xùn)練數(shù)據(jù)提取待檢測目標(biāo)的深層次特征,并采用多尺度特征融合的結(jié)構(gòu)以適應(yīng)不同尺度的檢測目標(biāo),具備強(qiáng)大的特征提取能力及泛化能力[16]。有學(xué)者借助卷積神經(jīng)網(wǎng)絡(luò)算法,通過優(yōu)化VGG16識(shí)別網(wǎng)絡(luò)研究建筑物門窗等構(gòu)件的分類問題[17],通過DeepLabv3+語義分割算法實(shí)現(xiàn)像素級別的混凝土構(gòu)件表觀裂縫檢測[18-20]與氣泡缺陷檢測[21]。目前,智能化檢測的研究大多針對使用階段的構(gòu)件,進(jìn)行健康監(jiān)測及損傷檢查[22],針對生產(chǎn)過程中的預(yù)制構(gòu)件進(jìn)行尺寸檢測的研究較少。
筆者基于卷積神經(jīng)網(wǎng)絡(luò)算法,研究生產(chǎn)流水線上預(yù)制構(gòu)件的數(shù)量及尺寸檢測。以預(yù)制疊合板為例,進(jìn)行混凝土底板數(shù)量和尺寸、預(yù)埋件數(shù)量和坐標(biāo),以及彎折方向不合格的外伸鋼筋檢測研究,并以固定磁盒作為基準(zhǔn)參照物進(jìn)行尺寸檢測誤差分析,實(shí)現(xiàn)非接觸式預(yù)制疊合板多目標(biāo)智能化檢測,降低預(yù)制構(gòu)件廠的人工成本,提高檢測精度,加快檢測速度。
1 預(yù)制疊合板多目標(biāo)檢測系統(tǒng)
1.1 多目標(biāo)檢測系統(tǒng)原理
目標(biāo)檢測技術(shù)發(fā)展較迅速,其主要目的是在圖像中精確標(biāo)定被檢測物體的類別及位置[23]。而多目標(biāo)檢測技術(shù)主要是針對圖像中存在多個(gè)待檢測目標(biāo)的情況,需要提取不同目標(biāo)的外觀、尺寸等特征,將其嚴(yán)格地與背景或其他目標(biāo)分離開來。相較于單一目標(biāo)檢測,多目標(biāo)檢測存在不同目標(biāo)間互相干擾、遮擋等問題,檢測過程中的參數(shù)規(guī)模大,對硬件要求高[24]。
借助智能化檢測的手段,通過圖像實(shí)現(xiàn)對生產(chǎn)線上所有預(yù)制疊合板的多目標(biāo)檢測,提高構(gòu)件生產(chǎn)合格率。多目標(biāo)檢測內(nèi)容包括:預(yù)制疊合板底板、預(yù)埋線盒及不合格外伸鋼筋3類。通過設(shè)計(jì)預(yù)制疊合板多目標(biāo)檢測系統(tǒng),并引入基準(zhǔn)參照物,進(jìn)行預(yù)制疊合板尺寸檢測誤差分析,實(shí)現(xiàn)在生產(chǎn)過程中檢測混凝土底板數(shù)量和尺寸,預(yù)埋線盒數(shù)量和坐標(biāo),以及外伸鋼筋的彎折方向,實(shí)現(xiàn)多目標(biāo)智能化檢測。預(yù)制疊合板多目標(biāo)檢測系統(tǒng)原理如圖1所示。
1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法
基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法相比人工構(gòu)造特征的傳統(tǒng)目標(biāo)檢測算法,可以自動(dòng)提取特征,具有泛化能力強(qiáng)、魯棒性強(qiáng)的優(yōu)點(diǎn)。常見的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法有兩類,基于候選區(qū)域與基于回歸的目標(biāo)檢測算法[25]。基于候選區(qū)域的目標(biāo)檢測算法通過在圖像樣本中生成待檢測候選區(qū)域,隨后對待檢測區(qū)域中的目標(biāo)進(jìn)行特征提取并加以識(shí)別,以R-CNN(Region with CNN features)[26]、SPP-Net(Spatial Pyramid Pooling)[27]等系列為代表,目標(biāo)檢測精度較高,但需計(jì)算候選區(qū)域,檢測速度較慢。基于回歸的目標(biāo)檢測算法通過直接對圖像進(jìn)行全局處理,避免候選區(qū)域的計(jì)算過程,檢測速度大大提升,以YOLO(You Only Look Once)[28]、SSD(Single Shot Multibox Detector)[29]等系列為代表,在對檢測速度有要求的領(lǐng)域(如實(shí)時(shí)監(jiān)測)獲得廣泛應(yīng)用。
其中,YOLO系列作為兼顧檢測速度與精度的目標(biāo)檢測算法,可以實(shí)現(xiàn)輕量化、多尺度的目標(biāo)檢測。YOLOv5作為該系列最新的目標(biāo)檢測算法模型,與上一版本相比,大幅提高了檢測速度,在基準(zhǔn)數(shù)據(jù)集下圖像推理速度最快達(dá)到140fps(每秒處理140幀圖像)[30],可以滿足預(yù)制構(gòu)件廠流水生產(chǎn)線上對預(yù)制疊合板檢測速度的要求。因此,基于YOLOv5算法,建立預(yù)制疊合板多目標(biāo)檢測系統(tǒng),圖2所示為其網(wǎng)絡(luò)模型結(jié)構(gòu)。
神經(jīng)網(wǎng)絡(luò)的輸入圖像經(jīng)過Input、Backbone、Neck、Prediction 4個(gè)模塊后得到預(yù)測錨框,錨框標(biāo)示出待檢測目標(biāo)(預(yù)制疊合板底板、預(yù)埋PVC線盒及外伸鋼筋)的類別及位置。
Input模塊主要對輸入的圖像進(jìn)行預(yù)處理,本研究中原始圖像像素為5 472×3 648,預(yù)處理階段通過letterbox方法對輸入圖像自適應(yīng)添加最少的黑邊,并將尺寸縮放為640×640,大幅減少計(jì)算量,提高檢測速度。
Backbone模塊通過Focus結(jié)構(gòu)進(jìn)行切片操作,將640×640×3的輸入圖像轉(zhuǎn)換為320×320×12的特征圖,并經(jīng)過卷積操作得到320×320×64的特征圖。隨后通過CSP結(jié)構(gòu)對權(quán)重參數(shù)的梯度變化情況進(jìn)行傳遞。Neck模塊部分通過上采樣的方式,融合傳輸不同層次特征圖的信息,并通過構(gòu)造特征金字塔自上而下地提取強(qiáng)語義特征,將其傳送至Prediction模塊。Prediction模塊作為算法網(wǎng)絡(luò)的輸出端,采用LGIoU作為預(yù)測錨框的損失函數(shù),其數(shù)學(xué)表達(dá)式為 (1)
式中:AC為預(yù)測錨框與真實(shí)錨框的最小外包面積,I為預(yù)測錨框與真實(shí)錨框的交集,U為預(yù)測錨框與真實(shí)錨框的并集,如圖3所示。
LGIoU損失函數(shù)通過增強(qiáng)神經(jīng)網(wǎng)絡(luò)對于不同錨框相交尺度的判斷方式,解決預(yù)測錨框與真實(shí)錨框不重合的優(yōu)化問題,提高損失函數(shù)的收斂性能,提升模型的檢測速度。
神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中,當(dāng)預(yù)測錨框與真實(shí)錨框的交并比大于規(guī)定閾值(通常取0.5)時(shí),認(rèn)為該檢測結(jié)果是正樣本,反之為負(fù)樣本。訓(xùn)練結(jié)束后,通過統(tǒng)計(jì)檢測結(jié)果的正、負(fù)樣本數(shù)量,通過混淆矩陣計(jì)算精度與召回率,并將其作為判斷訓(xùn)練效果的主要依據(jù),混淆矩陣如表1所示。
式中:C代表測試集中的樣本類別數(shù);Pj為第j類目標(biāo)檢測過程中平均精確度,使用精度-召回率曲線的面積進(jìn)行計(jì)算,等式右側(cè)為其積分表達(dá)形式。
1.3 圖像采集系統(tǒng)設(shè)計(jì)
預(yù)制疊合板的出廠尺寸檢查形式為人工鋼尺抽查,內(nèi)容包括混凝土底板尺寸、預(yù)埋件位置及外伸鋼筋彎折方向。經(jīng)抽樣檢查不合格的預(yù)制疊合板需銷毀,并重新下料生產(chǎn),造成人力物力的浪費(fèi)。
借助卷積神經(jīng)網(wǎng)絡(luò)算法,通過圖像實(shí)現(xiàn)對預(yù)制疊合板的非接觸式尺寸檢測,避免傳統(tǒng)的接觸式鋼尺檢測對生產(chǎn)流水線的影響。研究過程中,針對預(yù)制構(gòu)件廠生產(chǎn)流水線的實(shí)際條件,設(shè)計(jì)圖像采集系統(tǒng)。圖像采集系統(tǒng)如圖4所示,由支架、云臺(tái)、工業(yè)相機(jī)、光源及圖像檢測終端組成。傳送系統(tǒng)通過電動(dòng)機(jī)驅(qū)動(dòng)的滾輪運(yùn)輸模臺(tái),模臺(tái)攜帶預(yù)制疊合板通過支架下方,兩臺(tái)LED光源設(shè)備提供穩(wěn)定的環(huán)境光照亮預(yù)制疊合板的細(xì)部構(gòu)造。三維云臺(tái)具備角度、俯仰的姿態(tài)調(diào)整功能,為工業(yè)相機(jī)提供靈活、穩(wěn)定的拍攝條件。工業(yè)相機(jī)對通過的預(yù)制疊合板進(jìn)行圖像采集,并將圖像傳送至檢測終端。
圖像采集系統(tǒng)設(shè)計(jì)過程中,為保證獲取所需圖像的全部特征信息,需計(jì)算工業(yè)相機(jī)拍攝高度。工業(yè)相機(jī)焦距f計(jì)算公式為
經(jīng)調(diào)焦及拍攝測試,確定工業(yè)相機(jī)拍攝高度H為8 000 mm。采集得到518張預(yù)制疊合板圖像,單張圖像分辨率5 472×3 648,采集圖片時(shí),盡量保證每塊疊合板位于圖片中央位置,使得成像清晰無暗角。部分圖像如圖5所示,圖5(a)為單張圖片包含一塊疊合板,圖5(b)為單張圖像同時(shí)包含兩塊疊合板。研究過程中,通過增加圖片中目標(biāo)數(shù)量,可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)在復(fù)雜環(huán)境下的檢測效果。
2 基于卷積神經(jīng)網(wǎng)絡(luò)的多目標(biāo)識(shí)別
2.1 圖像樣本數(shù)據(jù)集建立
為了增強(qiáng)神經(jīng)網(wǎng)絡(luò)的泛化能力,防止出現(xiàn)訓(xùn)練過擬合的現(xiàn)象,考慮對原始圖像進(jìn)行樣本擴(kuò)充。研究過程中通過Opencv組件對圖像進(jìn)行旋轉(zhuǎn)、水平翻轉(zhuǎn)、噪聲擾動(dòng)和顏色轉(zhuǎn)換,以提高神經(jīng)網(wǎng)絡(luò)對不同方向、不同光線下預(yù)制疊合板圖像的適應(yīng)性,如圖6所示。518張預(yù)制疊合板圖像經(jīng)過樣本擴(kuò)充,得到總數(shù)為2 072張圖像的數(shù)據(jù)集,其中共包括預(yù)制疊合板3 156塊,預(yù)埋PVC線盒6 284個(gè)。
由于外伸鋼筋在豎向平面內(nèi)進(jìn)行彎折,若產(chǎn)生過大平面外彎折,則視為不合格外伸鋼筋。為統(tǒng)一外伸鋼筋平面外彎折的評價(jià)標(biāo)準(zhǔn),通過BIM系列軟件Autodesk Revit對預(yù)制疊合板進(jìn)行建模,并使用Revit軟件的圖像渲染引擎模擬拍攝時(shí)的幾何投影關(guān)系,如圖7(a)、(b)所示。邊緣處的外伸鋼筋在拍攝投影過程中會(huì)由于拍攝偏角產(chǎn)生平面外的彎折,且鋼筋位置越偏離畫面中央,平面外彎折程度越明顯。預(yù)制疊合板長邊尺寸為L,故在標(biāo)注過程中,取模擬圖像中距離畫面中央L/2處外伸鋼筋的彎折程度為合格標(biāo)準(zhǔn)。在示例中L最大為3 500 mm,取L/2=1 750 mm處的外伸鋼筋為合格標(biāo)準(zhǔn),大于該彎折程度的,判斷為不合格外伸鋼筋,需對其進(jìn)行標(biāo)注,如圖7(c)所示。
使用標(biāo)注軟件labelme對待檢測目標(biāo)進(jìn)行標(biāo)注,包括預(yù)制疊合板底板、預(yù)埋PVC線盒及不合格外伸鋼筋,如圖8所示。為保證后期預(yù)埋PVC線盒定位精確,圖8中針對預(yù)埋PVC線盒中部的八角盒部分進(jìn)行標(biāo)注。
2.2 訓(xùn)練過程及結(jié)果分析
為了保證訓(xùn)練過程中數(shù)據(jù)分布的一致性,避免因數(shù)據(jù)劃分引入偏差而對最終結(jié)果產(chǎn)生影響,將2 072張?jiān)紙D片按照70%與30%的比例隨機(jī)劃分為訓(xùn)練集與測試集。其中訓(xùn)練集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)各層的權(quán)重參數(shù),測試集用于測試訓(xùn)練結(jié)果的準(zhǔn)確性。采用Ubuntu操作系統(tǒng),Intel(R) Xeon(R) Gold 6142 @ 2.60 GHz CPU,Tesla V100-FHHL-16 G顯卡進(jìn)行訓(xùn)練。通過預(yù)訓(xùn)練進(jìn)行超參數(shù)調(diào)整,以加快模型訓(xùn)練速度,最終選擇訓(xùn)練批次大小為32,學(xué)習(xí)率0.001,最大迭代次數(shù)7 000次。
使用TensorBoard獲得迭代訓(xùn)練日志,繪制訓(xùn)練過程中損失函數(shù)曲線如圖9(a)所示,平均精度曲線如圖9(b)所示。
迭代到1 000次后,損失函數(shù)開始呈現(xiàn)收斂趨勢,迭代至7 000次時(shí),損失函數(shù)曲線已不再明顯波動(dòng),損失函數(shù)值穩(wěn)定在0.13左右。預(yù)制疊合板底板平均精度穩(wěn)定在99.10%,預(yù)埋線盒平均精度穩(wěn)定在98.00%,彎折方向不合格的外伸鋼筋平均精度穩(wěn)定在87.20%。隨著權(quán)重參數(shù)的迭代,損失函數(shù)與平均精度不再變化,保存神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中實(shí)際最優(yōu)的權(quán)重參數(shù)。
使用最優(yōu)權(quán)重參數(shù)對測試集圖像進(jìn)行測試,單張圖像檢測時(shí)間少于40 ms,且可以實(shí)現(xiàn)30 fps的視頻檢測,滿足預(yù)制構(gòu)件廠生產(chǎn)流水線檢測的速度需求。圖像檢測結(jié)果如圖10所示,預(yù)制疊合板混凝土底板及預(yù)埋PVC線盒檢測效果好,錨框可以精確地表示混凝土底板及預(yù)埋PVC線盒的數(shù)量及位置,且在一張圖像同時(shí)包含兩塊疊合板的情況下,也可以順利完成檢測。測試集上多目標(biāo)檢測平均精度為94.10%,召回率為96.40%。其中,預(yù)制疊合板底板平均精度達(dá)到99.60%,預(yù)埋線盒平均精度97.20%,彎折方向不合格的外伸鋼筋平均精度83.20%。測試集的結(jié)果表明,通過訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對預(yù)制疊合板檢測具有速度快,精度高的優(yōu)勢。
3 預(yù)制疊合板尺寸檢測結(jié)果分析
3.1 基準(zhǔn)參照物選取
固定磁盒在預(yù)制構(gòu)件的生產(chǎn)過程中被用于固定模具,其型號尺寸統(tǒng)一,通用性強(qiáng),是預(yù)制構(gòu)件生產(chǎn)過程中的必要組件,如圖11所示。以固定磁盒作為基準(zhǔn)參照物,計(jì)算預(yù)制疊合板的混凝土底板尺寸和預(yù)埋PVC線盒的坐標(biāo)信息,并進(jìn)行尺寸檢測誤差分析。
使用Camera Measure作為測量工具,從不同的圖像中選取100個(gè)靠近畫面中央且無遮擋的固定磁盒,測量其長邊尺寸,如圖12所示。
對測量結(jié)果繪制箱型圖,如圖13所示,固定磁盒在圖片中的最小測量值為226.042 px,最大值為226.992 px,平均值為226.487 px。實(shí)際長度與像素長度的轉(zhuǎn)換系數(shù)D計(jì)算公式為
式中:lr為固定磁盒標(biāo)準(zhǔn)長邊的實(shí)際長度;lm為固定磁盒在圖像中的平均像素長度。根據(jù)固定磁盒型號,其實(shí)際長度lr為200 mm,像素長度lm為226.487px。則轉(zhuǎn)換系數(shù)D為0.883。通過選取固定磁盒作為基準(zhǔn)參照物,實(shí)現(xiàn)圖片尺寸到實(shí)際尺寸的檢測誤差分析。
3.2 尺寸檢測誤差分析
利用Opencv模塊加載預(yù)制疊合板檢測網(wǎng)絡(luò),對圖像進(jìn)一步處理得到各檢測目標(biāo)的錨框尺寸及中心點(diǎn)坐標(biāo),信息提取過程如圖14所示。
將檢測數(shù)據(jù)通過轉(zhuǎn)換系數(shù)D進(jìn)行尺寸檢測數(shù)據(jù)分析,得到最終的混凝土底板尺寸和預(yù)埋PVC線盒的坐標(biāo)信息,并計(jì)算誤差。其中,預(yù)制疊合板底板尺寸檢測誤差ρ_d考慮長寬方向相對誤差
式中:Δx、Δy為預(yù)埋線盒坐標(biāo)的絕對誤差值。隨機(jī)選取100塊預(yù)制疊合板底板,測量其實(shí)際尺寸,并按照式(8)計(jì)算混凝土底板尺寸檢測誤差ρ_d,結(jié)果如圖15(a)所示。選取的疊合板中包含預(yù)埋PVC線盒186個(gè),通過測量其實(shí)際坐標(biāo),按照式(9)計(jì)算預(yù)埋線盒坐標(biāo)檢測誤差ρ_h,如圖15(b)所示。
通過預(yù)制疊合板混凝土底板尺寸及預(yù)埋線盒坐標(biāo)檢測誤差分析,混凝土底板尺寸檢測平均誤差0.53%,最大誤差0.68%;預(yù)埋PVC線盒坐標(biāo)檢測平均誤差11.90 mm,最大誤差15.61 mm。
4 結(jié)論
結(jié)合預(yù)制構(gòu)件廠的實(shí)際生產(chǎn)需求,通過YOLOv5目標(biāo)檢測算法,實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的預(yù)制疊合板多目標(biāo)智能化檢測。
1)在預(yù)制疊合板生產(chǎn)線上建立了預(yù)制構(gòu)件多目標(biāo)檢測系統(tǒng),可以在混凝土初凝前發(fā)現(xiàn)不合格預(yù)制疊合板構(gòu)件,并及時(shí)進(jìn)行處理,提高構(gòu)件的合格率,避免二次生產(chǎn)造成的材料、人力浪費(fèi)。
2)通過拍攝圖像實(shí)現(xiàn)了多目標(biāo)同時(shí)檢測,單張圖像即可完成混凝土底板數(shù)量及尺寸檢測,預(yù)埋線盒數(shù)量及坐標(biāo)檢測,彎折方向不合格的外伸鋼筋檢測。檢測速度快,單張圖像檢測時(shí)間少于40 ms,可以滿足生產(chǎn)流水線實(shí)時(shí)檢測需求。
3)以固定磁盒作為基準(zhǔn)參照物進(jìn)行檢測誤差分析,可以在降低訓(xùn)練數(shù)據(jù)集參數(shù)規(guī)模的工況下保持較高的識(shí)別精度。
4)混凝土底板、預(yù)埋PVC線盒、外伸鋼筋等3種目標(biāo)的識(shí)別精度上,對混凝土底板識(shí)別最精準(zhǔn)。其中底板數(shù)量檢測平均精度99.60%,尺寸檢測平均誤差0.53%;預(yù)埋PVC線盒數(shù)量檢測平均精度97.20%,坐標(biāo)檢測平均誤差11.90 mm;彎折方向不合格的外伸鋼筋檢測平均精度83.20%。
參考文獻(xiàn)
[1]? 中華人民共和國住房和城鄉(xiāng)建設(shè)部. 住房和城鄉(xiāng)建設(shè)部標(biāo)準(zhǔn)定額司關(guān)于2020年度全國裝配式建筑發(fā)展情況的通報(bào)[EB/OL]. (2021-03-11)[2022-04-18]. https://www.mohurd.gov.cn/gongkai/fdzdgknr/tzgg/202103/20210312_249438.html.
Ministry of Housing and Urban-Rural Development of the People's Republic of China. Circular of the Standard and Quota Division of the Ministry of Housing and Urban-Rural Development on the Development of National Prefabricated Buildings in 2020 [EB/OL]. (2021-03-11)[2022-04-18].https://www.mohurd.gov.cn/gongkai/fdzdgknr/tzgg/202103/20210312_249438.html.(in Chinese)
[2]? 徐照, 占鑫奎, 張星. BIM技術(shù)在裝配式建筑預(yù)制構(gòu)件生產(chǎn)階段的應(yīng)用[J]. 圖學(xué)學(xué)報(bào), 2018, 39(6): 1148-1155.
XU Z, ZHAN X K, ZHANG X. Application of BIM technology in the manufacturing stage of precast elements of prefabricated construction [J]. Journal of Graphics, 2018, 39(6): 1148-1155. (in Chinese)
[3]? 周垚, 李希勝. 基于BIM的預(yù)制構(gòu)件生產(chǎn)質(zhì)量控制[J]. 建設(shè)科技, 2019(21): 61-64, 75.
ZHOU Y, LI X S. Roduction quality control of prefabricated components based on BIM [J]. Construction Science and Technology, 2019(21): 61-64, 75. (in Chinese)
[4]? CHEN Y, ZHANG Q, FENG J, et al. Experimental study on shear resistance of precast RC shear walls with novel bundled connections [J]. Journal of Earthquake and Tsunami, 2019, 13(3): 1940002.
[5]? GONG Y, FANG J, CHEN X H. Implementation of lean construction under the new-type building industrialization background in China [C]//International Conference on Construction and Real Estate Management 2016. September 29-October 1, 2016, Edmonton, Canada. Reston, VA, USA: American Society of Civil Engineers, 2016: 169-178.
[6]? 黃煒, 羅斌, 李斌, 等. 不同構(gòu)造形式綠色混凝土疊合板受彎性能試驗(yàn)[J]. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 46(7): 35-44.
HUANG W, LUO B, LI B, et al. Experiment on flexural behavior of green concrete composite slab with different structural forms [J]. Journal of Hunan University (Natural Sciences), 2019, 46(7): 35-44. (in Chinese)
[7]? YAO G, WANG M P, YANG Y, et al. Development and analysis of prefabricated concrete buildings in Chengdu, China [J]. International Journal of Sustainable Development and Planning, 2020, 15(3): 403-411.
[8]? 趙秋萍. 裝配式結(jié)構(gòu)施工深化設(shè)計(jì)要點(diǎn)[J]. 施工技術(shù), 2017, 46(4): 21-24.
ZHAO Q P. Key points of precast structure construction deep design [J]. Construction Technology, 2017, 46(4): 21-24. (in Chinese)
[9]? LIU J D, ZHANG Q L, WU J, et al. Dimensional accuracy and structural performance assessment of spatial structure components using 3D laser scanning [J]. Automation in Construction, 2018, 96: 324-336.
[10]? KIM M K, SOHN H, CHANG C C. Localization and quantification of concrete spalling defects using terrestrial laser scanning [J]. Journal of Computing in Civil Engineering, 2015, 29(6): 04014086.
[11]? SUN M S, XU A Q, LIU J. Line shape monitoring of longspan concrete-filled steel tube arches based on three-dimensional laser scanning [J]. International Journal of Robotics and Automation, 2021, 36(10): 1-13.
[12]? BARAZZETTI L, PREVITALI M, RONCORONI F. The use of terrestrial laser scanning techniques to evaluate industrial masonry chimney verticality [J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, 42(2): 173-178.
[13]? 楊陽, 李青澤, 姚剛. 預(yù)制疊合板構(gòu)件智能化識(shí)別與檢測方法[J]. 土木與環(huán)境工程學(xué)報(bào)(中英文), 2022, 44(1): 87-93.
YANG Y, LI Q Z, YAO G. Intelligent identification and detection method of prefabricated laminated slab [J]. Journal of Civil and Environmental Engineering, 2022, 44(1): 87-93. (in Chinese)
[14]? 鮑躍全, 李惠. 人工智能時(shí)代的土木工程[J]. 土木工程學(xué)報(bào), 2019, 52(5): 1-11.
BAO Y Q, LI H. Artificial intelligence for civil engineering [J]. China Civil Engineering Journal, 2019, 52(5): 1-11. (in Chinese)
[15]? AMEZQUITA-SANCHEZ J, VALTIERRA-RODRI-GUEZ M, ADELI H. Machine learning in structural engineering [J]. Scientia Iranica, 2020, 27(6): 2645-2656.
[16]? 魏伏佳. 基于卷積神經(jīng)網(wǎng)絡(luò)的清水混凝土表面氣泡檢測與評價(jià)[D]. 重慶: 重慶大學(xué), 2020.
WEI F J. Bughole detection and evaluation of fairfaced concrete surface based on convolutional neural network [D]. Chongqing: Chongqing University, 2020. (in Chinese)
[17]? 熊朝陽, 王婷. 基于卷積神經(jīng)網(wǎng)絡(luò)的建筑構(gòu)件圖像識(shí)別[J]. 計(jì)算機(jī)科學(xué), 2021, 48(Sup 1): 51-56.
XIONG Z Y, WANG T. Image recognition for building components based on convolutional neural network [J]. Computer Science, 2021, 48(Sup 1): 51-56. (in Chinese)
[18]? 李良福, 馬衛(wèi)飛, 李麗, 等. 基于深度學(xué)習(xí)的橋梁裂縫檢測算法研究[J]. 自動(dòng)化學(xué)報(bào), 2019, 45(9): 1727-1742.
LI L F, MA W F, LI L, et al. Research on detection algorithm for bridge cracks based on deep learning [J]. Acta Automatica Sinica, 2019, 45(9): 1727-1742. (in Chinese)
[19]? 趙珊珊, 何寧. 基于卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫檢測[J]. 傳感器與微系統(tǒng), 2017, 36(11): 135-138.
ZHAO S S, HE N. Road surface crack detection based on CNN [J]. Transducer and Microsystem Technologies, 2017, 36(11): 135-138. (in Chinese)
[20]? WANG J J, LIU Y F, NIE X, et al. Deep convolutional neural networks for semantic segmentation of cracks [J]. Structural Control and Health Monitoring, 2022, 29(1): 1-18.
[21]? SUN Y J, YANG Y, YAO G, et al. Autonomous crack and bughole detection for concrete surface image based on deep learning [J]. IEEE Access, 2021, 9: 85709-85720.
[22]? FAN W Y, CHEN Y, LI J Q, et al. Machine learning applied to the design and inspection of reinforced concrete bridges: Resilient methods and emerging applications [J]. Structures, 2021, 33: 3954-3963.
[23]? 黃健, 張鋼. 深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(17): 12-23.
HUANG J, ZHANG G. Survey of object detection algorithms for deep convolutional neural networks [J]. Computer Engineering and Applications, 2020, 56(17): 12-23. (in Chinese)
[24]? 王旭辰, 韓煜祺, 唐林波, 等. 基于深度學(xué)習(xí)的無人機(jī)載平臺(tái)多目標(biāo)檢測和跟蹤算法研究[J]. 信號處理, 2022, 38(1): 157-163.
WANG X C, HAN Y Q, TANG L B, et al. Multi target detection and tracking algorithm for UAV platform based on deep learning [J]. Journal of Signal Processing, 2022, 38(1): 157-163. (in Chinese)
[25]? LIANG F T, ZHOU Y, CHEN X, et al. Review of target detection technology based on deep learning [C]//CCEAI 2021: Proceedings of the 5th International Conference on Control Engineering and Artificial Intelligence. 2021: 132-135.
[26]? GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. June 23-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.
[27]? HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.
[28]? REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 779-788.
[29]? LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector [EB/OL]. 2015: arXiv: 1512.02325. https://arxiv.org/abs/1512.02325
[30]? 談世磊, 別雄波, 盧功林, 等. 基于YOLOv5網(wǎng)絡(luò)模型的人員口罩佩戴實(shí)時(shí)檢測[J]. 激光雜志, 2021, 42(2): 147-150.
TAN S L, BIE X B, LU G L, et al. Real-time detection for mask-wearing of personnel based on YOLOv5 network model [J]. Laser Journal, 2021, 42(2): 147-150. (in Chinese)
(編輯? 胡玲)
收稿日期:2021?11?08
基金項(xiàng)目:國家重點(diǎn)研發(fā)計(jì)劃(2019YFD1101005)
作者簡介:姚剛(1963- ),男,教授,博士生導(dǎo)師,主要從事土木工程施工研究,E-mail:yaocqu@vip.sina.com。
通信作者:楊陽(通信作者),女,博士,E-mail:yy20052710@163.com。
Received: 2021?11?08
Foundation item: National Key R & D Program of China(No. 2019YFD1101005)
Author brief: YAO Gang (1963- ), professor, doctorial supervisor, main research interest: building construction and information technology, E-mail: yaocqu@vip.sina.com.
corresponding author:YANG Yang (corresponding author), PhD, E-mail: yy20052710@163.com.