沈 華

〔上海振華重工(集團)股份有限公司,上海 200125,E-mail:shenhua@zpmc.com〕

在起重機領域(尤其是集裝箱機械領域),遠程控制、智能化、自動化越來越普及。在起重機上同時安裝有用于遠程控制的監(jiān)控相機,用于保護及識別用的相應設備以及傳統(tǒng)的電氣機械件。不同于傳統(tǒng)的起重機,自動化設備的設計要求相關的監(jiān)控相機、識別用的設備的定位更加準確并且希望可以輔助相應設備的選型。傳統(tǒng)的二維三視圖的方式已經(jīng)不能滿足相應的要求,鑒于三維設計軟件(如AutoCAD 3D)的準確性,可以借助三維設計軟件的一些方法來滿足實際設計中的定位選型的要求。

1 起重機自動化設計的主要問題與檢測元件的關鍵參數(shù)

1.1 監(jiān)控及圖像識別

在自動化起重機的遠程控制中,遠程監(jiān)控系統(tǒng)(Remote Vision System)和遠程控制系統(tǒng)(Remote Control System)是最為重要的系統(tǒng)[1]。對于操作者來說,遠程視頻的流暢度、清晰度與觀感的合理是遠程控制的基礎。遠程監(jiān)控系統(tǒng)的核心元件是相機,因此可以說相機的合理選型、定位是決定遠程控制和圖像識別效果的重要因素。在自動化設計中,需要利用一定的方法模擬出相機的成像輔助相應的設計及選型。

1.2 自動化檢測

相對傳統(tǒng)的起重機設備,自動化起重機的檢測元件數(shù)量更多。通常在自動化起重機中的檢測元件主要包括激光器和相機。利用接收激光器發(fā)出的光的回波可以用于測距[2]。通過旋轉激光器的光心就可以達到3D掃描的目的[3]。激光器3D掃描是自動化中最常見的目標位置定位方法[4]。同時,激光器也被用于起重機自動化中的檢測及保護。

而相機在較早之前僅用于圖像的識別。隨著圖像識別技術、深度學習及人工智能的發(fā)展,相機也被應用于目標定位[5]甚至保護。

自動化對精度的要求比較高,因此自動化檢測元件的定位要求比較高。合理的定位和選型可以使自動化的精度更高,效果更好,效率也更高。需要相應的軟件和方法來輔助元件的選型及定位。

1.3 相機及激光器的參數(shù)簡述

在自動化設計選型中,相機最重要的參數(shù)是焦距,相機視野,幀速率,PTZ(球機)角度范圍或可調角度范圍(固定式相機)和分辨率(像素比)[6]。如果沒有標注相機視野,則相機視野的計算方法為[7]:

(1)

式中:fn為可變焦情況下的第n個焦距,mm;Lh為相機傳感器大小(水平),mm;Lv為相機傳感器大小(垂直),mm;θhn為可變焦情況下的第n個相機水平視野角,(°);θvn為相機第n個垂直視野角,(°);θn為相機第n個對角視野角(°)。常用的傳感器參數(shù)如表1所示。

表1 常規(guī)傳感器大小對應表

如三維設計軟件的虛擬相機視野角參數(shù)使用對角視野角,而實際相機樣本中經(jīng)常標注的是垂直和水平視野角?？筛鶕?jù)公式推得對角視野角

(2)

在三維軟件中可使用公式(2)計算出來的對角視野角的相機進行模擬。

而在自動化設計選型中,激光器最重要的參數(shù)是角精度,檢測距離,掃描頻率和檢測范圍。其中角精度是指本激光束與下一激光束之間的夾角[8]。角精度是影響檢測精度的最主要因素。通常激光器的檢測范圍、精度都與被測物體的材質、顏色即反射率有關,選型時需要根據(jù)工況進行判斷。

1.4 需要三維輔助的問題

根據(jù)相機以及激光器的參數(shù)簡述及監(jiān)控、自動化檢測的工況要求,需設計輔助的是判斷元件的定位問題主要包括是否被其它物體遮擋,是否與其它物體干涉,是否能被所需的人員觀察到,是否檢測元件選型得當,是否可以正確識別所需識別的信息等。

2 三維軟件模擬相機拍攝圖形及視頻的相關方法

2.1 相機實際拍攝圖像的模擬和初步調整

在模擬圖像之前,首先要對被測物體附上相應的材質,必要時進行貼圖。如被測物體是集卡,需要對車窗附以玻璃材質,對輪胎附以橡膠材質,對其它部分附以金屬漆。附上相應的材質以后,渲染后的模擬圖像會更為準確[9-10]。

在三維軟件中建立相機(在AutoCAD中該指令為camera),根據(jù)相機的視野范圍設置參數(shù),根據(jù)起重機的機械結構和相機所要觀察的對象移動相機到設計的位置。初步觀察相機視野中的圖形后切換到相機視角,根據(jù)相機的分辨率進行渲染可得模擬的圖像。

圖1為輪胎吊的觀察40英尺集裝箱在集卡上落箱情況的相機,其水平視野為110°,垂直視野62°,根據(jù)公式計算得其對角線視野為114.3°,選擇固定合適的角度、修改相機視野并渲染后的模擬圖像如圖1所示。

▲圖1 模擬的觀察40英尺落箱相機拍攝圖像

如發(fā)現(xiàn)相機的模擬圖像不甚理想,可以通過調整相機位置并粗調其參數(shù)達到較理想的成像效果。

2.2 模擬圖像的準確性論證

現(xiàn)場經(jīng)過精調后的同一位置的相機實際拍攝的圖像如圖2。

▲圖2 實際的觀察40英尺落箱相機拍攝圖像

對比模擬圖像圖1與實際圖像圖2,兩個圖大體一致。相機成像時對畸變處理優(yōu)化了成像效果造成了與模擬圖像的偏差。因此可以利用三維軟件(如AutoCAD 3D)進行相機實際拍攝效果的模擬。

2.3 多相機的圖形模擬拼接

遠程控制的時候,常常在同一個顯示器上顯示多個攝像頭的圖像,圖3所示的是吊具空中帶箱場景。

▲圖3 吊具空中帶箱場景

在遠控帶箱下放的時候,同一個顯示器上顯示四個角的吊具相機的圖像?？墒褂萌S軟件的視口功能進行模擬。設置4個視口,將各個視口設置成對應的相機,此時,圖像拼接模擬圖如圖4所示。

▲圖4 吊具相機的模擬圖像拼接

2.4 相機的運動路徑及其動態(tài)視頻生成

如果需要模擬相機在機械設備運動過程中的成像圖形,可以通過建立相機的路徑及相機視野中心點指向線[12]。如圖5所示。

▲圖5 相機的運動路徑

在定義了相機運動路徑和相機視野中心方向運動路徑線以后,使用運動路徑動畫渲染導出就可以得到相機沿路徑的動畫視頻。

3 三維軟件輔助自動化設計的方法

3.1 確定元件的檢測(監(jiān)控)及運動范圍

在已經(jīng)建立了相應的模型的情況下,檢測元件的檢測范圍需根據(jù)檢測元件的位置和被測物體的運動范圍確定。將該范圍外廓線及檢測元件本身運動外廓線附上帶有透明度的顏色以方便觀察。

如岸邊集裝箱起重機通常會通過激光器配合云臺來引導及定位集卡從而實現(xiàn)對集卡作業(yè)的自動化[13]。該系統(tǒng)的檢測元件安裝在聯(lián)系梁附近,為方便起見可忽略的轉動中心和光心的位置偏差,如需精確可根據(jù)模擬光心的運動軌跡后的外廓線確定范圍。通過建立相應的模型,并在設計的位置放置模型,確定其檢測區(qū)域并進行外廓線標注即完成檢測及運動范圍的確定,如圖6所示。

3.2 檢測相關位置的校驗

激光器的檢測距離和角度都會影響檢測精度[13],因此其值在自動化設計選型中十分重要。使用三維軟件的量取點-點之間距離信息的指令(如在AutoCAD中該指令為DI)

▲圖6 岸邊集裝箱起重機集卡定位檢測元件檢測區(qū)域圖

可以獲取點與點之間的距離和相對坐標平面的角度。根據(jù)量取的距離和角度可以方便地校對實際的定位是否滿足元件的參數(shù)及特性。

3.3 元件干涉的校驗

云臺或者轉動機構驅動檢測元件時,需要對其運動路徑上是否有其它物體進行校驗。在三維圖中相應位置建立物體的模型,根據(jù)檢測元件檢測范圍,通過以檢測元件轉動軸為中心轉動檢測元件可以校驗周圍其它物體是否有干涉。

3.4 遮擋問題的校驗

▲圖7 遮擋的判斷

圖6已經(jīng)確定檢測元件的檢測范圍,并標注了疑似的遮擋。通過放大圖片或者在三維軟件中旋轉視角均可以校驗是否遮擋。旋轉并調整視角、局部放大后,如圖7所示。

可以看出交通燈不在集卡引導的檢測區(qū)域內。

3.5 顯示元件的可觀性校驗

▲圖8 建立模擬人眼的相機

在節(jié)3.4的例子中校驗了遮擋的交通燈,由于安裝位置很高,仍需要校驗其可觀性,可在所對應的集車車道的進入側的集卡建立集卡內用于模擬司機視野的相機。通常,人眼睛視角是120°,當集中注意力時為25°,人的視覺敏感區(qū)在10度以內,人可以正確識別信息的區(qū)域在10°到20°,動態(tài)物體敏感區(qū)為20°到30°,觀感較好的區(qū)域為垂直視野20°,水平視野36°范圍內[14]。因此,建立抬頭情況下水平視野36°,垂直視野20°的虛擬相機,根據(jù)公式(2)可得對角視野為40.6°,長寬比9∶5,可取像素比900∶500,如圖8所示。

切換到相機視野,將模擬人眼視界渲染出來(注意設置交通燈的自發(fā)光),如圖9所示。

▲圖9 集卡內司機正視視野模擬圖

從圖9中可以看到,在駛入岸橋聯(lián)系梁區(qū)域之前,司機可以看到所對應車道的車道燈。將圖片放大后可以證實在像素比900∶500的情況下,司機是可以看到交通燈上的綠燈。但交通燈的高度接近車窗的遮擋區(qū)域,這就要求在設計中盡量降低交通燈的高度以使集卡司機有更好的視覺效果。

3.6 激光器3D掃描精度的驗證

精確模擬激光器3D掃描的結果需通過建立相應的掃描線和對象物體的數(shù)學模型取各掃描線到物體的交點。其中被掃物體可能由多個基本圖形組成,數(shù)學建模比較繁瑣且計算復雜。但是在自動化設計中仍需要驗證激光器的掃描精度以輔助選型和定位。

Δyn=ry[tan(αy+δy)-tan(αy)]

(3)

將αy取最遠處的點的角度,即可求得3D掃描在Y軸方向的上的最大誤差。同理也可以求X方向的最大誤差。

(4)

因此,通過在三維設計軟件中量取及求得邊界點對應的數(shù)據(jù)代入公式(4),求得理想的角精度限制,從而校驗激光類的設計選型。

3.7 識別相機的圖像可行性論證

在自動化設計中,經(jīng)常會涉及到一些系統(tǒng)(如箱號識別,車牌號識別等)的相機需要核實相應的視角及識別的清晰度。同樣可以在三維圖形中建立相應的空間關系、相機的安裝角度、參數(shù)及被測物的工作區(qū)域,切換到相機視角渲染出相應的圖片。圖10為雙懸臂鐵路吊在一側需識別位于兩個作業(yè)車道上集卡的車牌的模擬圖片。

▲圖10 車牌識別相機的三維位置模型

根據(jù)圖10的三維安裝位置,調整相機到參數(shù)范圍內允許的合適視野和角度(假定相機為固定相機,其視野經(jīng)過調校后不能改變),渲染相機的模擬圖片如圖11所示。在渲染的時候發(fā)現(xiàn)這個位置受到大梁及小車架的遮擋,光照條件不好,畫面昏暗,因此也提醒設計需要增加補光設備以滿足識別的要求。在三維軟件中,光源的參數(shù)也是可以調整的,在此不作詳述了。

▲圖11 車牌識別相機的成像模擬

從模擬的圖片來看,靠近鐵路吊的集卡的車牌照片較為清晰且角度適宜,而遠離鐵路吊的車牌角度較大,將模擬的圖片取車牌號區(qū)域輸入相應的識別測試軟件,忽略識別結果中間符號點的影響,結果如表2所示。

表2 車牌識別結果表

表2的結果顯示靠近鐵路吊的集卡的車牌號可以被正確識別,而遠離鐵路吊的集卡的車牌號無法被正確識別。因此,在實際項目方案中提出2個建議:① 將相機的位置提高在車道上方,并增加了一個相機以達到減小角度從而達到可以準確識別外側車道的車牌號;② 在需要識別外側車牌的時候(同后20尺工況),由自動化控制系統(tǒng)控制大車向遠離方向運動一段距離使相機到合適的角度后再進行識別。

此方法也適用于箱號識別等需要識別文字、符號的場合,當使用球機時可以在同樣的位置建立多個相機模擬球機各個預置位。切換到相機視野渲染出圖像后輸入相應的測試軟件得出結果,此時的各個預置位的參數(shù)也可作為設計階段的結果輸出給實際使用參考。

3.8 輔助設計選型綜合實例

在雙懸臂軌道吊的自動化設計中,需在門腿附近安裝用于定位集卡的3D掃描儀、用于箱號識別的相機。在靠近地面高度安裝用于提示集卡司機準確停車的引導燈。其中的箱號識別相機需要在不同工況下識別箱門或箱尾(短邊)箱號及箱體面(長邊)箱號[15]。圖12為該實例的全局圖。

▲圖12 輔助設計選型實例

對于箱號識別相機的工況要求有兩個,一是在吊具帶箱情況的(a)到(b)的任意位置處,箱號識別相機都可以抓拍到可用的20尺及40尺集裝箱的長邊箱號;二是在(c)位置附近可以抓拍可用的短邊箱號。對于引導燈,需要校驗集卡在(d)(前20尺作業(yè))位置、(e)(中20/40/45尺作業(yè))位置、(f)(后20尺作業(yè))位置附近均可以看到引導燈。對于定位集卡用的3D掃描儀需要檢驗其被遮擋情況(如圖中電氣房及卷盤)并計算滿足精度的最大角精度。

經(jīng)測量,(a)、(b)、(c)三個位置分別相對球機位置的小車方向距離分別為32 m,9 m,0 m。球機位于大車方向中心距10.3 m,離地高度21.1 m。集裝箱上平面距離地面高度為22 m。定位集卡用的3D掃描儀大車方向中心距9.8 m,高度10.5 m,小車方向中心距-1.66 m(外伸)。引導燈的位置為小車方向中心距-1.2 m,大車方向中心距11.2 m。(d)、(e)、(f)三個的集卡尾部大車方向相對引導燈的距離分別約22 m,18 m,14 m左右。

使用3.7節(jié)的方法,定義球機的0°方向為朝向地面及(b)->(a)方向,在箱號識別球機位置分別建立抓拍(a)位置20尺、40尺,(b)位置20尺、40尺,(c)位置20尺、40尺的虛擬1 080p相機,選取合理視野后記錄繞高度方向旋轉角α、繞大車方向旋轉角β、對角視野角γ及抓拍效果如表3所示。

表3的模擬結果說明,需選用的球機繞高度方向旋轉的角度范圍至少為20°～90°,繞大車方向旋轉角范圍至少為83°～89°,對角視野角度范圍至少為7°～55°。

根據(jù)表3的結果,在(b)位置可以抓拍但識別效果不佳,進一步模擬發(fā)現(xiàn)無論20尺還是40尺情況下距離相機15 m((a),(b)點之間)對長邊箱號的抓拍效果比較好,說明該位置的球機依然可以進行抓拍。同時,在15 m以內需要其他位置的相機進行抓拍補充識別。

使用節(jié)3.5的方法建立集卡司機視野的相機校對引導燈的可觀性,發(fā)現(xiàn)在(e)處附近已經(jīng)無法看到引導燈,(f)點附近也無法看到。調整引導燈的位置后發(fā)現(xiàn),如需引導燈在司機正視視野范圍內顯示,則需要安裝在中心距18 m的位置。在工程上,18 m中心距是無法滿足的。因此,在實際應用的時候通過安裝2個引導燈,其中1個用于司機的前視和側視,1個則需借助集卡的后視鏡。

使用3.1節(jié)的方法,繪制掃描范圍的外廓線發(fā)現(xiàn)電氣房、卷盤等均未對3D掃描行程遮擋。根據(jù)自動化的定位精度需求為50 mm以內,在軟件中量取(d)、(e)、(f)處帶載集卡及空載集卡下的大車方向的激光器距離集卡尾部的邊緣距離S、垂直掃描線距離Sh后計算出角度αy,代入公式(4)求得激光器角精度δy要求,如表4所示。

表4 各位置激光器角精度要求計算表

綜合各工況,角精度要求為δy≤0.193 7°,因此為保證精度需選取角精度低于0.193 7°的激光器。實際選用的激光器的角精度是0.166 7°。

4 結論

三維設計軟件(如AutoCAD 3D)可以輔助起重機自動化的設計選型。由于設計軟件的準確性,通過放置相機可以比較真實的模擬現(xiàn)場實際的成像效果。通過相機的運動路徑可以直觀地模擬運動中的相機成像。進而在建立元件的檢測范圍的基礎上,可以達到校驗物體的遮擋與干涉、顯示元件的可觀性、輔助激光類精度校驗選型、識別相機的圖像可行性論證并提供相機參數(shù)以便相機選型。為相關的設計選型工作提供了一些比較新穎的方法,為軟件算法和原型驗證提供了一定的設計依據(jù),同時也為后續(xù)運動模擬軟件提供了基礎模型。