四川長虹電器股份有限公司 張 霍
隨著社會經(jīng)濟的不斷發(fā)展,電梯的使用量不斷增加,電梯的開關(guān)門故障對人們的出行影響越來越大[1],實時檢測電梯門的開關(guān)狀態(tài)在電梯安全保護系統(tǒng)中至關(guān)重要;與此同時,電梯廣告投影方式逐漸出現(xiàn),電梯開關(guān)門檢測成為其投影控制系統(tǒng)的關(guān)鍵技術(shù)。通過圖像傳感器采集電梯門區(qū)域視頻序列,并進行圖像處理,能夠?qū)崟r檢測電梯門的開關(guān)量,為安全保護系統(tǒng)與電梯廣告投影控制系統(tǒng)提供依據(jù)。電梯門邊界在開關(guān)過程中其到中線的距離變化,能夠有效表征電梯的開關(guān)狀態(tài),因此可以通過檢測邊界特征的位置變化判斷電梯門的開關(guān)量。該檢測過程可分為3個部分:圖像預(yù)處理、邊界檢測和開關(guān)判斷。
經(jīng)圖像傳感器采集的原始圖像尺寸較大,噪聲偏多,直接對其進行處理將影響圖像處理的效率和檢測結(jié)果的準確性,故需對原始圖像進行以下預(yù)處理。
在圖像采集時,相機位于電梯后側(cè)上方中間位置,與轎廂門相對,并成一定角度俯視。采集到的圖像包含很多無用的背景信息,且下方存在乘客的干擾。因此,需要將該部分信息去除,以提高圖像處理速度和排除干擾。本文將電梯轎廂門上方40cm高度區(qū)域作為待檢測區(qū),兩門閉合處為檢測窗口中心,檢測區(qū)域?qū)挾葹殡S著電梯門邊界變化而調(diào)整。
攝像頭的位置高于轎廂門,視口與轎廂門相對,成一定夾角俯視。攝像頭俯視造成轎廂門兩條邊界并不平行,且在電梯門開關(guān)過程中,邊界的傾斜角度處于變化狀態(tài),不利于后續(xù)處理。透視變換可以對攝像頭俯視產(chǎn)生的圖像畸變進行矯正,使得轎廂門的兩邊界由非平行狀態(tài)還原為平行狀態(tài)。
在電梯中當光線不充足時,攝像頭采集到的圖像存在較多噪聲[2],噪聲對圖像邊緣檢測有較大影響,同時噪聲的干擾會降低邊緣檢測的速度。經(jīng)典圖像濾波算法有:高斯濾波、均值濾波、中值濾波、雙邊濾波等。其中高斯濾波與均值濾波屬于線性濾波器,中值濾波與雙邊濾波屬于非線性濾波器。線性濾波器會對圖像造成一定的模糊,造成細節(jié)特征丟失,而非線性濾波器能夠更好的保留細節(jié)特征。
對一幅620*360分辨率的灰度圖像分別采用以上4種濾波算法進行濾波處理,結(jié)果如表1所示,從表1數(shù)據(jù)可以看出,線性濾波器相對于非線性濾波器在運行速度上有著明顯優(yōu)勢。在電梯門開關(guān)過程中,受運動和相機幀率的影響,其邊界特征較模糊,非線性濾波器在模糊邊界處會產(chǎn)生部分細小邊界;而線性濾波器受邊界模糊的影響較小,通過Canny邊緣檢測可以得到邊界清晰的線條,如圖3所示。從表1和圖1可以看出,均值濾波算法針對電梯門邊緣檢測在速度和結(jié)果上均能夠達到良好的效果。
表1 不同濾波算法運行時間
圖1 局部圖像濾波前后邊緣檢測效果
邊界檢測用于提取電梯門的左右邊界線,邊界檢測的結(jié)果直接決定開關(guān)量檢測的準確率。各類邊緣檢測算法檢測速度與效果不同,在進行邊緣檢測時需要兼顧速度與效果,以滿足檢測的實時性與準確性。同時,需要通過直線檢測、邊界過濾等方式對邊緣特征進行篩選,排除干擾信息。
常用的邊緣檢測算法有:Roberts算子、Sobel算子、Prewitt算子、Canny算子和Laplacian算子[3,4]。其中Canny算子檢測到的邊緣最為清晰準確,且為單線條,易于處理[5];其他算法檢測到的邊緣較寬,不夠清晰,如圖2所示。
Canny具有優(yōu)秀的邊緣檢測效果,但計算量隨著檢測精度的提高顯著增大。當閾值設(shè)定較小時,能夠檢測到更多的邊緣線條,但計算量較大;當閾值設(shè)定較大時,能夠檢測到部分邊緣線條,計算量降低,閾值的選取對實時性與準確性影響較大。
圖2 不同算法邊緣檢測
在電梯門開關(guān)過程中,門邊界運動速度較快時,會導致邊界模糊,對模糊邊界采用Canny算法進行邊緣檢測效果不佳或檢測不到。轎廂內(nèi)外環(huán)境光不同,待檢測區(qū)圖像直方圖為雙峰結(jié)構(gòu),通過二值化處理可以得到清晰的邊界,進而通過Canny算法得到邊界,如圖3所示。
二值化能夠補充邊緣特征,彌補模糊邊緣檢測的不穩(wěn)定性。非二值化能夠得到清晰的邊緣特征,而二值化能夠獲得模糊的邊緣特征,二者結(jié)合能夠提高邊緣檢測的準確性。
最大類間方差法[6](Otsu算法)是一種自適應(yīng)閾值分割法,能夠獲取較優(yōu)的二值化閾值,將圖像二值化[7]。通過將非二值化Canny檢測獲得的邊緣圖像與經(jīng)過Otsu算法二值化后Canny檢測獲得的邊緣圖像相疊加,得到融合后的邊緣圖像,該圖像所包含的邊緣信息要多于單一方法所得信息,可提高邊緣檢測準確性。
圖3 模糊邊界邊緣檢測
經(jīng)邊緣檢測獲取的圖像中包含有較多的線條信息,從中篩選出準確的電梯門邊界特征需要多種方法的結(jié)合,如直線檢測、距離突變檢測等。
2.3.1 直線檢測
直線檢測用于將圖像邊緣特征中的直線邊緣提取出來。電梯門邊緣經(jīng)過透視變換形成近似垂直的兩條平行線,可結(jié)合直線檢測與直線傾斜度將其準確提取出來?;舴颍℉ough)變換[8]是圖像直線檢測中的經(jīng)典算法,能夠準確地檢測到圖像中的直線信息。計算所有直線的傾斜角度,保留傾斜角度在90°±3°之間的直線。電梯門關(guān)閉時,存在廣告信息干擾的情況下,通過傾斜角度可以過濾掉大多數(shù)直線,如圖6所示。
圖4 垂直直線檢測
2.3.2 距離突變檢測
距離檢測用于通過距離信息對直線進行篩選過濾。電梯門兩邊界于中線對稱,到中線的距離相近,距離的變化能夠反映電梯門的開關(guān)量。每幀圖像可檢測到多條垂直直線,其中由乘客、地板、墻壁等產(chǎn)生的干擾線多存在于兩門中間區(qū)域,門邊界多為最大距離對應(yīng)的直線,因此,可將最大距離對應(yīng)的直線作為電梯門的邊界。檢測窗口需略寬于電梯門兩邊界距離,根據(jù)邊界的位置變化不斷調(diào)整檢測窗口的大小,以提高計算速度。
當電梯門邊界直線未檢測到或電梯門上存在干擾線時,相鄰幀圖像最大距離變化可超過一定閾值,即發(fā)生距離突變。當檢測到距離突變時,根據(jù)電梯門開啟與關(guān)閉各個階段的距離變化速率對最大距離進行修正,各階段距離變化速率經(jīng)統(tǒng)計計算得到。圖5所示為電梯門邊界到中線的距離變化曲線,距離由圖像中的像素表示,從圖中可以看出各階段的距離變化速度的差異。
圖5 距離變化曲線
電梯門開關(guān)判斷需要對連續(xù)幀的距離變化進行分析,距離的變化能夠反映開關(guān)量的變化,同時結(jié)合加速度傳感器能夠進一步保障電梯門開關(guān)檢測的準確性。
連續(xù)幀距離變化反映電梯門開關(guān)狀態(tài),當距離連續(xù)遞減,則電梯正在關(guān)閉,小于設(shè)定關(guān)閉閾值Tc時,電梯已關(guān)閉;當距離連續(xù)遞增,則電梯正在打開,大于設(shè)定打開閾值To時,電梯已打開。
本文以連續(xù)4幀的距離變化為依據(jù),判斷電梯門的開關(guān)狀態(tài)。為了避免距離波動造成誤判,本文以前后兩幀的距離均值作為當前幀的距離,對連續(xù)幀距離值進行濾波處理,保證距離平緩變化。
電梯在運行過程中垂直方向的加速度變化具有一定規(guī)律,加速度傳感器能夠記錄電梯運行過程中的加速度變化,根據(jù)該加速度變化可以得知電梯正處于升降狀態(tài)或是停止狀態(tài)。
電梯在啟動和停止的短暫時間中會出現(xiàn)失重或超重,加速度傳感器能夠測得該過程的加速度變化值。當加速度>0時,處于超重狀態(tài);當加速度<0,處于失重狀態(tài);電梯啟動與停止總成對存在的,在電梯啟動到停止的一個完整過程中,必然有一個失重,一個超重。此外,當出現(xiàn)連續(xù)兩個超重或失重狀態(tài)時,電梯完成換向,電梯先下降再上升時,連續(xù)兩次超重;電梯先上升再下降時,連續(xù)兩次失重。根據(jù)此規(guī)律可以準確判斷電梯的運行狀態(tài)。在電梯運行過程中,受乘客和電梯振動的影響,加速度數(shù)據(jù)會存在一定的噪聲,噪聲通過鄰域均值濾波可以有效抑制。
加速度變化與電梯開關(guān)門存在不同步的現(xiàn)象,電梯啟動總是在電梯門閉合之后進行,即門閉合后加速度才變化,此時圖像可優(yōu)先完成電梯門關(guān)閉的判斷;電梯停止時,加速度先發(fā)生變化,停穩(wěn)后門打開,圖像判斷開門在加速度判斷開門之后發(fā)生,如果是在加速度判斷開門之前判斷的,那么該次判斷即為誤判,以加速度判斷結(jié)果為準。同時,加速度能夠?qū)崟r監(jiān)測電梯的升降運行狀況,為電梯安全運行提供數(shù)據(jù)依據(jù)。
試驗采用普通CMOS攝像頭用于視頻圖像獲取,攝像頭安裝于電梯后側(cè)中間上方位置,以一定角度俯視,攝像頭設(shè)置分辨率640*480,幀率15幀/s,待檢測窗口分辨率為250*200,在CPU為Hi3798M V100、主頻1.5GHz的Android平臺上進行數(shù)據(jù)處理。
試驗對3部不同電梯的開關(guān)視頻圖像進行驗證,分別檢測100次開關(guān)過程得到檢測成功率,并統(tǒng)計得到每幀圖像的平均運行時間,試驗結(jié)果如表2所示。電梯2中存在1次未檢測到開門的判斷,該種情況由電梯內(nèi)投影圖像的干擾引起,通過結(jié)合加速度傳感器能夠有效解決該問題。
表2 電梯開關(guān)判斷測試
圖6 電梯加速度數(shù)據(jù)濾波
試驗同時采集了3部電梯的在運行過程中的加速度變化數(shù)據(jù),對加速度數(shù)據(jù)進行濾波處理并判斷電梯的開關(guān)狀態(tài),如圖6所示。根據(jù)濾波后的波形圖能夠得知,該組數(shù)據(jù)包含3對啟停,分別為下降、上升、上升。同時,圖6所示數(shù)據(jù)段在采集時加入了較為劇烈的人為振動干擾,試驗結(jié)果表明,經(jīng)過濾波處理能夠有效對振動噪聲完成過濾,并保證電梯啟停加速度的準確性。
綜上所述,圖像檢測方式能夠保證檢測的實時性,而加速度檢測方式能夠保證檢測的穩(wěn)定性和準確性,本文方法將兩種方式相結(jié)合在電梯開關(guān)檢測中能夠兼顧實時性和準確性。
本文提出的基于圖像和加速度傳感器的電梯開關(guān)門檢測方法通過圖像預(yù)處理、邊界檢測、開關(guān)判斷等方式快速、準確地判斷電梯門的開關(guān)狀態(tài)。文中對多種邊界檢測算法和干擾情況分別進行了分析判斷,以提高該方法的穩(wěn)定性。后續(xù)需要驗證更多的應(yīng)用場景,在準確性和穩(wěn)定性上做進一步的分析研究。
[1]易風華,徐義.電梯事故原因分析與預(yù)防措施[J].電力安全技術(shù),2011(06):22-23.
[2]崔鵬,張立昂,吉利久,等.兩種平滑優(yōu)化算法在一維情況下的比較研究[J].北京大學學報自然科學版,2003,39(5):681-689.
[3]甘金來.圖像邊緣檢測算法的比較研究[D].電子科技大學,2005.
[4]厲梁,戴勇,丁東輝,等.電梯門檢測中邊緣檢測技術(shù)方法[J].輕工機械,2012(06):72-74.
[5]章毓晉.圖像處理和分析技術(shù)[M].高等教育出版社,2014.
[6]Otsu N.A Threshold Selection Method from Gray-Level Histograms[J].IEEE Transactions on Systems Man & Cybernetics,1979,9(1):62-66.
[7]孟瑜,趙忠明,柳星春,等.基于最大類間方差準則的變化區(qū)域提取[J].光電工程,2008(12):63-66.
[8]Duda R O,Hart P E.Use of the Hough transformation to detect lines and curves in pictures[J].Commun.ACM,1972,15(1):11-15.