雷麗充，劉華平，孫富春，高蒙，張軍惺

（1.中鐵十七局集團有限公司 勘察設計院，山西 太原 030032； 2.清華大學計算機科學與技術(shù)系 智能技術(shù)與系統(tǒng)國家重點實驗室，北京 100084； 3.石家莊鐵道大學 電氣與電子工程學院, 河北 石家莊 050043）

?

面向靈巧操作的視覺目標識別

雷麗充1,2，劉華平2，孫富春2，高蒙3，張軍惺3

（1.中鐵十七局集團有限公司 勘察設計院，山西 太原 030032； 2.清華大學計算機科學與技術(shù)系 智能技術(shù)與系統(tǒng)國家重點實驗室，北京 100084； 3.石家莊鐵道大學 電氣與電子工程學院, 河北 石家莊 050043）

為了能夠?qū)崿F(xiàn)靈巧手對目標物體進行精準操作，研究了一種利用Kinect檢測出目標物體，在幀差法的基礎上對獲取的深度進行背景相減，獲取出目標物體的運動點，在此基礎上利用獲取的目標物體的特征采用T-S模糊邏輯判斷出目標物體的方法，以BH8-280對目標物體進行抓取實驗為例，在實驗中，Kinect在幀差法的基礎上檢測出目標物體的位姿，大小，形狀，以此為基礎建立起T-S模糊邏輯系統(tǒng)，判斷出目標物體的屬性和類別，通過實驗結(jié)果進一步說明了利用本文研究的方法顯著地提高了判斷物體的準確率和效率，為靈巧手的精細控制抓取奠定了基礎。

Kinect；視覺；背景相減法；幀差法；T-S模糊邏輯；目標識別；精細控制；靈巧操作

目前，隨著靈巧手在各個方面的應用越來越廣泛，對靈巧手的研究越來越深入，尤其對控制系統(tǒng)投入了大量的研究，但是對控制的研究也是以鑒別出目標物體為前提的。因此，對目標識別的智能識別研究也成為了研究熱點之一。

目標識別的智能識別研究就是在計算機領域內(nèi)模擬生物的視覺系統(tǒng)功能對目標物體進行辨認。目標識別是利用攝像機對場景的記錄，獲取到環(huán)境狀態(tài)信息，通過信息、數(shù)據(jù)的變化采集到運動區(qū)域，通過對數(shù)據(jù)的分析尋找到感興趣的范圍。近年來，學者們一直在努力探索，在文獻[1-3]中闡述了目標識別近年來在軍事上和民間的發(fā)展和應用。文獻[4]中采用了雙目系統(tǒng)對目標物體進行識別，文獻[5]采用了多傳感器對目標物體的識別，文獻[6]主要提出了有效的地標視覺提取和識別的方法，這些研究極大地促進了目標識別的發(fā)展，為后續(xù)任務打造了堅實的基礎。

本文提出了將背景相減法和幀差法相結(jié)合[7]的方法將目標物體識別出來。然后利用T-S模糊邏輯方法[8]確定出目標物體的屬性，進而，靈巧手根據(jù)不同物體對應不同力值的方法對目標物體施加恰當?shù)牧χ?，使靈巧手能夠?qū)δ繕宋矬w進行控制。

1 目標識別

目標識別實際上是將一個目標物體從一個特定的環(huán)境中提取出來的過程。從而判定目標物體的類別和類型[9]。針對固定攝像機的拍攝，可以采取很多方法檢測識別出目標物體。對于顏色較明顯的物體可以采用抓取顏色處理的辦法進行處理，對于其他的沒有顏色特征的物體，常用的目標檢測方法有3種：背景相減法、幀間差分法、光流法[10]。

在攝像機[11]是固定的，目標物體運動到特定環(huán)境中靜止的情況下，背景相減法只能大體上確定出目標物體的運動范圍，不能判定出目標物體是否已經(jīng)停止。幀差法[12]只能確定相鄰圖像之間的區(qū)別，對動態(tài)環(huán)境有很好的適應性，但是位置不準確，不能完全提取出運動目標的所有相關(guān)點。

面對上述傳統(tǒng)的目標檢測方法的不足，文中做如圖1算法改進。

圖1 算法流程

圖1中將背景相減法和幀差法相結(jié)合并且加入深度信息，首先利用幀差法確保提取出來目標物體為運動的目標，最后根據(jù)目標物體的深度信息判定出目標物體的類別和類型。

1.1 前景提取

本文將背景相減和幀差法相結(jié)合的方法避免了兩者方法的缺點，將優(yōu)點結(jié)合在一起獲得了極好的效果。背景相減法可以快速地檢測到運動物體，并且容易實現(xiàn)，效果也較好。

背景相減法的研究內(nèi)容包括背景初始化、背景更新、目標物體相關(guān)點的檢測、噪音等虛假影響等等。“背景初始化”研究的是關(guān)于背景模型初始參數(shù)獲取問題: “目標物體相關(guān)點的檢測”研究的是如何在相關(guān)范圍內(nèi)檢測出目標物體運動的序列，從而檢測出運動的對象；“噪音等虛假影響”研究的是在檢測出來的結(jié)果中剔除不是目標物體的像素，提高檢測目標物體的準確率。

背景相減法可以分4部分。

背景初始化檢測環(huán)境中最原始的環(huán)境參數(shù)；背景更新：在檢測目標物體時上一時刻的視頻序列幀；目標物體：在檢測的環(huán)境范圍內(nèi)感興趣的目標物體；假象：由噪聲等引起的圖像變化，例如:邊緣深度浮動等。

系統(tǒng)將背景初始化為沒有放入物體的背景深度數(shù)值。根據(jù)式（1）確定目標物體的區(qū)域：

Sk（z）=|Nk（z）-Bk（z）|

（1）

式中：Bk（z）為背景圖像上第k個點的深度值，Nk（z）為當前幀上第k個點的深度值，根據(jù)式（2）將得到的Sk（z）的值與選取的閾值進行判斷，從而改變圖像的深度值：

（2）

式中：δ為設定的閾值，當G（k）=4 000時表明沒有目標物體，當G（k）=0表明有運動物體進入。

但是當人手將目標物體放入環(huán)境中時運動的物體有沒有停止，人手有沒有影響到檢測目標物體的精確性等等，在這種情況下，背景相減法就不能夠滿足需要。因此，文中在此基礎上添加了幀差法和深度的元素。

幀差法是計算相鄰2幀圖像fk（xi,yi）和fk+1（xi,yi）的差值，通過差分圖像來快速檢測到目標物體。具體算法描述如下：

設當前圖像序列為fk（xi,yi）,其中（xi,yi）為圖像中像素點的位置坐標。當下一幀圖像出現(xiàn)時獲取圖像的序列fk+1（xi,yi），得到差值圖像dΔk（xi,yi）,將其二值化后得到二值化圖像bΔk（xi,yi）：

dΔk（xi,yi）=fk+1（xi,yi）-fk（xi,yi）

（3）

（4）

根據(jù)式（3）、（4）,對于進入環(huán)境后靜止的目標物體，當目標物體運動穩(wěn)定后當前幀圖像和上一幀圖像同一位置的像素點應該一致，因此通過選取適當?shù)拈撝颠M行二值化后得到的差值圖像持續(xù)為0時標明運動物體運動停止。

1.2 模糊邏輯

用背景相減和幀插法相結(jié)合的方法只能檢測出目標物體的形狀、大小、位姿，卻不能具體說明此目標物體的屬性。因此，可以利用目標物體的形狀、大小、位姿建立T-S模糊邏輯，從而判斷出目標物體的屬性和類別。

（5）

式中：Fnl代表物體要滿足的元素之一。

T-S模糊邏輯的基本框圖如圖2所示。

圖2 T-S邏輯的基本框圖

2 觸覺建模

本文采用的是美國BarrettHand公司生產(chǎn)的BH8系列中的BH8-280。靈巧手總共有4個觸覺傳感器[13-15]，每個傳感器上有24個電容細胞。它的測量范圍可以達到10 N/m。為了能夠抓取各種大小、形狀的物體，本文選用飲料杯子、QQ寵物、手機盒、小龍、圓口杯子作為代表性的物體進行建模。

靈巧手的觸覺傳感器上對目標物體最大的力值如表1所示。

3 實驗結(jié)果

文中采用的攝像機是微軟公司生產(chǎn)的Kinect[16]，Kinect擁有分辨率為320×240，16位色深，30FPS的彩色攝像機和分辨率為640×480，32為色深，30FPS的深度攝像機。將Kinect放置到天花板上，從上面俯視地面,如圖3所示，顯示了Kinect攝像的背景圖，圖像的左半邊是Kinect彩色攝像機顯示的彩色圖，右半邊是深度攝像機獲取環(huán)境的深度信息。圖4是背景初始化時的圖像顯示。當有目標物體出現(xiàn)時，檢測出來的圖像如圖5所示。

表1 靈巧手抓取不同目標物體的力值

Table 1 Force value of different targets grasped by the dexterous hand

目標物體靈巧手種類靈巧手狀態(tài)單個單元需要力的最大值/N飲料瓶子BH8-280正常70QQ寵物BH8-280正常78手機盒BH8-280正常65小龍BH8-280正常500圓口杯子BH8-280正常60

圖3 背景圖

圖4 背景初始化

圖5 檢測出來的目標物體

利用目標識別原理需要識別出備用的目標物體飲料杯子、QQ寵物、手機盒、小龍、圓口杯子，如圖6。

圖6 備用目標物體

本文利用Kinect檢測出的5種目標物體的效果圖如圖7～11所示。深度圖像通過IR感應器采集到連續(xù)光，然后通過解碼產(chǎn)生。因此，目標物體放置位置與Kinect的距離不同，檢測出來的目標形狀大小也不同。圖7～11是以目標物體距離Kinect攝像機107 cm為例的效果圖。

圖7 檢測飲料瓶子

圖8 檢測QQ 寵物

圖9 檢測手機盒

圖10 檢測小龍

圖11 檢測圓口杯子

根據(jù)實際情況，目標物體放置位置距離傳感器的距離為127、117、107 cm。分析檢測出來的差值圖像，將檢測出來的目標物體畫上最小外接矩陣。可以得出最小外接矩陣的周長和面積范圍，如表2所示。

表2 IR傳感器檢測出來的目標物體狀態(tài)Table 2 Target object state detecting by IR sensor

因此，結(jié)合T-S模糊邏輯，有表1可以得出當檢測的目標物體的周長為52～68 cm,面積為169～288 cm2,并且檢測出來的形狀為圓形時就認定此目標物體為飲料瓶子；周長為120～159.6 cm,面積為896～1590.6 cm2,檢測出來的形狀為圓形的目標物體認定為QQ寵物；周長為152～190 cm，面積為1 363～2 146 cm2,檢測出來的形狀為長方形的目標物體可以認定為手機盒；周長為89～113.6 cm,面積為495.997 2～807 cm2,檢測出來的形狀為不規(guī)則的形狀，則認定目標物體為小龍；周長為108.5～172.3 cm，面積為735.2～1 855.3 cm2，檢測出來的形狀為環(huán)形，則認定目標物體為圖6中的圓口杯子。

經(jīng)過上述分析，可以以圓口杯子為例，當識別出來物體之后，采用美國Barrett Technology公司生產(chǎn)的BH8-280進行抓取，針對不同的物體，靈巧手使用不同的力值進行精細控制，參考文獻[17]利用PID控制可以實現(xiàn)BH8-280對目標物體進行操作，其效果圖（以圓口杯子為例）如圖12、13所示。

圖12 靈巧手初始化

圖13 靈巧手抓取杯子

4 結(jié)束語

為了能夠?qū)崿F(xiàn)靈巧手抓取目標物體對應的力值操作問題，本文研究了一種利用Kinect檢測出目標物體，在幀差法的基礎上對獲取的深度值進行背景相減，獲取出目標物體的運動點，在此基礎上利用獲取的目標物體的特征采用T-S模糊邏輯判斷出目標物體的方法，使得BH8-280靈巧手抓取目標物體時能夠更加智能和類人手化。利用T-S模糊邏輯為目標物體判斷提供了理論基礎，并且提高了目標物體的準確率。本文所提供的目標識別物體的方法更加智能化，擴充了目標識別的應用范圍，為靈巧手更加智能化的發(fā)展提供了基礎。

[1]陳春玉.目標識別技術(shù)的現(xiàn)狀與發(fā)展[J].聲學技術(shù),1999, 18（4）: 185-188. CHEN Chunyu. The present situation and developing trend of target discrimination techniques[J]. Technical Acoustics, 1999, 18（4）: 185-188.

[2]叢敏,金善良,羅翌.自動目標識別技術(shù)的發(fā)展現(xiàn)狀及其應用[J].飛航導彈, 1999（12）: 1-9. CONG Min, JIN Shanliang, LUO Yi. The present situation and developing trend of target automatic recognition techniques[J]. Winged Missiles Journal, 1999（12）: 1-9.

[3]舒海燕.圖像目標識別技術(shù)的研究與應用[D].西安:西北工業(yè)大學, 2002: 1-65. SHU Haiyan. The research and application of image target recognition technology[D]//Xi’an: Northwestern Polytechnical University, 2002: 1-65.

[4]施雷,胡文俊.基于主動形狀模型的雙目識別系統(tǒng)的設計與實現(xiàn)[J].計算機應用與軟件, 2009, 26（3）: 223-225. SHI Lei, HU Wenjun. Design and implementation of binocular visual recognition system based on the active shape model[J]. Computer Applications and Software, 2009, 26（3）: 223-225.

[5]孫濤,張宏建.目標識別中的信息融合技術(shù)[J].自動化儀表, 2001, 22（2）: 1-4. SUN Tao, ZHANG Hongjian. The technology of information merging in object recognition[J]. Process Automation Instrumentation, 2001, 22（2）: 1-4.

[6]LEE L K, AN S Y, OH S. Efficient visual salient object landmark extraction and recognition[C]//IEEE/SMC International Conference on Systems, Man, and Cybernetics. Anchorage, Alaska, 2011: 1351-1357.

[7]方帥,薛方正,徐新和.基于背景建模的動態(tài)目標檢測算法的研究與仿真[J].系統(tǒng)仿真學報, 2005, 17（1）: 159- 165. FANG Shuai, XUE Fangzheng, XU Xinhe. Moving object detection based on self-adaptive background modeling[J]. Journal of System Simulation, 2005, 17（1）: 159-165.

[8]QUANG V D, Van BAN D, HA H C. A method of object identification based on fuzzy object functional dependencies in fuzzy object-oriented databases[C]//IEEE/KES Fourth International Conference on Knowledge and Systems Engineering. Danang, Vietnam, 2012: 46-53.

[9]孫紅巖,毛士藝.多傳感器目標識別的數(shù)據(jù)融合[J].電子學報, 1995, 23（10）: 188-192. SUN Hongyan, MAO Shiyi. Multisensor data fusion for target identification[J]. Chinese Journal of Electronics, 1995, 23（10）: 188-192.

[10]韓崢,劉華平,黃文炳,等.基于Kinect的機械臂目標抓取[J].智能系統(tǒng)學報, 2013, 8（2）: 149-155. HAN Zheng, LIU Huaping, HUANG Wenbing, et al. Service robot desktop cleaning based on Kinect[J]. CAAI Transactions on Intelligent Systems, 2013, 8（2）: 149-155.

[11]AMER A. Voting-based simultaneous tracking of multiple video objects[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15（11）: 1448-1462.

[12]崔學超.基于減背景和混合差分的運動目標檢測算法[J].電子科技, 2010, 23（10）: 85-88.

CUI Xuechao. Moving objects detection algorithm based on background subtraction and hybrid difference methods[J]. Electronic Science & Technology, 2010, 23（10）: 85-88.

[13]BEKIROGLU Y, LAAKSONEN J, JORGENSEN J A, et al. Assessing grasp stability based on learning and haptic data[J]. IEEE Transactions on Robotics, 2011, 27（3）: 616-629.

[14]STEFFEN J, HASCHKE R, RITTER H. Experience-based and tactile driven dynamic grasp control[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA, 2007: 2938-2943.

[15]BEKIROGLU Y, DETRY R, KRAGIC D. Learning tactile characterizations of object- and pose-specific grasps[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA, 2011: 1554-1560.

[16]EL-LAITHY R A, HUANG J, YEH M. Study on the use of Microsoft Kinect for robotics applications[C]/ /IEEE/ION Position Location and Navigation Symposium． Myrtle Beach, USA, 2012: 1280-1288．

[17]劉金琨.先進PID控制及其MATLAB仿真[M]. 北京:電子工業(yè)出版社, 2003: 67-80.

雷麗充，女，1988年生，碩士研究生，主要研究方向為智能控制、模式識別、圖像處理。

劉華平，男，1976年生，副教授，主要研究方向為智能控制及機器人、計算機視覺等。

孫富春，男，1964年生，教授，博士生導師，博士，IEEE高級會員，中國人工智能學會理事、智能控制與智能管理專業(yè)委員會副主任兼秘書長。主要研究方向為智能控制、機器人與飛行器的導航與控制、網(wǎng)絡控制系統(tǒng)、人工認知系統(tǒng)的信息感知和處理等。曾獲全國優(yōu)秀博士論文獎、教育部新世紀人才獎、國家杰出青年基金、北京市科學技術(shù)進步二等獎。發(fā)表學術(shù)論文120余篇，其中被SCI檢索52篇。

Visual object recognition for smart manipulation

LEI Lichong1,2， LIU Huaping2, SUN Fuchun2, GAO Meng3, ZHANG Junxing3

（1.China Railway 17th Bureau Co.,Ltd.Survey and Design Institute,Taiyuan 030032,China; 2.State Key Lab of Intelligent Technology and Systems, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 3.School of Electrical and Electronics Engineering, Shijiazhuang Tiedao University,Shijiazhuang 050043, China）

In order to achieve fine operation of dexterous hand, a new method is proposed. The method consists of detecting a targeted object by Kinect, conducting background subtraction for the obtained depth on the basis of frame difference method to acquire the motion point of the targeted object and judging the targeted object by the T-S fuzzy logic along with the features of the obtained targeted object. This paper uses BH8-280 for an object grasping experiment to verify the accuracy and rapidity of the method. In this experiment the pose, size and shape of the objects can be determined. The property categories of objects are judged by the T-S fuzzy logic system. It is seen that the dexterous hand can grasp the object accurately. The research of this method builds a foundation for fine operation of a dexterous hand.

Kinect; visual；background subtraction; the frame differenece; T-S fuzzy logical; object recognition;fine control; smart manipulation

2013-11-20.

日期：2015-01-13.

國家自然科學基金重大國際合作研究資助項目（61210013）；國家自然科學基金資助項目（60621062,90716021）.

雷麗充. E-mail：lei.lichong@163.com.

10.3969/j.issn.1673-4785.201311050

http://www.cnki.net/kcms/detail/23.1538.TP.20150113.1131.009.html

TP391.4

A

1673-4785（2015）01-0037-06

雷麗充,劉華平，孫富春，等. 面向靈巧操作的視覺目標識別[J]. 智能系統(tǒng)學報， 2014, 9（2）: 37-42.

英文引用格式：LEI Lichong， LIU Huaping, SUN Fuchun， et al. Visual object recognition for smart manipulation[J]. CAAI Transactions on Intelligent Systems, 2014, 9（2）: 37-42.