曹志強(qiáng)，鄭世寶，張重陽

(1.上海交通大學(xué)圖像通信與信息處理研究所，上海 200240;2.上海數(shù)字媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室，上海 200240)

1 圖像語義層次簡(jiǎn)介

基于中層語義對(duì)象的時(shí)空關(guān)系提取和對(duì)象目標(biāo)運(yùn)動(dòng)趨勢(shì)的估計(jì)將圖像處理等技術(shù)結(jié)合在一起，是現(xiàn)今多媒體研究的一個(gè)很有前途的方向。

圖像語義包括了底層的特征語義、中層的對(duì)象語義和高層的抽象語義，本平臺(tái)旨在對(duì)對(duì)象語義層通過識(shí)別和推理進(jìn)而找出圖像中的具體對(duì)象以及它們之間相互的關(guān)系，進(jìn)行分析研究然后給出語義表達(dá)［1］(見圖1)。

圖1 圖像語義層次模型

多層次模型的圖像，包括顏色、紋理、形狀、空間關(guān)系的圖像語義內(nèi)容。比起底層特征語義如顏色、紋理等，使用的對(duì)象之間的空間關(guān)系這一中層語義的圖像識(shí)別更符合人們的識(shí)別習(xí)慣。

因此不同于使用顏色、紋理、形狀等視覺特征，本研究中基于MPEG－7標(biāo)準(zhǔn)［2－3］的中層語義是對(duì)目標(biāo)圖像最直接的語義描述，其導(dǎo)出的特征亦是通過對(duì)圖像中所描述對(duì)象進(jìn)行某種程度的邏輯推理而得到的，進(jìn)而對(duì)圖像中所包含物體的含義和場(chǎng)景的描述進(jìn)行大量的高層次的推理。

此前的研究主要強(qiáng)調(diào)目標(biāo)對(duì)象的空間拓?fù)潢P(guān)系研究，例如在文獻(xiàn)［4］中，主要概括了兩個(gè)空間所有可能對(duì)象關(guān)系。而本文在空間關(guān)系研究的基礎(chǔ)上，更側(cè)重通過與時(shí)間關(guān)系的結(jié)合，即對(duì)實(shí)時(shí)監(jiān)控中運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)標(biāo)定，測(cè)得目標(biāo)相互之間如上下左右的位置，并結(jié)合前后等時(shí)間關(guān)系，自動(dòng)組合推理出如目標(biāo)相遇等高層次的邏輯語義。

2 圖像對(duì)象時(shí)空關(guān)系的形式化描述

2.1 圖像對(duì)象空間關(guān)系的描述

文獻(xiàn)［5］將空間關(guān)系(Spatial Relationship)概括為尺度特征、認(rèn)知特征、層次特征(Interval Relationship)、拓?fù)涮卣?Geometry Relationship)等。

在本文的研究中主要使用的是二維模型，以一個(gè)簡(jiǎn)單的二維對(duì)象模型進(jìn)行建模。而以三維空間現(xiàn)象為重點(diǎn)的空間關(guān)系以及具有更不確定性的多層次的復(fù)雜空間關(guān)系的空間推理也將會(huì)是未來在時(shí)空關(guān)系領(lǐng)域的發(fā)展研究的重要方向之一。

本文在空間上構(gòu)建了如下空間關(guān)系:之上(higher)，之下(lower)，之左(left)，之右(right)，嚴(yán)格之上(above)，嚴(yán)格之下(below)，嚴(yán)格之左(left of)，嚴(yán)格之右(right of)。圖像目標(biāo)之間的拓?fù)淇臻g關(guān)系如圖2所示。

圖2 圖像目標(biāo)之間的拓?fù)淇臻g關(guān)系

除了上述利用空間點(diǎn)集拓?fù)潢P(guān)系來定性表示的空間拓?fù)潢P(guān)系，圖像目標(biāo)對(duì)象之間關(guān)系還有投影關(guān)系和幾何關(guān)系等［6］。其中空間幾何關(guān)系則是通過圖像目標(biāo)的坐標(biāo)來判斷距離與夾角來定量表示。

2.2 圖像對(duì)象時(shí)間關(guān)系的描述

當(dāng)敘述一個(gè)監(jiān)控視頻對(duì)象的時(shí)間先后關(guān)系時(shí)，主要是為了描述事件發(fā)生的時(shí)間點(diǎn)或時(shí)間段內(nèi)事件涉及目標(biāo)對(duì)象的先后變化。時(shí)間關(guān)系的表示方式主要有幾種，在此研究中選擇的時(shí)間表示為時(shí)間區(qū)間和時(shí)刻相結(jié)合的方式以更方便地判斷時(shí)間關(guān)系，因?yàn)檫@種表示方式既兼顧了時(shí)間區(qū)間的結(jié)構(gòu)，也包含了時(shí)間點(diǎn)所發(fā)生事件的信息。

任何兩個(gè)時(shí)間區(qū)間X和Y的時(shí)間關(guān)系可定義為13種［7］，這13種時(shí)態(tài)關(guān)系可以用兩個(gè)時(shí)間區(qū)間的相交情況重新定義。設(shè)X= ＜ t 1，t 2＞，t 1≤t 2，Y= ＜ t 3，t 4＞，t 3≤t 4，可定義如下13種時(shí)間區(qū)間的時(shí)態(tài)關(guān)系。

1)之前(before):定義X before Y，僅當(dāng)t 2＜t 3;

2)之后(after):定義X after Y，僅當(dāng)t 4＜t 1;

3)相遇(meet):定義X meet Y，僅當(dāng)t 2=t 3;

4)覆蓋(overlap):定義X overlap Y，當(dāng)t 1＜t 3，且t 3＜ t 2，t 2＜ t 4;

5)終點(diǎn)重合(finish):定義X finish by Y，當(dāng)t 3＜t 1且t 2=t 4;

6)包含(contains):定義X contains Y，當(dāng)t 1＜t 3且t 4＜t 2;

7)起點(diǎn)重合(starts):定義X starts Y，當(dāng)t 1=t 3且t 2＜t 4;

8)等價(jià)(equals):定義 X equals Y，當(dāng) t1=t3且t2=t4;

9)被包含(during):定義X during Y，當(dāng)t 3＜t 1且t 2＜ t 4，以及相對(duì)應(yīng)的 started by，finished by，overlaped by，meet by等4種關(guān)系，這4種關(guān)系在實(shí)現(xiàn)上則是將X和Y的順序顛倒;

10)被終點(diǎn)重合(finished by):定義X finished by Y，當(dāng)t 1＜t 3且t 2=t 4;

11)被起點(diǎn)重合(started by):定義X finished by Y，當(dāng)t 4＜t 2且t 1=t 3;

12)被相遇(met by):定義X met by Y，當(dāng)t 1=t 4;

13)被覆蓋(overlaped by):定義X overlapped by Y，當(dāng)t 3＜t 1且t 1＜t 4，t 4＜t 2。

2.3 時(shí)空關(guān)系結(jié)合的描述

將時(shí)間關(guān)系與空間關(guān)系相結(jié)合得到對(duì)應(yīng)的組合邏輯關(guān)系:例如將前后兩幀物體相對(duì)位置改變定義為經(jīng)過換邊，若相對(duì)位置不改變，則可進(jìn)一步定義接近遠(yuǎn)離等關(guān)系此外，亦可定義更高級(jí)的組合邏輯事件，例如路口闖紅燈與滯留物品。

若檢測(cè)到前一時(shí)間幀內(nèi)一個(gè)人(entity)與一個(gè)物體(object)相對(duì)距離小于一個(gè)值，則判定為接近(near)，而后一時(shí)間幀內(nèi)兩者相對(duì)距離逐漸拉遠(yuǎn)，可認(rèn)為是對(duì)滯留物品事件的近義檢測(cè)。

3 時(shí)空關(guān)系提取檢測(cè)

3.1 空間關(guān)系判斷

本實(shí)驗(yàn)中采取了一段自行拍攝的監(jiān)控視頻序列，從中選取2幀畫面進(jìn)行空間關(guān)系判斷，如圖3和圖4所示。

本實(shí)驗(yàn)采取的是VIA_1.0標(biāo)定工具，以畫面左上角為原點(diǎn)(0，0)，選用對(duì)象矩陣左上角點(diǎn)坐標(biāo)，并輔助矩陣寬和高信息得到四點(diǎn)坐標(biāo)。例如圖3中對(duì)象1的坐標(biāo)信息分別為＜X 392 Y 99寬57高106＞，對(duì)象2坐標(biāo)信息分別為＜X 512 Y 84寬65高69＞，對(duì)象3的坐標(biāo)信息分別為＜X 586 Y 78寬44高59＞。通過計(jì)算矩形中心點(diǎn)坐標(biāo)判斷上下左右空間關(guān)系，通過比較4個(gè)頂點(diǎn)坐標(biāo)判斷相交相離包含等拓?fù)潢P(guān)系，程序?qū)崿F(xiàn)上皆用bool函數(shù)判斷真假，例如:

bool geo_2D_rectleft(rectangle s1，rectangle s2){if(s1.center.x ＜ s2.center.x)return 1;else return 0;}

上述代碼當(dāng)對(duì)象目標(biāo)S 1在S 2左邊時(shí)則返回真值再作判斷。

在選擇的這兩例幀中，程序讀入監(jiān)控視頻圖像標(biāo)定文檔可自動(dòng)輸出以下信息:前一幀，對(duì)象1在對(duì)象2之左，對(duì)象2在對(duì)象3之左，對(duì)象2在對(duì)象3之左且靠近相交;后一幀，對(duì)象3在對(duì)象1之左，對(duì)象1在對(duì)象2之左，對(duì)象1在對(duì)象2之左且靠近相交。

在單幀的空間關(guān)系判斷的基礎(chǔ)上，通過加入多幀的時(shí)間關(guān)系，可以預(yù)測(cè)出更復(fù)雜的時(shí)空組合邏輯關(guān)系。在此事件中，可定義出相遇、遠(yuǎn)離、接近等組合邏輯關(guān)系。例如當(dāng)檢測(cè)在兩幀內(nèi)兩對(duì)象目標(biāo)都處于同一邊時(shí)，判斷兩者相隔距離的變化，若變大則是遠(yuǎn)離變小則接近;若檢測(cè)到處于不同邊時(shí)則可判斷為相遇并遠(yuǎn)離。

就檢測(cè)的2幀圖像而言，通過輸入目標(biāo)文件，程序可輸出以下信息:對(duì)象3接近，經(jīng)過對(duì)象2并遠(yuǎn)離;對(duì)象3接近，經(jīng)過對(duì)象1并遠(yuǎn)離;對(duì)象2接近對(duì)象1(可預(yù)測(cè)出即將經(jīng)過)。

3.2 時(shí)空關(guān)系結(jié)合邏輯事件描述

通過對(duì)時(shí)空關(guān)系的組合判斷，可定義并預(yù)警更加高級(jí)的邏輯事件，如圖5和圖6所示。

圖5 視頻監(jiān)控序列幀例3

圖6 視頻監(jiān)控序列幀例4

在此視頻對(duì)象目標(biāo)檢測(cè)中，通過空間關(guān)系的判斷，可輸出在相鄰多幀之中，對(duì)象1與對(duì)象2都處于“相鄰”關(guān)系，位置關(guān)系伴隨著“之左”和“之右”的變化，將此邏輯關(guān)系可定義為“徘徊”。在之后幀檢測(cè)中目標(biāo)對(duì)象1與對(duì)象2的位置關(guān)系逐漸“遠(yuǎn)離”，超過預(yù)定的閾定數(shù)值，兩對(duì)象目標(biāo)間同時(shí)出現(xiàn)“徘徊”和“遠(yuǎn)離”的邏輯事件即可定義出“滯留物品”事件。

4 小結(jié)

本文基于監(jiān)控視頻內(nèi)容中中層語義模型的構(gòu)建，結(jié)合以往對(duì)目標(biāo)對(duì)象空間關(guān)系的研究基礎(chǔ)對(duì)監(jiān)控視頻中層對(duì)象語義提取進(jìn)行進(jìn)一步的研究。本研究在已實(shí)現(xiàn)的簡(jiǎn)單的時(shí)間關(guān)系與空間關(guān)系函數(shù)的基礎(chǔ)上，定義此類基于中層語義的復(fù)雜邏輯事件并組合時(shí)空關(guān)系函數(shù)加以實(shí)現(xiàn)，達(dá)到運(yùn)動(dòng)目標(biāo)檢測(cè)和趨勢(shì)估計(jì)的效果。

［1］CHANG S，SIKORA T，PURI A.Overview of MPEG－7 standard［J］.IEEE Trans.Circuits and Systems for Video Technology，2001，11(6):1007－1016.

［2］NACK F，LINDSAY A T.Everything you wanted to know about MPEG－7:part 1［J］.IEEE Multimedia，1999，6(3):65－77.

［3］陳晞，楊軼，董育寧.用于圖像檢索的MPEG－7形狀描述子［J］.電視技術(shù)，2003，27(4):18－21.

［4］杜世宏，王橋，秦其明.空間關(guān)系模糊描述與組合推理［D］.北京:科學(xué)出版社，2007.

［5］章毓敏，基于內(nèi)容的視覺信息檢索［M］.北京:科學(xué)出版社，2003.

［6］汪彥龍，劉金華，王麗萍.基于對(duì)象空間關(guān)系的圖像檢索方法研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2006，16(1):62－66.

［7］ALLEN J F.Maintaining knowledge about temporal intervals［J］.Communications of the ACM，1983，26(11):832－843.