史 靜，朱 虹

(西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，陜西 西安 710048)

基于隨機(jī)森林的天氣場(chǎng)景判別算法*

史 靜，朱 虹

(西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，陜西 西安710048)

傳統(tǒng)的天氣狀態(tài)識(shí)別往往利用許多傳感器收集數(shù)據(jù)判別天氣狀態(tài)。然而利用圖像進(jìn)行天氣狀態(tài)識(shí)別的研究卻少之又少。利用詞袋模型和空間金字塔匹配對(duì)室外圖像的天氣狀態(tài)進(jìn)行識(shí)別，該方法通過(guò)分析晴天與陰天兩類(lèi)天氣狀態(tài)對(duì)圖像的影響，將兩類(lèi)天氣狀態(tài)看成兩種場(chǎng)景，對(duì)圖像提取SIFT(旋轉(zhuǎn)不變描述子)特征，利用詞袋模型和空間金字塔匹配得到金字塔特征，然后利用金字塔特征訓(xùn)練分類(lèi)器進(jìn)而識(shí)別待測(cè)樣本。在分類(lèi)器構(gòu)造方面，利用支持向量機(jī)(SVM)構(gòu)造一級(jí)分類(lèi)器，利用隨機(jī)森林構(gòu)造二級(jí)分類(lèi)器，對(duì)測(cè)試樣本經(jīng)過(guò)一級(jí)分類(lèi)器其介于兩個(gè)支持向量之間的樣本輸入到二級(jí)分類(lèi)器進(jìn)行識(shí)別。通過(guò)對(duì)兩類(lèi)天氣圖像集的一萬(wàn)張圖像進(jìn)行測(cè)試，其識(shí)別率可以達(dá)到82%左右。

圖像分類(lèi)；SIFT特征；空間金字塔；支持向量機(jī)(SVM)

0 引言

天氣狀態(tài)的問(wèn)題常常伴隨著人們每天的生活，是晴天還是雨天常常影響著每天的日常安排，比如該穿什么衣服，該不該去戶外運(yùn)動(dòng)等。隨著圖像場(chǎng)景分類(lèi)技術(shù)的迅速發(fā)展，基于圖像做天氣狀態(tài)的識(shí)別變?yōu)榭赡?。傳統(tǒng)的天氣狀態(tài)識(shí)別由于需要大量的傳感器進(jìn)行數(shù)據(jù)采集，同時(shí)在氣象檢測(cè)領(lǐng)域，仍然需要大量的人工進(jìn)行觀測(cè)，這樣就顯得尤為耗時(shí)耗力。如果隨時(shí)隨地僅僅通過(guò)照相機(jī)的照片進(jìn)行天氣狀態(tài)的判斷，那么其對(duì)天氣狀態(tài)的識(shí)別將是一場(chǎng)重大的革命。基于以上原因，圖像的天氣狀態(tài)識(shí)別就變得尤為重要，同時(shí)也引起眾多學(xué)者的關(guān)注。

盡管基于圖像的天氣狀態(tài)識(shí)別有著不可估量的價(jià)值，但是基于圖像的天氣識(shí)別問(wèn)題并沒(méi)有得到徹底的解決。文獻(xiàn)[1]通過(guò)提取圖像的天空、陰影、反光、對(duì)比度、霧五個(gè)特征作為圖像的特征，然后利用一種投票機(jī)制對(duì)特征進(jìn)行分類(lèi)；文獻(xiàn)[2]針對(duì)同一傳感器從不同視角拍攝圖像的匹配，提出一種Harris-SIFT算法。文獻(xiàn)[3]利用HSI顏色直方圖等特征，識(shí)別輔助駕駛系統(tǒng)中圖像的晴天和雨天的天氣狀態(tài)。文獻(xiàn)[4] 介紹了一種在固定的單攝像頭拍攝的交通圖像序列中檢測(cè)、跟蹤、分類(lèi)車(chē)輛的方法。這些方法有些應(yīng)用在有限的應(yīng)用領(lǐng)域，有些在特征建模方面較為復(fù)雜，因此，影響了其應(yīng)用的價(jià)值。鑒于此本文利用詞袋模型和空間金字塔匹配對(duì)圖像的天氣狀態(tài)進(jìn)行判別。

首先，詞袋模型通過(guò)提取圖像的SIFT特征描述子，聚類(lèi)形成字典，再用字典對(duì)形成統(tǒng)計(jì)直方圖。通過(guò)空間金子塔匹配模型，分層統(tǒng)計(jì)直方圖，最后將模型生成的特征作為圖像的訓(xùn)練和測(cè)試特征。

1 改進(jìn)的空間金字塔模型

本文采用的BOF模型[5]和金字塔匹配[6]主要由5個(gè)步驟構(gòu)成：特征提取，視覺(jué)詞典的構(gòu)造，利用詞典對(duì)圖像的量化，空間金字塔的匹配，訓(xùn)練和測(cè)試分類(lèi)器。

1.1 特征提取

在特征提取方面本文采用的是SIFT特征，文獻(xiàn)[7]總結(jié)了已有基于不變量技術(shù)的特征檢測(cè)方法，提出了一種基于尺度空間的，對(duì)圖像平移、旋轉(zhuǎn)、縮放、甚至仿射變換保持不變性的圖像局部特征，即SIFT特征。對(duì)于圖像場(chǎng)景分類(lèi)問(wèn)題，其圖像常常因?yàn)閳D像之間存在光照、旋轉(zhuǎn)、平移、縮放等問(wèn)題而導(dǎo)致錯(cuò)分，但SIFT特征在平移、旋轉(zhuǎn)、光照方面的魯棒性使得它成為BOF模型中常用的特征之一。SIFT描述子的生成可分為以下4個(gè)步驟：

(1)尺度空間極值檢測(cè)

①生成尺度空間，定義如下式：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

②構(gòu)造高斯差分尺度空間(DOG):

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y,σ)

(2)

③在DOG空間上尋找相鄰的26個(gè)點(diǎn)進(jìn)行比較得到最大或最小值。

(2)精確定位特征點(diǎn)的位置

通過(guò)擬合三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度。

(3)確定特征點(diǎn)的主方向

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。

m(x,y)=

(3)

θ(x,y)=actan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

(4)

(4)生成特征描述符。

1.2 視覺(jué)詞典的構(gòu)造

視覺(jué)詞典的構(gòu)造過(guò)程中將每一個(gè)SIFT特征描述子看做詞匯，借助K-Means聚類(lèi)算法將詞義相近的詞匯進(jìn)行合并。首先，從訓(xùn)練樣本中挑出一部分圖像，然后，提取這些圖像的SIFT特征描述子，將這些SIFT特征描述子進(jìn)行聚類(lèi)，其聚類(lèi)中心就是所謂的字典原子，而這些字典原子便組成了視覺(jué)詞典。

1.3 利用視覺(jué)詞典對(duì)圖像量化

詞典對(duì)圖像的量化通俗講就是求取字典原子的統(tǒng)計(jì)直方圖。傳統(tǒng)的詞袋模型利用字典原子與圖像的每一個(gè)SIFT特征描述子求歐式距離，距離近的則在該字典原子對(duì)應(yīng)的直方圖bin上加1。這種量化的方式只保留了影響最大的字典原子的影響而忽略的其他字典原子的影響。針對(duì)這一問(wèn)題本文提出了一種基于最小二乘的方法進(jìn)行表示，即D={d1,d2,…，dm}，其中D表示字典原子的集合，dm表示第m個(gè)字典原子。一幅圖像的SIFT特征描述子的聚合S={s1,s2,…，sm}，其中sm為該圖像的第m個(gè)SIFT特征描述子。利用最小二乘對(duì)一個(gè)SIFT特征量化如下：

Dxj=sj,(j=1,2，…，m)

(5)

其中D為字典，其為128×n矩陣，128為字典原子的維度，n為字典原子的個(gè)數(shù)。xj為字典原子的系數(shù)，其為n×1的向量，即每一個(gè)字典原子對(duì)該SIFT特征描述子的影響。

經(jīng)過(guò)上述過(guò)程得到了m個(gè)xj，其該幅圖像的量化直方圖向量用X表示：

X=x1+x2+…+xj

(6)

2 空間金字塔匹配

(7)

(8)

其在圖像匹配中的應(yīng)用如圖1所示。

圖1 空間金字塔匹配

如圖1所示，將level(i)的圖像劃分為2i-1×2i-1個(gè)bin，然后在每一個(gè)bin上統(tǒng)計(jì)直方圖特征，最后將所有l(wèi)evel的直方圖特征連起來(lái)組成一個(gè)向量，這個(gè)向量稱(chēng)為該圖像的特征，即金字塔特征。對(duì)于字典原子數(shù)目為M,層數(shù)為L(zhǎng)其特征維數(shù)表示如下：

(9)

3 分類(lèi)器的設(shè)計(jì)

落在兩個(gè)支持向量之間的樣本因?yàn)槠湟子诜皱e(cuò)，本文利用隨機(jī)森林進(jìn)行二次分類(lèi)。利用訓(xùn)練樣本訓(xùn)練隨機(jī)森林的分類(lèi)器，然后將落在兩類(lèi)支持向量之間的測(cè)試樣本拿出來(lái)進(jìn)行二次分類(lèi)。

4 實(shí)驗(yàn)結(jié)果及分析

本文采用由文獻(xiàn)[1]提供的圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集圖像分為陰天與晴天兩類(lèi)，每類(lèi)樣本有5 000幅，共10 000張圖像。圖2與圖3為該數(shù)據(jù)集的部分圖像。

圖2 晴天圖像

圖3 陰天圖像

表1中選擇文獻(xiàn)[1]中的圖像集，利用80%的圖像作為訓(xùn)練樣本訓(xùn)練SVM分類(lèi)器和隨機(jī)森林分類(lèi)器，20%用于測(cè)試。執(zhí)行5次實(shí)驗(yàn)均值和方差作為分類(lèi)的準(zhǔn)確率。為了更好地表達(dá)實(shí)驗(yàn)的準(zhǔn)確率，本文采用文獻(xiàn)[1]提出的歸一化識(shí)別率。

表1 文獻(xiàn)[1]圖像庫(kù)的實(shí)驗(yàn)結(jié)果對(duì)比

5 結(jié)論

本文利用圖像場(chǎng)景分類(lèi)的方法對(duì)于基于圖像的天氣場(chǎng)景分類(lèi)方法進(jìn)行分類(lèi)。其創(chuàng)新之出在于：(1)利用BOF模型和空間金字塔匹配解決當(dāng)前熱門(mén)的基于圖像的天氣狀態(tài)識(shí)別問(wèn)題，在圖像量化環(huán)節(jié)本文利用最小二乘刻畫(huà)每一個(gè)字典原子的影響。(2)在分類(lèi)方面利用支持向量機(jī)和隨機(jī)森林進(jìn)行二次分類(lèi)，將那些利用SVM[11]分類(lèi)時(shí)落在兩類(lèi)支持向量之間的樣本利用隨機(jī)森林[12]進(jìn)行二次分類(lèi)。

[1] Lu Cewu,Lin Di,Jia Jiaya,et al.Two-class weather classification[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014: 3718-3725.

[2] 梁棟. 一種復(fù)雜場(chǎng)景下景物圖像的匹配算法[J]. 微型機(jī)與應(yīng)用,2015,34(10): 48-50.

[3] ROSER M,MOOSMANN F. Classification of weather situations on single color images[C].Intelligent Vehicles Symposium,2008 IEEE. IEEE,2008: 798-803.

[4] 曹治錦,唐慧明. 視頻圖像中的車(chē)輛檢測(cè)跟蹤和分類(lèi)[J]. 電視技術(shù),2004 (3): 85-87.

[5] Cao Liangliang,Li Feifei. Spatially coherent latent topic model for concurrent segmentation and classification of objects and scenes[C].IEEE 11th International Conference on Computer Vision,2007. ICCV 2007. IEEE,2007: 1-8.

[6] LAZEBNIK S,SCHMID C,PONCE J. Beyond bags of features: spatial pyramid matching for recognizing natural scene categories[C]. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,IEEE,2006: 2169-2178.

[7] LOWE D G. Object recognition from local scale-invariant features[C]. The Proceedings of the Seventh IEEE International Conference on Computer Vision,1999.IEEE,1999,2: 1150-1157.

[8] GRAUMAN K,DARRELL T. The pyramid match kernel: Discriminative classification with sets of image features[C]. Tenth IEEE International Conference on Computer Vision,2005. ICCV 2005. IEEE,2005,2: 1458-1465.

[9] LALONDE J F,EFROS A A,NARASIMHAN S G. Estimating the natural illumination conditions from a single outdoor image[J]. International Journal of Computer Vision,2012,98(2): 123-145.

[10] YAN X,LUO Y,ZHENG X. Weather recognition based on images captured by vision system in vehicle[J]. Advances in Neural Networks-ISNN 2009,2009: 390-398.

[11] CHANG C C,LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology (TIST),2011,2(3): 27.

[12] BREIMAN L. Random forests[J]. Machine Learning,2001,45(1): 5-32.

Weather scene recognition algorithm based on random forest

Shi Jing,Zhu Hong

(The Faculty of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China)

Traditional weather state recognition often uses a lot of data collected by the sensors to determine the state of the weather. However,research conducted by the image recognition of the state of the weather are rare. In this paper we use bag of words model and spatial pyramid matching outdoor images to identify the state of the weather. The method which analyzes the influence of sunny and cloudy weather conditions for the two types of images,takes two types of weather conditions as the two scenarios,extracts the image SIFT (rotation invariant descriptors) feature of image,uses bag of words model and spatial characteristics of pyramid to get matching pyramid,and then uses the features of the training pyramid classifier to identify the test sample. Classifier construction aspects described herein we use Support Vector Machine (SVM) to construct a classifier,and uses random forest classifier to constructe two of the test sample through a sample input classifier interposed between two support vectors to two class classifier for recognition. Testing results show that its recognition rate can reach 82%.

image classification; SIFT features; spacial pyramid ; SVM

國(guó)家自然科學(xué)基金(61502385)；國(guó)家自然科學(xué)基金(61673318)；西安市科技計(jì)劃項(xiàng)目(CXY1509(13))；西安理工大學(xué)教學(xué)研究重點(diǎn)項(xiàng)目(xjy1670)

TP391

A

10.19358/j.issn.1674-7720.2017.24.015

史靜，朱虹.基于隨機(jī)森林的天氣場(chǎng)景判別算法J.微型機(jī)與應(yīng)用，2017,36(24)：51-53.

2017-06-30)

史靜(1983-)，女，博士研究生，講師，主要研究方向：數(shù)字圖像處理、場(chǎng)景分類(lèi)。

朱虹(1963-)，女，博士，教授，主要研究方向：數(shù)字圖像處理、智能視頻監(jiān)控、模式識(shí)別等。