嚴芳芳，吳 秦

(江南大學 江蘇省模式識別與計算智能工程實驗室，江蘇 無錫 214122)

1 引 言

計算機視覺中人群計數(shù)工作是通過學習圖片或者視頻得到其中包含的人數(shù).在公共集會、體育賽事等場景中，為了幫助控制人群和公共安全，需要精確的人數(shù)信息.另外參與人數(shù)或人群密度是未來活動規(guī)劃和空間設計的重要信息.

人群計數(shù)也存在著很多其他視覺領域同樣存在的問題，密集場景圖片中人群計數(shù)存在遮擋，尺度變化以及背景噪聲等問題.

目前，人群計數(shù)領域兩類主要方法分別是基于傳統(tǒng)的人群計數(shù)方法和基于深度學習的人群計數(shù)方法.早期，主要是通過一些傳統(tǒng)的方法來完成人群計數(shù)，例如通過檢測的方式[1，2]得到人數(shù)，或者通過回歸的方式[3，4]得到人數(shù)，但是這些方法在嚴重擁擠的場景下性能較差.近年來，基于深度學習的方法常被用來完成人群計數(shù)任務.例如，通過卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks，CNN)進行精確的人群密度圖生成或人群計數(shù)[5，6].Zhang等人[7]提出MCNN(Multi-Column Convolutional Neural Network)網(wǎng)絡，利用三列不同大小的卷積核提取不同尺度的特征，在一定程度上解決了尺度變化問題.Li等人[8]利用預訓練的VGG16網(wǎng)絡前10層以及結(jié)合空洞卷積(Dilated Convolution)得到了較高分辨率的密度圖.多列或者多分辨率[9-11]的方法在一定程度上緩解了尺度多變問題，但仍然受到卷積核大小和多列結(jié)構(gòu)的限制，同時多列結(jié)構(gòu)帶來兩個顯著缺點：大大增加網(wǎng)絡的訓練時間和冗余的分支結(jié)構(gòu).

針對上述問題，本文提出一個端到端的多通道融合分組卷積神經(jīng)網(wǎng)絡，避開多列結(jié)構(gòu)獲取不同特征的方式，多通道融合分組卷積神經(jīng)網(wǎng)絡跨層將不同網(wǎng)絡深度連接起來，融合不同網(wǎng)絡深度的特征得到更加豐富的特征信息.綜上所述，本文有以下兩個主要貢獻：

1)提出了一個新的人群計數(shù)算法，多通道融合分組卷積神經(jīng)網(wǎng)絡.在不同網(wǎng)絡深度之間均建立網(wǎng)絡通路，得到豐富的網(wǎng)絡特征.

2)多通道之間跨層連接導致網(wǎng)絡參數(shù)增加，為了緩解這一問題，我們采用兩種措施：①在網(wǎng)絡中加入1×1卷積層實現(xiàn)特征降維；②在多通道融合分組卷積模塊中，引入分組卷積替代普通的卷積操作.

與已有方法相比較，本文在三個公開數(shù)據(jù)集ShanghaiTech[7]，UCF_CC_50[12]，UCF_QNRF[13]上的實驗結(jié)果均有所提升.

2 相關工作

基于深度學習強大的學習能力，近年來在很多計算機視覺領域取得了很好的成果，例如圖像識別，圖像分割以及目標檢測等.同樣，人群計數(shù)領域目前效果較好的方法也多數(shù)是基于深度學習方法.

傳統(tǒng)的方法通常先對圖片進行分割，然后分別對分割后的圖像塊進行特征提取，再通過回歸[14]或者分類[15]得到人數(shù)，最后圖像塊人數(shù)相加得到圖片人數(shù).選擇合適的特征是傳統(tǒng)方法的關鍵，然而，CNN訓練過程中使用很多特征圖，可以被訓練來自動提取合適于特定任務的特征.基于CNN的人群計數(shù)方法則不需要人為選擇手工特征以及前背景分割，直接將圖片輸入網(wǎng)絡，由網(wǎng)絡學習得到高層特征，最后生成密度圖或者通過回歸得到人數(shù).相比傳統(tǒng)的方法，基于CNN的方法結(jié)果更加有競爭性.Cong等人[16]提出一個六層的卷積網(wǎng)絡進行密度圖生成和人數(shù)估計，訓練的時候兩個任務交替優(yōu)化，完成跨場景的人群計數(shù)問題.Zhang等人[7]提出一個多列卷積神經(jīng)網(wǎng)絡(MCNN)，該網(wǎng)絡有三個不同的分支網(wǎng)絡，每個分支的深度相同但是采用不同大小的卷積核，三個分支分別得到不同的感受野，來抓取不同尺寸目標的特征.最后三個分支網(wǎng)絡提取的特征圖通過1×1的卷積融合生成人群密度圖.Sam等人[17]的設計包括三個子網(wǎng)絡和一個分類器，首先將一張圖片裁剪成幾個圖像塊，使用分類網(wǎng)絡分成不同密度級別，然后讓不同密度等級的圖像塊通過相應的子網(wǎng)絡得到人數(shù)，最后由圖像塊人數(shù)之和得到圖片人數(shù).該結(jié)構(gòu)的訓練方式采用先用所有的訓練數(shù)據(jù)對三個分支進行預訓練，再利用分類網(wǎng)絡完成密度級別劃分，最后根據(jù)分類結(jié)果再次將訓練圖片送到對應的分支網(wǎng)絡完成子網(wǎng)絡的訓練.Sindagi等人[18]通過三個網(wǎng)絡共同完成計數(shù)任務：全局分類網(wǎng)絡，局部分類網(wǎng)絡和特征提取網(wǎng)絡.和其他工作不同，除了特征提取網(wǎng)絡，該設計還結(jié)合了圖片的全局和局部的密度信息來輔助解決圖片中人群分布不均的問題.Li等人[8]指出多列網(wǎng)絡的冗余性，并摒棄了多列的網(wǎng)絡結(jié)構(gòu)，使用簡單的單列網(wǎng)絡結(jié)構(gòu)，選取VGG16的前10層作為網(wǎng)絡第一部分，網(wǎng)絡的第二部分采用空洞卷積(Dilated Convolution)替代了普通卷積.空洞卷積通過填充卷積核擴大了網(wǎng)絡的感受野(Receptive Field)，因此網(wǎng)絡中不需要過多的池化層，從而得到了較高分辨率的密度圖.Cao等人[19]受到圖像識別領域的Incenption[20]網(wǎng)絡結(jié)構(gòu)啟發(fā)，編碼器使用尺度聚合模塊(類inception結(jié)構(gòu))提高網(wǎng)絡的表達能力，并且能提取多種尺度的特征，解碼器由卷積和轉(zhuǎn)置卷積組成，可以生成與輸入圖片相同分辨率的密度圖，在網(wǎng)絡的損失函數(shù)部分使用歐式距離損失函數(shù)和局部一致性(SSIM)損失函數(shù)的結(jié)合.利用預測密度圖和真實密度圖之間的結(jié)構(gòu)相似性(structural similarity index；SSIM)來構(gòu)成網(wǎng)絡的局部一致性損失.SSIM和人類視覺系統(tǒng)(human visual system，HVS)類似，考慮了人類視覺感知，得到的結(jié)果比歐式距離損失函數(shù)得到的結(jié)果包含更多的細節(jié)信息.

3 多通道融合分組卷積神經(jīng)網(wǎng)絡

3.1 多通道融合分組卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

相機視角引起的頭部尺度多變性和人群分布的多樣性是人群計數(shù)中存在的兩個主要挑戰(zhàn).針對這一問題，本文設計了多通道融合分組卷積神經(jīng)網(wǎng)絡，網(wǎng)絡框架如圖1所示.我們在網(wǎng)絡中加入大量的跨層連接，使得特征和梯度在不同層之間高效流通，從而達到特征復用的功效，通過融合不同層的特征得到豐富的多尺度特征.

圖1 多通道融合分組卷積神經(jīng)網(wǎng)絡框架Fig.1 Framework of mutil-channel fusion group convolution network

在密集場景下的人群圖片中單個目標較小，選擇更深層的網(wǎng)絡可能丟失小目標的信息，因此我們選擇VGG網(wǎng)絡前10層(如圖1中VB(VB：VGG Backbone))作為我們的基礎主干網(wǎng)絡.

識別不同大小的目標是計算機視覺領域的一個挑戰(zhàn)，同樣，人群圖片中也存在頭部尺寸多變、人群分布多樣等問題.主流的卷積神經(jīng)網(wǎng)絡由卷積層或池化層順序連接而成，獲取網(wǎng)絡的高層特征來進行下一步的處理，使用高層特征對于分類或者檢測等問題，可以得到較好的結(jié)果.但是，由于密集人群圖片中目標個數(shù)眾多，每個目標較小且尺度多變，淺層特征對于人群計數(shù)來說也很重要.根據(jù)文獻[21]提出的DenseNet，網(wǎng)絡不同層的特征融合有助于學習到更多的信息.我們通過結(jié)合多種層次的特征來處理多尺度和小目標問題.基于這一原因，我們提出了多通道融合分組卷積模塊(如圖1中DGCM(DGCM：dense group convolution module)).為了增加網(wǎng)絡中層與層之間的信息流，將模塊中所有層兩兩相連，使得網(wǎng)絡中每一層都接受它前面所有層的輸入.跨層連接通過特征通道上的連接(concatenate)操作來實現(xiàn)特征復用.同時為了避免特征維度增加過快，在每一次特征連接之后，通過1×1的卷積將通道數(shù)恢復到原值.

在網(wǎng)絡的最后，我們通過生成模塊(如圖1中GM(GM：generating module))得到密度圖，生成模塊由兩層3×3卷積和一層1×1卷積組成.3×3卷積逐步減少特征圖的通道數(shù)，最后，用通道數(shù)為1的1×1卷積作為輸出.所以網(wǎng)絡的輸出為一張長寬各為原圖1/8的單通道密度圖.

結(jié)合多種層次特征圖的方式在解決多尺度問題的同時也增加了網(wǎng)絡參數(shù).為了解決這一問題，我們設計了分組卷積模塊，如圖2所示.在該模塊中，首先通過1×1卷積降維，然后用分組卷積替代了普通卷積，最后設計了一個跨層連接進行特征融合，保持輸入輸出特征維度一致.與普通卷積操作相比，分組卷積參數(shù)更少(分組卷積細節(jié)見3.2節(jié))，而跨層連接可以獲得更加豐富的特征.

圖2 分組卷積模塊Fig.2 Group convolution module

根據(jù)文獻[22]的實驗結(jié)果：網(wǎng)絡結(jié)構(gòu)中使用更多的小卷積核比使用更少的大卷積核要有效，且更加節(jié)省參數(shù).因此我們的網(wǎng)絡中卷積操作均選用3×3的卷積核.此外，我們在網(wǎng)絡中多次使用1×1卷積，它是一個非常好的結(jié)構(gòu)，可以跨通道組織信息，提高網(wǎng)絡的表達能力，完成特征通道升維或降維.

我們的網(wǎng)絡脫離了原有的加深變寬的思想，緩解網(wǎng)絡加深或變寬之后帶來的一系列問題，從特征角度出發(fā)，結(jié)合多層次的特征圖來處理多尺度的問題.這樣的設置結(jié)合信息流和特征復用兩大優(yōu)勢既大幅的減少了網(wǎng)絡的參數(shù)量，又在一定程度上緩解了梯度消失的問題.

3.2 分組卷積

分組卷積的思想最早出現(xiàn)在AlexNet[23]中.與普通的卷積網(wǎng)絡相比，相同的卷積操作分組卷積所需計算的參數(shù)更少，不容易過擬合.因此，我們在網(wǎng)絡的多通道融合分組卷積模塊中引入分組卷積替代普通卷積.

分組卷積首先將輸入數(shù)據(jù)分組，然后對每組數(shù)據(jù)分別進行卷積操作.假設輸入數(shù)據(jù)的尺寸是W×H×C1，輸出數(shù)據(jù)尺寸是W×H×C2，卷積核大小均為K×K.普通卷積與分組卷積的差異如圖3所示，圖3上方是普通卷積，下方是分組卷積(圖中組數(shù)為2).對于分組卷積，若設定分組數(shù)為g組，則每組的輸入數(shù)據(jù)尺寸為W×H×(C1/g)，輸出數(shù)據(jù)尺寸為W×H×(C2/g)，卷積核尺寸為K×K×(C1/g)，個數(shù)為C2/g，每組卷積核只與同組的輸入數(shù)據(jù)卷積，而不與其他組的輸入數(shù)據(jù)卷積，最后所有組輸出共同組成輸出數(shù)據(jù).在一次卷積操作中，普通卷積的參數(shù)個數(shù)為：C1×C2×K×K，而分組卷積的參數(shù)個數(shù)為：(C1/g)×(C2/g)×K×K×g.普通卷積的參數(shù)是分組卷積的g倍.

圖3 普通卷積(上)與分組卷積(下)Fig.3 Normal convolution(top)and group convolution(bottom)

3.3 密度圖生成

不同于傳統(tǒng)的基于檢測和回歸的方法，對于稠密的人群圖片，通過密度圖來計數(shù)可以獲得更準確、全面的信息.在我們的方法中，通過卷積神經(jīng)網(wǎng)絡學習圖像的局部特征和其相應的密度圖之間的映射，從而將圖像中包含的空間信息加入計數(shù)的過程中.

由于密度圖遵循逐像素預測，因此輸出密度圖必須包含空間相關性，這樣才能在最近的像素之間呈現(xiàn)平滑的過渡.現(xiàn)有的數(shù)據(jù)集中僅提供了人頭位置坐標，我們需要根據(jù)人頭位置坐標信息進一步處理得到對應密度圖.這里我們采用文獻[7]中提到的方法，使用高斯分布去替換人頭的位置.首先，我們用δ(z-zi)表示在像素點zi的人頭標簽值，δ(z-zi)=1表示像素點zi處有一個人，δ(z-zi)=0則表示像素點zi處沒有人.則含有V個人頭標簽的密度圖的計算方式如公式(1)所示：

(1)

我們用二維高斯分布函數(shù)去替換每一個人頭位置坐標，將密度圖轉(zhuǎn)化成一個連續(xù)密度圖，相對應的標簽密度圖D(z)計算方式如公式(2)所示：

(2)

V表示人群圖片中包含的人數(shù)，zi表示圖片中第i個人頭標簽的坐標，Gu,ρ2(z)表示均值為u，方差為ρ2的二維高斯函數(shù).

3.4 損失函數(shù)

我們采用端到端的方式進行網(wǎng)絡訓練，由于網(wǎng)絡輸出的預測密度圖為原圖的1/8，我們將真實密度圖長寬分別縮放為原圖的1/8，保持預測密度圖和真實密度圖分辨率大小一致.然后采用歐式距離來評估預測密度圖與真實密度圖之間的相似性.歐式距離損失函數(shù)定義如公式(3)：

(3)

4 實 驗

4.1 數(shù)據(jù)集

我們在三個公開的數(shù)據(jù)集上驗證我們的實驗方法，下面簡單介紹這三個數(shù)據(jù)集.

ShanghaiTech[7]：ShanghaiTech數(shù)據(jù)集由partA和partB組成，其中partA由482張網(wǎng)絡中隨機選擇的圖片組成，partB由不同時間段隨機拍攝于上海街道上的圖片組成.這兩部分又分別劃分成訓練數(shù)據(jù)集和測試數(shù)據(jù)集，partA的訓練數(shù)據(jù)集和測試數(shù)據(jù)集分別有300和182張圖片，而partB的訓練數(shù)據(jù)集和測試數(shù)據(jù)集分別有400和316張圖片.

UCF_CC_50[12]：UCF_CC_50數(shù)據(jù)集為50張不同場景下各種密度以及視角失真的圖片，每一張圖片中包含的人數(shù)從94到4543不等.但由于數(shù)據(jù)集圖片數(shù)量較少，本文采用交叉驗證協(xié)議[12]進行訓練和測試，其中數(shù)據(jù)集被均分成5組，并進行5次交叉驗證.

UCF-QNRF[13]：UCF-QNRF數(shù)據(jù)集拍攝于不同的野外真實場景，并擁有最多樣化的視角、密度和光照變化的場景下的密集人群圖片，克服了以往數(shù)據(jù)集中標注不準確，圖片像素低，數(shù)據(jù)集圖片少等缺點.整個數(shù)據(jù)集包含1535張圖片與1251642個人頭位置注釋，單張圖片人數(shù)從95到12865不等.通過圖片的標注點進行排序，每5張圖片中選擇一張作為測試圖片，生成訓練數(shù)據(jù)集和測試數(shù)據(jù)集，訓練數(shù)據(jù)集由1201張圖片組成，測試數(shù)據(jù)集由334張圖片組成.

4.2 實驗細節(jié)

4.2.1 數(shù)據(jù)增強

由于人群圖片標注困難，人群數(shù)據(jù)集圖片數(shù)量有限，為了更好的訓練網(wǎng)絡，我們采用兩種方式對訓練數(shù)據(jù)集進行數(shù)據(jù)增強操作.對于每一張訓練圖片，我們以原圖1/4大小裁剪成9張，前四張選擇原圖不重復位置的1/4大小，后面五張以原圖1/4大小隨機裁剪，如圖4所示.然后，對圖片進行隨機翻轉(zhuǎn)，獲得更多的訓練圖片.

圖4 裁剪示意圖Fig.4 Sample of cropping

4.2.2 實驗設置

我們基于pytorch深度學習框架實現(xiàn)多通道融合分組卷積神經(jīng)網(wǎng)絡，基于Imagenet[24]預訓練的VGG16進行網(wǎng)絡前10層的參數(shù)初始化，網(wǎng)絡的其他部分參數(shù)利用均值為0方差為0.01的高斯函數(shù)隨機初始化.網(wǎng)絡訓練時使用動量為0.9的隨機梯度下降(Stochastic gradient descent，SGD)作為我們模型的優(yōu)化器，學習速率設置為1e-7，隨迭代次數(shù)自適用調(diào)整.UCF-QNRF數(shù)據(jù)集中的圖片平均分辨率為2013×2902，為了方便訓練，我們將UCF-QNRF數(shù)據(jù)集中所有圖片裁剪成尺寸為1024×1024.我們以訓練數(shù)據(jù)集的絕對誤差作為衡量模型收斂的標準，當訓練數(shù)據(jù)集的絕對誤差不再下降時停止訓練.

4.2.3 評價指標

模型的性能通過預測人數(shù)與真實標注人數(shù)的絕對誤差(Mean Absolute Error，MAE)和均方誤差(Mean Square Error，MSE)來衡量，其值越小越表示模型誤差越小，即性能越好.MAE，MSE計算公式如式(4)、式(5)：

(4)

(5)

(6)

4.3 對比實驗

為了驗證多通道融合分組卷積神經(jīng)網(wǎng)絡的有效性，我們在ShanghaiTech數(shù)據(jù)集上做了4組實驗.

通過控制網(wǎng)絡的深度，我們分別進行了兩組實驗，對比深度為13(實驗1)和10(實驗2)的兩種網(wǎng)絡，并在其后接入生成模塊，通過對比MSE和MAE兩個指標，選擇較好的主干網(wǎng)絡結(jié)構(gòu).

為了驗證提出的多通道融合分組卷積模塊的有效性，我們設計了另外兩組不同設置的實驗：

實驗3使用VGG16的前10層作為基礎主干網(wǎng)絡，后接密集卷積模塊(卷積層是正常卷積)，最后接生成模塊.

實驗4使用VGG16的前10層作為基礎主干網(wǎng)絡，后接多通道融合分組卷積模塊模塊(卷積層是使用分組卷積模塊替代正常卷積)，最后接生成模塊.

實驗1-實驗4的對比實驗結(jié)果如表1所示，實驗2的MAE和MSE的值均比實驗1的低，表明深度為10的網(wǎng)絡比深度為13的網(wǎng)絡作為主干網(wǎng)絡的效果好，因此我們實驗選擇深度為10的網(wǎng)絡作為我們的主干網(wǎng)絡.由于高密度的人群圖片中，每個目標人頭占據(jù)很小的分辨率，而相比VGG10，VGG13網(wǎng)絡更深，反而會丟失圖片中的小目標，不利于人群圖片中的人頭特征提取，所以VGG10作為主干網(wǎng)絡更有利于人群圖片的特征提取.實驗3的結(jié)果優(yōu)于實驗2，證明我們設計的密集卷積模塊是有效的.實驗4的結(jié)果優(yōu)于實驗3，證明選擇分組卷積模塊替代正常卷積在我們的網(wǎng)絡中減少網(wǎng)絡參數(shù)的同時，不影響網(wǎng)絡的計數(shù)誤差，并進一步減少誤差.

4.4 與其他算法的比較

為了驗證本文方法的有效性，我們在三個常用的數(shù)據(jù)集(4.1節(jié)中介紹)上進行實驗，并與一些當前領先的結(jié)果[6-8，11，17，18]作比較.

表1 在ShanghaiTech數(shù)據(jù)集上對比實驗結(jié)果Table 1 Results of ablation experiments on ShanghaiTech

ShanghaiTech[7]：在ShanghaiTech的實驗結(jié)果如表2所示.在 partA數(shù)據(jù)集上，本文所提方法的比其他方法中最優(yōu)的結(jié)果相比，MAE降低5.5%(兩種算法的相對誤差)，MSE降低8.2%.在partB數(shù)據(jù)集上，本文的結(jié)果與當前最優(yōu)結(jié)果不相上下.

表2 ShanghaiTech上實驗結(jié)果Table 2 Results of ShanghaiTech

UCF_CC_50[12]：在UCF_CC_50上的實驗結(jié)果如表3所示.本文方法的結(jié)果與其他方法中最優(yōu)的結(jié)果相比，MAE降低22.2%，MSE降低19.7%.

表3 UCF_CC_50上實驗結(jié)果Table 3 Results of UCF_CC_50

UCF-QNRF[13]：在UCF-QNRF上的實驗結(jié)果如表4所示.本文方法的結(jié)果與其他方法中最優(yōu)的結(jié)果相比，本文方法的MAE降低20.5%，MSE降低10.7%.

表4 UCF-QNRF上實驗結(jié)果Table 4 Results UCF-QNRF

與原始標簽相比，密度圖更加直觀更有利于視覺上的對比，圖5展示了本文算法和對比算法CSRnet[8]在一些測試圖片上生成的密度圖.從左到右，分別是測試圖片、真實密度圖、CSRnet算法生成的預測密度圖、本文算法生成的預測密度圖；從上到下，測試圖片分別取自ShanghaiTech partA、ShanghaiTech partB、UCF_CC_50和UCF-QNRF.

圖5 一些測試圖片及其密度圖實例Fig.5 Some samples of testing images and their density maps

5 結(jié)束語

人群計數(shù)在災害控制、空間規(guī)劃等方面有著廣泛的應用.由于相機視角引起的頭部尺度變化大和人群分布多樣等問題，精確完成圖片人群計數(shù)任務仍然存在很大的挑戰(zhàn).本文提出的多通道融合分組卷積神經(jīng)網(wǎng)絡建立不同層之間的連接，通過通道上的密集連接來融合不同層的特征，特征和梯度通過密集連接的形式來實現(xiàn)更加有效的傳遞，從而使得網(wǎng)絡訓練更加簡單，此外，跨層連接可以避免網(wǎng)絡過深帶來梯度消失問題.同時在網(wǎng)絡中引入分組卷積模塊，減少參數(shù)的同時充分利用特征信息.在三個公開的數(shù)據(jù)集上的實驗結(jié)果顯示，本文方法的絕對誤差和均方誤差比其他方法有所下降，驗證了本文方法的有效性.

在實驗中，我們還發(fā)現(xiàn)，通過密度圖獲得的位置信息并不十分精確，這在一定程度上將影響到人群計數(shù)的精確性.在接下來的工作中，我們將研究如何在計數(shù)的同時得到精確的位置信息，以進一步提升人群計數(shù)正確率.