肖輝，翁彬，黃添強(qiáng)，普菡，黃則輝

融合多特征的視頻幀間篡改檢測(cè)算法

肖輝1,2，翁彬1,2，黃添強(qiáng)1,2，普菡1,2，黃則輝3

（1. 福建師范大學(xué)數(shù)學(xué)與信息學(xué)院，福建 福州 350007；2. 福建省大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心，福建 福州 350007；3. 世新大學(xué)，臺(tái)灣 臺(tái)北 350108）

傳統(tǒng)的視頻幀間被動(dòng)取證往往依賴單一特征，而這些特征各自適用于某類(lèi)視頻，對(duì)其他視頻的檢測(cè)精度較低。針對(duì)這種情況，提出一種融合多特征的視頻幀間篡改檢測(cè)算法。該算法首先計(jì)算視頻的空間信息和時(shí)間信息值并對(duì)視頻進(jìn)行分組，接著計(jì)算視頻幀間連續(xù)性VQA特征，然后結(jié)合SVM–RFE特征遞歸消除算法對(duì)不同特征排序，最后利用順序前向選擇算法和Adaboost二元分類(lèi)器對(duì)排序好的特征進(jìn)行篩選與融合。實(shí)驗(yàn)結(jié)果表明，該算法提高了篡改檢測(cè)精度。

視頻篡改檢測(cè)；融合算法；特征選擇；Adaboost二元分類(lèi)；視頻分組

1 引言

數(shù)字視頻為信息的主要載體之一，到2021年其在互聯(lián)網(wǎng)上的視頻流量將占消費(fèi)者使用流量的85%[1]。與此同時(shí)，大量的視頻剪輯軟件使視頻篡改成為一項(xiàng)很輕松的工作，而這些篡改后的視頻往往人眼很難分辨出來(lái)。然而，視頻的真實(shí)性和完整性在新聞媒體、科學(xué)發(fā)現(xiàn)、法庭取證等領(lǐng)域都十分重要[2]。因此，視頻篡改檢測(cè)已經(jīng)成為近年來(lái)一個(gè)熱門(mén)的研究方向[3-5]。

視頻的幀間篡改包含幀復(fù)制粘貼、幀插入和幀刪除等操作，這些篡改方式易于實(shí)現(xiàn)，且對(duì)社會(huì)安全危害較大。因此，幀間篡改檢測(cè)算法吸引了大量的研究者，近年來(lái)不斷有新方法被提出。然而，這些方法往往通過(guò)提取視頻的某個(gè)特征來(lái)識(shí)別篡改。而現(xiàn)實(shí)世界的視頻是豐富多彩的，不同的光照環(huán)境、模糊程度和畫(huà)面運(yùn)動(dòng)的快慢等都有可能導(dǎo)致某種特征失效。所以，已有的檢測(cè)算法一般對(duì)某類(lèi)視頻比較有效，而對(duì)其他視頻的效果不好。將這些特征融合起來(lái)以提高篡改檢測(cè)的效果是一個(gè)新的研究方向。

為解決上述問(wèn)題，本文提出了一種融合多特征的視頻幀間篡改檢測(cè)算法。針對(duì)待檢測(cè)的視頻，該算法首先計(jì)算多個(gè)特征，然后對(duì)這些特征排序并篩選，最后得到的融合檢測(cè)結(jié)果往往要優(yōu)于基于單個(gè)特征的方法。此外，事先將視頻分組，再進(jìn)行特征融合來(lái)提高融合算法的檢測(cè)精度。

2 相關(guān)工作

2.1 幀間篡改檢測(cè)

視頻幀間篡改的檢測(cè)已有不少研究成果。Chao等[6]提出了一種基于光流特征的幀間檢測(cè)方法。使用小窗口移動(dòng)計(jì)算第一幀和最后一幀以及相鄰幀之間的光流，出現(xiàn)幀刪除或插入時(shí)，光流的高度不一致，用二分查找方案來(lái)檢測(cè)插入篡改，并應(yīng)用雙自適應(yīng)閾值來(lái)檢測(cè)刪除篡改。然而，光流特征對(duì)篡改幀數(shù)少的視頻的檢測(cè)精度不高。Wu等[7]提出了基于速度場(chǎng)特征的檢測(cè)方法。速度場(chǎng)特征是由粒子圖像測(cè)速（PIV）的關(guān)鍵點(diǎn)計(jì)算相鄰幀并估計(jì)它們的位移，根據(jù)速度場(chǎng)序列計(jì)算相應(yīng)的相對(duì)因子序列，最后用廣義極值學(xué)習(xí)偏差（ESD）來(lái)識(shí)別篡改類(lèi)型并定位，速度場(chǎng)特征隨壓縮比例的增大，檢測(cè)精度會(huì)大大降低。Liu等[8]將RGB顏色空間轉(zhuǎn)化為2D對(duì)立色度空間，使用Zernike矩來(lái)計(jì)算二維對(duì)立色度空間的Zernike色度變換矩（ZOCM）執(zhí)行粗略檢測(cè)，利用相鄰幀ZOCM的差異性來(lái)提取異常點(diǎn)。粗檢測(cè)過(guò)程計(jì)算速度快，但會(huì)存在誤檢測(cè)現(xiàn)象，最后使用Tamura粗糙度特征來(lái)進(jìn)行精細(xì)計(jì)算得到更準(zhǔn)確的幀復(fù)制粘貼位置，篡改區(qū)域移動(dòng)速度過(guò)快時(shí)，Tamura粗糙度特征的檢測(cè)精度不高。Wang等[9]分析了MPEG-1，2壓縮視頻，當(dāng)視頻序列遭受偽造（幀刪除/插入），一些幀從一個(gè)GOP組刪除或插入另一個(gè)GOP組時(shí)，會(huì)出現(xiàn)較大的運(yùn)動(dòng)估計(jì)誤差。它依賴于P幀殘差特征產(chǎn)生的周期性偽像，用傅里葉變換檢查P幀殘余誤差造成的峰值從而判斷出偽造視頻。基于此基礎(chǔ)，Aghamaleki等[10]提取了具有空間約束的算法來(lái)檢測(cè)P幀殘差特征量化誤差的豐富區(qū)域，減少運(yùn)動(dòng)對(duì)P幀殘差的影響，繼而用小波變換豐富頻域中的量化誤差軌跡。利用P幀殘差特征的缺點(diǎn)在于對(duì)刪除整個(gè)GOP組的偽造痕跡無(wú)法被量化出來(lái)。Li等[11]提出了一種基于結(jié)構(gòu)相似度（MSSIM）特征的新算法，由于重復(fù)幀之間的相似度值高于正常幀之間的相似度值，通過(guò)測(cè)量短子序列之間的時(shí)間相似性度量策略來(lái)檢測(cè)幀復(fù)制粘貼篡改。文獻(xiàn)[12]同樣使用MSSIM特征，基于相鄰幀之間MSSIM商具有連續(xù)性，使用兩次切比雪夫不等式及閾值法對(duì)提出的MSSIM商特征進(jìn)行異常點(diǎn)檢測(cè)，從而實(shí)現(xiàn)對(duì)視頻幀插入和刪除的篡改檢測(cè)和定位。MSSIM利用了視頻幀之間的連續(xù)性，用作視頻篡改檢測(cè)時(shí)有較好的效果，本文將其融入提出的算法中。上述的幀間篡改檢測(cè)技術(shù)通常只使用某個(gè)特定的特征來(lái)尋找異常點(diǎn)。然而，現(xiàn)實(shí)世界的視頻往往具有不同的特點(diǎn)，如不同的光照、顏色、亮度和運(yùn)動(dòng)的劇烈程度等。因此，基于單個(gè)特征的篡改檢測(cè)方法，一般只對(duì)某類(lèi)視頻有較好的效果，而對(duì)另一類(lèi)視頻檢測(cè)效果較差。本文的思路是建立一個(gè)算法來(lái)融合多個(gè)不同特征。

2.2 視頻質(zhì)量評(píng)估

視頻質(zhì)量評(píng)估（VQA，video quality assessment）模型針對(duì)視頻每幀的序列進(jìn)行計(jì)算，隨時(shí)間記錄匯總每幀的測(cè)量質(zhì)量，以評(píng)估整個(gè)視頻的質(zhì)量。VQA特征已有不少，表1列出了目前已有的質(zhì)量評(píng)估指標(biāo)，包括MSE、PSNR、SSIM[13]、MSSIM[14]、VSNR[15]、VIF[16]、VIFP[17]、UQI、IFC[18]、NQM[19]、WSNR[20]、SNR、VSI[21]、FSIM[22]、IWSSIM[23]、GSM[24]、MAD[25]、SRSIM[26]、RFSIM[27]。以上的VQA方法都是基于計(jì)算視頻幀間相似度信息來(lái)進(jìn)行視頻質(zhì)量測(cè)量。其中，MSSIM特征已經(jīng)被應(yīng)用于視頻幀間篡改檢測(cè)并取得較高的檢測(cè)率[11-12]。本文不僅測(cè)試將其他VQA特征應(yīng)用于視頻幀間篡改檢測(cè)的可行性，而且將它們?nèi)诤系揭粋€(gè)統(tǒng)一的算法中。

2.3 多特征融合

Liu等[28]通過(guò)融合圖像質(zhì)量評(píng)估特征（IQA，image quality assessment）來(lái)實(shí)現(xiàn)客觀圖像質(zhì)量評(píng)估，根據(jù)失真類(lèi)型將圖像分為3到5組，使用機(jī)器學(xué)習(xí)方法訓(xùn)練預(yù)測(cè)模型，在6個(gè)代表性數(shù)據(jù)庫(kù)中進(jìn)行了測(cè)試，結(jié)果表明提出的融合方法比現(xiàn)有的IQA方法性能好。Lin等[29]融合VQA特征進(jìn)行客觀視頻質(zhì)量評(píng)估，將視頻按壓縮率和調(diào)整大小分組，在每組內(nèi)融合幾個(gè)VQA特征預(yù)測(cè)感知質(zhì)量，通過(guò)機(jī)器學(xué)習(xí)減少了內(nèi)容多樣性并提高融合性能，在MCL-V數(shù)據(jù)集中進(jìn)行測(cè)試，結(jié)果表明融合VQA特征比單個(gè)VQA特征的評(píng)估效果更好。上述特征融合方法均是針對(duì)質(zhì)量評(píng)估的。在篡改檢測(cè)方面，Huang等[30]提出了融合音頻的多通道方法。該方法利用篡改視頻文件的視頻通道時(shí)會(huì)影響音頻通道的原理，取得了較好的檢測(cè)效果。然而，許多視頻常常沒(méi)有音頻通道（如監(jiān)控視頻），這就限制了該方法的應(yīng)用范圍。Shanableh等[31]從視頻比特流中提取多特征來(lái)對(duì)MPEG視頻進(jìn)行檢測(cè)，得到了較好的效果。然而，他們只用到了MPEG視頻中P幀的一些簡(jiǎn)單特征，而本文的算法和所選用的特征則不受限于具體的視頻編碼格式。而且，他們的方法僅對(duì)幀刪除的篡改進(jìn)行了測(cè)試，而本文會(huì)對(duì)復(fù)制、插入和刪除等篡改都進(jìn)行測(cè)試。此外，本文還提出利用視頻分組來(lái)改進(jìn)特征融合的效果。

表1 質(zhì)量評(píng)估指標(biāo)

3 幀間篡改檢測(cè)融合算法

融合算法的目的是融合多個(gè)特征，獲得比利用單一特征檢測(cè)精確度更高的視頻篡改取證算法。但視頻特征數(shù)量多，將所有可能的組合遍歷一遍顯然是不可取的。本文使用特征遞歸消除算法（SVM-RFE）對(duì)特征進(jìn)行排序，然后用文獻(xiàn)[32]中提到的順序前向選擇（SFS，sequential forward method selection）算法和Adaboost二元分類(lèi)器對(duì)排序好的特征逐個(gè)融合，每次留下能提高當(dāng)前得分的特征，這樣只要遍歷一遍特征集就能得到一組滿意的結(jié)果，實(shí)驗(yàn)表明該方法可以提高融合算法的檢測(cè)精度。融合算法流程如圖1所示。

圖1 融合算法流程

Figure 1 Fusion algorithm flow

3.1 視頻分組

將類(lèi)似內(nèi)容的視頻分類(lèi)到同一組當(dāng)中，可以在每一組中構(gòu)建更加準(zhǔn)確的檢測(cè)模型。在每一組中，希望有足夠多的樣本和視頻來(lái)學(xué)習(xí)和訓(xùn)練。根據(jù)實(shí)驗(yàn)的情況分析發(fā)現(xiàn)，利用空間信息（SI）和時(shí)間信息（TI）將視頻分成兩組，可以取得比不分組更好的檢測(cè)效果。

計(jì)算TI，先對(duì)視頻幀序列提取的運(yùn)動(dòng)差異特性M(,)，再計(jì)算標(biāo)準(zhǔn)偏差。TI為沿著時(shí)間軸計(jì)算M(,)的空間標(biāo)準(zhǔn)偏差的最大值，可以用式(3)表示。

利用以下分割線將視頻分為兩組，如式(4)所示。

3.2 特征提取

在分組之后，分別對(duì)每組里的視頻提取特征。因?yàn)橐獧z測(cè)視頻的幀間篡改，所以計(jì)算視頻的幀間VQA特征。首先將視頻分解成幀序列，然后逐幀提取兩幀間的19個(gè)VQA特征（見(jiàn)表1）。有以下幀序列：

圖2 視頻分組

Figure 2 Video grouping

對(duì)于個(gè)連續(xù)的視頻幀，可以提取–1次幀間相關(guān)特性，每次都提取19個(gè)VQA特征，如式(6)所示。

3.3 特征排序與融合

算法1 SVM-RFE特征排序算法

輸出

算法2 順序前向選擇

使用算法1對(duì)特征進(jìn)行排序，再使用算法2選擇特征并逐個(gè)融合特征，最終每個(gè)分組得到一組特征集。在所有樣本中使用融合特征集獲取融合樣本，將樣本分為訓(xùn)練樣本和測(cè)試樣本。使用融合測(cè)試樣本訓(xùn)練Adaboost二元分類(lèi)器，獲得一個(gè)融合算法的分類(lèi)模型。將測(cè)試樣本輸入融合分類(lèi)模型得到每組融合模型得分。為了方便分組融合模型與不分組融合模型的比較，使用平均法取兩個(gè)分組的平均值作為融合算法的得分，最后得到整個(gè)融合算法的視頻取證得分。得分越高說(shuō)明融合算法檢測(cè)幀間篡改的精度越高。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

本文使用了華南理工的視頻篡改檢測(cè)數(shù)據(jù)庫(kù)（VFDD，video forgery detection database）Version1.0[35]和SULFA（surrey university library for forensic analysis）[36]視頻庫(kù)中的220個(gè)視頻對(duì)融合算法的有效性進(jìn)行驗(yàn)證。實(shí)驗(yàn)中使用Matlab R2016b提取視頻特征，使用Scikit-learn[37]庫(kù)進(jìn)行特征選擇以及分類(lèi)。實(shí)驗(yàn)環(huán)境為Intel Corei5-4590 CPU 3.30 GHz、8 GB內(nèi)存、Windows 10系統(tǒng)。

4.2 實(shí)驗(yàn)樣本來(lái)源

首先構(gòu)造一個(gè)視頻幀間篡改的數(shù)據(jù)集。該數(shù)據(jù)集包含44 686條樣本，其中正負(fù)樣本各占一半。視頻內(nèi)容包括日常生活場(chǎng)景，如行人走路、汽車(chē)在公路行使、做體育運(yùn)動(dòng)（踢球、打羽毛球、打乒乓球、跑步）、自然風(fēng)景等。圖3展示了幀間篡改操作。其中，圖3(a)為原始幀序列（以第1到第12幀為例）；圖3(b)顯示了幀插入篡改操作，其中、、為插入幀；圖3(c)顯示了幀刪除篡改操作，其中第7、8、9幀（用白色表示）已從視頻幀序列中刪除；圖3(d)顯示了幀復(fù)制粘貼篡改操作，第10到第12幀被復(fù)制粘貼到了第3幀和第4幀之間。上述3種幀間篡改操作會(huì)導(dǎo)致視頻幀序列發(fā)生變化，在構(gòu)造樣本時(shí)，篡改點(diǎn)處對(duì)應(yīng)的是負(fù)樣本。如圖3(b)中，編號(hào)為3的幀和編號(hào)為x的幀之間是異常點(diǎn)，編號(hào)為z的幀與編號(hào)為4的幀之間也是異常點(diǎn)；圖3(c)中，編號(hào)為6的幀與編號(hào)為10的幀之間是異常點(diǎn)。圖3(d)中，編號(hào)為3的幀與其相鄰的編號(hào)為10的幀之間是異常點(diǎn)，編號(hào)為12與相鄰的編號(hào)為4的幀之間是異常點(diǎn)。在異常點(diǎn)處的樣本是負(fù)樣本。幀間篡改的視頻異常點(diǎn)比正常點(diǎn)要少得多。然而，訓(xùn)練分類(lèi)模型一般要求正負(fù)樣本數(shù)相當(dāng)才能訓(xùn)練出好的分類(lèi)模型。因此，在生成數(shù)據(jù)集時(shí)，每生成一個(gè)正常點(diǎn)，就隨機(jī)構(gòu)造一個(gè)異常點(diǎn)。構(gòu)造方法如下，假設(shè)原始視頻幀序列是從1到F，如果正常點(diǎn)1和2之間提取特征作為正樣本，則同時(shí)隨機(jī)選取一幀F，1與F構(gòu)成負(fù)樣本。這樣，對(duì)于一個(gè)原始視頻可以生成等量的正樣本和負(fù)樣本?？紤]到視頻篡改的幀數(shù)一般超過(guò)5幀，本文選取的隨機(jī)幀F與當(dāng)前幀的間隔在5~35幀之間。

4.3 分類(lèi)器的比較與選擇

一組樣本的眾多分類(lèi)器的得分如表2所示。從表中可以看出AdaBoost分類(lèi)器的效果較佳，優(yōu)于其他分類(lèi)效果。選擇AdaBoost作為分類(lèi)器時(shí)，分類(lèi)精度高，作為簡(jiǎn)單的二元分類(lèi)器時(shí)，構(gòu)造簡(jiǎn)單，且不容易發(fā)生過(guò)擬合。

圖3 幀間篡改操作

Figure 3 Interframe tamper operation

表2 分類(lèi)器得分

4.4 實(shí)驗(yàn)結(jié)果與分析

大量的實(shí)驗(yàn)結(jié)果表明融合所有特征往往不能達(dá)到最好的效果。因此，一般不需要融合所有特征，只需要找到一個(gè)較佳的融合數(shù)量即可。在表3中第1到19欄展示了逐一添加特征的結(jié)果，第20欄是本文融合算法添加特征的結(jié)果，并繪制了結(jié)果曲線，如圖4所示，以便更好地展示融合效果。表3中索引號(hào)1到19欄展示的是先對(duì)特征進(jìn)行排序，按照排序結(jié)果依次添加特征后的得分，其過(guò)程中沒(méi)有排除任何特征。最后一欄（索引號(hào)20）展示的是使用本文中提到的算法2（只添加能提高當(dāng)前檢測(cè)精度的特征）融合特征的結(jié)果。表3中第一個(gè)所選的特征是給定樣本下得分最高的特征，在增加一個(gè)特征后，其性能反而下降了。圖4可以清晰地看出當(dāng)特征數(shù)從2增加到4時(shí)，性能有大幅提升。當(dāng)融合特征數(shù)為4時(shí)有最佳性能。特征數(shù)大于4之后，性能有所下降也有所上升，一般保持在一個(gè)比較平穩(wěn)的水平。最后一欄只融合了部分特征也獲得了較高的得分。從圖4中可以看出融合方法確實(shí)有利于提高檢測(cè)精度且使用本文的算法不需要融合所有特征也可以選擇一組效果較佳的特征。高維數(shù)據(jù)性能有所下降而不是改善的原因有兩點(diǎn)：特征增加意味著噪聲和誤差也隨之增加；樣本數(shù)據(jù)量不足以獲得統(tǒng)計(jì)上合理和可靠的估計(jì)。如果選取一組樣本，要找到最佳的特征組合，需要遍歷所有可能，顯然，這是不可取的。那么，使用本文提到的順序前向選擇算法，可以找到一組性能較佳的特征，而只需遍歷一遍所有特征，且復(fù)雜度低。

表3 融合步驟得分

對(duì)本文所提融合算法與單一VQA方法在華南理工視頻篡改檢測(cè)數(shù)據(jù)庫(kù)和SULFA視頻庫(kù)的精確度進(jìn)行比較。結(jié)果如表4所示。表中第一列展示了方法的名稱(chēng)。其中MMF為本文的融合算法，MMF分有分組和無(wú)分組兩種，第二列是VFDD庫(kù)中每種方法的得分，第三列是SULFA庫(kù)中每種方法的得分，得分越高表示檢測(cè)精度越好。在VFDD視頻庫(kù)中表現(xiàn)最好的單一特征是IFC（得分0.918 623），而在SULFA視頻庫(kù)中表現(xiàn)最好的單一特征為VSNR（得分0.666 803）；同時(shí)也可以看出IFC特征在SULFA視頻庫(kù)中的得分只有0.481 829，相比于其他特征的表現(xiàn)有明顯的不足，同樣VSNR在VFDD視頻庫(kù)中的表現(xiàn)相對(duì)于其他特征也有明顯的不足。從表4中可以看出融合算法在兩個(gè)數(shù)據(jù)庫(kù)中的性能表現(xiàn)都是最優(yōu)的。VFDD數(shù)據(jù)庫(kù)中，MMF（無(wú)分組）融合的特征為IFC、VIF、MAD、IWSSIM、GSM、VSI、SSIM。MMF（分組后）將視頻分為兩組，第一組融合特征為IFC、NQM、PSNR、SNR、VSNR、WSNR；第二組的融合特征為IFC、MSE、NQM、PSNR、VSNR、UQI、SSIM。分組與未分組的融合方法性能幾乎無(wú)差別；在SULFA中，MMF（無(wú)分組）融合的特征為IFC、NQM。MMF（分組后）將視頻分為兩組，第一組融合特征為IFC、IWSSIM、SRSIM；第二組的融合特征為WSNR、SNR、PSNR。分組后的融合方法比未分組的融合方法在性能上有顯著的提升。這說(shuō)明正確的分組有利于融合算法性能的提升。在時(shí)間上效率上，融合算法比單一特征多花費(fèi)200 s。相比于檢測(cè)效果的提升，額外的開(kāi)銷(xiāo)時(shí)間在可接受范圍之內(nèi)。

圖4 融合方法曲線

Figure 4 Fusion method graph

表4 融合模型性能比較

5 結(jié)束語(yǔ)

本文提出了融合多特征的視頻幀間篡改檢測(cè)算法。首先計(jì)算視頻幀間的TI和SI，使用TI值和SI值對(duì)視頻進(jìn)行分組；分組后提取視頻幀間的VQA特征；對(duì)提取的VQA特征使用特征遞歸消除法對(duì)特征進(jìn)行排序；然后再使用順序前向選擇算法和Adaboost二元分類(lèi)器對(duì)排好序的VQA特征逐個(gè)融合，最終得到每組融合方法的得分，最后取兩組得分的平均值得到整個(gè)算法的幀間篡改分類(lèi)得分。實(shí)驗(yàn)對(duì)比表明，融合算法的篡改檢測(cè)效果優(yōu)于單一特征，且對(duì)視頻進(jìn)行分組能夠提高融合算法的得分。下一步工作，將做更多的實(shí)驗(yàn)來(lái)尋找更合適的視頻分組策略，進(jìn)一步提算法的融合性能。未來(lái)也會(huì)嘗試使用深度學(xué)習(xí)的方法來(lái)自動(dòng)提取特征及融合。

[1] INDEX C V N. Forecast and methodology, 2016–2021[R]. White Paper, 2017, 6.

[2] IULIANI M, SHULLANI D, FONTANI M, et al. A video forensic framework for the unsupervised analysis of MP4-like file container[J]. IEEE Transactions on Information Forensics and Security, 2018, 14(3): 635-645.

[3] AFCHAR D, NOZICK V, YAMAGISHI J, et al. Mesonet: a compact facial video forgery detection network[C]//2018 IEEE International Workshop on Information Forensics and Security (WIFS). 2018: 1-7.

[4] MATERN F, RIESS C, STAMMINGER M. Exploiting visual artifacts to expose deepfakes and face manipulations[C]//2019 IEEE Winter Applications of Computer Vision Workshops (WACVW). 2019: 83-92.

[5] SINGH R D, AGGARWAL N. Video content authentication techniques: a comprehensive survey[J]. Multimedia Systems, 2018, 24(2): 211-240.

[6] CHAO J, JIANG X, SUN T. A novel video inter-frame forgery model detection scheme based on optical flow consistency[C]//International Workshop on Digital Watermarking. 2012: 267-281.

[7] WU Y, JIANG X, SUN T, et al. Exposing video inter-frame forgery based on velocity field consistency[C]//2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2014: 2674-2678.

[8] LIU Y, HUANG T. Exposing video inter-frame forgery by Zernike opponent chromaticity moments and coarseness analysis[J]. Multimedia Systems, 2017, 23(2): 223-238.

[9] WANG W, FARID H. Exposing digital forgeries in video by detecting double MPEG compression[C]//The 8th Workshop on Multimedia and Security. 2006: 37-47.

[10] AGHAMALEKI J A, BEHRAD A. Inter-frame video forgery detection and localization using intrinsic effects of double compression on quantization errors of video coding[J]. Signal Processing: Image Communication, 2016, 47: 289-302.

[11] LI F, HUANG T. Video copy-move forgery detection and localization based on structural similarity[C]//The 3rd International Conference on Multimedia Technology (ICMT 2013). 2014: 63-76.

[12] 張珍珍, 侯建軍, 李趙紅, 等. 基于 MSSIM 商一致性的視頻插幀和刪幀篡改檢測(cè)[J]. 北京郵電大學(xué)學(xué)報(bào), 2015, 38(4):.84-88. ZHANG Z Z, HOU J J, LI Z H, et al. Video-farm insertion and deflection detection based on consistency of quotients of MSSIM[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(4): 84-88.

[13] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[14] WANG Z, SIMONCELLI E P, BOVIK A C. Multiscale structural similarity for image quality assessment[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003. 2003, 2: 1398-1402.

[15] CHANDLER D M, HEMAMI S S. VSNR: a wavelet-based visual signal-to-noise ratio for natural images[J]. IEEE Transactions on Image Processing, 2007, 16(9): 2284-2298.

[16] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

[17] WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

[18] SHEIKH H R, BOVIK A C, DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2117-2128.

[19] DAMERA-VENKATA N, KITE T D, GEISLER W S, et al. Image quality assessment based on a degradation model[J]. IEEE Transactions on Image Processing, 2000, 9(4): 636-650.

[20] MANNOS J, SAKRISON D. The effects of a visual fidelity criterion of the encoding of images[J]. IEEE Transactions on Information Theory, 1974, 20(4): 525-536.

[21] ZHANG L, SHEN Y, LI H. VSI: a visual saliency-induced index for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2014, 23(10): 4270-4281.

[22] ZHANG L, ZHANG L, MOU X, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[23] WANG Z, LI Q. Information content weighting for perceptual image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(5): 1185-1198.

[24] LIU A, LIN W, NARWARIA M. Image quality assessment based on gradient similarity[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1500-1512.

[25] LARSON E C, CHANDLER D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010, 19(1): 011006.

[26] ZHANG L, LI H. SR-SIM: a fast and high performance IQA index based on spectral residual[C]//2012 19th IEEE International Conference on Image Processing. 2012: 1473-1476.

[27] ZHANG L, ZHANG L, MOU X. RFSIM: a feature based image quality assessment metric using Riesz transforms[C]//2010 IEEE International Conference on Image Processing. 2010: 321-324.

[28] LIU T J, LIN W, KUO C C J. Image quality assessment using multi-method fusion[J]. IEEE Transactions on Image Processing, 2012, 22(5): 1793-1807.

[29] LIN J Y, LIU T J, WU E C H, et al. A fusion-based video quality assessment (FVQA) index[C]//Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific. 2014: 1-5.

[30] HUANG T, ZHANG X, HUANG W, et al. A multi-channel approach through fusion of audio for detecting video inter-frame forgery[J]. Computers & Security, 2018, 77: 412-426.

[31] SHANABLEH T. Detection of frame deletion for digital video forensics[J]. Digital Investigation, 2013, 10(4): 350-360.

[32] LIU T J, LIN W, KUO C C J. Image quality assessment using multi-method fusion[J]. IEEE Transactions on Image Processing, 2012, 22(5): 1793-1807.

[33] INSTALLATIONS T, LINE L. Subjective video quality assessment methods for multimedia applications[J]. Networks, 1999, 910(37): 5.

[34] GUYON I, WESTON J, BARNHILL S, et al. Gene selection for cancer classification using support vector machines[J]. Machine Learning, 2002, 46(1-3): 389-422.

[35] HU Y J, SALMAN A H, WANG Y F, et al. Construction and evaluation of video forgery detection database[J]. Journal of South China University of Technology (Natural Science), 2017, 45(12):57-64.

[36] QADIR G, YAHAYA S, HO A T, Surrey university library for forensic analysis (SULFA) of video content[C]//IET Conference on Image Processing. 2012: 1-6.

[37] PEDREGOSA F, VAROQUAUX G, GRAMFORT A, et al. Scikit-learn: machine learning in Python[J]. Journal of Machine Learning Research, 2011, 12: 2825-2830.

Video inter-frame tampering detection algorithm fusingmultiple features

XIAO Hui1,2, WENG Bin1,2, HUANG Tianqiang1,2, PU Han1,2, HUANG Zehui3

1. School of Mathematics and Information, Fujian Normal University, Fuzhou 350007, China 2. Fujian Research Center for Big Data Mining and Applied Engineering, Fuzhou 350007, China 3. Shih Hsin University, Taipei 350108, China

Traditional passive forensics of video inter-frame tampering often relies on single feature. Each of these features is usually suitable for certain types of videos, while has low detection accuracy for other videos. To combine the advantages of these features, a video inter-frame tampering detection algorithm that could fuse multi-features was proposed. The algorithm firstly classified the input video into one group based on its space information and time information values. Then it calculated the VQA features that represented the video inter-frame continuity. These features were sorted by the SVM-RFE feature recursive elimination algorithm. Finally, the sorted features were filtered and fused by the sequential forward selection algorithm and Adaboost binary classifier. Experimental results show that the proposed algorithm could achieve higher tampering detection accuracy.

video tamper detection, fusion algorithm, feature selection, Adaboost binary classification, video grouping

s: The National Key Program for Developing Basic Science (No.2018YFC1505805), Applied Mathematics Fujian Provincial Key Laboratory Project (No.SX201803)

TP393

A

10.11959/j.issn.2096?109x.2020007

肖輝（1991?），男，福建建甌人，福建師范大學(xué)碩士生，主要研究方向?yàn)樾畔踩?shù)字多媒體取證。

2019?07?10；

2019?10?03

黃添強(qiáng)，fjhtq@fjnu.edu.cn

國(guó)家重點(diǎn)研發(fā)計(jì)劃專(zhuān)項(xiàng)基金資助項(xiàng)目（No.2018YFC1505805）；應(yīng)用數(shù)學(xué)福建省高校重點(diǎn)研究資助項(xiàng)目（No.SX201803）

翁彬（1981?），男，福建福州人，博士，福建師范大學(xué)講師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)及應(yīng)用。

黃添強(qiáng)（1971?），男，福建仙游人，博士，福建師范大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、數(shù)字多媒體取證。

普菡（1995? ），女，河南平輿人，福建師范大學(xué)碩士生，主要研究方向?yàn)樾畔踩?、?shù)字多媒體取證。

黃則暉（1999?），女，福建仙游人，主要研究方向?yàn)槎嗝襟w編輯與傳播。

論文引用格式：肖輝, 翁彬, 黃添強(qiáng), 等. 融合多特征的視頻幀間篡改檢測(cè)算法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2020, 6(1): 84-93.

XIAO H, WENG B, HUANG T Q, et al. Video inter-frame tampering detection algorithm fusing multiple features [J]. Chinese Journal of Network and Information Security, 2020, 6(1): 84-93.