雷 林，李樂鵬，楊 敏，董方敏，孫水發(fā)

(1.湖北省水電工程智能視覺監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室(三峽大學(xué))，湖北 宜昌443002；2.廣東省粵電集團(tuán)有限公司 天生橋一級(jí)水電開發(fā)有限責(zé)任公司水力發(fā)電廠，貴州 興義 562400)

基于S變換的非平穩(wěn)微小運(yùn)動(dòng)自動(dòng)放大

雷 林1,2，李樂鵬1，楊 敏1，董方敏1，孫水發(fā)1*

(1.湖北省水電工程智能視覺監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室(三峽大學(xué))，湖北 宜昌443002；2.廣東省粵電集團(tuán)有限公司 天生橋一級(jí)水電開發(fā)有限責(zé)任公司水力發(fā)電廠，貴州 興義 562400)

(*通信作者電子郵箱watersun@ctgu.edu.cn)

現(xiàn)有的歐拉視頻微小運(yùn)動(dòng)放大方法沒有考慮視頻中運(yùn)動(dòng)信息的自動(dòng)檢測(cè)，在實(shí)現(xiàn)運(yùn)動(dòng)放大時(shí)需要人為選取感興趣運(yùn)動(dòng)信息處理的合適參數(shù)，比如濾波器截止頻率、放大倍數(shù)等。對(duì)于一般的視頻，通常無法直觀地確定這些參數(shù)，而是通過試錯(cuò)來完成。為此，基于S變換提出了一種視頻序列中非平穩(wěn)微小運(yùn)動(dòng)的自動(dòng)放大方法：基于S變換自動(dòng)確定帶通濾波器的即時(shí)相關(guān)參數(shù)并設(shè)計(jì)了相應(yīng)的動(dòng)態(tài)濾波器，在此基礎(chǔ)上實(shí)現(xiàn)了視頻微小運(yùn)動(dòng)的全自動(dòng)放大。首先, 通過S變換分析出視頻中微小運(yùn)動(dòng)在各個(gè)時(shí)刻的瞬時(shí)頻率; 然后, 對(duì)視頻在不同時(shí)刻呈現(xiàn)不同頻率的情況進(jìn)行動(dòng)態(tài)帶通濾波處理; 最后, 放大經(jīng)過帶通濾波后的感興趣運(yùn)動(dòng)信息，實(shí)現(xiàn)微小運(yùn)動(dòng)放大。此外，對(duì)于抗噪性能分析，提出了一種視頻區(qū)域信噪比評(píng)價(jià)方法。實(shí)驗(yàn)結(jié)果表明，所提方法在對(duì)實(shí)際視頻進(jìn)行放大處理時(shí)，能夠根據(jù)運(yùn)動(dòng)信息頻率的變化自動(dòng)地獲取濾波器、放大倍數(shù)等參數(shù)，無需人工參與；運(yùn)動(dòng)放大后可以動(dòng)態(tài)地展現(xiàn)運(yùn)動(dòng)目標(biāo)的放大效果。同時(shí)，準(zhǔn)確的動(dòng)態(tài)濾波器在一定程度上能夠抑制噪聲干擾，使得運(yùn)動(dòng)放大效果更加理想。

歐拉視頻放大；S變換；自動(dòng)檢測(cè)；動(dòng)態(tài)帶通濾波；信噪比

0 引言

通過放大視頻中的微小運(yùn)動(dòng)，可以展現(xiàn)一些肉眼不可見的運(yùn)動(dòng)信息[1]，在可視化、臨床診斷、監(jiān)控等領(lǐng)域[2-4]都有著廣闊的應(yīng)用。2005年Liu等[5]提出了一種針對(duì)視頻的運(yùn)動(dòng)放大技術(shù)(Motion Magnification，MM)，該方法對(duì)目標(biāo)的特征點(diǎn)進(jìn)行聚類、跟蹤，然后再放大運(yùn)動(dòng)幅度，但該方法計(jì)算復(fù)雜度高，并且相關(guān)參數(shù)難以控制，在實(shí)際應(yīng)用中采用得不多。2012年Wu等[6]提出了一種稱為歐拉視頻放大(Eulerian Video Magnification, EVM)方法，該方法不是顯式地跟蹤和估計(jì)粒子的運(yùn)動(dòng)，而是通過分析整個(gè)場(chǎng)景圖像的像素點(diǎn)的值隨時(shí)間的變化，從中分離出感興趣的頻段并進(jìn)行增強(qiáng)，從而達(dá)到放大動(dòng)作信息的目的。2013年Wadhwa等[7]提出了一種基于相位的運(yùn)動(dòng)放大技術(shù)(Phase-Based Video Motion processing，PBVM)，該方法通過放大相位來改變運(yùn)動(dòng)目標(biāo)的位移變化，能夠有效抑制噪聲，支持更大的放大倍數(shù)。但是，EVM和PBVM方法均需要用戶為每個(gè)待放大的視頻提供一組輸入?yún)?shù)才能進(jìn)行放大，對(duì)于未知的視頻，這需要耗費(fèi)時(shí)間去找到合適的參數(shù)，對(duì)于非專業(yè)的用戶將無法使用該方法操作新視頻。

針對(duì)運(yùn)動(dòng)放大參數(shù)難以確定的問題，Sushma等[8]提出了一種半自動(dòng)的視頻中微小運(yùn)動(dòng)放大(Semi-Automated Magnification of subtle motion in video，SAM)的方法，通過使用從前兩幀視頻獲得的信息自動(dòng)地確定這些參數(shù)。此外，在文獻(xiàn)[9]中，通過功率譜估計(jì)得出運(yùn)動(dòng)的頻率等信息，再進(jìn)行自動(dòng)運(yùn)動(dòng)放大處理，取得了不錯(cuò)的效果。但是，這些方法只能提取出一組固定的參數(shù)，這樣提取的運(yùn)動(dòng)信息是不準(zhǔn)確的。

借鑒現(xiàn)有的方法，本文提出一種基于時(shí)頻分析的微小運(yùn)動(dòng)自動(dòng)檢測(cè)及放大方法，可以實(shí)現(xiàn)對(duì)非平穩(wěn)微小運(yùn)動(dòng)的全自動(dòng)檢測(cè)及放大。首先,從給定的視頻序列中各像素點(diǎn)的時(shí)間波形入手，通過S變換(Stockwell Transform)[10]求出各個(gè)時(shí)間波形在各個(gè)時(shí)間點(diǎn)的瞬時(shí)頻率; 然后, 通過聚類方法[11]求出每一時(shí)間點(diǎn)的瞬時(shí)頻率; 最后, 以此瞬時(shí)頻率設(shè)計(jì)出一個(gè)濾波器來實(shí)現(xiàn)運(yùn)動(dòng)放大。

1 微小運(yùn)動(dòng)全自動(dòng)放大框架

本文對(duì)視頻在時(shí)間上存在多頻率分布的情況進(jìn)行分析，以光點(diǎn)視頻sims為例進(jìn)行分析。視頻sims是將文獻(xiàn)[6]中提供的sim4視頻的4種頻率在時(shí)間域上合并而成，得出的光點(diǎn)視頻總長(zhǎng)為560幀，其中每140幀分別以2 Hz、3 Hz、5 Hz、7 Hz的頻率左右擺動(dòng)。圖1給出了本文多頻率下運(yùn)動(dòng)信息自動(dòng)檢測(cè)及放大的整體框架，主要包含S變換和動(dòng)態(tài)濾波。

圖1 微小運(yùn)動(dòng)自動(dòng)檢測(cè)框架Fig. 1 Overview of the automated detection of subtle motion

具體來說，對(duì)于包含非平穩(wěn)運(yùn)動(dòng)信息的視頻，進(jìn)行運(yùn)動(dòng)的自動(dòng)檢測(cè)及放大的算法流程如下：

步驟1 針對(duì)視頻中的所有像素點(diǎn)，對(duì)于視頻f(x,y,t)中像素點(diǎn)(i,j)在時(shí)域信號(hào)fij(t)進(jìn)行S變換，求出關(guān)于信號(hào)fij(t)的時(shí)頻表示圖；

步驟2 根據(jù)信號(hào)的時(shí)頻表示計(jì)算關(guān)于點(diǎn)(i,j)在時(shí)間上瞬時(shí)頻率值Fij(t)；

2 信號(hào)時(shí)頻分析及濾波器設(shè)計(jì)

對(duì)于視頻中運(yùn)動(dòng)信息的多頻率分布的情況，屬于非平穩(wěn)信號(hào)的表現(xiàn)形式，直接對(duì)這類信號(hào)進(jìn)行頻譜分析會(huì)忽略信號(hào)頻率在時(shí)間上的分布情況，因此需要分析信號(hào)在任意時(shí)刻的頻率特征。對(duì)此，本文采用S變換這種時(shí)頻表示方法對(duì)微小運(yùn)動(dòng)點(diǎn)的時(shí)間波形進(jìn)行分析，并根據(jù)信號(hào)在時(shí)間軸上瞬時(shí)頻率來設(shè)計(jì)動(dòng)態(tài)的帶通濾波器，從而實(shí)現(xiàn)非平穩(wěn)運(yùn)動(dòng)信號(hào)的放大。

2.1 非平穩(wěn)運(yùn)動(dòng)信號(hào)S變換

對(duì)于信號(hào)頻率分析的問題，傅里葉變換只給出了信號(hào)中頻譜分量的信息，不能定位頻率成分在信號(hào)中出現(xiàn)的位置。因此，應(yīng)用時(shí)頻表示(Time Frequency Representation, TFR)進(jìn)行分析是比較合適的?，F(xiàn)在有很多不同的時(shí)頻表示方法，比如短時(shí)傅里葉變換(Short-Time Fourier Transform, STFT)、連續(xù)小波變換(Continuous Wavelet Transform, CWT)等，而Stockwell[10]提出的S變換集中了短時(shí)傅里葉變換和小波變換的優(yōu)點(diǎn)，免去了窗函數(shù)的選擇和克服了窗寬固定的缺陷。因此，我們選擇使用S變換這種時(shí)頻表示方法。通過S變換，得出信號(hào)的頻率及其對(duì)應(yīng)的時(shí)間位置，然后提取出信號(hào)的頻率，從而確定帶通濾波器通帶范圍。

對(duì)于給定的時(shí)域信號(hào)x(t)，其S變換的定義公式如下：

(1)

其中:f表示頻率，dτ表示時(shí)間位移量，τ為窗函數(shù)的中心點(diǎn)，S變換采用的窗函數(shù)為高斯窗函數(shù)，如式(2)所示:

(2)

微小運(yùn)動(dòng)頻率的自動(dòng)檢測(cè)主要體現(xiàn)在時(shí)間序列上頻率變化時(shí)，通過S變換確定信號(hào)在不同時(shí)刻的頻率分布情況，從而檢測(cè)出該運(yùn)動(dòng)頻率及其對(duì)應(yīng)的時(shí)間點(diǎn)。圖2以一個(gè)時(shí)間上不同頻率的中心向四周灰度漸變的模糊化光點(diǎn)視頻sims為例來分析非平穩(wěn)運(yùn)動(dòng)的S變換(其中fs為信號(hào)的采樣頻率。在本例中，視頻幀率為30幀每秒即為信號(hào)采樣頻率fs，下同)。為了直觀展示視頻運(yùn)動(dòng)的效果，將視頻切取一條線，然后沿著時(shí)間軸依次展開得到其時(shí)空切片圖，圖2(b)給出了光點(diǎn)視頻sims的時(shí)空切片圖。

由圖2(d)可知，所有頻率的信號(hào)在經(jīng)過S變換后，圖中都可以清晰地看出隨時(shí)間變化而變化的情況，即通過S變換，我們可以知道某個(gè)頻率及其所對(duì)應(yīng)的時(shí)間位置。

通過對(duì)視頻中N個(gè)像素點(diǎn)的時(shí)間波形進(jìn)行S變換，可以得出N個(gè)T時(shí)間長(zhǎng)度的頻率矩陣，即N×T的矩陣; 然后在每個(gè)時(shí)間點(diǎn)上采用K-means聚類算法對(duì)所有頻率值進(jìn)行聚類分析，求出微小運(yùn)動(dòng)在每個(gè)時(shí)間點(diǎn)上的中心頻率值，得出1×T的矩陣。在此基礎(chǔ)上，通過確定視頻在每一時(shí)刻運(yùn)動(dòng)信息的瞬時(shí)頻率，來設(shè)計(jì)一個(gè)關(guān)于時(shí)間序列的動(dòng)態(tài)帶通濾波器，即為本文所需的時(shí)頻濾波器。

2.2 動(dòng)態(tài)濾波器的設(shè)計(jì)

首先對(duì)S變換的逆變換進(jìn)行分析，將S變換沿時(shí)間軸方向進(jìn)行積分，將得到信號(hào)x(t)的頻譜X(f)。利用高斯窗函數(shù)所包含的面積等于1的特性，有：

(3)

因此，將s(t,f)沿著時(shí)間軸t積分，可得

(4)

式(4)表示S頻譜是可逆的，同時(shí)也為S變換提供一個(gè)簡(jiǎn)單的逆變換：

(5)

由此可以設(shè)計(jì)一個(gè)基于S域的濾波器H(t,f)來對(duì)信號(hào)x(t)進(jìn)行處理。

(6)

其中H(t,f)表示時(shí)頻濾波器，時(shí)頻濾波器在此可以根據(jù)信號(hào)的瞬時(shí)頻率設(shè)計(jì)成理想的時(shí)頻二維濾波器或動(dòng)態(tài)Butterworth濾波器。根據(jù)本文視頻運(yùn)動(dòng)放大的需要，按照文獻(xiàn)[12]設(shè)計(jì)出的所需的動(dòng)態(tài)帶通濾波器。

圖2 視頻sims的時(shí)間波形及S變換結(jié)果Fig. 2 Time waveform of video sims and the results of S transform

令fr(t)表示信號(hào)用S變換分析所得的瞬時(shí)頻率值，在視頻序列中，時(shí)間變量t表示成離散變量，即為視頻幀序號(hào)，則所需設(shè)計(jì)的濾波器表示如式(7):

(7)

其中B(t)為時(shí)頻濾波器的帶寬，帶寬B(t)一般根據(jù)信號(hào)的能量在視頻平面上沿瞬時(shí)頻率的聚集程度來確定。本文中帶寬B通過經(jīng)驗(yàn)公式(8)求取：

B=(Fmax+F)/2-(Fmin+F)/2

(8)

式中：F為聚類得到的瞬時(shí)中心頻率，F(xiàn)max、Fmin分別為瞬時(shí)中心頻率所在類中的最大頻率值和最小頻率值，下同。對(duì)于圖2中給定點(diǎn)進(jìn)行 S變換后的波形，根據(jù)式(7)設(shè)計(jì)的動(dòng)態(tài)理想帶通濾波器結(jié)果如圖3(a)所示，濾波后的時(shí)頻表示如圖3(b)所示，可以看出每個(gè)時(shí)刻點(diǎn)的有效頻率得到保留，而其他干擾頻率成分均被濾波掉了，然后對(duì)濾波后的信號(hào)進(jìn)行放大處理，即可實(shí)現(xiàn)微小運(yùn)動(dòng)自動(dòng)檢測(cè)及放大的效果。

圖3 動(dòng)態(tài)理想帶通濾波器及濾波后的時(shí)頻表示Fig. 3 Dynamic ideal bandpass filter and time frequency representation after filtering

3 非平穩(wěn)微小運(yùn)動(dòng)自動(dòng)檢測(cè)及放大

對(duì)將上述非平穩(wěn)的微小運(yùn)動(dòng)檢測(cè)方法、動(dòng)態(tài)帶通濾波器的設(shè)計(jì)方法與文獻(xiàn)[6]的歐拉視頻放大方法結(jié)合起來，得出基于非平穩(wěn)微小運(yùn)動(dòng)自動(dòng)檢測(cè)及放大方法的總體框架如圖4所示。

圖4 非平穩(wěn)運(yùn)動(dòng)的自動(dòng)檢測(cè)及放大的整體框架Fig. 4 Overview of the automated detection and magnification of non-stationary motion

該框架中，ωl和ωh代表帶通濾波器的通帶截頻，通過S變換后的信號(hào)確定；α代表視頻放大的倍數(shù)，λc表示α為0時(shí)的截?cái)嗖ㄩL(zhǎng)(其確定方法沿用文獻(xiàn)[5]中的方法)。

本文對(duì)視頻進(jìn)行非平穩(wěn)微小運(yùn)動(dòng)自動(dòng)放大處理包括以下幾個(gè)步驟：

1)參數(shù)估計(jì)：①從視頻中提取時(shí)間序列；②對(duì)每個(gè)時(shí)間序列應(yīng)用S變換這種時(shí)頻表示進(jìn)行分析；③估計(jì)帶通濾波參數(shù)以及運(yùn)動(dòng)放大參數(shù)。

2)運(yùn)動(dòng)放大：①將視頻序列進(jìn)行拉普拉斯金字塔空域分解，得到不同空域分辨率的視頻序列；②對(duì)每個(gè)尺度的空域圖像進(jìn)行時(shí)域動(dòng)態(tài)帶通濾波處理，實(shí)時(shí)得到感興趣的若干頻帶；③對(duì)感興趣的頻帶信號(hào)進(jìn)行線性放大；④通過將放大信號(hào)與原始信號(hào)進(jìn)行重建處理，合成運(yùn)動(dòng)放大后的圖像。

通過上述分析可知，本文首先從視頻本身自動(dòng)地檢測(cè)出運(yùn)動(dòng)信息，然后進(jìn)行動(dòng)態(tài)帶通濾波處理，最后進(jìn)行運(yùn)動(dòng)放大，實(shí)現(xiàn)了非平穩(wěn)微小運(yùn)動(dòng)的全自動(dòng)檢測(cè)及其放大。

4 實(shí)驗(yàn)結(jié)果及分析

文中的實(shí)驗(yàn)素材主要來源于文獻(xiàn)[6]提供的視頻，部分實(shí)驗(yàn)素材來自于本文作者拍攝及處理的視頻。首先驗(yàn)證本文方法同樣適用于單一頻率的運(yùn)動(dòng)目標(biāo); 其次對(duì)含有多種頻率的視頻進(jìn)行實(shí)驗(yàn)，并分別對(duì)其抗噪性能進(jìn)行分析。

4.1 估計(jì)的頻率參數(shù)

通過本文方法對(duì)所有實(shí)驗(yàn)視頻進(jìn)行實(shí)驗(yàn)，其中間過程的部分頻率參數(shù)如表1所示。

表1 本文估計(jì)的頻率參數(shù)與EVM方法、SAM方法的對(duì)比Tab. 1 Band-pass filter of EVM，SAM and proposed method

通過表1的對(duì)比可以看出，與原始的EVM方法和SAM方法相比，本文方法得出的大部分視頻的帶通濾波器通頻帶范圍與之基本保持一致或包含在其通頻帶頻率范圍內(nèi)。根據(jù)帶通濾波器頻帶的討論，包含在通頻帶范圍內(nèi)信號(hào)得到放大，而相應(yīng)的不在通頻帶范圍的信號(hào)將會(huì)被衰減。

因此，通過本文方法使得檢測(cè)出的運(yùn)動(dòng)信號(hào)的頻率更為準(zhǔn)確，從而設(shè)計(jì)出的帶通濾波器包含中心頻率且有相對(duì)較窄的通頻帶，在實(shí)現(xiàn)微小運(yùn)動(dòng)放大的同時(shí)能夠更好地抑制噪聲信號(hào)的放大。

表1中數(shù)據(jù)只是某一時(shí)刻的，而所有的濾波參數(shù)是根據(jù)運(yùn)動(dòng)目標(biāo)的中心頻率動(dòng)態(tài)調(diào)整的，其濾波效果更為準(zhǔn)確。準(zhǔn)確的帶通濾波參數(shù)在實(shí)現(xiàn)微小運(yùn)動(dòng)放大時(shí)能夠抑制噪聲信號(hào)，得出更好的運(yùn)動(dòng)放大效果。

4.2 單一頻率視頻實(shí)驗(yàn)結(jié)果

首先對(duì)單一運(yùn)動(dòng)頻率的視頻flower進(jìn)行實(shí)驗(yàn)分析，flower視頻是一個(gè)在室內(nèi)相對(duì)較暗的光照下進(jìn)行輕微運(yùn)動(dòng)的太陽能搖擺花，該視頻是我們自己拍攝的未知運(yùn)動(dòng)放大參數(shù)的視頻。由于不知道運(yùn)動(dòng)放大參數(shù)，很難得出帶通濾波器的通帶范圍，用原始的歐拉視頻放大方法難以將該視頻進(jìn)行運(yùn)動(dòng)放大處理。因此，本文應(yīng)用提出的動(dòng)態(tài)濾波方法進(jìn)行運(yùn)動(dòng)信息檢測(cè)及放大，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 基于動(dòng)態(tài)濾波的運(yùn)動(dòng)放大結(jié)果Fig. 5 Results of motion magnification based on dynamic filtering

實(shí)驗(yàn)結(jié)果表明，本文基于非平穩(wěn)信號(hào)動(dòng)態(tài)濾波的方法能夠?qū)崿F(xiàn)對(duì)未知運(yùn)動(dòng)信息的視頻進(jìn)行自動(dòng)檢測(cè)及放大，并且取得了不錯(cuò)的運(yùn)動(dòng)放大效果，由運(yùn)動(dòng)放大前后的時(shí)空切片圖可以清晰地看出運(yùn)動(dòng)細(xì)節(jié)的變化。接下來對(duì)時(shí)間域上存在多頻率分布的視頻進(jìn)行實(shí)驗(yàn)分析。

4.3 多頻率視頻實(shí)驗(yàn)結(jié)果

視頻sims是一個(gè)包含了4種頻率運(yùn)動(dòng)信息的視頻，不同時(shí)刻對(duì)應(yīng)的頻率可能不相同，用歐拉視頻放大方法可以使用包括所有運(yùn)動(dòng)運(yùn)動(dòng)頻率的帶通濾波器來實(shí)現(xiàn)，但由于通頻帶較寬，會(huì)將更多含有噪聲信息的信號(hào)放大。而本文基于S變換的動(dòng)態(tài)濾波方法能夠?qū)崟r(shí)地根據(jù)檢測(cè)出的頻率調(diào)整帶通濾波器的通頻帶范圍，使得檢測(cè)出的運(yùn)動(dòng)信息更準(zhǔn)確，避免了過寬的通頻帶下更多的噪聲被放大。圖6給出了使用歐拉視頻放大方法和本文方法對(duì)視頻sims進(jìn)行放大的實(shí)驗(yàn)結(jié)果，其中歐拉方法的放大倍數(shù)分別取20和50，EVM方法中濾波器帶寬選擇[1 Hz,8 Hz]，因?yàn)樵撏l帶包含了視頻中的所有頻率。

圖6 視頻sims采用不同方法放大的XT切片圖Fig. 6 XT slice of video sims using different methods

由圖6可知，兩種方法均可實(shí)現(xiàn)微小運(yùn)動(dòng)放大。比較圖6(b)、(d)可以看出本文的自動(dòng)頻率檢測(cè)方法可以同歐拉放大一樣對(duì)視頻進(jìn)行放大，并且無需進(jìn)行頻率參數(shù)選擇，可以自動(dòng)地進(jìn)行動(dòng)態(tài)濾波。比較圖6(c)、(e)，當(dāng)放大倍數(shù)增加到50倍時(shí)，由于歐拉方法所取的通頻帶較寬，使得放大后的結(jié)果在正常信號(hào)部分中出現(xiàn)黑影現(xiàn)象，與原文獻(xiàn)[6]中放大倍數(shù)限制的問題相對(duì)應(yīng)，而本文動(dòng)態(tài)濾波方法在每一時(shí)間點(diǎn)均自動(dòng)設(shè)計(jì)合適的帶通濾波器，可以有效保證檢測(cè)出的運(yùn)動(dòng)信息的準(zhǔn)確性，因而呈現(xiàn)出更好的視覺放大效果。此外，視頻中不同頻率連接處出現(xiàn)黑影現(xiàn)象，這是由于視頻在連接處頻率變換不平緩造成的。

接下來對(duì)三個(gè)單一頻率的視頻(baby、shadow和wrist)拼接在一起的時(shí)間上多頻率視頻BSW進(jìn)行實(shí)驗(yàn)分析，BSW視頻的1到302幀是baby，303到482幀是shadow，483到838幀是wrist。這樣該視頻在時(shí)間上將呈現(xiàn)多頻率分布，利用本文方法對(duì)其進(jìn)行運(yùn)動(dòng)放大，其結(jié)果如圖7所示。

圖7 視頻BSW采用不同方法放大的XT切片圖Fig. 7 XT slice of video BSW using different methods

由圖7可知，微小運(yùn)動(dòng)細(xì)節(jié)得到了明顯的增強(qiáng)。對(duì)比圖7(b)、(d)的XT切片圖可知，在視頻BSW中的三段不同頻率的視頻均被進(jìn)行了運(yùn)動(dòng)放大，并且可以很直觀地看出運(yùn)動(dòng)放大后的效果。因此，本文方法對(duì)合成的視頻BSW取得了不錯(cuò)的運(yùn)動(dòng)放大效果，同時(shí)也證明了該方法對(duì)放大在時(shí)間上存在多頻率的視頻的有效性。該視頻應(yīng)用歐拉視頻放大處理，同樣只能讓通頻帶包含這三種頻率(同圖6實(shí)驗(yàn))，再進(jìn)行放大處理。這樣的處理方法通頻帶較寬，會(huì)將更多含有噪聲的信號(hào)放大，而該處理方法都是建立在已知運(yùn)動(dòng)頻率的情況下，對(duì)于未知視頻，歐拉視頻放大方法將無法獲取濾波器參數(shù)。

4.4 抗噪性能分析

為了定量地比較視頻放大的抗噪性能，本文基于現(xiàn)有的圖像信噪比(Signal-to-Noise Ratio, SNR)評(píng)價(jià)算法[14-15]，自定義一種視頻區(qū)域信噪比SNR的評(píng)價(jià)方法,該SNR定義為選擇視頻中的一個(gè)平滑區(qū)域，其方差作為噪聲功率，平均值作為有用信號(hào)，從而計(jì)算出該選定區(qū)域的信噪比SNR。接下來詳細(xì)介紹具體計(jì)算過程。

視頻的每一幀圖像M×N可以看作圖像信息和噪聲的疊加，如式(9)所示:

D(x,y)=S(x,y)+N(x,y)

(9)

在第一幀視頻的光滑區(qū)域選擇M1×N1大小的塊，記作Dpatch(i,j)，計(jì)算該區(qū)域的平均值：

(10)

其中該區(qū)域噪聲均方誤差為：

(11)

因此，第一幀視頻選定區(qū)域的信噪比SNR表示為：

(12)

圖8 視頻baby實(shí)驗(yàn)Fig. 8 Experiment of video baby

為了評(píng)價(jià)放大處理對(duì)視頻的噪聲放大結(jié)果，根據(jù)式(12)計(jì)算視頻sims放大后相對(duì)原視頻的信噪比SNR的差值。得出的SNR差值越大，表明該方法的抗噪性能越好，視頻放大對(duì)噪聲敏感性影響越弱。

為了證明該評(píng)價(jià)方法的有效性，選用baby視頻進(jìn)行論證，討論EVM方法在不同放大倍數(shù)下的結(jié)果，由于baby視頻幀數(shù)過多，選取其中的第1幀～第250幀的結(jié)果如圖8所示。由圖8中視頻baby的實(shí)驗(yàn)表明，視頻放大20倍時(shí)的信噪比SNR比放大10倍時(shí)的值要小得多，即放大20倍時(shí)的視頻噪聲相對(duì)較大。對(duì)于EVM方法，隨著放大倍數(shù)的增加，視頻的噪聲信號(hào)也被線性地放大，視頻baby的SNR實(shí)驗(yàn)與此相符，證明了該方法的有效性。

對(duì)于sims視頻的實(shí)驗(yàn)，信噪比SNR的結(jié)果如圖9所示，同樣選取其中的第1幀～第250幀的結(jié)果作為示例。由圖9可知，在相同的放大倍數(shù)(α=20)情況下，本文基于S變換的動(dòng)態(tài)濾波方法比原始的歐拉方法具有更好的抗噪性能。因?yàn)榛赟變換的動(dòng)態(tài)帶通濾波方法具有更精確的濾波范圍，能夠精確地放大每個(gè)頻率的信號(hào)，而使用歐拉方法放大該視頻，只能選擇使用包含該視頻中的所有頻率的通頻帶1 Hz～8 Hz，通頻帶較寬，放大了額外的噪聲信息。

圖9 視頻sims實(shí)驗(yàn)Fig. 9 Experiment of video sims

通過視頻flower、視頻sims以及視頻BSW的實(shí)驗(yàn)結(jié)果可知，本文基于S變換的動(dòng)態(tài)濾波放大方法不僅適用于單一頻率或者頻率變化不大的視頻，而且對(duì)多頻率的視頻也能動(dòng)態(tài)地進(jìn)行放大處理，并且能夠?qū)崿F(xiàn)對(duì)未知的視頻進(jìn)行運(yùn)動(dòng)放大，因此具有更好的實(shí)用性。

4.5 時(shí)間復(fù)雜度分析

對(duì)本文方法的計(jì)算復(fù)雜度進(jìn)行定量的分析，并將其與己有方法的計(jì)算復(fù)雜度進(jìn)行對(duì)比分析，如表2所示。

表2 三種方法的計(jì)算復(fù)雜度對(duì)比Tab. 2 Comparison of computational complexity by three methods

由表2可知，相比原始的EVM方法與SAM方法，本文方法的計(jì)算復(fù)雜度有所增加，其原因是計(jì)算運(yùn)動(dòng)信號(hào)頻率以及進(jìn)行動(dòng)態(tài)濾波時(shí)增加了計(jì)算復(fù)雜度。然而，本文增加一點(diǎn)計(jì)算復(fù)雜度換來的優(yōu)勢(shì)是能夠?qū)Π瞧椒€(wěn)運(yùn)動(dòng)的視頻進(jìn)行自動(dòng)檢測(cè)及放大，不需要人為選取運(yùn)動(dòng)放大參數(shù)，這與需要用戶耗費(fèi)時(shí)間去手動(dòng)找到合適的參數(shù)相比，更具有實(shí)際使用價(jià)值。此外，對(duì)于微小運(yùn)動(dòng)放大計(jì)算復(fù)雜度的優(yōu)化，文獻(xiàn)[16]中已經(jīng)提出一種加速算法，可以更快地實(shí)現(xiàn)微小運(yùn)動(dòng)的放大。因此，對(duì)于尋找參數(shù)耗時(shí)的問題，可以通過其他優(yōu)化方法解決。

5 結(jié)語

本文針對(duì)視頻在時(shí)間域上包含多頻率分布的情況，提出了基于S變換動(dòng)態(tài)濾波的自動(dòng)檢測(cè)及放大視頻中非平穩(wěn)微小運(yùn)動(dòng)的方法。通過S變換，對(duì)不同時(shí)刻呈現(xiàn)不同頻率的運(yùn)動(dòng)信號(hào)進(jìn)行分析處理，得出隨時(shí)間變化的動(dòng)態(tài)頻率值，以此設(shè)計(jì)出動(dòng)態(tài)帶通濾波器，最后實(shí)現(xiàn)運(yùn)動(dòng)放大處理，動(dòng)態(tài)地展現(xiàn)視頻中微小運(yùn)動(dòng)的運(yùn)動(dòng)情況，并在一定程度上抑制噪聲干擾。此外，基于現(xiàn)有的一些圖像信噪比評(píng)價(jià)算法，自定義一種視頻的SNR來分析本文方法的抗噪性能。實(shí)驗(yàn)結(jié)果表明，本文方法在實(shí)際視頻放大處理中得出很好的運(yùn)動(dòng)放大效果，不僅適用于單一頻率或者頻率變化不大的視頻，而且對(duì)多頻率的視頻放大效果也比較理想，具有更好的實(shí)用性。后續(xù)將繼續(xù)研究非平穩(wěn)信號(hào)運(yùn)動(dòng)放大的有關(guān)問題，并從空域多分辨率角度進(jìn)行討論。

References)

[1] RUBINSTEIN M, WADHWA N, DURAND F, et al. Revealing invisible changes in the world[J]. Science, 2013, 339(6119): 519-519.

[2] PARK S, KIM D. Subtle facial expression recognition using motion magnification [J]. Pattern Recognition Letters, 2009, 30(7): 708-716.

[3] BALAKRISHNAN G, DURAND F, GUTTAG J. Detecting pulse from head motions in video[J]. Computer Vision and Pattern Recognition, 2013, 9(4): 3430-3437.

[4] POH M Z, MCDUFF D J, PICARD R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation[J]. Optics Express, 2010, 18(10): 10762-10774.

[5] LIU C, TORRALBA A, FREEMAN W T, et al. Motion magnification[J]. ACM Transactions on Graphics, 2005, 24(7): 519-526.

[6] WU H, RUBINSTEIN M, SHIH E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM Transactions on Graphics, 2012, 31(4): Article No. 65.

[7] WADHWA N, RUBINSTEIN M, DURAND F, et al. Phase-based video motion processing[J]. ACM Transactions on Graphics, 2013, 32(4): Article No. 80.

[8] SUSHMA M, GUPTA A, SIVASWAMY J. Semi-automated magnification of small motions in videos[C]// PReMI 2013: Pattern Recognition and Machine Intelligence, LNCS 8251. Berlin: Springer, 2013: 417-422.

[9] 雷林,李樂鵬,李準(zhǔn),等. 自動(dòng)檢測(cè)及放大視頻中的微小運(yùn)動(dòng)[J]. 小型微型計(jì)算機(jī)系統(tǒng),2016,37(9):2120-2124.(LEI L, LI L P, LI Z，et al. Automated detection and magnification of small motion in videos [J].Journal of Chinese Computer Systems,2016,37(9):2120-2124.)

[10] STOCKWELL R G, MANSINHA L, LOWE R P. Localization of the complex spectrum: the S transform [J]. IEEE Transactions on Signal Processing, 1996, 44(4): 998-1001.

[11] 張建輝.K-means聚類算法研究及應(yīng)用[D]. 武漢:武漢理工大學(xué),2007.(ZHANG J H. Research an application ofK-means clustering algorithm[D]. Wuhan: Wuhan University of Technology, 2007.)

[12] 趙淑紅,朱光明. S變換時(shí)頻濾波去噪方法[J]. 石油地球物理勘探, 2007,42(4): 402-406.(ZHAO S H, ZHU G M. Time-frequency filtering to denoise by S transform[J]. Oil Geophysical Prospecting, 2007, 42(4): 402-406.)

[13] RUBINSTEIN M. Analysis and visualization of temporal variations in video[D]. Cambridge: Massachusetts Institute of Technology, 2014.

[14] TURAGA D S, CHEN Y, CAVIEDES J. No reference PSNR estimation for compressed pictures [C]// Proceedings of the 2002 International Conference on Image Processing. Piscataway, NJ: IEEE, 2004: 173-184.

[15] 楊柱中,周激流,郎方年. 用噪聲檢測(cè)算法改進(jìn)理想低通濾波器[J].計(jì)算機(jī)應(yīng)用,2014,10:2971-2975.(YANG Z Z, ZHOU J L, LANG F N. Improving ideal low-pass filter with noise detection algorithm [J]. Journal of Computer Applications,2014,34(10):2971-2975.)

[16] 李樂鵬,雷林,孫水發(fā),等. 視頻微小運(yùn)動(dòng)放大的加速方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(24): 195-200.(LI L P, LEI L, SUN S F, et al. Improved video small motion magnification processing [J]. Computer Engineering and Applications, 2015, 51(24): 195-200.)

This work is partially supported by the National Natural Science Foundation of China (61272237, 61402259), the Hubei Natural Science Fund for Innovative Research Groups (2015CFA025), the Major Program of Educational Commission of Hubei Province of China (D20151204), the Opening Fund of Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering (2014KLA04).

LEI Lin, born in 1990, M. S. His research interests include video processing.

LI Lepeng, born in 1990, M. S. His research interests include video processing.

YANG Min, born in 1992, M. S. candidate. His research interests include video processing.

DONG Fangmin, born in 1965, Ph. D., professor. His research interests include intelligent information processing.

SUN Shuifa, born in 1977, Ph. D., professor. His research interests include image processing, computer vision.

Non-stationary subtle motion magnification based on S transform

LEI Lin1,2, LI Lepeng1, YANG Min1, DONG Fangmin1, SUN Shuifa1*

(1.HubeiKeyLaboratoryofIntelligentVisionBasedMonitoringforHydroelectricEngineering(ChinaThreeGorgesUniversity),YichangHubei443002,China;2.Tianshengqiao-IHydro-PowerDevelopmentLimitedCompanyHydropowerPlant,GuangdongYudeanGroupCompanyLimited,XingyiGuizhou562400,China)

The existing Eulerian video subtle motion magnification method does not take into account the automatic detection of motion information in the video, the appropriate parameters for motion information processing need to be selected in the realization of motion magnification, such as the filter cut-off frequency, and magnification. For the general video, these parameters usually could not be determined directly, but by trial-and-error. In this paper, an automatic amplification method of non-stationary subtle motion in video was proposed based on S transform. The instantaneous correlation parameters of band-pass filter were automatically determined based on S transform and the corresponding dynamic filter was designed. On this basis, an approach of automated subtle motion magnification was achieved. Firstly, the instantaneous frequency of subtle motion was obtained by S transform in video. Then the dynamic band-pass filter was used to process different frequencies at different times. Finally, the effective motion information which was filtered by band-pass filter was magnified to achieve subtle motion magnification. In addition, for the analysis of anti-noise performance, a method for evaluating the signal-to-noise ratio in video area was proposed. The experimental results show that the proposed method can automatically obtain the parameters such as filter and magnification according to the change of the frequency of the motion information when the actual video is amplified, without manual participation. After the motion amplification, the amplification effect of the moving target can be dynamically displayed. At the same time, the accurate dynamic filter can suppress noise to some extent, and makes the motion magnification effect better.

Eulerian Video Magnification (EVM); S transform; automated detection; dynamic band-pass filter; Signal-to-Noise Ratio (SNR)

2016-10-10;

2016-12-15。

國家自然科學(xué)基金資助項(xiàng)目(61272237,61402259)；湖北省自然科學(xué)基金創(chuàng)新群體項(xiàng)目(2015CFA025)；湖北省教育廳科學(xué)技術(shù)研究計(jì)劃重點(diǎn)項(xiàng)目(D20151204)；水電工程智能視覺監(jiān)測(cè)湖北省重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目 (2014KLA04)。

雷林(1990—)，男，貴州興義人，碩士，主要研究方向:視頻處理； 李樂鵬(1990—)，男，湖北漢川人，碩士，主要研究方向:視頻處理； 楊敏(1992—)，男，湖北黃梅人，碩士研究生，主要研究方向:視頻處理； 董方敏(1965—)，男，湖北荊門人，教授，博士，主要研究方向:智能信息處理； 孫水發(fā)(1977—)，男，江西黎川人，教授，博士，主要研究方向:圖像處理、計(jì)算機(jī)視覺。

1001-9081(2017)05-1460-06

10.11772/j.issn.1001-9081.2017.05.1460

TP391

A