鄭文艷

摘 要：近年來，計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域在基于互聯(lián)網(wǎng)的視頻媒體資源中提供了具有重大意義的幫助。直播因?yàn)椴皇軙r(shí)間、地域、場所的限制，越來越多人投身到直播行業(yè)，主播更是隨處可見，數(shù)以萬計(jì)的人上傳了巨大數(shù)量的圖片和視頻，刺激了各種各樣地對視頻媒體創(chuàng)建和編輯的應(yīng)用程序的問世，然而這也是對這些資源的取回、組織和利用的重大挑戰(zhàn)。文章討論了計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用在互聯(lián)網(wǎng)視頻媒體處理應(yīng)用中所涉及的問題，并且給出了在這一新興研究領(lǐng)域的未來發(fā)展方向的建議。

關(guān)鍵詞：互聯(lián)網(wǎng)視頻媒體；大數(shù)據(jù)；圖像；視頻

1 互聯(lián)網(wǎng)視頻媒體處理中存在的問題

隨著在互聯(lián)網(wǎng)構(gòu)建的應(yīng)用程序和技術(shù)的迅速發(fā)展，越來越多的圖像和視頻都可以自由地在互聯(lián)網(wǎng)上使用。我們將這些圖像和視頻稱作互聯(lián)網(wǎng)視頻媒體，它們形成了一個(gè)很大的在線數(shù)據(jù)庫。這創(chuàng)造了一個(gè)創(chuàng)建各種新的數(shù)據(jù)驅(qū)動應(yīng)用程序的機(jī)遇，使得非專業(yè)的用戶可以輕松地創(chuàng)建和編輯視覺媒體。然而，大多數(shù)互聯(lián)網(wǎng)視頻媒體的資源都是非結(jié)構(gòu)化的，并沒有考慮結(jié)構(gòu)就上傳了。此外，大多數(shù)資源都是簡單的（而且經(jīng)常是不準(zhǔn)確的）通過文字檢索[1]。以上情況對充分地利用這些資源構(gòu)成了嚴(yán)峻的挑戰(zhàn)。例如，如果用戶利用圖片搜索引擎搜索“狗跳”，最好的結(jié)果通常包含了一些不相關(guān)的用戶最初搜索的結(jié)果，有些可能包含一只狗以不同的姿勢來跳，有的可能會含有其他跳躍的動物，有些可能包含卡通狗，有的甚至可能包含一個(gè)產(chǎn)品，其品牌名稱是“跳狗”。用戶須慎重選擇其中的許多檢索結(jié)果，這是一項(xiàng)繁瑣而耗時(shí)的任務(wù)，導(dǎo)致用戶的搜索效率非常低。此外，大多數(shù)用戶希望應(yīng)用程序提供交互功能。雖然這只是簡單地達(dá)到了小的圖片視頻數(shù)據(jù)庫的目的，但是對于大型的數(shù)據(jù)庫而言，將會成為一個(gè)很大的難題。但是解決這個(gè)難題會帶來巨大的應(yīng)用效益，目前用戶對于這個(gè)方面的需求日益增長，這個(gè)問題的解決迫在眉睫。

2 管道網(wǎng)絡(luò)視頻媒體處理

互聯(lián)網(wǎng)視覺媒體檢索的大門打開了各種視覺媒體應(yīng)用，產(chǎn)生許多必須以交互速率響應(yīng)的用戶。然而，檢索過程通常是耗時(shí)的，尤其是對于大規(guī)模的數(shù)據(jù)而言。一個(gè)典型的管道網(wǎng)絡(luò)視頻媒體處理由3個(gè)步驟組成：內(nèi)容檢索，數(shù)據(jù)組織和索引，數(shù)據(jù)驅(qū)動的應(yīng)用程序。在第一步中，有意義的對象從選擇的互聯(lián)網(wǎng)視頻媒體資源中被檢索出來，例如對場景中的每個(gè)圖像或視頻進(jìn)行分類，并提取視覺顯著的對象的輪廓。這一步可以提供更好的可視媒體的標(biāo)簽內(nèi)容的感知應(yīng)用程序，并且可以彌補(bǔ)缺乏準(zhǔn)確的文字標(biāo)簽，以及識別顯著的內(nèi)容缺陷。在第二步中，在視覺媒體資源以及文字之間提取它們的相關(guān)關(guān)系和不同的尺度，例如找出局部特征的相似性，提供對象級別的分類，確定目標(biāo)水平的相似性和密集的文字等相似之處。這一信息允許對大型視覺媒體集合構(gòu)建一個(gè)高效的索引和查詢計(jì)劃。簡單起見，我們將其稱為數(shù)據(jù)庫結(jié)構(gòu)，它保證了所需的可視內(nèi)容并可以迅速地進(jìn)行檢索。在第三步中，互聯(lián)網(wǎng)視頻媒體應(yīng)用程序中可以使用這些數(shù)據(jù)。傳統(tǒng)的圖像和視頻處理方法必須進(jìn)行修改，以適應(yīng)這種類型的數(shù)據(jù)，并且還需要新的方法來支持新的應(yīng)用程序。該方法應(yīng)該是：（1）相似性，這是為了有效地處理因特網(wǎng)視覺媒體的豐富性。例如，一個(gè)計(jì)算的結(jié)果可以通過查找圖像相似的外觀來替代，以達(dá)到期望的結(jié)果。（2）魯棒性的變異，這是用以有效地應(yīng)對視覺媒體的變化。例如狗，可以有各種各樣的外觀，這些外觀之間的差異性可以很大。圖1表示了一個(gè)典型的管道網(wǎng)絡(luò)視頻媒體的處理結(jié)果。

3 計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用存在的問題

總結(jié)了近期的研究，組織和利用大集合或圖像和視頻資料庫的目的是幫助視覺媒體進(jìn)行分析、處理、合成、重建和理解。我們認(rèn)為最終的應(yīng)用領(lǐng)域是對視覺媒體的理解。除了像合成、編輯和重建的具體應(yīng)用，許多因特網(wǎng)視覺媒體應(yīng)用的目標(biāo)是提供視覺媒體的使用或更好地理解視覺媒體的使用，無論是單一的產(chǎn)品，例如圖像，或者一大組相關(guān)的視覺媒體，這里的目標(biāo)確定可以是一個(gè)共同的屬性，或以某種方式匯總的媒體。

算法效率也限制了大量網(wǎng)絡(luò)視頻媒體的充分利用。目前的方法以數(shù)以萬計(jì)的因特網(wǎng)圖像來說，大多數(shù)工作僅代表一小部分。更多的圖像，可以使用更好預(yù)期的結(jié)果。雖然并行算法會有幫助，但是它只是解決方案的一部分，以及諸如分割、特征提取和分類等很多核心圖像處理技術(shù)仍然存在技術(shù)瓶頸。進(jìn)一步的工作是需要對這些話題進(jìn)行討論的。

有研究試圖利用各種在大規(guī)模數(shù)據(jù)集中的信息，不僅是視覺信息的數(shù)量不斷增加，而且還有元數(shù)據(jù)，例如文本標(biāo)記、地理標(biāo)記信息和時(shí)間信息。在社交網(wǎng)絡(luò)網(wǎng)址，圖像的事件標(biāo)簽是信息的另一個(gè)有用的潛在信息來源，并在較長時(shí)期內(nèi)，它可能從此類網(wǎng)站提取有用的信息，例如以照片的內(nèi)容提供的上下文信息，其中根據(jù)用戶居住可以為度假提供線索。

最后，我們注意到，利用視頻大集合的工作仍然是稀缺的。雖然這很自然地想到大多數(shù)圖像應(yīng)用程序應(yīng)該擴(kuò)展到視頻（參見最近的工作，探索著名的場景視頻[2]），但是有幾個(gè)原因限制做到這一點(diǎn)的能力。除了處理時(shí)間具有明顯的局限性，在應(yīng)用到許多視頻圖像處理和視覺算法上給出的結(jié)果不穩(wěn)定，或至少產(chǎn)生較差的時(shí)間相干性的結(jié)果。時(shí)間相干性，可以實(shí)施在優(yōu)化框架中，但是這比處理一幀的數(shù)據(jù)更消耗計(jì)算內(nèi)存。即使是國家最先進(jìn)的視頻對象提取方法可以很好地工作以及具有最少的用戶交互的一些例子，但是如果應(yīng)用到一個(gè)大集合的視頻數(shù)據(jù)中可能會失敗。此外，迫切需要高效的專門用于互聯(lián)網(wǎng)上大規(guī)模視頻集合的算法，其實(shí)在2017年發(fā)表的一篇文章[3]上體現(xiàn)了有效的視頻合成。使用“算法友好”計(jì)劃修剪視頻不能自動處理視頻，目前這想法還沒有被應(yīng)用。

4 結(jié)語

近年興起的直播事業(yè)，促使用戶對于視頻媒體的處理速度、方式等提出更高、更苛刻的要求，這些要求會隨著技術(shù)的發(fā)展不斷更新，使得越來越多的人關(guān)注這個(gè)領(lǐng)域的研究，也有一批優(yōu)秀的一線程序員投身到這個(gè)領(lǐng)域當(dāng)中來，相關(guān)的研究、算法都以更快的速度在發(fā)展、更新，互聯(lián)網(wǎng)的發(fā)展速度決定了視頻媒體的發(fā)展速度。在相關(guān)的研究中我們不難發(fā)現(xiàn)，目前計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用對于處理互聯(lián)網(wǎng)視頻媒體已經(jīng)產(chǎn)生不可替代的作用。然而，目前計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用的發(fā)展相對不夠成熟，在互聯(lián)網(wǎng)視頻媒體處理中的應(yīng)用依然存在很多問題需要解決克服，甚至在這個(gè)過程中還會出現(xiàn)新的問題，但是從目前的發(fā)展態(tài)勢來看，計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用與互聯(lián)網(wǎng)視頻媒體的結(jié)合會是一個(gè)潮流。隨著圖形學(xué)和視覺應(yīng)用的不斷發(fā)展，技術(shù)的不斷成熟，互聯(lián)網(wǎng)視頻媒體在處理方式上、在算法邏輯上、在運(yùn)行結(jié)果上可以有更多的可能性，可以突破更多現(xiàn)在暫時(shí)還無法克服的限制，屆時(shí)，互聯(lián)網(wǎng)視頻媒體對于我們的生活、工作來說，將會是一種全新的存在，它可能帶給我們一種現(xiàn)在還無法想象的全新的生活體驗(yàn)，無論如何，這都是一個(gè)值得期待的未來，并且是一個(gè)終究會來到我們身邊的未來。

[參考文獻(xiàn)]

[1]胡珍珍.關(guān)于互聯(lián)網(wǎng)視覺媒體若干問題的研究和應(yīng)用[D].合肥：合肥工業(yè)大學(xué)，2014.

[2]TOMPKIN J，KIM K I，KAUTZ J，et al.Videoscapes： exploring sparse， unstructured video collections[J].ACM Transactions on Graphics，2012（4）：1-12.

[3]XIE Z F，SHEN Y，MA L Z，et al.Seamless video composition using optimized mean-value cloning[J].The Visual Computer，2010（6/7/8）：1123-1134.