段曉芳,蔣夢馨

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

1 引言

20世紀(jì)90年代,中科院陸汝鈐院士在國際上初次提出全過程計(jì)算機(jī)輔助自動(dòng)生成動(dòng)畫技術(shù)[1],嘗試將人工智能領(lǐng)域的理論應(yīng)用到動(dòng)畫的自動(dòng)生成過程中.2008年中科院張松懋研究員創(chuàng)造性的提出將全過程計(jì)算機(jī)輔助動(dòng)畫自動(dòng)生成技術(shù)應(yīng)用到手機(jī)短信中來,即手機(jī)短信3D動(dòng)畫自動(dòng)生成系統(tǒng).該系統(tǒng)底層以圖形學(xué)技術(shù)為支撐,在上層應(yīng)用人工智能技術(shù)結(jié)合電影藝術(shù)指導(dǎo),將手機(jī)短信轉(zhuǎn)化為一段表達(dá)短信主題的簡短三維動(dòng)畫,發(fā)送給接收方.現(xiàn)代通信技術(shù)3G、4G的發(fā)展更為此項(xiàng)目的實(shí)現(xiàn)提供了良好的網(wǎng)絡(luò)環(huán)境.作為傳達(dá)動(dòng)畫主題的直接方式,攝像機(jī)運(yùn)動(dòng)規(guī)劃是手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)的重要環(huán)節(jié)之一.

虛擬攝像機(jī)運(yùn)動(dòng)規(guī)劃[2]需要在實(shí)現(xiàn)無障礙拍攝的前提下,引導(dǎo)觀看者的注意力,向觀看者呈現(xiàn)動(dòng)畫的主要內(nèi)容,是三維場景動(dòng)畫不可缺少的一部分.虛擬攝像機(jī)的自動(dòng)規(guī)劃涉及到虛擬現(xiàn)實(shí)、人工智能、人機(jī)交互以及攝影藝術(shù)等多個(gè)學(xué)術(shù)領(lǐng)域范圍[3],是動(dòng)畫自動(dòng)生成課題研究中的重點(diǎn)和難點(diǎn).早在20世紀(jì)80年代就有相關(guān)研究人員對(duì)其進(jìn)行了深入的研究和探索.歸納起來,現(xiàn)有的相關(guān)研究主要分為三種類別:(1)基于數(shù)值計(jì)算方法.早在1988年,Blinn[4]便提出了該方法,其可以精確地計(jì)算出攝像機(jī)的空間屬性取值,但無法解決虛擬空間內(nèi)物體間的遮擋檢測問題;(2)交互式方法.在1992年,Phillips借助人機(jī)交互形式建立了可以部分實(shí)現(xiàn)自動(dòng)設(shè)置攝像機(jī)屬性的系統(tǒng)“Jack”[5].系統(tǒng)首先自動(dòng)生成一幅初始圖片,由用戶給出對(duì)該圖片的評(píng)價(jià),并藉由系統(tǒng)所提供的相應(yīng)指令輔助計(jì)算機(jī)修改或調(diào)整攝像機(jī)的空間屬性具體值.(3)基于約束滿足與最優(yōu)化的方法[6].根據(jù)預(yù)定義的約束與目標(biāo)函數(shù)求解計(jì)算攝像機(jī)的具體屬性值.在三維動(dòng)畫中攝像機(jī)自動(dòng)生成領(lǐng)域的研究,以陸汝鈐院士主導(dǎo)完成的“Swan”系統(tǒng)[1]為主,其基于語義網(wǎng)知識(shí)庫中的本體庫與規(guī)則庫分層推理模式的攝像機(jī)自動(dòng)生成部分在攝像機(jī)自動(dòng)生成方向的研究有指導(dǎo)性作用.

語義網(wǎng)是依據(jù)萬維網(wǎng)聯(lián)盟(W3C)的標(biāo)準(zhǔn)對(duì)萬維網(wǎng)的延伸,本體作為語義網(wǎng)信息組織的語義支撐,本身具有的豐富的表達(dá)能力不但能用來描述領(lǐng)域范圍的概念模型,同時(shí)也是對(duì)知識(shí)進(jìn)行推理和驗(yàn)證的基礎(chǔ)[7].本體被用作概念化的本質(zhì)表示,賦予網(wǎng)絡(luò)上的信息以語義含義,以計(jì)算機(jī)可處理的形式定義相關(guān)領(lǐng)域范圍的術(shù)語和關(guān)系,并利用這些術(shù)語和關(guān)系構(gòu)成該領(lǐng)域的規(guī)則集合,實(shí)現(xiàn)領(lǐng)域知識(shí)的共享和重用.本體應(yīng)用的研究領(lǐng)域非常廣泛,包括知識(shí)管理、信息集成、智能信息檢索、數(shù)字圖書館、網(wǎng)絡(luò)教學(xué)、企業(yè)本體、機(jī)器翻譯等應(yīng)用.國家“973”計(jì)劃、國家自然科學(xué)基金等項(xiàng)目中的信息集成、數(shù)字圖書館、信息檢索等應(yīng)用型技術(shù)均以O(shè)ntology作為核心技術(shù).國際上,2007年2月,由W3C的語義網(wǎng)教育及擴(kuò)展工作組(Web Semantic Education and Outreach)支持的開放互聯(lián)數(shù)據(jù)(Linking Open Data)[8]社區(qū)項(xiàng)目成立.項(xiàng)目的目標(biāo)是將開放數(shù)據(jù)集用RDF格式重新發(fā)布在互聯(lián)網(wǎng)上,并創(chuàng)建數(shù)據(jù)間的相互鏈接,是語義網(wǎng)中非常有名的社交應(yīng)用[9].

手機(jī)3D動(dòng)畫自動(dòng)生成系統(tǒng)至今已經(jīng)對(duì)攝像機(jī)規(guī)劃實(shí)現(xiàn)三個(gè)版本的改進(jìn):潘旭光首次提出在手機(jī)動(dòng)畫系統(tǒng)中進(jìn)行攝像機(jī)規(guī)劃[10],實(shí)現(xiàn)攝像機(jī)的自動(dòng)生成與簡單目標(biāo)拍攝方式.劉暢在其基礎(chǔ)上結(jié)合本體知識(shí)庫,實(shí)現(xiàn)鏡頭拍攝規(guī)劃與鏡頭組接規(guī)劃.許向輝在定量計(jì)算部分設(shè)計(jì)實(shí)現(xiàn)攝像機(jī)障礙物檢測與規(guī)避算法,并設(shè)計(jì)目標(biāo)可見性判斷方法對(duì)障礙物進(jìn)行二次檢測.但是總結(jié)系統(tǒng)原有的攝像機(jī)規(guī)劃,其中定性規(guī)劃只是基本鏡頭的簡單組合,未深入探索鏡頭組合之間的語義關(guān)聯(lián)問題,導(dǎo)致動(dòng)畫的表現(xiàn)力有一定局限,無法做到正確的情節(jié)導(dǎo)向作用.并且鏡頭組合規(guī)則沒有被顯式刻畫出來,而是通過程序嵌入形式執(zhí)行,方式不夠靈活,同時(shí)不利于知識(shí)的擴(kuò)充.

本文借鑒陸汝鈐院士在“Swan”系統(tǒng)中提出的自上而下定性分層設(shè)計(jì)理念,結(jié)合語義網(wǎng)在知識(shí)共享和資源重用方面的優(yōu)勢和學(xué)者們的廣泛研究和應(yīng)用,在手機(jī)短信3D動(dòng)畫自動(dòng)生成系統(tǒng)中采用了基于語義網(wǎng)絡(luò)的本體這一技術(shù)來實(shí)現(xiàn)攝像機(jī)導(dǎo)演知識(shí)庫系統(tǒng)的構(gòu)建.在閱讀總結(jié)攝影領(lǐng)域經(jīng)典書籍文獻(xiàn)[11,12]后,將該領(lǐng)域成熟攝影手法概念運(yùn)用到系統(tǒng)中生成攝影規(guī)則.在原攝像機(jī)規(guī)劃基礎(chǔ)上首次提出基于語義網(wǎng)絡(luò)技術(shù)構(gòu)建攝像機(jī)導(dǎo)演知識(shí)庫系統(tǒng),設(shè)計(jì)攝像機(jī)定性規(guī)劃高級(jí)攝影原語和原語鏡頭屬性兩層規(guī)則推導(dǎo),實(shí)現(xiàn)開放式短信測試中攝像機(jī)拍攝方式的主題相關(guān)性,拍攝方式的多樣性和豐富性.同時(shí)基于導(dǎo)演知識(shí)庫的攝像機(jī)規(guī)劃也有利于攝影風(fēng)格的變遷和攝影知識(shí)的擴(kuò)充,提高知識(shí)的復(fù)用性.

本文首先概述課題的研究背景,其次詳細(xì)介紹了我們通過斯坦福大學(xué)開發(fā)的Protégé[13]系列3.4.4創(chuàng)建的攝像機(jī)導(dǎo)演知識(shí)庫中知識(shí)庫和規(guī)則庫的組織結(jié)構(gòu)以及系統(tǒng)中攝像機(jī)定性規(guī)劃的具體實(shí)現(xiàn)和定量規(guī)劃大致流程,最后設(shè)計(jì)評(píng)估實(shí)驗(yàn)分析實(shí)驗(yàn)結(jié)果并總結(jié)結(jié)論.

2 攝像機(jī)導(dǎo)演知識(shí)庫

2.1 攝影領(lǐng)域知識(shí)總結(jié)

Arijon在《Grammar of the Film Language》中曾提到“一切語言都是某種既定的成規(guī),一個(gè)被社會(huì)承認(rèn)的,教會(huì)它的每一個(gè)成員來解釋的某些具有完整含義的符號(hào).講故事的人或思想家應(yīng)當(dāng)首先學(xué)會(huì)這些符號(hào)以及組合規(guī)律”.電影作為一種視覺交流的媒介,其發(fā)展史是和電影語言表達(dá)現(xiàn)實(shí)的能力直接相關(guān)的.然而現(xiàn)實(shí)性是一種與時(shí)俱進(jìn)的概念,是一種處于不斷發(fā)展的感性認(rèn)識(shí)的形式[11].因此將電影工作者的創(chuàng)作思維過程理論化是一個(gè)需要持續(xù)研究課題.但我們可以總結(jié)出電影語法的基本元素以及電影工作者成熟的拍攝技巧.例如,場景概念可以由人物有無對(duì)話和動(dòng)作進(jìn)行定義[14],進(jìn)一步又可以通過人物的群體數(shù)量區(qū)別;鏡頭定義是攝像機(jī)拍攝的連續(xù)圖像,可以有定鏡頭,推拉鏡頭,移鏡頭等;一個(gè)場景可能會(huì)由多個(gè)鏡頭組成等等.

本文歸納總結(jié)出電影語法的3個(gè)重要元素:

(1)拍攝距離

在動(dòng)畫中,只要保證虛擬攝像機(jī)未進(jìn)入拍攝目標(biāo)模型空間內(nèi)部,并且在其最近可視平面和最遠(yuǎn)可視平面之間,則攝影機(jī)和拍攝對(duì)象間的距離是不受限制的[15].從真實(shí)世界的拍攝實(shí)踐中我們可分出5種有明顯區(qū)別的基本距離,分別是:特寫,近景,中景,全景和遠(yuǎn)景.五個(gè)類別并沒有規(guī)定具體情況下的絕對(duì)距離.例如,分別拍攝一座房子和一個(gè)人物的近景,拍攝距離肯定是不同的.這些術(shù)語主要表達(dá)的是概念上的定義,有相當(dāng)?shù)纳炜s性.如下圖1所示為攝影機(jī)拍攝人物時(shí)不同景別示例圖.

圖1 人物拍攝景別示例

(2)剪輯類型

每個(gè)場景都有三種基本的剪輯方法:1)一個(gè)主鏡頭記錄整個(gè)場景,該主鏡頭可以采取任意一種拍攝方式,例如定鏡頭,推鏡頭,拉鏡頭等;2)一個(gè)主鏡頭與其他短鏡頭交切,例如,可以定鏡頭和推鏡頭組合,作為副鏡頭的推鏡頭穿插在主鏡頭中,強(qiáng)調(diào)場景的關(guān)鍵情節(jié);3)兩個(gè)或更多的主鏡頭平行地交織在一起,這種形式可以實(shí)現(xiàn)各主鏡頭視角交替拍攝.導(dǎo)演或攝影師在表現(xiàn)一個(gè)場景時(shí),可以運(yùn)用這三種方法中的一種或全部方法.

(3)場景的匹配

一個(gè)場景中的多個(gè)鏡頭需要做到位置、動(dòng)作的匹配.電影播放是固定的平面,如果一個(gè)模型的全景展現(xiàn)在視角的左側(cè),那么在切換至同一視軸的其他鏡頭時(shí),人物必須仍在視角的同一側(cè).否則,就會(huì)出現(xiàn)笨拙的視覺上的跳動(dòng),使觀眾厭倦分神.動(dòng)作的匹配亦是如此,在記錄人物連貫動(dòng)作的兩個(gè)鏡頭中,動(dòng)作方向要一致,否則會(huì)導(dǎo)致觀眾混淆動(dòng)作的運(yùn)動(dòng)方向,從而帶來錯(cuò)誤的視覺效果.

陸汝鈐院士在《Automatic Generation of Computer Animation》中提出在“Swan”中類比軟件工程設(shè)計(jì)的5個(gè)階段將虛擬攝像機(jī)規(guī)劃分為5個(gè)層次[16],分別是:導(dǎo)演規(guī)劃需求分析(DPRS),攝像機(jī)語句規(guī)則(RCS),高級(jí)攝影原語聲明(HLCP),基本攝影原語定性(BCP),攝像機(jī)定量語句(QCP).本系統(tǒng)構(gòu)架較“Swan”簡單,設(shè)計(jì)多層概念會(huì)帶來不必要的冗余.因此本文基于系統(tǒng)自身特點(diǎn)提出攝像機(jī)規(guī)劃的兩層結(jié)構(gòu),完善拍攝手法和拍攝鏡頭規(guī)則推導(dǎo).

攝像機(jī)導(dǎo)演知識(shí)庫是手機(jī)短信3D動(dòng)畫自動(dòng)生成系統(tǒng)的重要組成部分,它的功能主要包括:1)把導(dǎo)演或攝影師等領(lǐng)域研究員總結(jié)出來的知識(shí)概念在知識(shí)庫中以本體庫和規(guī)則庫的形式顯示描述出來并進(jìn)行存儲(chǔ).2)根據(jù)動(dòng)畫場景定性規(guī)劃模塊中主題、人物、動(dòng)作表情的各自特性,在本體庫和規(guī)則庫中由推理機(jī)推理,得到應(yīng)該對(duì)應(yīng)采取的拍攝手法,包括該場景拍攝需要的鏡頭,鏡頭的拍攝目標(biāo),攝像機(jī)的位置,旋轉(zhuǎn),景別屬性[14]等,并將這些信息以特定的形式輸出給動(dòng)畫系統(tǒng)的下一個(gè)部分.

2.2 導(dǎo)演知識(shí)庫結(jié)構(gòu)

將攝影領(lǐng)域知識(shí)體現(xiàn)在導(dǎo)演知識(shí)庫中,包括兩個(gè)部分:攝像機(jī)本體庫和導(dǎo)演知識(shí)規(guī)則庫,規(guī)則推理基于這兩個(gè)部分運(yùn)行,得到攝像機(jī)定性規(guī)劃需要的信息.其中關(guān)于攝像機(jī)屬性和高級(jí)攝影原語等類(概念)和實(shí)例的信息體現(xiàn)在本體庫上,提煉總結(jié)的各種規(guī)則存儲(chǔ)在規(guī)則庫中.

2.2.1 攝像機(jī)本體庫

領(lǐng)域知識(shí)中的本體是指和知識(shí)內(nèi)容相關(guān)的一組概念化的規(guī)范說明,描述了組成主題領(lǐng)域的詞匯表的基本術(shù)語及其關(guān)系,以及結(jié)合這些術(shù)語和關(guān)系來定義詞匯外延的規(guī)則[17].攝像機(jī)本體庫分為三大類,攝像機(jī)鏡頭,鏡頭屬性,攝像機(jī)攝影原語.

(1)攝像機(jī)鏡頭類

我們所構(gòu)建的攝像機(jī)鏡頭領(lǐng)域本體camera_shot依據(jù)短信動(dòng)畫時(shí)間短小精煉的特點(diǎn),將基本鏡頭組合分為單鏡頭和多鏡頭兩類.單鏡頭下分為基本的定、推、拉、移、轉(zhuǎn)、跟等6大類.多鏡頭現(xiàn)主要指兩個(gè)鏡頭,后續(xù)系統(tǒng)會(huì)根據(jù)攝影領(lǐng)域?qū)＜覍?duì)知識(shí)的總結(jié)歸納繼續(xù)擴(kuò)展.多鏡頭下又細(xì)分動(dòng)動(dòng)、靜靜、動(dòng)靜和靜動(dòng)4種鏡頭運(yùn)動(dòng)組合方式.攝像機(jī)鏡頭類本體庫如圖2所示.

圖2 攝像機(jī)鏡頭本體庫

(2)攝像機(jī)屬性定義

組織攝像機(jī)空間拍攝數(shù)據(jù)屬性描述,以供知識(shí)庫規(guī)則推理的調(diào)用.鏡頭屬性類包括攝像機(jī)鏡頭旋轉(zhuǎn)方向Yaw,俯仰角度Pitch,景別類型Scale,鏡頭拍攝時(shí)長Time四大基本類型.旋轉(zhuǎn)方向又分左右前后四類,俯仰程度分俯視,平視,仰視三類,景別類型分近景,中景,遠(yuǎn)景和全景.攝像機(jī)屬性本體庫如圖3所示.

圖3 攝像機(jī)屬性本體庫

(3)攝像機(jī)高級(jí)原語類

攝像機(jī)導(dǎo)演知識(shí)庫還包括系統(tǒng)整理的涉及攝像機(jī)拍攝手法的攝像機(jī)高級(jí)原語HLCP(High Level Camera Primitive)本體庫.根據(jù)短信動(dòng)畫場景的特點(diǎn),以場景中定性規(guī)劃的人物數(shù)目作為場景分類依據(jù),所有的場景均可以分為四大類,分別是單人場景,兩人物對(duì)話場景,多人群體場景和人物無關(guān)場景,高級(jí)攝影原語的分類與其一一對(duì)應(yīng),分別是SingleModelSceneHLCP、TwoPeopleSceneHLCP、MultipleModelSceneHLCP、UnRelatedHLCP,各類下細(xì)分對(duì)應(yīng)場景的原語,進(jìn)一步定義各拍攝手法的鏡頭組合參數(shù).附錄A給出攝像機(jī)高級(jí)原語類名和釋義.例如人物對(duì)話TwoPeopleSceneHLCP下分為外反拍、內(nèi)反拍、直角拍攝、主觀拍攝、過肩拍攝五種手法.攝像機(jī)高級(jí)攝影原語知識(shí)立足于攝影理論從導(dǎo)演和攝影師角度總結(jié)提煉的實(shí)踐中拍攝技巧,可以將此基本單位應(yīng)用到拍攝特定的環(huán)境場景和人物.例如,知識(shí)庫中的In_Contra和Out_Contra原語,經(jīng)常用于拍攝兩人物面對(duì)面交流的對(duì)話場景;Right_Angle習(xí)慣應(yīng)用在兩人物對(duì)話場景,但是不同點(diǎn)是,此時(shí)人物的相對(duì)方向?yàn)榇怪?Parallel3被用來描述場景中多類權(quán)重相同的拍攝目標(biāo)的場景類型;Coaxile3用來強(qiáng)調(diào)拍攝的漸進(jìn)或是漸遠(yuǎn)效果等.通過在系統(tǒng)中添加高級(jí)攝影原語類,可以將導(dǎo)演以及攝影師的拍攝技巧和手法應(yīng)用到系統(tǒng)的攝像機(jī)拍攝中,強(qiáng)調(diào)拍攝的美學(xué)和合理性[18].攝像機(jī)高級(jí)原語本體庫結(jié)構(gòu)如圖4及表1所示.

圖4 攝像機(jī)高級(jí)原語本體庫

表1 高級(jí)攝影原語類名和釋義

2.2.2 導(dǎo)演知識(shí)規(guī)則庫

導(dǎo)演知識(shí)規(guī)則庫是該版攝像機(jī)定性規(guī)劃的核心,是對(duì)真實(shí)導(dǎo)演和攝像師知識(shí)的總結(jié)與提煉,并運(yùn)用結(jié)構(gòu)化的模式進(jìn)行存儲(chǔ),為定性規(guī)劃的規(guī)則推導(dǎo)提供了理論基礎(chǔ)的支持.規(guī)則庫分為高級(jí)攝影原語規(guī)則和鏡頭屬性規(guī)則兩類.

(1)高級(jí)攝影原語規(guī)則庫

高級(jí)攝影原語規(guī)則主要負(fù)責(zé)推理定義各具體場景類型對(duì)應(yīng)具體合適的拍攝手法,規(guī)則前件涵蓋手機(jī)3D動(dòng)畫系統(tǒng)中的大部分動(dòng)態(tài)生成場景類別.短信動(dòng)畫情節(jié)定性規(guī)劃的主題、人物、人物交互動(dòng)作、場景類型、模型、模型種類等信息作為導(dǎo)演知識(shí)庫的輸入,經(jīng)高級(jí)攝影原語規(guī)則推理出適合該場景的拍攝手法的具體實(shí)例以及該實(shí)例包括的具體鏡頭和他屬性值.例如拍攝兩人物面對(duì)面的過肩手法原語,可以選擇一個(gè)定鏡頭或是定鏡頭和推鏡頭兩個(gè)來拍攝,同時(shí)保證畫面人物的過肩拍攝比例特性關(guān)系.過肩手法如表2所示.CameraSWRL_HLCP_OverShoulder規(guī)則前件中AddModelRelated屬性表明如果已知場景中添加x、y兩個(gè)模型,isTemplateObject屬性表明模型均為目標(biāo),Human說明模型為人物,且知識(shí)庫中存在過肩手法類實(shí)例,那么這條短信的各前提條件符合選用過肩手法拍攝,并且在規(guī)則后件中用HLCPTargets屬性聲明該HLCP的拍攝目標(biāo)即為x,y.

(2)鏡頭屬性規(guī)則庫

鏡頭屬性規(guī)則為上述高級(jí)攝影原語層拍攝手法實(shí)現(xiàn)所需鏡頭的屬性具體描述.各類拍攝手法中的鏡頭有鏡頭旋轉(zhuǎn)方向、俯仰角度、鏡頭景別、鏡頭所占動(dòng)畫時(shí)長定性比例、鏡頭拍攝目標(biāo)共五種參數(shù)選擇,各參數(shù)值設(shè)置需適應(yīng)具體短信的輸入.因此,鏡頭屬性規(guī)則庫的實(shí)現(xiàn)不拘泥于統(tǒng)一特定的拍攝規(guī)則,始終處于不斷修改與完善階段.系統(tǒng)中過肩手法高級(jí)攝影原語原語對(duì)應(yīng)的鏡頭屬性設(shè)置規(guī)則如表3所示.例如,CameraSWRL_Shot_OverShoulder_1規(guī)則前件定義了該過肩手法實(shí)例包括一個(gè)定鏡頭(Fix),因?yàn)槭菃午R頭拍攝整個(gè)場景,因此鏡頭的時(shí)長占據(jù)動(dòng)畫全部(AllTime),景別選取最大景別遠(yuǎn)景(EstablishScale),攝像機(jī)在人物正前方(ForwardYaw),俯仰方向?yàn)槠揭?ForeheadPitch)拍攝人物.

現(xiàn)知識(shí)庫中共有HLCP規(guī)則13條,鏡頭屬性規(guī)則具體方案27條.規(guī)則的種類和數(shù)量一直在隨著系統(tǒng)的運(yùn)行和知識(shí)的積累不斷修改完善和擴(kuò)展.

表2 高級(jí)攝影原語規(guī)則OverShoulder示例

表3 OverShoulder原語對(duì)應(yīng)的鏡頭屬性規(guī)則

3 基于導(dǎo)演知識(shí)庫的攝像機(jī)規(guī)劃

3.1 定性規(guī)劃的實(shí)現(xiàn)

攝像機(jī)定性規(guī)劃方案中采取兩層規(guī)則推理.

第一層,經(jīng)高級(jí)攝影原語層的規(guī)則推理,選擇合適拍攝手法;情節(jié)定性規(guī)劃后,動(dòng)畫場景的主題、目標(biāo)模型、模型種類、數(shù)量、動(dòng)作、表情等參數(shù)需作為導(dǎo)演知識(shí)庫推理機(jī)的輸入,經(jīng)高級(jí)攝影原語層的規(guī)則推理,得到符合規(guī)則的拍攝手法.因規(guī)則前件的覆蓋關(guān)系,可能會(huì)存在多條符合規(guī)則的手法,此處記錄知識(shí)庫中符合條件的所有拍攝手法,作為本次短信備選拍攝方案,全部遍歷完后,隨機(jī)選擇合適的一條拍攝手法規(guī)則執(zhí)行.

第二層,選擇與上層拍攝手法對(duì)應(yīng)的拍攝鏡頭組合;經(jīng)上層的推理,已知此動(dòng)畫場景需要使用的高級(jí)攝影原語,以及攝影原語內(nèi)定義的鏡頭類別及拍攝目標(biāo),在鏡頭屬性規(guī)則庫中選擇出所有匹配已選定拍攝手法的所有規(guī)則,隨機(jī)選擇一條執(zhí)行.

最后,知識(shí)庫規(guī)則推導(dǎo)完畢后,生成攝像機(jī)定性規(guī)劃數(shù)據(jù),寫入總體定性規(guī)劃的ADL文檔,若在第一層中,沒有找到相應(yīng)HLCP規(guī)則,則執(zhí)行原版攝像機(jī)規(guī)劃方案.攝像機(jī)定性規(guī)劃數(shù)據(jù)格式規(guī)定了攝像機(jī)的拍攝目標(biāo),拍攝起始、結(jié)束幀,景別,俯仰角度,旋轉(zhuǎn)方向等屬性,例如圖5所示,表示在第1幀到第125幀,攝像機(jī)newCameraA采用外反拍手法,手法中Push鏡頭在左側(cè)(nearside)拍攝模型M_boy、M_bussinessman、M_Casualyouth集合,景別ShotType由全景(full)變?yōu)橹芯?medium).

圖5 攝像機(jī)定性輸出格式示例

以短信“出去轉(zhuǎn)轉(zhuǎn),外面太冷了”為例,說明知識(shí)庫系統(tǒng)如何基于本體庫和規(guī)則庫運(yùn)行推理.首先,經(jīng)過系統(tǒng)的布局、交互動(dòng)作、材質(zhì)、燈光定性規(guī)劃后得到ADL信息如圖6所示.知識(shí)庫中此時(shí)也保存有該短信的定性規(guī)劃信息.已知該場景添加有M_boy、M_bussinessman、M_School_building04、M_car07四個(gè)模型,并且可以得知前兩個(gè)模型為情節(jié)規(guī)劃得出的目標(biāo)模型,且這兩個(gè)模型為人物.最終我們得到需要作為拍攝目標(biāo)的兩個(gè)人物模型,并且可以獲取兩個(gè)的模型ID.因?yàn)榇藭r(shí)的條件,已經(jīng)滿足表2中Over_Shoulder攝影原語規(guī)則的前件,因此選擇執(zhí)行CameraSWRL_HLCP_OverShoulder.

圖6 短信“出去轉(zhuǎn)轉(zhuǎn),外面太冷了”情節(jié)定性規(guī)劃輸出文檔

從表3中得出Over_Shoulder原語共有四種對(duì)應(yīng)鏡頭屬性規(guī)劃規(guī)則,定性程序隨機(jī)選取一條規(guī)則CameraSWRL_Shot_OverShoulder_3執(zhí)行,得到如圖7所示的攝像機(jī)定性規(guī)劃輸出.

圖7 短信“出去轉(zhuǎn)轉(zhuǎn),外面太冷了”攝像機(jī)定性規(guī)劃文檔

3.2 定量規(guī)劃的實(shí)現(xiàn)

在生成的動(dòng)畫場景中尋找虛擬攝像機(jī)運(yùn)動(dòng)路徑之前,首先需進(jìn)行場景預(yù)處理對(duì)靜態(tài)的動(dòng)畫場景進(jìn)行建模.動(dòng)畫場景中的模型主要有障礙物模型和地形模型,這些模型均利用Maya多邊形建模技術(shù)制作,其中障礙物由幾何體表示,地形由網(wǎng)面表示,它們的表現(xiàn)形式有很大差異.場景建模的目的就是對(duì)整個(gè)場景用一個(gè)標(biāo)準(zhǔn)方式描述,將障礙物、地形等全部信息統(tǒng)一表達(dá).

在三維空間建模中,八叉樹數(shù)據(jù)結(jié)構(gòu)是場景劃分中的常用方法,其用層次方式組織三維空間區(qū)域[19,20].近年來被廣泛應(yīng)用于數(shù)據(jù)存儲(chǔ)、三維重建、虛擬現(xiàn)實(shí)、地理信息系統(tǒng)、圖像處理等領(lǐng)域中.八叉樹的根節(jié)點(diǎn)代表整個(gè)場景,其他每個(gè)節(jié)點(diǎn)表示立方體積中包含的空間,通常稱為體素[21].節(jié)點(diǎn)可遞歸細(xì)分為八個(gè)子節(jié)點(diǎn),直到達(dá)到給定的最小體素大小,或是遞歸大于指定深度.最終生成的八叉樹中節(jié)點(diǎn)可分為三類:黑節(jié)點(diǎn),它所對(duì)應(yīng)的立方體全為模型所占據(jù).灰節(jié)點(diǎn),它對(duì)應(yīng)的立方體部分地為模型所占據(jù);白節(jié)點(diǎn),它所對(duì)應(yīng)的立方體中無模型內(nèi)容.其中可遞歸劃分的為灰節(jié)點(diǎn),黑節(jié)點(diǎn)和白節(jié)點(diǎn)作為八叉樹的葉子節(jié)點(diǎn)存在.本文在八叉樹節(jié)點(diǎn)中定義的各個(gè)分量分別保存對(duì)應(yīng)體素的最小和最大空間坐標(biāo)、節(jié)點(diǎn)所在層次、是否為灰節(jié)點(diǎn)、以及8個(gè)子節(jié)點(diǎn)數(shù)據(jù)集等信息.如圖8所示為空間的八叉樹遞歸劃分和對(duì)應(yīng)生成的八叉樹示例.

圖8 空間八叉樹遞歸劃分和對(duì)應(yīng)生成八叉樹[19]

本文采用八叉樹結(jié)構(gòu)對(duì)場景進(jìn)行預(yù)處理,把每個(gè)自由網(wǎng)格作為連接圖的節(jié)點(diǎn),根據(jù)網(wǎng)格的鄰接關(guān)系構(gòu)建連接圖用于路徑規(guī)劃.場景劃分算法執(zhí)行時(shí)包括將八叉樹的單位結(jié)點(diǎn)分別標(biāo)記障礙單元或自由單元,路徑規(guī)劃規(guī)定攝像機(jī)只能在相鄰自由單元中移動(dòng).首先通過八叉樹的空間節(jié)點(diǎn)與模型的AABB(Axis Align Bounding Box)包圍盒進(jìn)行相交檢測,確定需要做進(jìn)一步檢測的八叉樹障礙單元節(jié)點(diǎn).對(duì)障礙單元節(jié)點(diǎn)再次劃分檢測,遞歸劃分節(jié)點(diǎn)到滿足設(shè)定條件(例如指定遞歸深度)從而確定所有的自由節(jié)點(diǎn).之后將八叉樹面面相鄰的自由單元的中心點(diǎn)分別相連,構(gòu)成連接圖的節(jié)點(diǎn),計(jì)算出相鄰單元連線的長度作為路徑規(guī)劃連接圖的邊權(quán)值.我們選擇圖搜索中的路徑規(guī)劃IDA*算法,在此連接圖中找到一條路徑,使得路徑經(jīng)過的邊的權(quán)值之和最小.最后對(duì)攝像機(jī)旋轉(zhuǎn),俯仰角度等屬性進(jìn)行優(yōu)化處理.

4 實(shí)驗(yàn)評(píng)估與結(jié)果分析

基于導(dǎo)演知識(shí)庫的攝像機(jī)定性規(guī)劃分層推理系統(tǒng),最主要的目的是借助于導(dǎo)演知識(shí)庫構(gòu)建的規(guī)則實(shí)例豐富和合理化攝像機(jī)的定性規(guī)劃,實(shí)現(xiàn)知識(shí)庫的重復(fù)利用.因此,本次實(shí)驗(yàn)旨在測試導(dǎo)演知識(shí)庫中規(guī)則對(duì)開放短信的覆蓋率以及推理出的規(guī)則對(duì)應(yīng)到具體短信的合理性和規(guī)則選擇的豐富性.

(1)測試規(guī)則覆蓋率方面的實(shí)驗(yàn)數(shù)據(jù)選取系統(tǒng)在2017年九月至2017年十二月期間接收的成功渲染出動(dòng)畫的所有短信.其中短信總數(shù)為298條,攝像機(jī)定性規(guī)劃結(jié)果如表4所示.

表4 開放式短信測試攝像機(jī)定性規(guī)劃結(jié)果

圖9 短信“剛買的東西就丟了,氣死我了”購物主題動(dòng)畫截圖

由表4可得,未執(zhí)行攝像機(jī)規(guī)劃的短信為103條,占所有測試集34.56%.同時(shí)表中給出未執(zhí)行攝像機(jī)規(guī)劃的兩個(gè)主要原因:1)情節(jié)定性規(guī)劃時(shí)未向場景添加任何模型,因此該場景無動(dòng)態(tài)添加表達(dá)短信的模型,僅需使用默認(rèn)攝像機(jī)渲染;2)動(dòng)畫場景為舞臺(tái)背景場景,因手機(jī)短信3D動(dòng)畫自動(dòng)生成系統(tǒng)中存在少量舞臺(tái)場景,該類場景對(duì)攝像機(jī)運(yùn)動(dòng)幅度限制較大,系統(tǒng)當(dāng)前未對(duì)此類場景做攝像機(jī)動(dòng)態(tài)規(guī)劃,暫時(shí)調(diào)用默認(rèn)攝像機(jī)渲染.成功執(zhí)行攝像機(jī)規(guī)劃的短信為195條,占所有測試集的65.44%.執(zhí)行原版攝像機(jī)規(guī)劃102條,成功執(zhí)行基于導(dǎo)演知識(shí)庫的攝像機(jī)規(guī)劃的短信為93條.實(shí)驗(yàn)數(shù)據(jù)較多,在此以短信“剛買的東西就丟了,氣死我了”為例,說明成功執(zhí)行基于導(dǎo)演知識(shí)庫的攝像機(jī)規(guī)劃時(shí),定性規(guī)劃指定“Coaxile_3”攝影原語生成的動(dòng)畫如圖9所示.系統(tǒng)服務(wù)器開啟時(shí)可正常訪問的系統(tǒng)首頁http://anim.bjut.edu.cn/3dsma/ReadMessage.html.

此次試驗(yàn)表明開放性短信測試中基于導(dǎo)演知識(shí)庫的攝像機(jī)規(guī)劃占所有成功執(zhí)行攝像機(jī)規(guī)劃短信數(shù)量的47.69%,說明現(xiàn)有導(dǎo)演知識(shí)庫規(guī)則已經(jīng)有明顯的成功,但是該結(jié)果與預(yù)期效果仍有較大差距.分析其中原因主要是系統(tǒng)導(dǎo)演知識(shí)庫中規(guī)則覆蓋面不夠,未能匹配系統(tǒng)動(dòng)態(tài)生成的所有動(dòng)畫場景.因此建立完整全面的導(dǎo)演知識(shí)庫需要進(jìn)一步的改進(jìn)和擴(kuò)展.

(2)將上述實(shí)驗(yàn)(1)中所有成功執(zhí)行新版攝像機(jī)規(guī)劃的93條短信數(shù)據(jù),根據(jù)本文采取的場景中人物數(shù)目的分類依據(jù)先進(jìn)行分類:單人場景18條,兩人物對(duì)話場景28條,多人群體場景38和人物無關(guān)場景9條,為每類場景隨機(jī)抽取5條短信,在情節(jié)定性規(guī)劃文檔輸出相同情況下,重復(fù)執(zhí)行50次攝像機(jī)定性規(guī)劃.實(shí)驗(yàn)數(shù)據(jù)如圖10所示.

圖中橫軸為知識(shí)庫中高級(jí)攝影原語實(shí)例,縱軸為對(duì)應(yīng)原語的測試短信數(shù)量.分析表中數(shù)據(jù)可知,單人場景短信對(duì)高級(jí)攝影原語的選擇比較集中在識(shí)庫中預(yù)先定義的單人場景拍攝原語類Coaxile_3;雙人對(duì)話場景短信對(duì)應(yīng)原語主要分布在知識(shí)庫中定義的雙人攝影原語類In_Contra、Out_Contra、Over_Shoulder;多人群體場景短信選擇的攝影原語的取值范圍比較廣泛,但知識(shí)庫中預(yù)先定義的多人群體場景拍攝原語Three_Parallel為主導(dǎo);人物無關(guān)場景短信的拍攝原語均在知識(shí)庫中定義的人物無關(guān)原語分類

圖10 四類場景對(duì)應(yīng)短信攝像機(jī)定性規(guī)劃實(shí)驗(yàn)結(jié)果

圖10中橫軸為知識(shí)庫中高級(jí)攝影原語實(shí)例,縱軸為對(duì)應(yīng)原語的測試短信數(shù)量.分析圖10中數(shù)據(jù)可知,單人場景短信對(duì)高級(jí)攝影原語的選擇比較集中在識(shí)庫中預(yù)先定義的單人場景拍攝原語類Coaxile_3;雙人對(duì)話場景短信對(duì)應(yīng)原語主要分布在知識(shí)庫中定義的雙人攝影原語類In_Contra、Out_Contra、Over_Shoulder;多人群體場景短信選擇的攝影原語的取值范圍比較廣泛,但知識(shí)庫中預(yù)先定義的多人群體場景拍攝原語Three_Parallel為主導(dǎo);人物無關(guān)場景短信的拍攝原語均在知識(shí)庫中定義的人物無關(guān)原語分類中選擇.

根據(jù)以上分析可知,測試短信動(dòng)畫場景推導(dǎo)出的攝影原語與知識(shí)庫中按場景分類的攝影原語基本匹配,因此可以總結(jié)導(dǎo)演知識(shí)庫定性規(guī)劃兩層規(guī)則推導(dǎo)方式可以依據(jù)情節(jié)定性規(guī)劃的結(jié)果為短信選擇合適的高級(jí)攝影原語.

同一高級(jí)攝影原語可對(duì)應(yīng)多種鏡頭屬性規(guī)則.鏡頭的景別分為4種、旋轉(zhuǎn)角度可取值4種、俯仰角度Pitch枚舉取值3種以及鏡頭占動(dòng)畫時(shí)長比例屬性等,均可影響鏡頭的屬性規(guī)則.由此可知導(dǎo)演知識(shí)庫可在理論上實(shí)現(xiàn)短信動(dòng)畫攝像機(jī)規(guī)劃的豐富性,如圖11所示,為同一高級(jí)攝影原語過肩拍攝Over_Sholder原語下因景別屬性不同帶來的視覺區(qū)別.但是在實(shí)踐中,系統(tǒng)仍需要不斷的完善和擴(kuò)充高級(jí)攝影原語和鏡頭屬性規(guī)則.

圖11 過肩拍攝景別多樣性實(shí)例

5 結(jié)論

本文介紹了手機(jī)短信3D動(dòng)畫自動(dòng)生成系統(tǒng)中攝像機(jī)規(guī)劃的作用和意義,重點(diǎn)研究了基于導(dǎo)演知識(shí)庫的分層攝像機(jī)定性規(guī)劃.對(duì)于原版攝像機(jī)規(guī)劃中,隨機(jī)生成的規(guī)劃手法與場景主題聯(lián)系不夠緊密的缺陷,在總結(jié)攝影領(lǐng)域相關(guān)理論研究的基礎(chǔ)上,利用語義網(wǎng)絡(luò)技術(shù)建立攝像機(jī)導(dǎo)演知識(shí)庫,結(jié)合系統(tǒng)情節(jié)規(guī)劃結(jié)果和系統(tǒng)的攝影領(lǐng)域知識(shí)設(shè)計(jì)實(shí)現(xiàn)攝像機(jī)定性規(guī)劃的兩層規(guī)則推導(dǎo).本文通過短信測試實(shí)驗(yàn)論證,借助于引進(jìn)構(gòu)建的導(dǎo)演知識(shí)庫和規(guī)則庫,基本可以實(shí)現(xiàn)攝像機(jī)拍攝方式的多樣性和豐富性,提高對(duì)于情節(jié)主題的表達(dá)能力.本文攝像機(jī)導(dǎo)演定性規(guī)劃應(yīng)用基于知識(shí)的方法,采用語義網(wǎng)本體和規(guī)則語言的方式形式化描述,規(guī)則推理結(jié)果比較準(zhǔn)確,但領(lǐng)域知識(shí)覆蓋面非常有限.有限的規(guī)則與系統(tǒng)中日益增長的短信量對(duì)動(dòng)畫豐富性所需求的“無限”的攝像機(jī)拍攝手法之間的矛盾進(jìn)一步加深,因此對(duì)于知識(shí)庫的構(gòu)建需要不斷的豐富,相關(guān)的規(guī)則仍需要繼續(xù)擴(kuò)展.