羅志平 畢 蕾

在2022年北京冬奧會中，中國移動咪咕文化科技有限公司（以下簡稱“咪咕”）瞄準(zhǔn)風(fēng)口搶抓機遇，早在2020年12月便和央視達(dá)成合作，拿下冬奧會官方轉(zhuǎn)播權(quán)，之后便深入開展賽事IP的運營，不斷挖掘賽事價值，編織了多維度的內(nèi)容網(wǎng)。冬奧會期間，咪咕APP下載量長達(dá)14天排在排行榜前三位，得到受眾廣泛認(rèn)可。精彩內(nèi)容離不開咪咕強大的科技硬實力，這是咪咕區(qū)別于其他平臺最大的特色和優(yōu)勢，“為文化圈注入科技基因”也成了咪咕的一個標(biāo)簽。作為冬奧官方轉(zhuǎn)播商，咪咕在冬奧會期間運用8K三維成像的超寫實虛擬數(shù)字人、基于XR的互動云游戲+演藝新場景、XR演播室等先進技術(shù)給受眾帶來更佳的觀賽體驗。

一、探索超寫實虛擬數(shù)字人

虛擬數(shù)字人所蘊含的商業(yè)價值已經(jīng)被行業(yè)敏銳地捕捉到。2021年，虛擬數(shù)字人在廣告代言、營銷等領(lǐng)域的商業(yè)變現(xiàn)能力表現(xiàn)不俗。幾乎整個市場都在推出各種類型的虛擬人，從數(shù)字分身到虛擬角色，畫質(zhì)從2K到8K，寫實程度從卡通到超寫實。其中超高清超寫實的數(shù)字分身是虛擬數(shù)字人中技術(shù)難度最大、涉及流程最復(fù)雜的類型，需要建模、表情和動作捕捉、物理運動模擬、高逼真成像等技術(shù)，最終形成人物的真實三維圖像。

隨著2021年元宇宙推向熱潮，游戲和影視的界線越發(fā)模糊。游戲引擎開始被應(yīng)用到超寫實虛擬數(shù)字人上。尤其虛幻引擎UE備受關(guān)注，其推出的Meta-Human可有限地完成虛擬數(shù)字人體型調(diào)節(jié)、臉部模型調(diào)整、更換發(fā)型及服裝，渲染成像效果與數(shù)字內(nèi)容生成（DCC）流程還有較大差距，但具有實時化優(yōu)勢。

（一）咪咕打造基于8K的超寫實數(shù)字人Meet Gu

為了豐富冰雪運動的推廣內(nèi)容和形式，咪咕以谷愛凌為原型打造了5G冰雪數(shù)智達(dá)人——Meet GU。Meet GU具有超寫實、3D Avatar、Q版動漫等多個形象，其超寫實數(shù)字分身不僅完美復(fù)刻了真人，而且是國內(nèi)第一個面向8K三維成像的體育虛擬數(shù)字人。咪咕自研打造的Meet GU 形象，實現(xiàn)內(nèi)容制作的全棧流程，首次在重大體育賽事應(yīng)用落地。咪咕在冬奧直播中應(yīng)用XR技術(shù)把谷愛凌數(shù)字人的“孿生姐妹” Meet GU請到了演播室現(xiàn)場，或者把比賽現(xiàn)場搬到演播室，受眾可以通過屏幕看到Meet GU在現(xiàn)場燈光下真實細(xì)膩的影子，打破虛擬和現(xiàn)實的界限，讓人真假難辨。

面向 8K 的超寫實虛擬數(shù)字人制作是藝術(shù)與科技深度融合的極大挑戰(zhàn)，不僅需要管理復(fù)雜的流程環(huán)節(jié)，還要降低計算及人力成本、提高產(chǎn)能，建立一個具有一定智能化的全棧制作流程是解決問題的關(guān)鍵。咪咕將攝影測量法和非剛性配準(zhǔn)進行深度結(jié)合并優(yōu)化?；谀Ｐ图y理貼圖（UV貼圖）優(yōu)化，運用稠密人臉關(guān)鍵點檢測算法完成人臉表情動畫重定向。咪咕開發(fā)了工具數(shù)字藝術(shù)管線來橋接算法與藝術(shù)，實現(xiàn)可自動化生成虛擬數(shù)字人，并可進一步將虛擬數(shù)字人傳遞給影視動畫特效專業(yè)人員，完成視覺效果的進一步打磨?；谒惴ㄅc管線（Pipeline），咪咕實現(xiàn)了圖形算法可應(yīng)用落地的關(guān)鍵特性——互操作性（算法可以交互操作）。

Meet Gu基于咪咕自研的表情遷移、人臉重建、語音合成、光照一致性虛實合成、數(shù)字分身人臉擬合以及云渲染等技術(shù)，不僅通過3D人臉關(guān)鍵點位置精確修正、眼眶眼球自動適配、任意姿態(tài)人臉配準(zhǔn)等核心技術(shù)，讓3D人臉擬合精度達(dá)亞毫米量級，從而完美復(fù)刻真人，更是實現(xiàn)了全自動化表情與動作的個性化遷移，做到與真人表情“神同步”。

在虛擬人動作制作中，為了完美地呈現(xiàn)出谷愛凌作為運動員的挺拔氣質(zhì)，咪咕研發(fā)團隊精益求精多次修改了骨骼控制點，僅一只手就復(fù)刻了近百個骨骼控制點，全身骨骼控制點多達(dá)近七百個，從而得到最佳效果。在表情上，研發(fā)團隊參考了100多張谷愛凌不同時期不同角度的照片，畫了20多稿貼圖，渲染了10多遍效果圖，制作出真實又相似度超高的渲染圖，為了追求真實復(fù)刻，頭發(fā)的發(fā)絲數(shù)更是從5萬根增加到10萬根。同時，配合自研的虛擬燈光效果，從燈光方向、燈光亮度以及柔和度進行調(diào)節(jié)，達(dá)到Meet Gu渲染的最佳視覺效果。為了能夠更好地對谷愛凌的音色進行建模，咪咕研發(fā)團隊通過語音信號增強技術(shù)、音色建模技術(shù)進行復(fù)刻及數(shù)字化，采用自研的語音聲學(xué)模型及聲碼器合成語音，克服了可利用數(shù)據(jù)少、模型訓(xùn)練困難等問題，最終得到了具有真實感的谷愛凌音色模型，實現(xiàn)對谷愛凌原聲的復(fù)刻。相關(guān)成果應(yīng)用于咪咕冬奧賽事演播室、北京交通廣播冬奧《榮耀時刻》節(jié)目等場景。為實現(xiàn)Meet Gu在冬奧會期間與贊助商的互動，研發(fā)團隊為Meet Gu制作了一套冬奧會全身頒獎服, 在冬奧演播室成功亮相。在制作超寫實頒獎服資產(chǎn)上，咪咕研發(fā)團隊根據(jù)贊助商提供的實拍圖片，從整體視覺造型、人體貼合度、寬松率、視覺比例等方面1∶1還原了冬奧會頒獎虛擬服裝。

咪咕公司整合了整個數(shù)字人生產(chǎn)流程，并已應(yīng)用在谷愛凌“數(shù)智孿生姐妹”Meet GU、首個 UFC 數(shù)智達(dá)人尤子希、首個超寫實籃球數(shù)智達(dá)人以及音樂數(shù)智達(dá)人瑞米的打造中。2022年春節(jié)前夕，中國移動為2022北京冬奧會打造的首支5G助力預(yù)告——Meet GU線下裸眼3D大屏廣告大片，引發(fā)了無數(shù)人駐足打卡與傳播。在冬奧賽事轉(zhuǎn)播中，Meet GU走進演播室跟主持人互動解說，她的出現(xiàn)讓北京冬奧會成為首次出現(xiàn)虛擬數(shù)字人參與的盛會。研發(fā)團隊也正逐步將部分技術(shù)賦能到移動端 3D Avatar 生產(chǎn)，加快實現(xiàn)虛擬數(shù)字人從工作室走向千家萬戶的愿景。

（二）虛擬數(shù)字人的產(chǎn)業(yè)應(yīng)用

總體上看，虛擬數(shù)字人分為服務(wù)型虛擬數(shù)字人和身份型虛擬數(shù)字人。（見圖1）目前，國內(nèi)的服務(wù)型虛擬數(shù)字人主要用于替代真人進行播報等內(nèi)容生成，并進行簡單問答交互等。而國外則由于在計算機圖形學(xué)（Computer Graphic，CG）方面具有技術(shù)優(yōu)勢，能夠打造具有高度關(guān)懷感的虛擬數(shù)字人，率先在醫(yī)療等場景落地了虛擬陪伴助手、心理咨詢顧問等。

圖1 虛擬數(shù)字人場景分類

與缺乏人格象征的服務(wù)型虛擬數(shù)字人相比，身份型虛擬數(shù)字人更強調(diào)其本身的身份。一方面，在現(xiàn)實世界中，具有獨立人設(shè)的虛擬IP能夠通過靜態(tài)（照片）、動態(tài)（視頻）、實時（直播）等方式引發(fā)關(guān)注及變現(xiàn)。另一方面，為每個人在未來的虛擬世界乃至Metaverse（元宇宙）中創(chuàng)造專屬身份，將成為必然趨勢。盡管對個性化身份的訴求已經(jīng)長期存在，但在當(dāng)前仍大多以形似的形式存在，僅僅是一個過渡形態(tài)，人始終需要全感官的參與。虛擬數(shù)字人本身及其衍生市場都將迎來長足的發(fā)展。

目前大多國內(nèi)廠商選擇對形象、語音、語言等多方面進行自研，但多家廠商已明確表述，未來會將非自身核心的技術(shù)部分進行外包。從競爭格局來看，無論在國內(nèi)還是國外，虛擬數(shù)字人的競爭格局都尚未成熟。盡管玩家數(shù)量在快速增長，但由于行業(yè)對綜合的技術(shù)實力和合作渠道能力要求較高，具有相當(dāng)實力的頭部公司仍相對有限，尤其在超寫實虛擬數(shù)字人領(lǐng)域技術(shù)門檻較高。（見圖2）

圖2 虛擬數(shù)字人產(chǎn)業(yè)鏈

（三）關(guān)于虛擬數(shù)字人產(chǎn)業(yè)的未來展望

《虛擬數(shù)字人深度產(chǎn)業(yè)報告》預(yù)測，2030年，我國虛擬數(shù)字人整體市場規(guī)模將達(dá)到2700億，身份型虛擬數(shù)字人規(guī)模約1750億，服務(wù)型虛擬數(shù)字人總規(guī)模超過950億。[1]目前市場仍處于前期培育階段。虛擬數(shù)字人這一市場行業(yè)天花板高，實現(xiàn)路徑明確，且已出現(xiàn)了有相當(dāng)競爭力的技術(shù)公司，所以有較好的市場規(guī)模預(yù)期。在各行業(yè)開始意識到其技術(shù)可行性和商業(yè)價值后，行業(yè)將快速進入高速發(fā)展期。尤其虛擬數(shù)字人作為Metaverse主要的交互載體，具有明確的巨大增長潛力，并基于 NFT、VR 等有理想的延展空間。

據(jù)《2020年虛擬數(shù)字人發(fā)展白皮書》，虛擬數(shù)字人正朝著智能化、便捷化、精細(xì)化、多樣化發(fā)展，步入成長期。[2]隨著運營商算力網(wǎng)絡(luò)建設(shè)的加快，以視頻流的表現(xiàn)形式推送到萬千用戶的云原生虛擬數(shù)字人是發(fā)展趨勢，端—云協(xié)同機制實現(xiàn)隨時隨地在現(xiàn)實世界和虛擬世界之間切換。但我們也看到，當(dāng)前虛擬數(shù)字人在語音驅(qū)動面部動畫、肌肉骨骼動力學(xué)模擬、三維數(shù)字資產(chǎn)流轉(zhuǎn)等方面，仍存在較大技術(shù)難題亟須突破。咪咕將繼續(xù)攻克技術(shù)難題，立足未來，依托算力網(wǎng)絡(luò)加快虛擬數(shù)字人平臺建設(shè)，建立低成本、高產(chǎn)能、開放生態(tài)的虛擬數(shù)字人的生產(chǎn)方式占據(jù)元宇宙入口，在元宇宙的道路上做更多探索和嘗試。

二、開創(chuàng)基于XR的互動云游戲+演藝新場景

2022年1月28日,由北京冬奧組委文化活動部主辦的虛擬交互冰雪音樂嘉年華“集光之夜”成功舉行,這也是首個由冬奧會官方認(rèn)證與支持的冬季冰雪運動IP的虛擬音樂會。咪咕公司提供XR、云游戲、多路低延時直播等全套技術(shù)解決方案，在北京冬奧組委央視頻、視頻號、咪咕、快手、B站、微博、抖音的官方賬號及新華社、北京時間、中國聯(lián)通等平臺同步首播。

作為首個由冬奧會官方認(rèn)證支持的冰雪運動IP虛擬音樂嘉年華，“集光之夜”將焦點對準(zhǔn)冰雪運動之外的多元化數(shù)字科技表達(dá)形式，以“虛擬+演出+娛樂交互”的全新娛樂體驗?zāi)Ｊ剑粤髨鲳^設(shè)計，打造縱向多層次平行世界，為參與者帶來前所未有的沉浸式交互虛擬娛樂體驗。在“集光之夜”的舞臺上二次元虛擬明星與三次元嘉賓齊聚，實現(xiàn)真人演員和二次元藝人的精彩共舞，打破次元壁。技術(shù)層面也是運用了廣電演播室設(shè)備、XR子彈時間、多模態(tài)捕捉技術(shù)、三維數(shù)字化云渲染等技術(shù)，以技術(shù)為視覺呈現(xiàn)帶來影視化質(zhì)感，為演出效果強力賦能。

項目在600平方米的XR影棚內(nèi)制作完成，主要分為XR制作和動捕制作兩套制作流程。棚內(nèi)搭建兩塊LED屏幕：背景屏和地屏，地屏面積約200平方，可容納五六人的樂隊演出。配置3臺攝像機：1臺廣角鏡頭固定機位，拍攝XR舞臺全景；1臺標(biāo)準(zhǔn)鏡頭軌道機位，移動/固定拍攝XR舞臺藝人特寫，搭配虛擬追蹤系統(tǒng)Mosys；1臺廣角鏡頭軌道搖臂機位，移動拍攝舞臺藝人表演，搭配虛擬跟蹤系統(tǒng)Mosys。

XR渲染方面，共配置3套渲染服務(wù)器， 配載Disguise VX4圖形渲染引擎，其中2套XR服務(wù)器，分別對應(yīng)控制2塊屏幕，一套AR服務(wù)器，用于LED屏演播區(qū)外延的增強現(xiàn)實擴展，從而讓XR與AR虛擬制作融合。

在XR場景拍攝時，Mosys跟蹤服務(wù)器計算的攝像機跟蹤數(shù)據(jù)通過網(wǎng)線傳遞給圖形渲染引擎。圖形渲染引擎收到攝像機跟蹤數(shù)據(jù)后，會根據(jù)Mosys特有的數(shù)據(jù)協(xié)議解析二進制數(shù)據(jù)代碼，將其轉(zhuǎn)換成X、Y、Z三軸向的位移旋轉(zhuǎn)數(shù)據(jù)，并匹配到圖形渲染引擎中的跟蹤攝像機上。

每臺渲染服務(wù)器上都創(chuàng)建一個與真實 LED屏幕坐標(biāo)、尺寸一致的面面映射，并通過XR專有算法結(jié)合實時攝像機跟蹤數(shù)據(jù)，計算出最適合的映射畫面?zhèn)鬟f給LED屏幕。現(xiàn)場每塊屏幕都得到了適合的畫面映射，最終三塊屏幕映射組合形成一個完整的XR場景畫面，現(xiàn)場的主持人、藝人和虛擬偶像便可以沉浸在這個神奇、多變的三維立體的虛擬空間，與身邊的場景和元素實時交互，并完成錄制。

演出融入了咪咕公司的虛擬偶像麟犀等眾多虛擬偶像，在棚內(nèi)配套的動捕房內(nèi)搭建Optitrack光學(xué)動捕系統(tǒng)，預(yù)先進行中之人動作捕捉和修剪，完成骨骼動畫的錄制，在XR錄制時，將骨骼動畫實時綁定至虛擬偶像的模型上，實時驅(qū)動模型在XR渲染引擎內(nèi)渲染，與真人演員一起完成錄制。

另外，“集光之夜”還靈活運用了多種前沿技術(shù)：

多模態(tài)捕捉技術(shù)：空間定位技術(shù)、捕捉技術(shù)、AI智能分析體運動捕捉技術(shù)等進行融合集成，以云端渲染作為主要技術(shù)手段，實現(xiàn)虛擬與內(nèi)容之間的交互。AI智能分析技術(shù)進行預(yù)渲染，也保證了演出效果。

XR子彈時間：將子彈時間技術(shù)創(chuàng)新性嫁接入XR技術(shù)系統(tǒng)，實現(xiàn)XR環(huán)境下的子彈時間效果。

云渲染技術(shù)：本地渲染和云渲染結(jié)合，實現(xiàn)了本地XR場景和線上云游戲的有機結(jié)合。

“集光之夜”在國內(nèi)首次開創(chuàng)“演藝+游戲”的新模式，云游戲玩家可以在玩游戲的同時，與XR演唱會內(nèi)的真人明星和二次元明星互動，實時瀏覽得分排行，發(fā)送彈幕、送禮物等，實現(xiàn)游戲交互體驗的無限放大。打通了線上觀眾與觀眾之間、觀眾與演員之間深度的體驗方式，打破了演藝和技術(shù)在線上沉浸式體驗中的創(chuàng)意和技術(shù)的壁壘，創(chuàng)造了一種全新的線上演繹模式。

三、打造咪咕XR演播室

演播室作為電視節(jié)目制作的重要場所，承擔(dān)了除外拍節(jié)目外的大部分節(jié)目錄制和制作任務(wù)，隨著設(shè)備技術(shù)突飛猛進的發(fā)展，本著少花錢辦大事的原則，演播室在不斷升級換代，從實景演播室，發(fā)展到虛擬演播室、XR演播室。

早期的虛擬演播室是虛擬布景和人像摳圖機械疊加，視覺上沒有立體感，隨著攝像機跟蹤技術(shù)的發(fā)展，當(dāng)前可以依據(jù)真實攝像機的鏡頭參數(shù)呈現(xiàn)的三維背景，和演員的三維透視關(guān)系完全一致，更有立體感。但是由于表演者處在綠幕中，在情境上沒有真實感，場景互動主要依靠后期制作或者演員的演技。隨著XR技術(shù)的發(fā)展和成熟，虛擬和現(xiàn)實融合的能力賦能給演播室，帶來了魔法效果，這就是XR演播室，使觀眾可以自由地穿行于虛擬和現(xiàn)實之中。

三面LED屏幕作為背景的沉浸式XR演播室，特效更炫，沉浸感更強，可以實現(xiàn)舞蹈、音樂與閃電、動作、特效位置的精準(zhǔn)互動。這種演播室雖然表現(xiàn)力強，但是有空間限制，不適合大型現(xiàn)場演出。

本屆北京冬奧會中，王濛憑借著在短道速滑領(lǐng)域的絕對專業(yè)性，配合黃健翔的捧哏式解說，快速出圈，和北京冬奧話題一起，占據(jù)著各大平臺的熱搜榜，成為觀眾熱議的話題。而這一切，都發(fā)生在咪咕XR演播室當(dāng)中，搭配著演播室現(xiàn)場XR、AR虛擬效果以及各種圖文包裝模板的應(yīng)用，也讓這個充滿科技感的演播室和這對“捧逗組合”解說一起，圈粉無數(shù)。

咪咕北京前方演播室集群包含3間演播室，承擔(dān)了每日比賽直播和《冬奧·準(zhǔn)備好》《冬奧速遞》等專題欄目，其中一間為XR演播室，其技術(shù)系統(tǒng)中，搭建了配套LED屏和圖形渲染引擎，一臺6米搖臂機位，通過圖像識別技術(shù)結(jié)合搖臂傳感數(shù)據(jù)，實現(xiàn)快速標(biāo)定和攝像機自動定位、自動校正，搭建時間短，跟蹤精度高，確保了虛擬植入場景的準(zhǔn)確定位，達(dá)到了冰雪大跳臺等多個XR虛擬場景的完美植入效果。

咪咕演播室XR圖形渲染平臺在功能上完成了XR/AR虛擬場景與包裝場景可同時存在、疊加播出，實現(xiàn)豐富的演播效果。對接冬奧前方官方賽事數(shù)據(jù)庫，將賽事場館、賽事預(yù)告、運動員情況、賽事技術(shù)等數(shù)據(jù)內(nèi)容實現(xiàn)可視化，更為直觀地呈現(xiàn)給觀眾，并為演播室節(jié)目拍攝和制作提供靈活多變的制作手段。

四、結(jié)語

咪咕公司近年來大舉進軍超高清技術(shù)領(lǐng)域，業(yè)務(wù)增長迅速，在自建5G超高清直播平臺、自有演播室技術(shù)系統(tǒng)、8K轉(zhuǎn)播車、虛擬制作、元宇宙技術(shù)等方面都進行了大力的拓展和延伸。圍繞冬奧會、亞運會、世界杯等重大賽事和NBA、五大聯(lián)賽等體育聯(lián)賽的直播版權(quán)，咪咕將緊隨觀眾的核心需求，立足中國移動內(nèi)容的生產(chǎn)者、聚合者和傳播者定位，以打造沉浸媒體先鋒隊和新媒體國家隊主力軍為己任，為中國移動創(chuàng)建世界一流信息服務(wù)科技創(chuàng)新公司貢獻(xiàn)力量。

注釋：

[1]互聯(lián)網(wǎng)大廠紛紛“造人”背后：虛擬數(shù)字人的現(xiàn)狀與挑戰(zhàn)[EB/OL].(2022-04-25).https://www.sohu.com/a/540850162_204728.

[2] 2020年虛擬數(shù)字人發(fā)展白皮書正式發(fā)布 浦發(fā)數(shù)字人引領(lǐng)產(chǎn)業(yè)新發(fā)展[EB/OL].(2021-12-04).https://baijiahao.baidu.com/s?id=1685139356032698794&wfr=spider&for=pc.