曹娟，朱勇椿，亓鵬，黃子堯，楊天韻，王政嘉，卜語嫣

1.中國科學(xué)院計(jì)算技術(shù)研究所數(shù)字內(nèi)容合成與偽造檢測實(shí)驗(yàn)室，北京 100190；

2.中國科學(xué)院大學(xué)，北京 100049

0 引言

近幾年深度學(xué)習(xí)快速發(fā)展，在大模型方面取得顯著的技術(shù)突破，例如：視覺大模型ViT（vision transformer）[1]、語言大模型BERT（bidirectional encoder representations from transformers）[2]和GPT（generative pre-trained transformer）[3]、多模態(tài)大模型CLIP（contrastive language-image pre-training）[4]等。數(shù)字內(nèi)容生成技術(shù)指利用人工智能技術(shù)自動(dòng)生成內(nèi)容，大模型的出現(xiàn)為數(shù)字內(nèi)容生成技術(shù)提供了強(qiáng)力的支撐。此外，隨著數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)融合程度不斷加深，人類對(duì)數(shù)字內(nèi)容總量和豐富程度的整體需求不斷提高，海量的數(shù)字內(nèi)容供給需求牽引數(shù)字內(nèi)容生成技術(shù)應(yīng)用落地，微軟、Meta、百度等多家頭部企業(yè)投入數(shù)字內(nèi)容生成技術(shù)的研發(fā)。最新出現(xiàn)的DALL-E 2、ChatGPT、GPT 4等數(shù)字內(nèi)容生成技術(shù)掀起了內(nèi)容創(chuàng)造熱潮，重塑甚至顛覆了數(shù)字內(nèi)容的生產(chǎn)方式和消費(fèi)模式。生成的數(shù)字內(nèi)容具有真實(shí)性、多樣性、可控性的特點(diǎn)，有助于企業(yè)和個(gè)人提高內(nèi)容生產(chǎn)的效率，提供更加豐富多元、動(dòng)態(tài)且可交互的內(nèi)容，有著廣泛的應(yīng)用前景，例如智能新聞寫作可提升新聞資訊的時(shí)效；生成商品3D模型用于商品展示和虛擬試用；打造虛擬主播，賦能直播帶貨；人工智能創(chuàng)作電影；元宇宙數(shù)字人等。

然而，科技是發(fā)展的利器，也可能成為風(fēng)險(xiǎn)的源頭。技術(shù)發(fā)展與風(fēng)險(xiǎn)挑戰(zhàn)相伴而生，數(shù)字內(nèi)容生成技術(shù)領(lǐng)域同樣如此。雖然，數(shù)字內(nèi)容生成技術(shù)的快速發(fā)展大大提高了生成文本、語音、圖像、視頻的逼真度和多樣性，催生了AI寫作、AI作圖、AI語音合成等眾多應(yīng)用。然而，隨著生成內(nèi)容質(zhì)量的不斷提高，機(jī)器偽造能力已經(jīng)超過人類的真假識(shí)別能力，生成技術(shù)的發(fā)展和應(yīng)用也為虛假和偽造信息的泛濫埋下了新的隱患。數(shù)字內(nèi)容生成相關(guān)技術(shù)被不法分子快速工具化、普及化甚至武器化，制作和傳播虛假偽造內(nèi)容，影響傳播秩序和社會(huì)秩序，給網(wǎng)絡(luò)空間健康發(fā)展帶來安全威脅。這些偽造信息滲透到社會(huì)行為的方方面面，包括政治博弈、軍事偽裝、經(jīng)濟(jì)詐騙、輿論欺騙等，給政治安全、經(jīng)濟(jì)安全、公共安全、人身安全、軍事安全等帶來嚴(yán)重危害。美國、歐盟等已將虛假偽造內(nèi)容視為重大的國家安全威脅。因此，亟須進(jìn)一步加強(qiáng)對(duì)數(shù)字內(nèi)容生成技術(shù)的監(jiān)管，統(tǒng)籌發(fā)展與安全，推進(jìn)數(shù)字內(nèi)容生成技術(shù)依法合理有效利用，促進(jìn)數(shù)字內(nèi)容生成服務(wù)規(guī)范發(fā)展，維護(hù)網(wǎng)絡(luò)空間良好生態(tài)。如圖1所示。

圖1 數(shù)字內(nèi)容生成、檢測和取證技術(shù)

數(shù)字內(nèi)容偽造檢測是對(duì)深度合成技術(shù)生成的數(shù)字內(nèi)容進(jìn)行有效監(jiān)管和治理的重要一環(huán)。只有對(duì)生成的數(shù)字內(nèi)容進(jìn)行精確檢測，才能監(jiān)督并防范有意或無意發(fā)布的生成數(shù)字內(nèi)容，進(jìn)而通過明確標(biāo)識(shí)等方式限制其影響及傳播范圍。然而數(shù)字內(nèi)容偽造檢測面對(duì)3個(gè)挑戰(zhàn)，使得精確檢測生成數(shù)字內(nèi)容并非易事：①對(duì)抗性，數(shù)字內(nèi)容的生成和檢測技術(shù)存在類似于矛和盾的對(duì)抗關(guān)系；②泛化性，由于數(shù)字內(nèi)容生成技術(shù)的不斷升級(jí)，檢測技術(shù)需要在不斷變化的偽造環(huán)境中持續(xù)適應(yīng)和進(jìn)化；③不確定性，人類無法輕易地分辨數(shù)字內(nèi)容是否由機(jī)器自動(dòng)生成得到，特別是當(dāng)面對(duì)未知的偽造類型時(shí)。此外，多模態(tài)的偽造數(shù)字內(nèi)容偽造痕跡不同，例如：機(jī)器偽造文本內(nèi)容可能不連貫，偽造圖片內(nèi)容可能局部細(xì)節(jié)模糊。因此，需要針對(duì)不同場景的偽造內(nèi)容設(shè)計(jì)特定的檢測方法，干預(yù)偽造內(nèi)容的傳播。

然而檢測模型可解釋性差，現(xiàn)有大多數(shù)檢測模型只能給出最后的檢測結(jié)果，卻不能對(duì)結(jié)果進(jìn)行人類可理解的解釋。這些偽造檢測方法并不能給出鑒別的證據(jù)，并且其判別結(jié)果可能不確定，導(dǎo)致不能作為一個(gè)確切的結(jié)論，無法作為后續(xù)操作，比如法律程序的可信證據(jù)。數(shù)字內(nèi)容取證可輔助人類專家進(jìn)行深度偽造證據(jù)的采集、量化、分析、呈現(xiàn)，最終形成直觀可信的證據(jù)，保證證偽鑒定結(jié)果的科學(xué)性與可靠性。如何在檢測后對(duì)其進(jìn)行取證，得到檢測的依據(jù)以及證據(jù)，是偽造檢測落地以及走入司法程序的關(guān)鍵一環(huán)。數(shù)字內(nèi)容取證技術(shù)的研究目前還處在早期的階段，面臨著兩個(gè)挑戰(zhàn)。①證據(jù)難提取，針對(duì)文本內(nèi)容偽造，需要在海量信息中檢索事實(shí)證據(jù)，并進(jìn)行比對(duì)。對(duì)于圖像偽造，難以在肉眼可見的圖像空間可視化偽造痕跡特征。②取證結(jié)果和人類認(rèn)知難對(duì)齊，現(xiàn)有的偽造圖像檢測模型識(shí)別的偽造痕跡特征往往不能解耦并映射到五官扭曲、邊緣不一致等人類能理解的概念上。因此，數(shù)字內(nèi)容取證技術(shù)亟待進(jìn)行深入研究。

數(shù)字內(nèi)容生成技術(shù)的發(fā)展為產(chǎn)業(yè)帶來革新的同時(shí)，引入了更多的安全隱患，威脅網(wǎng)絡(luò)內(nèi)容生態(tài)健康安全發(fā)展，而數(shù)字內(nèi)容偽造檢測技術(shù)和數(shù)字內(nèi)容取證技術(shù)提升了技術(shù)監(jiān)管和內(nèi)容治理的能力，促進(jìn)數(shù)字內(nèi)容生成技術(shù)的良性發(fā)展。本文對(duì)數(shù)字內(nèi)容生成、檢測與取證技術(shù)進(jìn)行了概述?，F(xiàn)有的大多數(shù)生成、檢測、取證的綜述通常僅介紹單個(gè)環(huán)節(jié)的技術(shù)，并且從技術(shù)角度出發(fā)進(jìn)行概述，而本文從數(shù)字內(nèi)容產(chǎn)業(yè)的角度，介紹數(shù)字內(nèi)容生產(chǎn)和監(jiān)管的不同環(huán)節(jié)，這不僅可以使讀者清楚地了解數(shù)字內(nèi)容生成現(xiàn)狀，還可以更加清晰地了解檢測并防范惡意偽造的方法及應(yīng)用。

1 數(shù)字內(nèi)容生成

數(shù)字內(nèi)容生成技術(shù)是指利用數(shù)字技術(shù)生成圖像、視頻或語言等數(shù)字內(nèi)容的技術(shù)，其中AIGC（artificial intelligence generated content），即以人工智能技術(shù)來生成內(nèi)容，在最近幾年得到了驚人的發(fā)展。在視覺生成領(lǐng)域，繼生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）之后，Diffusion模型展示了驚人的生成質(zhì)量，以DALLE2、Stable Diffusion等為代表的文字到圖像生成模型具備了根據(jù)人類語義精確生成高質(zhì)量圖像的能力，現(xiàn)已在場景設(shè)計(jì)、角色設(shè)計(jì)、虛擬偶像等多個(gè)方向出現(xiàn)了應(yīng)用。在語言生成上[5]，2022年OpenAI的ChatGPT橫空出世，其憑借上下文理解、知識(shí)儲(chǔ)備、對(duì)話理解能力震驚世人，還能高質(zhì)量完成翻譯、寫代碼、改論文、寫文案等多項(xiàng)任務(wù)?？梢灶A(yù)見的是，基于Diffusion和ChatGPT等技術(shù)的AIGC將會(huì)帶來一波會(huì)深刻改變?nèi)祟惉F(xiàn)實(shí)生活的應(yīng)用熱潮。然而，數(shù)字內(nèi)容生成技術(shù)也需要注意安全反制問題，以防止其被濫用，或者被竊取模型、隱私數(shù)據(jù)等。雖然數(shù)字內(nèi)容生成技術(shù)取得了重大突破，但依然存在一些挑戰(zhàn)。

● 多樣性：數(shù)字內(nèi)容生成技術(shù)需要具備生成多樣化內(nèi)容的能力，以滿足不同用戶的需求。現(xiàn)有大模型在大量的數(shù)據(jù)上訓(xùn)練，但在更多樣化的訓(xùn)練集上訓(xùn)練并不總是比精心準(zhǔn)備的基礎(chǔ)模型上對(duì)下游性能更好[6]。因此更好地理解跨領(lǐng)域表示以及它們?nèi)绾螌?duì)測試時(shí)分布偏移具有彈性，有助于指導(dǎo)訓(xùn)練數(shù)據(jù)集的設(shè)計(jì)，從而平衡專業(yè)化和泛化性。

● 推理性：數(shù)字內(nèi)容生成技術(shù)需要具備推理能力，即從給定的信息中推斷出隱含的信息，可以幫助人們做出決策、解決問題。現(xiàn)有的大語言模型雖然在一些推理任務(wù)上表現(xiàn)出一定的能力，但有時(shí)仍可能在常識(shí)推理任務(wù)上失敗[7-8]。

● 可控性：數(shù)字內(nèi)容生成技術(shù)需要具備一定的可控性，以便用戶能夠控制生成內(nèi)容的質(zhì)量和風(fēng)格。生成模型的可控性一直以來是研究的熱點(diǎn)[9-12]，但在現(xiàn)實(shí)場景下，可控的內(nèi)容生成依然不足以滿足用戶需求。例如：對(duì)于角色設(shè)計(jì)而言，一個(gè)角色身上的每一個(gè)裝飾反映的是設(shè)計(jì)師對(duì)角色的理解和設(shè)定，而現(xiàn)有的圖像生成模型難以達(dá)到這種細(xì)節(jié)的可控生成。

● 安全性：現(xiàn)有生成模型具有一定的安全問題。一方面，ChatGPT類應(yīng)用服務(wù)生成文本目前存在事實(shí)性錯(cuò)誤、政治偏見等問題。一旦被別有用心的組織用于輿論引導(dǎo)，大量生成的錯(cuò)誤文本流傳到互聯(lián)網(wǎng)上，將對(duì)網(wǎng)絡(luò)信息生態(tài)造成重大風(fēng)險(xiǎn)；另一方面，高質(zhì)量的生成技術(shù)也可能被應(yīng)用于網(wǎng)絡(luò)暴力、涉黃涉暴網(wǎng)文創(chuàng)作、電信詐騙等危害公共安全的場景。例如：ChatGPT用于模擬人物對(duì)話，圖像和視頻生成技術(shù)用于制作逼真的人物視頻，聲音合成技術(shù)用于制作語音等。最后，生成模型本身可能會(huì)發(fā)生泄露用戶隱私、訓(xùn)練數(shù)據(jù)等情況[13-14]，威脅數(shù)據(jù)安全。

從數(shù)字內(nèi)容模態(tài)的角度，數(shù)字內(nèi)容生成方法可以分為自然語言大模型、視覺生成技術(shù)和多模態(tài)生成技術(shù)方法，如圖2所示。下面對(duì)這3類檢測方法進(jìn)行介紹。

圖2 數(shù)字內(nèi)容生成技術(shù)

1.1 自然語言大模型

（1）大模型架構(gòu)

自然語言大模型的成功離不開兩個(gè)關(guān)鍵要素：模型結(jié)構(gòu)和預(yù)訓(xùn)練方法。首先是Transformer模型結(jié)構(gòu)。Transformer[15]模型是自然語言大模型采用的網(wǎng)絡(luò)結(jié)構(gòu)。Transformer由編碼器和解碼器組成，其中每一層由多頭注意力和前饋神經(jīng)網(wǎng)絡(luò)組成。多頭注意力是Transformer的核心部件，其根據(jù)各詞的相關(guān)性分配不同權(quán)重，能夠更好地處理長期依賴關(guān)系，具有高度可并行性，并允許數(shù)據(jù)克服歸納偏置[16]，極為適合大規(guī)模的預(yù)訓(xùn)練。其次是模型規(guī)模的上升。Transformer結(jié)構(gòu)模型參數(shù)超過1億，之后BERT[2]模型達(dá)到了3億的規(guī)模。對(duì)于GPT系列，GPT-1[3]擁有上億的參數(shù)量，GPT-2[17]達(dá)到了15億，而GPT-3[18]更上一個(gè)數(shù)量級(jí)，參數(shù)規(guī)模首次突破千億。大模型背后更是海量的數(shù)據(jù)集。如GPT-3的訓(xùn)練語料達(dá)到總計(jì)45 TB，包括CommonCrawl[19]、WebText2[17]和維基百科語料等。而GPT-4則在多個(gè)模態(tài)的海量數(shù)據(jù)上訓(xùn)練，取得了跨模態(tài)的理解能力。預(yù)訓(xùn)練方法是大模型成功的另一個(gè)關(guān)鍵。預(yù)訓(xùn)練是指在大量無標(biāo)注的數(shù)據(jù)上設(shè)計(jì)訓(xùn)練任務(wù)，通過學(xué)習(xí)大量的數(shù)據(jù)特征和語言規(guī)律來提高模型能力。Bert使用掩碼語言模型（masked language model，MLM）[20]的預(yù)訓(xùn)練方法，通過隨機(jī)掩碼的方式預(yù)測輸入中被遮蓋的單詞，從而學(xué)習(xí)單詞之間的關(guān)系和語言規(guī)律。自回歸模型，例如GPT、OPT[21]等，則通過根據(jù)上一次詞的輸入預(yù)測下一個(gè)詞的方法來進(jìn)行訓(xùn)練，這種訓(xùn)練方式更適合生成任務(wù)。

（2）提示工程與上下文學(xué)習(xí)

提示工程（prompt engineering）[22]是指在使用自然語言處理大模型時(shí)，通過設(shè)計(jì)高效的輸入提示來引導(dǎo)模型進(jìn)行正確的預(yù)測，被廣泛應(yīng)用于提高模型的準(zhǔn)確性和效率上。提示工程可以通過多種技術(shù)實(shí)現(xiàn)，包括生成式提示、填充式提示、控制式提示等。提示工程是構(gòu)建高質(zhì)量自然語言處理系統(tǒng)的重要工具之一。在提示工程中，上下文學(xué)習(xí)（in-context learning）作為一種提高語言模型性能的有效方法受到了廣泛關(guān)注。它使用預(yù)訓(xùn)練的語言模型作為主干，并在提示中添加一些輸入標(biāo)簽示范對(duì)和說明，進(jìn)而提高性能。這種技術(shù)可以提高生成的文本的連貫性和語境適應(yīng)能力，從而使生成的文本更加自然和可讀。

（3）RLHF

為了使大語言模型產(chǎn)生符合人類意圖的輸出，人類反饋的強(qiáng)化學(xué)習(xí)（reinforcement learning from human feedback，RLHF）被應(yīng)用于InstructGPT[23]、Sparrow[24]和ChatGPT等的微調(diào)之中。RLHF是基于人類反饋的強(qiáng)化學(xué)習(xí)方法。傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法是基于環(huán)境反饋的，即智能體通過與環(huán)境的交互獲得獎(jiǎng)勵(lì)信號(hào)來調(diào)整其行為。但是，對(duì)于語言大模型而言，環(huán)境反饋缺乏、不準(zhǔn)確或者代價(jià)高昂，此時(shí)可引入人類反饋來指導(dǎo)智能體的學(xué)習(xí)過程。RLHF的核心思想是將人類反饋?zhàn)鳛轭~外的獎(jiǎng)勵(lì)信號(hào)加入強(qiáng)化學(xué)習(xí)框架中，同時(shí)采用一系列技術(shù)來處理反饋的不確定性和多樣性。這些技術(shù)包括：反饋的采樣、篩選和匯聚、反饋的表示和轉(zhuǎn)化，以及反饋與環(huán)境獎(jiǎng)勵(lì)的融合等。具體在語言模型中，RLHF的整個(gè)流程包括3個(gè)步驟：預(yù)訓(xùn)練、獎(jiǎng)勵(lì)學(xué)習(xí)和強(qiáng)化學(xué)習(xí)微調(diào)。對(duì)于預(yù)訓(xùn)練語言模型回答的不符合人類要求的內(nèi)容，可以使用訓(xùn)練的獎(jiǎng)勵(lì)模型來編碼多樣化和復(fù)雜的人類偏好，接著利用ELO[25]等算法將成對(duì)比較關(guān)系轉(zhuǎn)換為逐點(diǎn)獎(jiǎng)勵(lì)標(biāo)量，最后用強(qiáng)化學(xué)習(xí)對(duì)語言模型θ進(jìn)行微調(diào)以最大化學(xué)習(xí)到的獎(jiǎng)勵(lì)函數(shù)。為穩(wěn)定強(qiáng)化學(xué)習(xí)訓(xùn)練，常采用近似策略優(yōu)化（PPO）[26]算法。

1.2 視覺生成技術(shù)

（1）GAN

GAN[27]在圖像生成領(lǐng)域廣受歡迎。GAN由生成器和判別器兩部分組成。生成器學(xué)習(xí)真實(shí)樣本的分布以生成新數(shù)據(jù)，判別器則確定輸入是來自真實(shí)數(shù)據(jù)空間還是來自生成器的數(shù)據(jù)空間。生成器和判別器的結(jié)構(gòu)對(duì)GAN的訓(xùn)練穩(wěn)定性和性能有很大影響。一些代表性的GAN變體包括DCGAN[28]、ProGAN[29]、BigGAN[30]和StyleGAN[9,31-32]等，除此之外GAN有多種生成器和判別器的結(jié)構(gòu)、目標(biāo)函數(shù)以及用于解決GAN訓(xùn)練穩(wěn)定性和性能問題的各種技術(shù)，例如WGAN[33]和LS-GAN[34]等的目標(biāo)函數(shù)可以穩(wěn)定GAN的訓(xùn)練過程。其中StyleGAN以風(fēng)格編碼來解耦向量空間，同時(shí)獲得高質(zhì)量生成結(jié)果，是GAN的代表性工作。得益于條件GAN[35]、GAN inversion[10]等技術(shù)的發(fā)展，人們可以操縱GAN模型的隱空間，從而能夠控制模型的輸出。

（2）Diffusion模型

生成擴(kuò)散模型（generative diffusion model）是一種基于概率的無監(jiān)督式生成模型，其設(shè)計(jì)靈感來自非平衡熱力學(xué)，模仿擴(kuò)散過程對(duì)圖像不斷加噪以將其轉(zhuǎn)變?yōu)榻圃肼暤碾[編碼，然后模型學(xué)習(xí)逆轉(zhuǎn)加噪的過程，從圖像相同尺寸的噪聲中不斷去噪以還原原始圖像。生成擴(kuò)散模型有以下3種主要構(gòu)建方式。

● DDPM[36]被認(rèn)為是一種基于馬爾可夫鏈的參數(shù)化模型，通過在真實(shí)圖片上逐步添加高斯噪聲的擴(kuò)散步驟得到噪聲圖像，模型學(xué)習(xí)如何反向擴(kuò)散過程，以便從純?cè)肼曋袠?gòu)建出所需的數(shù)據(jù)樣本?；诜?jǐn)?shù)的生成模型（SGM）直接處理數(shù)據(jù)對(duì)數(shù)密度（即分?jǐn)?shù)函數(shù)）的梯度。

● NCSN[37]是一種基于SGM的生成模型，它通過對(duì)數(shù)據(jù)進(jìn)行多尺度的強(qiáng)化噪聲擾動(dòng)，可以更加準(zhǔn)確地估計(jì)分?jǐn)?shù)函數(shù)。NCSN的訓(xùn)練和推理步驟完全解耦，這意味著可以分別進(jìn)行訓(xùn)練和推理，從而提高生成樣本的效率。此外，由于SGM可以直接建模數(shù)據(jù)對(duì)數(shù)密度函數(shù)的梯度，因此在處理數(shù)據(jù)時(shí)具有很好的優(yōu)化效果。

● Score SDE[38]是一種將之前的兩種形式推廣到連續(xù)情況的生成模型。該模型中，噪聲擾動(dòng)和去噪過程被描述為隨機(jī)微分方程的解。通過將概率流ODE應(yīng)用于逆轉(zhuǎn)過程的建模中，該模型證明了ODE同樣可以用于生成模型的構(gòu)建。

擴(kuò)散生成模型的訓(xùn)練相對(duì)簡單且穩(wěn)定，比起傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)更容易實(shí)現(xiàn)。這是因?yàn)閿U(kuò)散生成模型的訓(xùn)練過程不需要對(duì)抗式訓(xùn)練，減少了模型訓(xùn)練過程中的穩(wěn)定性問題。

同時(shí)，擴(kuò)散生成模型的表示能力非常強(qiáng)。其加噪去噪過程的設(shè)計(jì)適合完成圖像到圖像的轉(zhuǎn)換，包括圖像修復(fù)、圖像超分辨率、圖像風(fēng)格轉(zhuǎn)換等任務(wù)。此外，擴(kuò)散生成模型的設(shè)計(jì)也適合完成圖像編輯任務(wù)，如人臉表情編輯、風(fēng)格化的頭像生成等。另外，擴(kuò)散生成模型也適用于生成大模型。由于GAN的訓(xùn)練過程中存在梯度消失和梯度爆炸等問題，GAN在生成大模型方面面臨較大的困難。而擴(kuò)散生成模型的訓(xùn)練過程中不會(huì)出現(xiàn)這些問題，使其在生成大模型方面表現(xiàn)更加出色。

盡管擴(kuò)散生成模型在生成高質(zhì)量圖像方面取得了很好的效果，但也存在一些問題。首先，推理速度比較慢，需要較長的時(shí)間才能生成一張高質(zhì)量的圖像。這使其在實(shí)時(shí)性應(yīng)用上受到了限制。其次，擴(kuò)散生成模型的隱空間比較難以操縱，很難通過直接操作隱變量來控制圖像的某些特征。另外，擴(kuò)散生成模型生成的結(jié)果具有一定的隨機(jī)性，這使得每次生成的結(jié)果都會(huì)略有差異，雖然能提升結(jié)果的多樣性，但會(huì)影響某些應(yīng)用場景（如視頻合成）的效果。針對(duì)這些問題，目前有很多研究正在進(jìn)行中，希望能夠通過改進(jìn)模型結(jié)構(gòu)和算法來解決這些問題，進(jìn)一步提高擴(kuò)散生成模型的實(shí)用性和性能。

1.3 多模態(tài)生成技術(shù)

CLIP（contrastive language-image pre-training）[4]是2021年由OpenAI發(fā)布的將圖像和自然語言處理（NLP）領(lǐng)域相結(jié)合的聯(lián)合訓(xùn)練模型，可以理解文本和圖像之間的相似性。CLIP模型的主要思路是將圖像和文本對(duì)輸入模型中，以自監(jiān)督學(xué)習(xí)的方式訓(xùn)練，拉近同一個(gè)物體或概念在兩個(gè)編碼之間的距離。這個(gè)過程可以在大量的圖像和文本對(duì)數(shù)據(jù)上進(jìn)行訓(xùn)練，這樣就可以學(xué)習(xí)到一個(gè)具有廣泛應(yīng)用能力的模型。具體來說，CLIP 模型包括兩個(gè)部分：一個(gè)圖像編碼器和一個(gè)文本編碼器。對(duì)兩個(gè)編碼器獲得的兩個(gè)模態(tài)的向量進(jìn)行對(duì)齊，這兩個(gè)編碼器的向量空間是相同的，因此可以通過計(jì)算它們之間的相似度來衡量圖像和文本之間的相似度。CLIP已經(jīng)被廣泛應(yīng)用于多模態(tài)任務(wù)中，特別在生成領(lǐng)域，CLIP應(yīng)用于連接語言和圖像，例如文本到圖像生成[11,39]。在其他多模態(tài)場景下，CLIP也被用來進(jìn)行橋接，例如文本與語音的CLIP[40]。

2 數(shù)字內(nèi)容檢測

數(shù)字內(nèi)容偽造檢測是對(duì)深度合成技術(shù)生成的數(shù)字內(nèi)容進(jìn)行有效監(jiān)管和治理的重要一環(huán)。只有對(duì)生成的數(shù)字內(nèi)容進(jìn)行精確檢測，才能監(jiān)督并防范有意或無意發(fā)布的生成數(shù)字內(nèi)容，進(jìn)而通過明確標(biāo)識(shí)等方式限制其影響及傳播范圍。然而，精確檢測生成數(shù)字內(nèi)容并非易事。隨著深度合成技術(shù)的快速發(fā)展，生成數(shù)字內(nèi)容高度逼真，人眼難以辨別其真?zhèn)?。針?duì)重大事件、重要人物惡意偽造的數(shù)字內(nèi)容往往會(huì)在極短的時(shí)間內(nèi)迅速發(fā)酵，借助社交媒體獲得大量傳播，造成嚴(yán)重的消極影響，因此需要對(duì)偽造數(shù)字內(nèi)容進(jìn)行快速響應(yīng)。而隨著深度合成技術(shù)的廣泛應(yīng)用，互聯(lián)網(wǎng)上涌現(xiàn)大量的生成數(shù)字內(nèi)容，使得偽造檢測的計(jì)算資源需求增加，也進(jìn)一步對(duì)檢測算法的實(shí)時(shí)性和輕量性帶來了挑戰(zhàn)。因此，需要大力發(fā)展針對(duì)生成數(shù)字內(nèi)容的快速、準(zhǔn)確、高效的自動(dòng)檢測技術(shù)，用檢測技術(shù)來對(duì)抗合成技術(shù)，從源頭上控制生成數(shù)字內(nèi)容的傳播，從而更好地抵御深度合成技術(shù)帶來的風(fēng)險(xiǎn)，促進(jìn)深度合成服務(wù)的良性發(fā)展。然而偽造數(shù)字內(nèi)容檢測存在以下3個(gè)難點(diǎn)。

● 對(duì)抗性：數(shù)字內(nèi)容的生成和檢測技術(shù)存在類似于矛和盾的對(duì)抗關(guān)系。偽造者會(huì)針對(duì)檢測方法中使用的偽造痕跡對(duì)自身進(jìn)行迭代升級(jí)，使檢測算法失效，這促使檢測技術(shù)不斷尋找新的偽造痕跡和漏洞，以適應(yīng)不斷變化的偽造算法。偽造者還可能對(duì)檢測模型進(jìn)行對(duì)抗攻擊，通過對(duì)生成數(shù)字內(nèi)容進(jìn)行人眼不可見的微小修改或添加擾動(dòng)，使得檢測模型精度下降，甚至出現(xiàn)直接判錯(cuò)的情況[2]。為保證檢測算法的準(zhǔn)確性和魯棒性，檢測技術(shù)需要采用更加先進(jìn)的對(duì)抗性學(xué)習(xí)算法，對(duì)對(duì)抗攻擊進(jìn)行識(shí)別和抵御。

● 泛化性：由于數(shù)字內(nèi)容生成技術(shù)的不斷升級(jí)，檢測技術(shù)需要在不斷變化的偽造環(huán)境中持續(xù)適應(yīng)和進(jìn)化。這要求檢測技術(shù)不僅能夠識(shí)別已知的、已標(biāo)注的偽造內(nèi)容，更需要適應(yīng)新的、未見過的偽造內(nèi)容。檢測技術(shù)需要學(xué)習(xí)到生成數(shù)字內(nèi)容的本質(zhì)特征，并借助遷移學(xué)習(xí)等技術(shù)泛化至不同偽造算法、不同數(shù)據(jù)集、不同領(lǐng)域數(shù)據(jù)及不同事件主題等，實(shí)現(xiàn)在新的偽造環(huán)境下仍能保證檢測的精度和效果。

● 不確定性：與目標(biāo)檢測等經(jīng)典的分類任務(wù)不同，人類無法輕易地分辨數(shù)字內(nèi)容是否由機(jī)器自動(dòng)生成得到，特別是當(dāng)面對(duì)未知的偽造類型時(shí)。因此，檢測技術(shù)需要對(duì)預(yù)測結(jié)果的不確定性進(jìn)行顯式建模，同時(shí)結(jié)合取證技術(shù)對(duì)預(yù)測結(jié)果進(jìn)行解釋，以加強(qiáng)生成數(shù)字內(nèi)容檢測的可靠性，避免誤判、錯(cuò)判帶來的消極影響。

從偽造數(shù)字內(nèi)容模態(tài)的角度，數(shù)字內(nèi)容的檢測方法可以分為生成文本檢測方法、生成圖片檢測方法和生成音視頻檢測方法，如圖3所示。下面對(duì)這3類檢測方法進(jìn)行介紹。

圖3 數(shù)字內(nèi)容檢測技術(shù)

2.1 生成文本檢測方法

機(jī)器生成文本是由機(jī)器產(chǎn)生、修改或擴(kuò)展的自然語言文本[41]。機(jī)器生成文本檢測方法可以分為黑盒檢測和白盒檢測。黑盒檢測是在生成模型未知的情況下，利用統(tǒng)計(jì)及語言模式的差異對(duì)機(jī)器生成文本以及人類書寫的文本進(jìn)行區(qū)分。現(xiàn)有研究[42-45]發(fā)現(xiàn)，與人類書寫的文本相比，機(jī)器生成的文本更正式、容易重復(fù)和不連貫。因此，研究人員提出一系列統(tǒng)計(jì)特征來衡量文本的重復(fù)度[46]、連貫性[46]、可讀性[47]、分布曲線[48]等，以及依存關(guān)系分析、情感分析等詞法特征[42]?；谑止ぬ卣鞯姆椒ê唵斡行А⒖山忉屝詮?qiáng)，但對(duì)不同生成和采樣算法遷移性不強(qiáng)[46]，缺乏全面性和靈活性。相比之下，微調(diào)后的語言模型（如RoBERTa[49]）往往能夠取得更好的檢測效果，并且具有更強(qiáng)的泛化能力[50-51]。由于缺乏對(duì)內(nèi)容真實(shí)性的約束，語言模型往往會(huì)生成包含錯(cuò)誤信息的文本[52]，因此可以借助事實(shí)核查的方法[53-55]對(duì)文本的真實(shí)性進(jìn)行驗(yàn)證，從而輔助機(jī)器生成文本的檢測。然而，隨著大規(guī)模語言模型的逐步升級(jí)，機(jī)器生成文本和人類書寫文本在上述層面上的差距逐漸縮小，降低了黑盒檢測方法的可用性。白盒檢測是指在可以完全訪問語言模型的情況下控制模型的生成行為，以達(dá)到追蹤的目的。具體地，編碼方對(duì)生成的文本添加水印，解碼方根據(jù)文本中是否隱藏水印判斷該文本是否由給定模型生成。該方法可以從源頭上對(duì)機(jī)器生成文本進(jìn)行標(biāo)記，檢測準(zhǔn)確率更高，但需要?jiǎng)?chuàng)作者進(jìn)行主動(dòng)配合。現(xiàn)有研究大多采用在文本生成后添加水印，包括在句法樹[56]、語法樹[57]上使用基于規(guī)則的固定替換進(jìn)行水印添加，以及設(shè)計(jì)相應(yīng)的編碼解碼網(wǎng)絡(luò)進(jìn)行水印添加[58-59]。

2.2 生成圖片檢測方法

生成圖片指由深度學(xué)習(xí)技術(shù)自動(dòng)合成的圖片，也被稱為深度偽造圖片。這類圖片主要對(duì)人物面部進(jìn)行篡改，包括人臉替換、人臉生成、表情偽造或面部屬性操縱等[60]。與生成文本檢測類似，現(xiàn)有的生成圖片檢測方法也可以分為黑盒檢測和白盒檢測兩大類。其中，白盒檢測通過分析預(yù)先嵌入的水印或數(shù)字簽名實(shí)現(xiàn)對(duì)圖片原始性的判斷[61]。由于白盒檢測要求對(duì)生成模型已知，在實(shí)際應(yīng)用中受限，現(xiàn)有方法大多關(guān)注無須預(yù)先嵌入信息的黑盒檢測技術(shù)。現(xiàn)有的黑盒檢測方法主要分為基于圖像取證的檢測方法、基于生成網(wǎng)絡(luò)痕跡的檢測方法以及基于數(shù)據(jù)驅(qū)動(dòng)的檢測方法。其中，基于圖像取證的檢測方法利用特定篡改導(dǎo)致的異常痕跡作為線索，通過手工設(shè)計(jì)或神經(jīng)網(wǎng)絡(luò)擬合提取特征進(jìn)行檢測。例如：針對(duì)原圖與篡改區(qū)域之間像素排列邏輯不一致的現(xiàn)象，Kirchner等人提出利用重采樣特征進(jìn)行檢測[62-63]；針對(duì)篡改區(qū)域圖層邊緣和原圖背景不匹配的現(xiàn)象，Zhou等人提出異常邊緣特征進(jìn)行檢測[64-65]；針對(duì)自然拍攝和偽造生成區(qū)域光學(xué)噪聲不同的現(xiàn)象，Luká?等人提出利用光響應(yīng)非均勻性特征進(jìn)行檢測[66-68]；針對(duì)原始圖像與篡改區(qū)域JPEG壓縮次數(shù)和壓縮系數(shù)不同的現(xiàn)象，Lin等人通過分析重壓縮特征[69-70]和頻域信息[71]進(jìn)行檢測?；谏删W(wǎng)絡(luò)痕跡的檢測方法將生成對(duì)抗網(wǎng)絡(luò)生成的偽造圖片中隱藏的痕跡及紋理信息作為生成對(duì)抗網(wǎng)絡(luò)的指紋進(jìn)行輔助檢測[72-73]。這類方法具有很強(qiáng)的模型依賴性和指向性，因此除了用于對(duì)偽造圖片進(jìn)行檢測外，還可以對(duì)生成算法進(jìn)行溯源[74]，但這類方法對(duì)于新出現(xiàn)的生成模型的泛化能力不強(qiáng)。隨著偽造數(shù)據(jù)量規(guī)模的不斷增加，基于數(shù)據(jù)驅(qū)動(dòng)的檢測方法也得到了廣泛應(yīng)用。這類方法將深度偽造圖片檢測任務(wù)抽象為一個(gè)二分類問題，利用一些經(jīng)典的神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行分類，如Xception[75]、VGG[76]、ResNet[77]、GoogLeNet[78]、ViT[1]等，它們?cè)趥卧靾D片檢測任務(wù)上獲得了不錯(cuò)的性能。

2.3 生成音視頻檢測方法

深度偽造視頻通過對(duì)多幀偽造圖片進(jìn)行組合得到。與深度偽造圖片類似，深度偽造視頻主要對(duì)人臉面部區(qū)域進(jìn)行篡改，部分深度偽造視頻還會(huì)對(duì)人物動(dòng)作進(jìn)行偽造[79]。深度偽造音頻包含文本生成語音[80-81]和語音轉(zhuǎn)換[82-83]兩種方式，生成音頻可以較好地模擬目標(biāo)人物的音調(diào)音色，從而與視覺內(nèi)容組合成一個(gè)完整的偽造視頻?，F(xiàn)有的深度偽造視頻的檢測方法主要關(guān)注視覺層面的線索。常見的檢測思路是將視頻逐幀分解，再利用生成圖片檢測的相關(guān)技術(shù)分析單幀偽造痕跡。與圖片相比，視頻放大了偽造生成模型在細(xì)節(jié)上的瑕疵，主要體現(xiàn)在眨眼[84]、頭部運(yùn)動(dòng)[85]、唇語[86]、膚色變化[87]等生理特征上。此外，視頻特有的時(shí)序信息也為偽造檢測提供了有效的線索。大多數(shù)偽造視頻合成時(shí)容易忽視幀間的平滑，從而導(dǎo)致多幀偽造圖片在時(shí)序上的不一致[88]。這類基于視頻時(shí)序的方法在精度和泛化性上都優(yōu)于基于單幀的模型[88-90]。近年來，深度偽造音頻檢測的研究逐漸興起，相關(guān)競賽ASVspoof[91]推動(dòng)產(chǎn)出了很多具有實(shí)際應(yīng)用價(jià)值的解決方案。大多數(shù)方法采用手工提取的梅爾頻率倒譜系數(shù)（MFCC）、線性頻率倒譜系數(shù)（LFCC）、常數(shù)Q倒譜系數(shù)（CQCC）等聲學(xué)特征，并應(yīng)用高斯混合模型和輕卷積神經(jīng)網(wǎng)絡(luò)等分類器進(jìn)行檢測[92]。數(shù)據(jù)驅(qū)動(dòng)的檢測方法在深度偽造音頻檢測任務(wù)上同樣得到了有效應(yīng)用，比如Lyu等人利用預(yù)訓(xùn)練的XLS-R模型[93]進(jìn)行語音表示提取和端到端的檢測[94]。視聽聯(lián)合的多模態(tài)深度偽造檢測作為一個(gè)新方向，近年來受到越來越多的關(guān)注。這類工作可以利用音頻與視頻之間的不一致進(jìn)行檢測[95-97]，或者利用不同模態(tài)間的互補(bǔ)信息對(duì)單一模態(tài)的偽造檢測進(jìn)行優(yōu)化[98]。

3 數(shù)字內(nèi)容取證

深度偽造數(shù)字內(nèi)容的逼真程度日益提高，當(dāng)前主流的基于深度學(xué)習(xí)的偽造鑒別模型是高度非線性的復(fù)雜模型，判別結(jié)果難以解釋和可視化，導(dǎo)致鑒偽過程的可信性和正確性難以評(píng)估。數(shù)據(jù)內(nèi)容取證可輔助人類專家進(jìn)行深度偽造證據(jù)的采集、量化、分析、呈現(xiàn)，最終形成直觀可信的證據(jù)，保證證偽鑒定結(jié)果的科學(xué)性與可靠性。數(shù)據(jù)內(nèi)容取證技術(shù)的難點(diǎn)在于：①證據(jù)難提取。對(duì)于機(jī)器生成假新聞檢測領(lǐng)域，大部分工作基于偽造內(nèi)容的表層和表現(xiàn)特征，缺少對(duì)其內(nèi)容本身的核實(shí)和取證。對(duì)于偽造圖像檢測領(lǐng)域，通用視覺任務(wù)上的解釋方法往往不適用于偽造檢測任務(wù)，難以在肉眼可見的圖像空間可視化偽造痕跡特征。②取證結(jié)果和人類認(rèn)知難以對(duì)齊。現(xiàn)有的偽造圖像檢測模型識(shí)別的偽造痕跡特征往往不能解耦并映射到五官扭曲、邊緣不一致等人類能理解的概念上。

從取證證據(jù)來源的角度，數(shù)字內(nèi)容的取證方法可以分為基于事實(shí)信息的取證方法和基于偽造痕跡的取證方法，如圖4所示。前者主要將外部事實(shí)知識(shí)作為鑒偽結(jié)果的證據(jù)，后者從偽造信息本身出發(fā)，挖掘偽造內(nèi)容區(qū)分于真實(shí)內(nèi)容的痕跡特征。下面對(duì)這兩種取證方法進(jìn)行介紹。

圖4 數(shù)字內(nèi)容取證方法

3.1 基于事實(shí)信息的取證方法

基于事實(shí)信息的取證研究可以追溯到早期人工新聞?wù)J證階段，即事實(shí)核查（factchecking）。根據(jù)杜克大學(xué)Reporters’ Lab的統(tǒng)計(jì)，全球目前有341個(gè)活躍的事實(shí)核查項(xiàng)目，分布在102個(gè)國家[99]。然而人工事實(shí)核查需要高昂的時(shí)間和人力成本，為了查證真相，專業(yè)事實(shí)核查往往需要耗費(fèi)數(shù)小時(shí)甚至數(shù)天時(shí)間[100]，因此基于事實(shí)信息的自動(dòng)虛假內(nèi)容檢測得到了研究者的廣泛關(guān)注。與基于模式和社交上下文的虛假內(nèi)容檢測方法相比，基于事實(shí)信息的檢測方法通過對(duì)檢測內(nèi)容本身的核實(shí)以及對(duì)外部事實(shí)信息的取證，能夠在提升檢測性能的同時(shí)，提供更好的可解釋性、可展示性?；谑聦?shí)信息的虛假內(nèi)容取證與人類進(jìn)行事實(shí)核查的思路相近，給定待檢測內(nèi)容，通過檢索等手段從事實(shí)信息源獲取參考信息，根據(jù)參考信息對(duì)給定內(nèi)容的支持、反對(duì)立場，判斷給定內(nèi)容的真實(shí)性?；谑聦?shí)信息的取證方法按照事實(shí)信息源不同，可分為基于知識(shí)圖譜或知識(shí)庫、基于在線百科、基于自由文本的方法。

● 基于知識(shí)圖譜或知識(shí)庫的方法。這類方法主要是利用構(gòu)建好的知識(shí)圖譜或知識(shí)庫提供的知識(shí)，對(duì)給定內(nèi)容進(jìn)行事實(shí)核查?；谥R(shí)圖譜或知識(shí)庫的方法適用于檢測有明確知識(shí)性且涉及內(nèi)容動(dòng)態(tài)性較弱的內(nèi)容，例如：健康、科學(xué)類內(nèi)容。Kou等[101]構(gòu)建了關(guān)于COVID-19的知識(shí)圖譜，并基于該圖譜檢測與COVID-19相關(guān)的不實(shí)信息。Hu等[102]通過知識(shí)檢索，構(gòu)建了“主題-新聞句子-相關(guān)實(shí)體”異構(gòu)圖用于檢測。除了依靠知識(shí)圖譜實(shí)現(xiàn)實(shí)體的概念化，還有一些工作直接考察圖文實(shí)體的不一致性：Qi等[103]引入百度API識(shí)別配圖中的人物、標(biāo)識(shí)等，并與文本實(shí)體進(jìn)行比較，其后續(xù)工作進(jìn)一步區(qū)分了圖像的角色以避免圖文實(shí)體關(guān)系建模對(duì)裝飾性配圖的情況造成負(fù)面影響[104]。

● 基于在線百科的方法。這類方法主要是利用維基百科等在線百科提供的知識(shí)，對(duì)給定內(nèi)容進(jìn)行事實(shí)核查。2018年FEVER數(shù)據(jù)集[105]的發(fā)布促進(jìn)了該領(lǐng)域的發(fā)展。Nie等[106]首次將神經(jīng)語義匹配用于事實(shí)核查中，Zhou等[107]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的證據(jù)交互方法用于推理驗(yàn)證環(huán)節(jié)，Jiang等[108]嘗試了使用大規(guī)模預(yù)訓(xùn)練模型直接進(jìn)行事實(shí)核查。

● 基于自由文本的方法?；谧杂晌谋镜姆椒ㄊ褂玫氖聦?shí)信息源一般為搜索引擎搜索返回的網(wǎng)頁結(jié)果。Popat等[109]使用新聞內(nèi)容作為檢索詞，在互聯(lián)網(wǎng)搜索引擎中搜索相關(guān)網(wǎng)頁，并將最匹配前k個(gè)片段作為候選事實(shí)證據(jù)集，之后基于雙向長短時(shí)記憶網(wǎng)絡(luò)（Bi-LSTM）和注意力機(jī)制對(duì)新聞和候選證據(jù)進(jìn)行交互，實(shí)現(xiàn)基于證據(jù)的新聞?wù)鎸?shí)性預(yù)測。此后的諸多類似工作主要圍繞如何更好地實(shí)現(xiàn)“新聞-事實(shí)證據(jù)”交互[110-112]、增強(qiáng)模型的推理能力[113-114]、充分利用元信息[115]展開。

3.2 基于偽造痕跡的取證方法

根據(jù)取證痕跡的層次，基于偽造痕跡的取證方法可以分為基于傳統(tǒng)圖像篡改的取證方法、基于生理信號(hào)的取證方法和基于模型指紋的取證方法。前兩種挖掘偽造痕跡在圖像層和生理層的模式特征，后者則從生成模型的固有痕跡出發(fā)進(jìn)行取證。

基于傳統(tǒng)圖像篡改的取證方法大多基于篡改圖像底層特征的分析，包括基于相機(jī)固有痕跡[63,116-120]、重壓縮效應(yīng)[69,121-122] 和后處理痕跡[123-127]的方法等?；谙鄼C(jī)固有痕跡的方法基于篡改區(qū)域與未篡改區(qū)域來自不同的相機(jī)的假設(shè)，通過分析區(qū)域之間的相機(jī)統(tǒng)計(jì)特性的差異來定位篡改區(qū)域，采用的相機(jī)特征包括鏡頭色差[116-117]、光場響應(yīng)不均勻性[118-119]和顏色濾波陣列[63,120]等?；谥貕嚎s痕跡的方法通過比較不同區(qū)域的壓縮痕跡的差異來檢測局部的篡改區(qū)域，包括基于塊狀效應(yīng)[121]和基于DCT系數(shù)[69,122]的方法等?；诤筇幚砗圹E的方法分析篡改區(qū)域?yàn)榱速N合背景圖像，進(jìn)行的重采樣[123-124]、濾波[125-126]和色彩變換[127]等操作產(chǎn)生的后處理痕跡。

基于生理信號(hào)特征的取證方法以深度偽造視頻的生理特性的異常為中心，是構(gòu)建鑒偽證據(jù)的一類重要方法。Matern等[128]發(fā)現(xiàn)經(jīng)過偽造的視頻在眼睛、牙齒、面部輪廓等視覺特征上存在的瑕疵。Yang等[129]根據(jù)偽造圖片將合成的面部區(qū)域拼接到原始圖像中來創(chuàng)建的事實(shí)，認(rèn)為這樣會(huì)引入3D頭部姿勢上的瑕疵。Agarwal等[85]認(rèn)為每個(gè)人在說話時(shí)都有其固定的面部以及頭部運(yùn)動(dòng)習(xí)慣，因此可以抽取這些運(yùn)動(dòng)習(xí)慣作為參考。Haliassos等[86]發(fā)現(xiàn)了偽造視頻在嘴唇的連貫性上存在的瑕疵，并通過設(shè)計(jì)唇語識(shí)別預(yù)訓(xùn)練任務(wù)提高偽造檢測的魯棒性。

基于模型指紋的取證方法研究生成模型固有痕跡特征。Yu等[72]和Marra等[130]首次發(fā)現(xiàn)并驗(yàn)證了模型指紋的存在性，即生成模型和相機(jī)設(shè)備一樣會(huì)在其生成圖像上里留下獨(dú)有的模型指紋，此發(fā)現(xiàn)推動(dòng)了模型溯源工作的研究，為偽造圖像的來源判定提供了可能。大多模型溯源工作[72,130-131]在固定有限的多個(gè)生成模型上取得了理想的溯源效果。Yang等[74]提出的DNA-Det將模型溯源的場景擴(kuò)展到結(jié)構(gòu)溯源，希望在改變模型的隨機(jī)種子、損失函數(shù)和訓(xùn)練數(shù)據(jù)的情況下，還能將深偽模型生成圖像溯源到對(duì)應(yīng)的結(jié)構(gòu)上。為了應(yīng)對(duì)真實(shí)環(huán)境中存在的大量未知模型，Liu等[132]提出了開集模型溯源任務(wù)，并提出了基于漸進(jìn)式開放空間擴(kuò)展的模型開集溯源方法，通過漸進(jìn)式增加增強(qiáng)模型的方法來模擬未知模型的潛在開放空間，在溯源已知模型的同時(shí)區(qū)分已知和未知模型。

4 應(yīng)用

4.1 元宇宙

元宇宙是人類運(yùn)用數(shù)字技術(shù)構(gòu)建的，由現(xiàn)實(shí)世界映射或超越現(xiàn)實(shí)世界，可與現(xiàn)實(shí)世界交互的虛擬世界，具備新型社會(huì)體系的數(shù)字生活空間。元宇宙對(duì)內(nèi)容的體量、內(nèi)容之間的交互以及持續(xù)的內(nèi)容再生有著根本性的需求?；ヂ?lián)網(wǎng)的高速發(fā)展已經(jīng)將內(nèi)容的生產(chǎn)模式從專業(yè)生成內(nèi)容（professional generated content，PGC）階段帶入（user generated content，UGC）階段。近幾年，人工智能技術(shù)的發(fā)展進(jìn)一步改變了數(shù)字內(nèi)容生產(chǎn)模式，進(jìn)入人工智能生成內(nèi)容（AI generated content，AIGC）階段，助力內(nèi)容產(chǎn)能和主流社交形態(tài)均實(shí)現(xiàn)了跨越式的提升。廣大AIGC創(chuàng)作的內(nèi)容形成了不斷膨脹的內(nèi)容庫，能夠?yàn)樵钪嬖丛床粩嗟匮a(bǔ)充內(nèi)容，拓寬元宇宙內(nèi)容的邊界。

4.2 偽造內(nèi)容自動(dòng)檢測平臺(tái)

隨著數(shù)字內(nèi)容生成技術(shù)的發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)越來越多的生成內(nèi)容，其中包含惡意偽造的數(shù)字內(nèi)容，因此需要偽造內(nèi)容自動(dòng)檢測平臺(tái)實(shí)時(shí)監(jiān)控并預(yù)警。國內(nèi)最具代表性的此類平臺(tái)是“睿鑒識(shí)謠”虛假新聞自動(dòng)檢測平臺(tái)，在國家重大事件的虛假信息治理中發(fā)揮重要作用。該平臺(tái)運(yùn)行9年，積累了百萬級(jí)的爭議性新聞線索，十萬級(jí)的精標(biāo)謠言數(shù)據(jù)集，針對(duì)真實(shí)應(yīng)用場景中面臨的信息不完整性、任務(wù)不確定性、環(huán)境強(qiáng)對(duì)抗性問題展開科技攻關(guān)，圍繞內(nèi)容可信、傳播可信、用戶可信多個(gè)維度提出了一系列的信息可信度度量方法。該平臺(tái)現(xiàn)在不僅監(jiān)控傳統(tǒng)虛假新聞，同時(shí)監(jiān)控偽造數(shù)字內(nèi)容。

4.3 圖像視頻偽造檢測與溯源專用設(shè)備

數(shù)字內(nèi)容偽造檢測技術(shù)在落地應(yīng)用大規(guī)模部署中面臨兩大“絆腳石”，一是處理的數(shù)據(jù)大多為高度敏感內(nèi)容，如何保證環(huán)境安全可控；二是面對(duì)大并發(fā)的現(xiàn)網(wǎng)流量，深偽檢測的復(fù)雜模型如何高效部署。因此，亟須大力發(fā)展針對(duì)生成數(shù)字內(nèi)容的快速、準(zhǔn)確、高效的專用檢測設(shè)備。中國科學(xué)院計(jì)算技術(shù)研究所研發(fā)基于國產(chǎn)可控設(shè)備的軟硬跨層優(yōu)化加速技術(shù)，研制出國內(nèi)首款深偽檢測國產(chǎn)專用設(shè)備，既滿足敏感任務(wù)的處理需求，安全可控，又大大提升檢測性能，每張圖片平均檢測耗時(shí)10 ms，每秒視頻平均檢測耗時(shí)25 ms以內(nèi)，處理圖像視頻數(shù)據(jù)流量2 GB/s，高效支持針對(duì)現(xiàn)網(wǎng)流量的高通量高并發(fā)需求，推動(dòng)了國產(chǎn)加速卡落地應(yīng)用。目前該設(shè)備已經(jīng)在公安部和工信部的重大任務(wù)中實(shí)測應(yīng)用，有效維護(hù)了國家網(wǎng)絡(luò)信息安全與穩(wěn)定。

5 未來展望

（1）生成技術(shù)下游個(gè)性化應(yīng)用

各種生成模型已經(jīng)達(dá)到了高質(zhì)量的生成效果，但更多的下游任務(wù)的應(yīng)用依然充滿了挑戰(zhàn)，例如：醫(yī)療保健[133]、金融服務(wù)[134]、自動(dòng)駕駛[135]、機(jī)器人控制[136]等。這些應(yīng)用場景要求模型提供的內(nèi)容具有高可控性、可靠性、準(zhǔn)確性、較低的容錯(cuò)性和可解釋性特點(diǎn)，同時(shí)要求模型具有足夠的領(lǐng)域知識(shí)，甚至要求模型具有常識(shí)的概念。現(xiàn)有高質(zhì)量生成模型需要針對(duì)不同的應(yīng)用場景收集訓(xùn)練數(shù)據(jù)和訓(xùn)練策略，甚至是多個(gè)對(duì)話模型、圖像生成模型等協(xié)同優(yōu)化與工作。

（2）視頻合成

隨著視覺生成模型能力的提升，視頻生成能力從之前專精于部分場景，如人臉替換[137]、臉型驅(qū)動(dòng)[138-139]、動(dòng)作遷移[140]等，開始轉(zhuǎn)向更通用的視頻生成和編輯[141-142]，例如，文本到視頻生成、視頻補(bǔ)幀、視頻延伸等。但是現(xiàn)有的通用視頻生成方法還處于初期階段，在生成質(zhì)量、時(shí)序一致性、可控性等方面依然有較大的進(jìn)步空間。

（3）針對(duì)特定領(lǐng)域的檢測

深度合成技術(shù)的惡意使用在不同領(lǐng)域存在較大差異，很難提出一個(gè)通用的方法來檢測各類深度合成數(shù)據(jù)。比如金融行業(yè)的人臉身份偽造、證件偽造，媒體行業(yè)的新聞配圖偽造，國家安全層面的重要人物發(fā)言視頻偽造等。為了增強(qiáng)偽造檢測技術(shù)在不同行業(yè)真實(shí)場景下的實(shí)用性，需要結(jié)合領(lǐng)域內(nèi)偽造內(nèi)容的特點(diǎn)，推測偽造者的意圖以及可能帶來的風(fēng)險(xiǎn)，將關(guān)注點(diǎn)聚焦在最重要且最易被惡意偽造的內(nèi)容上，發(fā)展領(lǐng)域?qū)Ｓ玫膫卧鞕z測技術(shù)，提升特定情境下檢測算法的準(zhǔn)確性和穩(wěn)定性。

（4）復(fù)雜環(huán)境下的檢測

為聚焦核心問題，現(xiàn)有工作大多在樣本數(shù)量均衡、高質(zhì)量的學(xué)術(shù)數(shù)據(jù)集上研究檢測算法。但在實(shí)際應(yīng)用環(huán)境中，偽造檢測面臨的問題則更加復(fù)雜，包括真假樣本數(shù)目不均衡、互聯(lián)網(wǎng)數(shù)據(jù)噪聲高質(zhì)量低、檢測時(shí)效性要求高等。在學(xué)術(shù)數(shù)據(jù)集上訓(xùn)練的模型，在真實(shí)應(yīng)用數(shù)據(jù)上往往不能取得理想的檢測效果。因此，一方面需要研究高泛化性、高魯棒性、高實(shí)時(shí)性的檢測模型；另一方面要結(jié)合多種技術(shù)手段和檢測維度，構(gòu)建立體化分層級(jí)的檢測體系，從而提高模型在復(fù)雜的真實(shí)場景下對(duì)多樣化待測數(shù)據(jù)的檢測能力。

（5）認(rèn)知對(duì)齊的取證方法

多篇國內(nèi)外學(xué)者的綜述文章指出，目前虛假檢測的可解釋方向有很大不足[143-145]，例如：解釋不具備實(shí)際影響，模型不能有效糾正人對(duì)虛假內(nèi)容的錯(cuò)誤認(rèn)知，需要與認(rèn)知學(xué)心理學(xué)結(jié)合。認(rèn)知對(duì)齊的可解釋方法要求從人的決策模型出發(fā)設(shè)計(jì)模型解釋，并通過用戶實(shí)驗(yàn)評(píng)估解釋對(duì)協(xié)同決策的有效性，是未來可解釋研究發(fā)展的趨勢。

（6）基于生成機(jī)理的取證方法

通用的可解釋方法難以對(duì)偽造痕跡特征進(jìn)行可視化并對(duì)齊到人類可理解的概念上，解決這個(gè)問題依賴于對(duì)偽造痕跡生成機(jī)理的研究，如何對(duì)生成模型指紋痕跡的形成原因進(jìn)行還原和解釋，是未來基于偽造痕跡的取證方法的研究趨勢。

6 結(jié)束語

數(shù)字內(nèi)容生成技術(shù)已經(jīng)具備了大規(guī)模生成數(shù)字內(nèi)容的能力，促進(jìn)了大量數(shù)字內(nèi)容相關(guān)產(chǎn)業(yè)的發(fā)展。然而數(shù)字內(nèi)容生成技術(shù)高速發(fā)展的同時(shí)，也引入了更多的風(fēng)險(xiǎn)，不法分子利用前沿的數(shù)字內(nèi)容生成技術(shù)進(jìn)行惡意偽造，對(duì)互聯(lián)網(wǎng)生態(tài)造成了極大的威脅。因此，發(fā)展數(shù)字內(nèi)容檢測和數(shù)字內(nèi)容取證技術(shù)對(duì)于維護(hù)互聯(lián)網(wǎng)生態(tài)極為重要。本文概述了現(xiàn)在數(shù)字內(nèi)容生成、數(shù)字內(nèi)容檢測、數(shù)字內(nèi)容取證技術(shù)，并介紹了這些技術(shù)的應(yīng)用場景，最后對(duì)該研究領(lǐng)域的未來工作進(jìn)行了展望?？梢灶A(yù)見，在不久的將來，數(shù)字內(nèi)容生成技術(shù)會(huì)有更廣泛的應(yīng)用，同時(shí)也需要大力發(fā)展檢測和取證技術(shù)，在安全的前提下使用生成技術(shù)，人們生產(chǎn)內(nèi)容的方式將發(fā)生巨大的變化，效率得以顯著提升。