摘 要：基于海量數(shù)據(jù)與強大算法的多模態(tài)模型依賴復(fù)雜的結(jié)構(gòu)框架，在嵌入知識生成的過程中展現(xiàn)出跨域數(shù)據(jù)處理能力和持續(xù)輸出創(chuàng)新數(shù)據(jù)等核心特征。高度智能化的知識數(shù)據(jù)整理、自適應(yīng)多場景的知識表達與動態(tài)協(xié)同聚合的知識共享等，推進知識生成邏輯從既有信息理解向全新知識產(chǎn)出的轉(zhuǎn)變。然而，多模態(tài)模型逐漸暴露出缺乏合法可靠的知識數(shù)據(jù)源、透明可釋的生成過程以及高質(zhì)量內(nèi)容輸出等諸多問題。亟待通過搭建價值對齊的生成模型、提升可控生成的技術(shù)水平、完善人類反饋提示策略、構(gòu)筑基于規(guī)則的管控體系等約束其更好地支撐知識生成，加速創(chuàng)新驅(qū)動新質(zhì)生產(chǎn)力發(fā)展的進程。

關(guān)鍵詞：多模態(tài)模型；知識生成；邏輯機理；路徑選擇；新質(zhì)生產(chǎn)力

中圖分類號：G302 文獻標(biāo)識碼：Ａ DOI：10.11968/tsyqb.1003-6938.2024047

The Logic Mechanism and Path Selection of Knowledge Generation Supported by Multimodal Model

Abstract Multimodal models， which are based on vast data and powerful algorithms， rely on complex structural frameworks. They demonstrate core features such as cross-domain data processing capabilities and the continuous generation of innovative data when they are applied in the knowledge embedding process. The advanced intelligence in knowledge data organization， adaptive multi-scenario knowledge expression， and dynamically coordinated knowledge sharing collectively advance the logic of knowledge generation from understanding existing information to producing entirely new knowledge. However， these models are increasingly revealing issues such as the lack of legitimate and reliable knowledge data sources， opaque and unexplainable generation processes， and inadequate high-quality content output. These issues urgently need to be addressed by developing value-aligned generative models， enhancing controllable generation technologies， refining human feedback mechanisms， and establishing rule-based regulatory systems， to better support knowledge generation and accelerate the development of innovation-driven new forms of productivity.

Key words multimodal model; knowledge generation; logical mechanism; path selection; new quality productive forces

全球正在掀起第四次科技革命和產(chǎn)業(yè)變革的澎湃浪潮，“以大模型生成技術(shù)為核心，人工智能正在成為下一輪數(shù)字化發(fā)展的關(guān)鍵動力”［1］。多模態(tài)架構(gòu)的高度智能化生成系統(tǒng)規(guī)?；掷m(xù)生產(chǎn)高質(zhì)量的知識內(nèi)容，通過聚合底層硬件、開發(fā)程序和眾多應(yīng)用等構(gòu)筑知識涌現(xiàn)的活躍環(huán)境，推進數(shù)據(jù)驅(qū)動的多元知識跨界協(xié)同，持續(xù)促進數(shù)實融合與科技創(chuàng)新，逐漸成為增強核心競爭力的重要支撐。然而，眾多新興技術(shù)和智慧工具迅速融入當(dāng)代知識生成的全生命周期，日益暴露出缺乏合法可靠的知識數(shù)據(jù)源、透明可釋的生產(chǎn)過程、高質(zhì)量的內(nèi)容輸出以及穩(wěn)定價值觀的高效引領(lǐng)，亟待推進生成模型的價值對齊與技術(shù)更新、完善人類反饋提示策略、搭建基于規(guī)則的管控體系等，促進以知識經(jīng)濟為特征的全新生產(chǎn)力蓬勃發(fā)展。

1 知識生成的過程解構(gòu)與障礙剖析

人類社會從自然蒙昧邁向現(xiàn)代文明的螺旋式演化進程中，支撐生產(chǎn)力發(fā)展、社會財富積累和個體世界觀塑造的關(guān)鍵動能是“由無知到智慧”的持續(xù)知識進步［2］。結(jié)繩記事、活字印刷、光子芯片等信息傳播工具的躍遷充分釋放被封閉禁錮的知識內(nèi)容，進而重新定義科學(xué)探索、經(jīng)濟形態(tài)和社會結(jié)構(gòu)等。但是，知識生成過程亦長期受制于緩慢推進的生成秩序、難以轉(zhuǎn)化的隱性知識與地理界域范圍和知識主體交互狀態(tài)等多重因素。

1.1 知識生成的過程解構(gòu)

知識論源自柏拉圖對于“知識”的經(jīng)典定義，即知識是確證的真信念，“附加解釋的真實信念就是知識，未附解釋的信念不屬于知識的范圍”［3］。“確證”“真實”和“信念”等知識三要素在漫長的歷史長河中遭遇“蓋提爾悖論”［4］等嚴(yán)峻考驗，進而持續(xù)涌現(xiàn)改變確證條件、真實條件或信念條件的修補思路，如增設(shè)“真理追蹤”［5］等必備要素。雖然迄今尚未形成統(tǒng)一而明確的界定，維特根斯坦等學(xué)者甚至認(rèn)為無法正確予以定義，但學(xué)界普遍認(rèn)可知識是具有多層次意義的多元概念［6］?，F(xiàn)代社會中知識是能夠嵌入存儲庫、實踐、流程、工具和規(guī)范之中的經(jīng)驗、框架、價值、情景等信息的組合［7］，主要用于指代認(rèn)知或識別某個主題中意識到的事物狀態(tài)，包括直接感知或感覺到事件、意識到事物的能力或意識到某些直接能夠?qū)蚨喾N行為的信息［8］。“生成”則是指通過某種方式產(chǎn)生、創(chuàng)造或形成某種事物的過程，“以任何方式形成以前未見過的合成內(nèi)容并支持任何任務(wù)”［9］。

基于知識是有目的創(chuàng)造行為的產(chǎn)物［10］，“知識生成”（Knowledge Generation）一般用于表述不同環(huán)境下自個人和社群交互中傳遞的原始數(shù)據(jù)里提取信息以產(chǎn)生洞察力的過程，充分反映了人類社會對于已經(jīng)創(chuàng)造和正在創(chuàng)造的知識內(nèi)容的關(guān)注［11］。其中，個人知識的形成基于配置重組背景信息并針對性收集核心信息。社群知識的創(chuàng)建則被視為具有集體意義的整合過程，是對于特定情境中碎片化知識內(nèi)容的協(xié)同優(yōu)化，需要完全理解并有效轉(zhuǎn)化所有互動個體的個人知識［12］。各類知識通過這一過程在單個社群內(nèi)部和不同社群之間廣泛傳播，加強整個社會對于主客觀世界的共性理解。

1.2 知識生成的障礙剖析

日新月異的社會發(fā)展與持續(xù)涌現(xiàn)的復(fù)雜問題不斷加大高質(zhì)量知識生成的難度。如從數(shù)據(jù)加工處理到信息提煉規(guī)律、再到自知識中探尋原因以形成智慧的DIKW金字塔模型運作中，緩慢推進的生成秩序、多重束縛的復(fù)雜生態(tài)、難以轉(zhuǎn)化的隱性知識等嚴(yán)重阻礙全域構(gòu)筑共建共享的知識生成理想格局。

1.2.1 緩慢推進的生成秩序

知識生產(chǎn)遵循相對穩(wěn)定且緩慢推進的生成秩序，“一個創(chuàng)新力極強的學(xué)者要挑戰(zhàn)之前的主導(dǎo)傳統(tǒng)觀念需要準(zhǔn)備大量的經(jīng)驗事實，并提出更具說服力的結(jié)論”［13］。持續(xù)的知識生成一直是立足已有信息組合的突破性創(chuàng)新，往往需要花費大量時間和精力深度分析關(guān)聯(lián)社群的多樣性、使用技術(shù)的復(fù)雜性與數(shù)據(jù)資源的零碎性。研究顯示，知識工作者將41%的時間花費在知識數(shù)據(jù)源的獲取與整理上［14］，嚴(yán)重阻礙高質(zhì)量的知識產(chǎn)出。同時，人類族群在知識代際更新中為了能夠高效處理信息資源，往往基于簡單假設(shè)選擇識別和集中整理數(shù)據(jù)資料，容易輸出帶有偏見性或缺少實用性的知識內(nèi)容。加之大多數(shù)知識是少數(shù)已知事物的精細(xì)演化，“新知識供給不足，導(dǎo)致存量知識水準(zhǔn)停滯不前并由此帶來耗盡知識儲備的困境”［15］。

1.2.2 多重束縛的復(fù)雜生態(tài)

知識生成的全生命周期持續(xù)受到多重因素的深度束縛，至少包括外部經(jīng)濟環(huán)境和地理界域范圍、知識主體的學(xué)識積累和能力儲備以及個人和社群的交互關(guān)系等影響因素。知識數(shù)據(jù)源采集、知識主體經(jīng)驗形成與外化表達以及社群知識傳播等既需要海量資金投入和高新技術(shù)支撐，又需要眾多具有合作精神、自我管理能力與較高知識水平的參與主體。各種類型的社群組織和不同地理區(qū)域的內(nèi)外部知識歸納總結(jié)與轉(zhuǎn)化應(yīng)用還會受到有限的通訊條件、殊別的文化傳統(tǒng)與激烈的利益競爭等的巨大束縛，亦會因為知識主體自身的認(rèn)知局限或刻意的知識囤積而陷于難以規(guī)?；芍R內(nèi)容的41506e2ed832c529f3f3098349a2c327艱難困境。

1.2.3 難以轉(zhuǎn)化的隱性知識

“人類的知識有兩種。通常被描述為知識的，即以書面文字、圖表和數(shù)學(xué)公式加以表述的，只是一種類型知識。而未被表述的知識，像我們在做某事的行動中所擁有的知識，是另一種知識”［16］。前者是能夠以語言、公式、圖表等符碼完整表述的科學(xué)法則、特定規(guī)則和其他信息等顯性知識，往往采用紙質(zhì)文獻或電子數(shù)據(jù)形式進行規(guī)范化、系統(tǒng)化、格式化存儲分享；后者是依據(jù)不同情境而不斷調(diào)整的訣竅、技巧和直覺等隱性知識，往往無法用文字或公式進行說明且難以編撰傳遞和衡量價值。雖然源于實踐積累與總結(jié)反思的隱性知識是技術(shù)創(chuàng)新、團隊協(xié)作與市場競爭的重要助力，眾多專家參與的大規(guī)模梳理行動卻難以全面獲取、沉淀和固化隱性知識。尤其在技術(shù)知識生成領(lǐng)域，隨著熟練技工的高齡化和勞動人口減少，學(xué)徒制的隱性知識群化傳承愈加困難，逐漸成為社群領(lǐng)導(dǎo)者和政策制定者感到沮喪的根源［17］。

2 多模態(tài)模型嵌入知識生成的特征表達與場景應(yīng)用

生成式對抗網(wǎng)絡(luò)迅速成熟的時代背景下，高技術(shù)供給量的多模態(tài)模型不僅能夠通過圖像識別、語音識別、自然語言處理等模擬人類的視覺、聽覺和決策能力，還能夠基于不同來源使用者遞歸反饋的提示策略，跨學(xué)科重塑知識生成的動態(tài)結(jié)構(gòu)，支撐不同利益相關(guān)者有益的知識輸出［18］。

2.1 多模態(tài)模型的運作方式

前沿數(shù)字技術(shù)落地各行各業(yè)的關(guān)鍵時期，超線性發(fā)展的智能應(yīng)用從模擬人腦運作和專注特定任務(wù)的機器翻譯迭代到基于多層注意力機制靈活處理復(fù)雜任務(wù)的多模態(tài)模型。相比單一模態(tài)的大規(guī)模語言模型，跨模態(tài)融合的智能化綜合模型能夠同時處理并生成包括文本、圖像、音視頻和策略在內(nèi)的多種形式的內(nèi)容。這類模型在具象生成全新內(nèi)容的過程中，不僅能夠積極拓展輸入數(shù)據(jù)的形式，提升信息密度和人機交互效率，增強模型推理過程的魯棒性，還可能通過工程化的作業(yè)模式顯著降低自主生成內(nèi)容的時間成本和錯誤率。因此，跨模態(tài)智能模型有望廣泛應(yīng)用于智能交互、文檔自動化生成、知識管理等培育未來產(chǎn)業(yè)的關(guān)鍵領(lǐng)域，充分挖掘和利用多源異構(gòu)數(shù)據(jù)的價值。通過人工智能技術(shù)創(chuàng)新和數(shù)據(jù)驅(qū)動的生產(chǎn)要素協(xié)同優(yōu)化，促進生產(chǎn)力條件的變革［19］，助力新質(zhì)生產(chǎn)力的形成和新動能的持續(xù)發(fā)展。如Stable Diffusion①、DeepBrain②、GliaStudio③等遵循大模型生產(chǎn)邏輯自主生成視覺上與真實世界相似的產(chǎn)品圖像或逼真的視頻內(nèi)容，積極再造產(chǎn)業(yè)數(shù)智化的復(fù)雜流程，全面改善傳統(tǒng)數(shù)字內(nèi)容線性生產(chǎn)的諸多弊端。又如DeepMusic④、LLaMA⑤、文心一言⑥等有效優(yōu)化知識感知、認(rèn)知和決策機制，改善人類社會所有判斷相關(guān)的工作流程，提升使用數(shù)字內(nèi)容的各個行業(yè)的創(chuàng)新績效。

2.2 多模態(tài)模型嵌入知識生成的特征表達

2.2.1 展現(xiàn)跨域知識產(chǎn)出能力

基于多模態(tài)模型的知識生成范式是顛覆傳統(tǒng)的知識內(nèi)容生產(chǎn)機制，不僅具備跨域分析能力與強大推理能力，還憑借遠勝于傳統(tǒng)智能工具的溝通能力與模擬能力等輔助提升知識主體的創(chuàng)造力［20］，不僅改變了傳統(tǒng)小模型下各類知識生成需要高級定制的業(yè)務(wù)模式，還大力推進跨模態(tài)的智能檢索、文圖互生的智能描述以及基于自然語言指導(dǎo)的智能體視覺導(dǎo)航等綜合性知識生產(chǎn)任務(wù)，逐漸成為改善文案寫作、圖像生成、代碼編寫等各類知識產(chǎn)出場域中自動決策與整體效率的創(chuàng)新工具［21］。智能生成系統(tǒng)借助場景助手、問答機器、智慧助理等直觀系統(tǒng)接口，提供智能決策支持，推動復(fù)雜任務(wù)中情境知識的應(yīng)用，促進整個社會公平獲取和有序共享知識資源。如浙江大學(xué)等13所高校應(yīng)用的“智海-三樂”教育垂直大模型集成了搜索引擎、計算模型和本地知識庫等功能，可以提供富有創(chuàng)造力的學(xué)習(xí)輔導(dǎo)、教學(xué)評估和試題生成等［22］。

2.2.2 實現(xiàn)海量知識持續(xù)輸出

多模態(tài)模型改變了傳統(tǒng)人工智能技術(shù)應(yīng)用主要側(cè)重于分析和辨識現(xiàn)有數(shù)據(jù)的局限性，通過預(yù)訓(xùn)練大規(guī)模的輸入數(shù)據(jù)并不斷調(diào)整和優(yōu)化模型參數(shù)，基于多步推理的思維鏈增強模型的運算效率與規(guī)范化程度。它能夠持續(xù)輸出具備一定心智性能的高質(zhì)量文本、圖像、音視頻內(nèi)容，擴展大規(guī)模神經(jīng)網(wǎng)絡(luò)模型的價值空間，大幅降低知識生產(chǎn)的技術(shù)門檻。如訊飛教育數(shù)字基座上搭載的星火大模型V2.0具備較強的通用代碼能力與多模態(tài)能力，不僅能夠持續(xù)記錄和個性化評估學(xué)生的知識掌握狀況與新知識學(xué)習(xí)情況，還能夠通過“一鍵對話式生成”在精準(zhǔn)辨識學(xué)校個性化需求的基礎(chǔ)上，快捷生成具有針對性、合理性和安全性的“數(shù)聯(lián)、物聯(lián)、智聯(lián)”為一體的教育管理應(yīng)用系統(tǒng)［23］。又如ChatGPT①、MidJourney②、Eleven Labs③等綜合應(yīng)用多種新興技術(shù)訓(xùn)練未標(biāo)注的大規(guī)模文本語料庫和高分辨率圖像數(shù)據(jù)庫，實現(xiàn)了多模態(tài)融合以及對于人類指令的響應(yīng)，涌現(xiàn)完成高質(zhì)量的知識輸出。

2.2.3 拓展隱性知識共享途徑

多模態(tài)模型支撐的知識生成生態(tài)系統(tǒng)能夠更好地編碼、創(chuàng)新和共享隱性知識，通過類比分析和假設(shè)推理等提取隱性知識并轉(zhuǎn)化為顯性知識。盡管隱性知識的共享能顯著提高組織的知識庫水平，但知識主體在技能操作和認(rèn)知洞察方面的巨大機會成本、聲譽成本和交易成本造成了其固有的專有性和壟斷傾向。出于對共享后的公平性、合理性及價值實現(xiàn)率的悲觀預(yù)期，知識主體可能會選擇秘密囤積知識，拒絕隱性知識的顯性轉(zhuǎn)換。然而，基于多模態(tài)模型的知識生成機制有能力構(gòu)建獎勵知識貢獻者的方案、群體激勵機制與互動傳播體系。這些機制能夠有效促進隱性知識的外化和高效的合作傳遞。如區(qū)塊鏈技術(shù)支撐的知識社區(qū)能夠集聚領(lǐng)域?qū)＜遥?guī)?；仫@性專家大腦中的專業(yè)知識，并將其納入知識庫中進行存儲和管理。

2.2.4 依賴復(fù)雜技術(shù)支撐結(jié)構(gòu)

雖然多模態(tài)模型有序運作中通過底層的生成對抗網(wǎng)絡(luò)大幅簡化知識場景應(yīng)用難度，使得智能工具部署群體由數(shù)據(jù)科學(xué)家或算法工程師等高端人才拓展到普通知識主體。然而，為了在多變的應(yīng)用場景中提升知識生成的效率，必須依賴于海量數(shù)據(jù)、高效算法以及模型調(diào)參等持續(xù)支撐，亦必須基于人類反饋的提示策略生成知識內(nèi)容。如從原始實驗數(shù)據(jù)中汲取語料資源并進行回溯驗證的大量自然科學(xué)知識的生成過程，必須通過復(fù)雜的機器學(xué)習(xí)算法進行多維度的特征分解，逐漸消除不適宜的數(shù)據(jù)依賴與數(shù)據(jù)冗余，降低不同國家和文化背景對數(shù)據(jù)知識庫精度的負(fù)面影響。

2.3 多模態(tài)模型嵌入知識生成的場景應(yīng)用

多模態(tài)模型“以不同程度的自主性生成復(fù)雜的文本、圖像、音頻或視頻等內(nèi)容”［24］，是能夠嵌入知識獲取、知識整理、知識表達、知識共享等知識生成全生命周期各個階段的增強型創(chuàng)新工具。

2.3.1 多模態(tài)模型是知識獲取的探索工具

突出的設(shè)計思維是知識生成的重要前提，顛覆性創(chuàng)新活動往往源于長期的自我經(jīng)驗總結(jié)或集體經(jīng)驗共享。知識問題的深入探索需要充分利用現(xiàn)有的海量知識內(nèi)容迸發(fā)出零星的創(chuàng)新火花。人類族群在知識發(fā)現(xiàn)的過程中常常遭遇難以解決的復(fù)雜任務(wù)，初步具備類人推理規(guī)劃能力的下一代人工智能網(wǎng)絡(luò)架構(gòu)有效協(xié)助知識主體開展繁瑣冗長的觀察分析與數(shù)據(jù)辨識［25］，通過生成式人機交互系統(tǒng)與混合專家網(wǎng)絡(luò)促進使用者更好地捕捉多源內(nèi)容和多方交流中潛藏的關(guān)鍵問題的復(fù)雜特性，大幅降低整個社會追求知識發(fā)現(xiàn)的高昂成本，大力拓展支持獨創(chuàng)性與洞察力的知識模型適配價值鏈，全面支撐數(shù)據(jù)主導(dǎo)下任務(wù)驅(qū)動的負(fù)責(zé)任的全方位知識探索。如沃森智能機器人就經(jīng)歷了系統(tǒng)性地發(fā)掘“令人驚訝的創(chuàng)新菜肴”的密集訓(xùn)練［26］。

2.3.2 多模態(tài)模型是知識數(shù)據(jù)源的整理工具

多模態(tài)模型通過預(yù)訓(xùn)練的自監(jiān)督認(rèn)知邏輯自主學(xué)習(xí)知識數(shù)據(jù)庫，綜合調(diào)用海量專業(yè)工具以捕獲復(fù)雜的科學(xué)概念、識別各類功能應(yīng)用中未曾獲得注意的相似性、提升精準(zhǔn)解決復(fù)雜整理任務(wù)的能力，通過流程改善和組織改革輔助提高知識數(shù)據(jù)整理效率并降低運行成本，助力充分釋放全社會的知識生成能力。如ChatGPT基于大規(guī)模知識數(shù)據(jù)預(yù)訓(xùn)練與海量參數(shù)自主微調(diào)而整合輸出的大量文獻摘要，能夠通過人類審稿者和抄襲檢測系統(tǒng)的雙重審核［27］。

2.3.3 多模態(tài)模型是知識表達的編碼工具

多模態(tài)模型從超大規(guī)模的原始數(shù)據(jù)庫中學(xué)習(xí)知識交互涌現(xiàn)規(guī)律，積極改進多模態(tài)參數(shù)空間編碼規(guī)則，并利用指令微調(diào)擴展模型任務(wù)的泛化外推能力，幫助知識主體更好地進行內(nèi)容表述，“使得人們能夠創(chuàng)造性地表達自己”［28］。事實上，自然語言處理是人工智能皇冠上的明珠，能夠幫助計算機理解、解釋和處理人類語言［29］。以SeamlessM4T為代表的人工智能翻譯大模型通過思維鏈、問題描述和結(jié)構(gòu)模板等生成遵循人類指令要求的多模式任務(wù)輸出，具備強大的文本到語音、語音到文本、文本到文本和語音到語音的翻譯能力，能夠為外語技能較為薄弱的知識主體提供更多的平等機會，采用復(fù)雜的表達風(fēng)格將創(chuàng)作成果傳播給更為廣泛的受眾。如“以中文為核心的多模態(tài)預(yù)訓(xùn)練閩南話語言模型”以閩南地區(qū)閩南話為基準(zhǔn)音，融合我國臺灣地區(qū)等多地語音并支持多種模態(tài)輸入，可以實現(xiàn)對不同形式的閩南話信息的處理和翻譯，對于維護我國語言文化多樣性、挖掘兩岸歷史文化共性、助力兩岸融合發(fā)展具有重要意義［30］。

2.3.4 多模態(tài)模型是知識共享的轉(zhuǎn)移工具

知識共享是信息、經(jīng)驗和技能從擁有特定知識的主體轉(zhuǎn)移到需要知識的主體的動態(tài)過程［31］。知識擁有者立足一定載體，將需要分享的知識內(nèi)容進行顯性轉(zhuǎn)化并借助多種模態(tài)傳遞給知識需求者。需求者結(jié)合自身現(xiàn)有經(jīng)驗、知識和價值標(biāo)準(zhǔn)將獲得的顯性知識轉(zhuǎn)化為自身的隱性知識①。整個過程中復(fù)用而不消耗的知識不斷累積并實現(xiàn)增值，尤其是社群成員積極進行知識分享，“與其他組織成員分享知識會讓我感覺有價值”［32］，卻也面臨著跨領(lǐng)域、跨地區(qū)、跨層次的知識共享易受時間、空間、精力和理解力等多方限制的難題。多模態(tài)模型憑借快速迭代的復(fù)雜算法與人機交互技術(shù)，深度挖掘知識擁有者與知識需求者之間的薄弱關(guān)聯(lián)，通過場景感知與精準(zhǔn)推薦等，提高同一方向的知識主體共建共享社群數(shù)據(jù)庫的整體水平與協(xié)調(diào)程度，優(yōu)化知識共享空間與知識傳遞環(huán)節(jié)，構(gòu)筑能夠激發(fā)個人知識分享意愿的多元高效的知識分享路徑，在很大程度上突破知識共享的時空障礙，逐步開啟持續(xù)知識共享的新紀(jì)元。

3 多模態(tài)模型嵌入知識生成的制約因素

大模型時代知識可控生成的全生命周期中，智能工具通過自主培養(yǎng)的預(yù)測分析能力識別各種未知模態(tài)，采取全新方式連接復(fù)雜變量以助力知識主體篩選社群數(shù)據(jù)、發(fā)掘隱性關(guān)聯(lián)并引導(dǎo)生成有意義的新知識。但溯源困難的知識數(shù)據(jù)與缺乏透明度的生成過程等，導(dǎo)致輸出內(nèi)容在邏輯性、精準(zhǔn)性、真實性、原創(chuàng)性等方面逐漸暴露出一定缺漏且工具生成的檢測難度日益上升。同時，社群成員過度依賴智能化生成工具可能會削弱其批判性思維能力與表達能力。

3.1 缺乏合法可靠的知識數(shù)據(jù)源

多模態(tài)模型的生成過程依賴大規(guī)模數(shù)據(jù)集與高性能算力，相應(yīng)的模型升級需要將及時更新的訓(xùn)練數(shù)據(jù)集迅速應(yīng)用到學(xué)習(xí)過程中以避免推理錯誤。原始數(shù)據(jù)溯源困難、巨量數(shù)據(jù)缺乏合法來源與頻繁發(fā)生的機器幻覺等嚴(yán)重影響廣大潛在使用者的參與熱情，不利于支撐高產(chǎn)出的知識生成。如谷歌的T5模型基于大規(guī)模數(shù)據(jù)集和多任務(wù)學(xué)習(xí)技術(shù)進行出色的“預(yù)訓(xùn)練-微調(diào)”，卻在不同的自監(jiān)督和有監(jiān)督任務(wù)中表現(xiàn)不一，尤其是當(dāng)數(shù)據(jù)集質(zhì)量不高或數(shù)據(jù)來源不明確時，模型的推理結(jié)果常常出現(xiàn)偏差［33］。又如斯蒂芬·史華茲律師（Steven Schwartz）在提交法院的訴訟文件中引用了ChatGPT生成的6個虛構(gòu)判例，不僅被處以5000美元罰金，還引發(fā)了業(yè)界對于生成式人工智能可信度的巨大憂思［34］。

同時，具有遞歸特征的知識體系處于持續(xù)變化狀態(tài)，嵌入知識生成全生命周期的智能工具立足巨量知識數(shù)據(jù)庫和億萬參數(shù)助力生成式知識創(chuàng)新與知識共享的過程中，缺乏及時有效地響應(yīng)知識數(shù)據(jù)變化的途徑，海量訓(xùn)練數(shù)據(jù)中可能嵌入眾多陳舊過時或不正確的認(rèn)識。眾多知識主體擔(dān)憂多模態(tài)模型“在沒有同意、沒有信用和沒有補償?shù)那闆r下輸入大量受版權(quán)保護的作品”［35］。如眾多藝術(shù)家起訴Midjourney、Stably AI、DeviantArt等盜用數(shù)十億張受版權(quán)保護的作品訓(xùn)練圖像生成工具［36］。

3.2 缺乏透明可釋的生成過程

長期以來，懷疑精神、謹(jǐn)慎態(tài)度與科學(xué)方法是生成有益知識結(jié)果的先決條件。理想的知識生成完整生命周期是可溯源、可解釋與可預(yù)測的整體流程。如黑洞成像、經(jīng)濟預(yù)測模型、流行病學(xué)隨訪等從研究設(shè)想、數(shù)據(jù)采集到分析評估和結(jié)果應(yīng)用等均需完整清晰的過程記錄。情境驅(qū)動知識生成的迭代發(fā)展模式下，知識主體通常是具有較強社會責(zé)任感的變革推動者。實際上，能夠承擔(dān)知識工作的社會主體一般都具有突出的文獻背景識別能力與知識貢獻評估能力。如行業(yè)專家與學(xué)術(shù)研究者需要能夠迅速識別與主題相關(guān)的高質(zhì)量文獻。

然而，多模態(tài)模型系統(tǒng)在生成高度逼真地模仿人類創(chuàng)造力的復(fù)雜內(nèi)容的過程中，采用不透明、無邊界且不可解釋的參數(shù)模型。實踐中展示最終輸出內(nèi)容而不體現(xiàn)背后復(fù)雜選擇的生成模式，導(dǎo)致預(yù)訓(xùn)練的海量數(shù)據(jù)、規(guī)?；乃惴ㄔO(shè)計與巨量參數(shù)微調(diào)中可能存在疏漏偏頗，不僅輸出的知識內(nèi)容顯示出一定的局限性，還導(dǎo)致知識主體難以證實知識生成的真實性、合規(guī)性與合理性。如基于Stable Diffusion的AI模型Lensa根據(jù)用戶自拍照生成的數(shù)字肖像展現(xiàn)出較強的種族偏見和性別歧視，充分反映出模型內(nèi)容生成的局限性及其背后復(fù)雜選擇的不可解釋性［37］。

3.3 缺乏質(zhì)量過硬的內(nèi)容輸出

多模態(tài)模型在訓(xùn)練數(shù)據(jù)錯漏偏頗、理解推理參數(shù)不足、監(jiān)管檢測不到位和人為惡意干預(yù)之下，常常按照流暢正確的語法規(guī)則自動生成不可靠或非事實的知識輸出，甚至生成具有攻擊性或不適當(dāng)偏見的知識內(nèi)容，尤其是對于需要強大創(chuàng)造力的任務(wù)，多模態(tài)模型的生成內(nèi)容可能與人類創(chuàng)造內(nèi)容存在較大差距。

以作為生成式智能技術(shù)窄域應(yīng)用范例的ChatGPT為代表，采用的擬人化聊天模式是統(tǒng)計模型根據(jù)頻率更新加權(quán)參數(shù)的結(jié)果，在科學(xué)技術(shù)領(lǐng)域常會給出語句流暢卻存在邏輯錯誤或缺乏科學(xué)依據(jù)的答案。如研究人員向其提問抑郁癥患者的復(fù)發(fā)率時，“ChatGPT捏造了一個令人信服的回復(fù)，其中包含一些事實錯誤、虛假陳述和錯誤數(shù)據(jù)”［38］。這意味著模型能夠生成符合語法解構(gòu)的內(nèi)容，卻缺乏人類族群對于疑難問題的深刻理解、情感表達與思維創(chuàng)新等。又如基于48萬篇科學(xué)論文預(yù)訓(xùn)練的大模型Galactica宣稱能夠分析學(xué)術(shù)論文、解決數(shù)學(xué)問題和編寫科學(xué)代碼，卻在上線三天后就因?qū)W術(shù)界發(fā)現(xiàn)其在誤解科學(xué)知識的基礎(chǔ)上生成錯誤知識內(nèi)容而被迫下架［39］。此外，多模態(tài)模型缺乏稀疏現(xiàn)象分析能力。通過識別以往研究中出現(xiàn)的模式產(chǎn)生洞察力，可能固化知識產(chǎn)出的復(fù)雜范式，難以可靠地為不常見或研究稀少的現(xiàn)象生成準(zhǔn)確內(nèi)容，不僅難以為全新的知識發(fā)現(xiàn)提供助力，還有可能限制知識主體的創(chuàng)新思維，導(dǎo)致那些激進的想法、非常規(guī)的觀點和不尋常的寫作風(fēng)格逐漸泯滅。

3.4 缺乏穩(wěn)定價值觀的高效引領(lǐng)

人類社會有序運作中不斷暴露的各類問題往往源于個體差異引發(fā)的諸多沖突。傳統(tǒng)知識情境中，新知識生成有選擇地加強個人產(chǎn)出知識與社群現(xiàn)有知識之間的緊密聯(lián)系，通過社群內(nèi)部顯性知識與隱性知識的多維互動促進動態(tài)創(chuàng)建適當(dāng)?shù)募w知識［40］。后數(shù)字時代中，廣泛應(yīng)用的多模態(tài)模型卻在一定程度上削弱了知識主體的能動性，導(dǎo)致知識擁有者喪失了一些認(rèn)知技能和隱性知識生產(chǎn)能力，亦無法通過共同實踐和經(jīng)驗共享將難以轉(zhuǎn)移的個人創(chuàng)建知識隱性傳遞給知識需求者。如以學(xué)習(xí)為導(dǎo)向的生成式人機交互有可能會降低知識主體的辨識、反思和創(chuàng)造力。亟待在多模態(tài)模型輔助知識生成的全流程實現(xiàn)穩(wěn)定價值觀的介入和引導(dǎo)，持續(xù)推進個人顯性知識和隱性知識的外化組合，促使知識主體通過有意識（自我導(dǎo)向）和遵循規(guī)范（超我導(dǎo)向）的實踐活動建立和完善新知識社區(qū)。

4 多模態(tài)模型嵌入知識生成的發(fā)展路徑

迄今為止，全球尚未形成訓(xùn)練一個強大而無害的可靠、可信、可操作的多模態(tài)模型支撐知識生成系統(tǒng)的具體方案。有必要通過技術(shù)開發(fā)提高生成模型的安全性、準(zhǔn)確性、透明性、穩(wěn)健性、可解釋性，基于擴展監(jiān)督和面向過程的安全評估等提升生成智能的競爭力和生產(chǎn)力。

4.1 構(gòu)筑價值對齊的生成模型

多模態(tài)模型在搭建知識生成的邏輯結(jié)構(gòu)時并不具備客觀公正的判斷能力，而是基于海量數(shù)據(jù)統(tǒng)計給出最優(yōu)解答，難以避免大模型智能涌現(xiàn)中爆發(fā)的機器幻覺與知識謬誤，無法確保生成內(nèi)容與人類操作者的真實意圖和倫理法規(guī)相一致。

生成式多模態(tài)模型與人類族群智能協(xié)作過程中的價值對齊是極大規(guī)模的安全自主知識生成的關(guān)鍵支撐。相應(yīng)的包容性表現(xiàn)在訓(xùn)練數(shù)據(jù)、海量參數(shù)與運轉(zhuǎn)流程等秉持透明、誠信、公允、向善、正義等共同價值理念，維護人類尊嚴(yán)、保障參與隱私、促進社會福祉，增強知識主體的能動性與自我實現(xiàn)能力，并在不侵蝕個人自決權(quán)的情況下培養(yǎng)社群凝聚力。如OpenAI、DeepMind等AI巨頭建立了價值對齊解決團隊，嘗試通過“基于人類反饋的強化學(xué)習(xí)（RLHF）”“合作逆強化學(xué)習(xí)（CIRL）”“有監(jiān)督的精調(diào)（SFT）”等技術(shù)手段將通用倫理原則轉(zhuǎn)化為現(xiàn)實可操作的技術(shù)路徑，避免智能化的知識生成執(zhí)行路線發(fā)生扭曲［41］。

4.2 提升可控生成的技術(shù)水平

智能時代中多模態(tài)模型輔助開展可控知識生成的核心動力是相關(guān)技術(shù)迭代發(fā)展。如結(jié)合CLIP技術(shù)的DALL-E模型能夠理解和匹配文本與圖像之間的交互關(guān)系；谷歌通過改進Imagen模型的訓(xùn)練過程和原始數(shù)據(jù)集，提升其對文本描述的理解能力，進而實現(xiàn)從復(fù)雜文本生成高質(zhì)量圖像的巨大突破。

應(yīng)用于多任務(wù)、多語言和多領(lǐng)域通用場景的大模型自互聯(lián)網(wǎng)采集的海量預(yù)訓(xùn)練數(shù)據(jù)可能包含大量偏頗、偽造或過時信息，導(dǎo)致生成的知識內(nèi)容出現(xiàn)自我矛盾、與輸入或公認(rèn)事實出現(xiàn)沖突等，不僅需要加強知識數(shù)據(jù)源采樣的監(jiān)管保障并提升指令微調(diào)數(shù)據(jù)的質(zhì)量，還需要積極改進推理階段的解碼策略。如推理時間干預(yù)方法（Inference-Time Intervention，ITI）基于模型探針技術(shù)自主學(xué)習(xí)與實時輸出潛在向量，進而使用這些向量在模型推理階段將原有激活值調(diào)整到正確的方向上，能夠有效增強生成內(nèi)容的真實性［42］。

4.3 完善人類反饋提示策略

多模態(tài)模型支撐知識生成過程中頻繁發(fā)生的事實錯誤、表述幻覺或任務(wù)沖突等，往往源于常見的人類反饋生成策略無法準(zhǔn)確及時地引導(dǎo)出模型內(nèi)部已有的針對當(dāng)前問題的正確答復(fù)或者無法及時糾正模型錯誤，尤其是復(fù)雜的推理任務(wù)需要高質(zhì)量的提示策略。此外，雖然部分大模型在提示任務(wù)迭代中已經(jīng)展示出零樣本能力，但零樣本設(shè)置在復(fù)雜任務(wù)上表現(xiàn)欠佳使其結(jié)合小樣本呈現(xiàn)出自一致性的思維鏈推理方式中獲得一定成長空間的態(tài)勢，卻仍然需要耗費巨量資源依據(jù)輸入數(shù)據(jù)和上下文關(guān)聯(lián)性設(shè)計提示指令示例樣本。亟待在多模態(tài)模型的技術(shù)開發(fā)和管理團隊中加強、嵌入和促進性別多樣性、公平性和包容性，仔細(xì)規(guī)劃和執(zhí)行訓(xùn)練數(shù)據(jù)集，建立知識生成提示策略的評估標(biāo)準(zhǔn)、內(nèi)容與方式，確保質(zhì)疑信號發(fā)出后智能化交互系統(tǒng)會立馬予以更正，進而輸出正確的知識內(nèi)容。

4.4 構(gòu)筑基于規(guī)則的管控體系

雖然多模態(tài)模型是人工智能技術(shù)落地應(yīng)用的跨時代發(fā)展，迅速開啟了知識生成的新紀(jì)元，卻也在廣域應(yīng)用中暴露出阻礙知識持續(xù)有益生成的各種疑難問題。

美國國家標(biāo)準(zhǔn)與技術(shù)研究院發(fā)布的《人工智能風(fēng)險管理框架》指出，風(fēng)險源于訓(xùn)練模型的數(shù)據(jù)質(zhì)量、真實性、可靠性以及人類設(shè)計師和開發(fā)人員如何糾正模型［43］。我國通過《虛擬現(xiàn)實與行業(yè)應(yīng)用融合發(fā)展行動計劃》《關(guān)于加快場景創(chuàng)新與人工智能高水平應(yīng)用促進經(jīng)濟高質(zhì)量發(fā)展的指導(dǎo)意見》《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》等表明了支撐多模態(tài)模型健康有序發(fā)展的積極態(tài)度。同時，我國政府試圖通過《生成式人工智能服務(wù)管理暫行辦法》建立和完善基于規(guī)則的生成式大模型管控體系，通過負(fù)責(zé)任且合乎道德的政策規(guī)范、法律法規(guī)、標(biāo)準(zhǔn)體系、業(yè)務(wù)守則、風(fēng)險評估、合規(guī)審計、內(nèi)部控制與用戶報告制度等，妥善解決生成式知識生產(chǎn)過程中問題反饋的偏見和錯誤、保護用戶隱私與生成內(nèi)容和流程的公平性和可釋性，助力多模態(tài)模型更好地支持知識生成。

5 結(jié)語

人類是亙古文明中唯一的智慧族群，知識生成是人類獨特性的集中體現(xiàn)，多模態(tài)模型則是當(dāng)代知識生成的重要支撐工具。面對科技創(chuàng)新驅(qū)動高質(zhì)量發(fā)展的數(shù)字時代新趨勢，充分發(fā)揮多模態(tài)模型支撐知識生成的巨大效用亦需要進一步夯實萬物互聯(lián)的設(shè)施基礎(chǔ)、加速融合數(shù)字經(jīng)濟與實體經(jīng)濟、持續(xù)培養(yǎng)通用智能技術(shù)應(yīng)用人才、不斷完善數(shù)字安全治理體系等。

參考文獻：

［1］ 2023騰訊全球數(shù)字生態(tài)大會正式召開，數(shù)智融合助力實體經(jīng)濟更高質(zhì)量發(fā)展［EB/OL］.［2024-07-05］.http：//tech.cnr.cn/techph/20230908/t20230908_526412513.shtml.

［2］ Bereiter C，Scardamalia M.Knowledge Building：Theory，Pedagogy，and Technology［J］.Cambridge Handbook of the Learning Sciences，2006：97-118.

［3］ ［希］柏拉圖.柏拉圖全集：第二卷［M］.王曉朝，譯.北京：人民出版社，2002：737.

［4］ Edmund Gettier.Is Justified True Belief Knowledge？［EB/OL］.［2024-07-04］.https：//fitelson.org/proseminar/getier.pdf.

［5］ Nikolai Bachter.Nozick’s Truth-Tracking Theory［EB/OL］.［2024-07-04］.https：//philnotesblog.wordpress.com/2017/03/18/Nozicks-tracking-theory/.

［6］ Gottschalk Mazouz.Internet and the flow of knowledge［J］.Philosophy of the Information Society，2007（2）：41-58.

［7］ Linda Argote.Organizational Learning Research：Past，Present and Future［J］.Management Learning，2011，42（4）：349-446.

［8］ Chalmers David.The Conscious Mind：in Search of a Fundamental Theory［M］.Oxford：Oxford University Press，1997：225.

［9］ Francisco Jose Garcia，Andrea Vazquez Ingelmo.What Do We Mean by GenAI？A Systematic Mapping of the Evolution，Trends，and Techniques Involved in Generative AI［EB/OL］.［2024-07-04］.https：//ror.org/02f40zc51.

［10］ Carl Bereiter，Marlene Scardamalia.Knowledge Building and Knowledge Creation：One Concept，Two Hills to Climb［EB/OL］.［2024-07-04］.https：//link.springer.com/chapter/10.1007/978-981-287-047-6_3.

［11］ Jacob Brix.Improving Individual Knowledge Construction and Re-construction in the Context of Radical Innovation［J］.International Journal of Innovation and Learning，2014，15（2）：192-209.

［12］ Ikujiro Nonaka，Georg Krogh.Perspective-Tacit Knowledge and Knowledge Conversion：Controversy and Advancement in Organizational Knowledge Creation Theory［J］.Organization Science，2020，20（3）：635-652.

［13］ 高奇琦.知識革命還是知識墮化——ChatGPT與知識生成秩序［J］.中國社會科學(xué)評價，2023（2）：8-13.

［14］ Julian Birkinshaw，Jordan Cohen.Make Time for the Work that Matters［J］.Harvard Business Review，2013，9：2-5.

［15］ 李俠.知識積累率與技術(shù)迭代不充分是創(chuàng)新乏力的根源［J］.科學(xué)與社會，2023（2）：28-33.

［16］ Polanyi M.The tacit dimension［J］.Knowledge in organisations.Routledge，2009：135-146.

［17］ Muhammad Shujahat，Maria jose Sousa，Saddam Hussain，et al.Translating the Impact of Knowledge Management Processes into Knowledge-based Innovation：The Neglected and Mediating Role of Knowledge-worker Productivity［J］.Journal of Business Research，2019，94：442-450.

［18］ Maryam Alavi，Dorothy Leidner.Review：Knowledge Management and Knowledge Management Systems：Conceptual Foundations and Research Issues［J］.MIS Quarterly，2001，42：107-136.

［19］ 謝建邦.新時代新質(zhì)生產(chǎn)力的理論邏輯、實踐規(guī)律與形成路徑［J］.閱江學(xué)刊，2024（1）：1-13.

［20］ Luke Tredinnick，Claire Laybats.Black-box Creativity and Generative Artificial Intelligence［J］.Business Information Review，2023，40（3）：98-102.

［21］ Jie Gui，Zhenan Sun，Yonggang Wen，et al.A Review on Generative Adversarial Networks：Algorithms Theory and Applications［J］.IEEE Transactions Knowledge and Data Engineering，2023，35（4）：3313-3332.

［22］ 浙江大學(xué)發(fā)布“智海-三樂”教育大模型，已接入阿里云靈積平［EB/OL］.［2024-07-04］.https：//baijiahao.baidu.com/s？id=1774923602483372702&wfr=spider&for=pc.

［23］ 羅亦丹.大模型+教育競逐新賽道，科大訊飛率先交出答卷［EB/OL］.［2024-07-04］.https：//www.bjnews.com.cn/detail/16925

85714129174.html.

［24］ Draft Compromise Amendments on the Draft Report［EB/OL］.［2024-07-04］.https：//www.europarl.europa.eu/meetdocs/2014_

2019/plmrep/COMMITTEES/CJ40/DV/2023/05-11/ConsolidatedCA_IMCOLIBE_AI_ACT_EN.pdf.

［25］ Olivier Toubia，Oded Netzer.Idea Generation，Creativity，and Prototypicality［EB/OL］.［2024-07-04］.https：//pubsonline.informs.org/doi/10.1287/mksc.2016.0994.

［26］ IBM，Institue of Culinary Education.Cognitive Cooking with Chef Watson：Recipes for Innovation from IBM & the Institute of Culinary Education［M］.Chicago：Sourcebooks Wonderland，2015：6.

［27］ Holly Else.Abstract Written by ChatGPT Fool Scientists［EB/OL］.［2024-07-04］.https：//www.nature.com/articles/d41586-

023-00056-7.

［28］ Dall E2［EB/OL］.［2024-07-04］.https：//openai.com/dall-e-2.

［29］ Raven Pack.Video：Why Natural Language Processing is the Crown Jewel of A I［EB/OL］.［2024-07-04］.https：//www.ravenpack.com/blog/natural-language-processing-ai.

［30］ 閩南話語言模型等多項成果在廈門發(fā)布［EB/OL］.［2024-07-04］.http：//news.sohu.com/a/721192006_123753.

［31］ Pamela Hinds，Michael Patterson，Jeffrey Pfefer.Bothered by Abstraction：the Effect of Expertise on Knowledge Transfer and Subsequent Novice Performance［J］.Journal of Applied Psychology，2002，86（6）：1232-1243.

［32］ Gee Bock，Robert Zmud，Young Kim，et al.Behavioral Intention Formation in Knowledge Sharing：Examining the Roles of Extrinsic Motivators，Social-Psychological Forces，and Organizational Climate［J］.MIS Quarterly，2005，29：87-111.

［33］ Chris Mauck.Beware of Unreliable Data in Model Evaluation：A LLM Prompt Selection case study with Flan-T5［EB/OL］.［2024-06-17］.https：//towardsdatascience.com/beware-of-unreliable-data-in-model-evaluation-a-llm-prompt-selection-case-study-with-flan-t5-88cfd469d058.

［34］ This US Lawyer Used ChatGPT to Research a Legal Brief with Embarrassing Results［EB/OL］.［2024-06-04］.https：//www.unsw.edu.au/news/2023/06/this-us-lawyer-used-chatgpt-to-research-a-legal-brief-with-embar.

［35］ Blake Brittain.Lawsuits Accuse AI Content Creators of Misusing Copyrighted Work［EB/OL］.［2024-07-04］.https：//www.reuters.com/legal/transactional/lawsuits-accuse-ai-content-creators-misusing-copyrighted-work-2023-01-17/.

［36］ Torey Akers.DeviantArt and Midjourney Deny Wrongdoing in Copyright Infringement Lawsuit over in AI Image Generators［N］.The Art Newspaper，2024-05-11（5）.

［37］ OpenAI的模型更傾向生成男性圖像？研究發(fā)現(xiàn)AI模型均存在性別偏見［EB/OL］.［2024-03-24］.https：//baijiahao.baidu.com/s？id=1761215023084701448&wfr=spider&for=pc.

［38］ Renana Peres，Martin Schreier，David Schweidel，et al.On ChatGPT and Beyond：How Generative Artificial Intelligence may Affect Research，Teaching ，and Practice［J］.International Journal of Research in Marketing，2023，40（2）：269-275.

［39］ Will Douglas Heaven.Galactica was Supposed to Help Scientists.Instead，it Mindlessly Spat out Biased and Incorrect Nonsense［EB/OL］.［2024-07-04］.https：//www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/.

［40］ Ikujiro Nonaka.A Dynamic Theory of Organizational Knowledge Creation［J］.Organization Science，1994，5（1）：14-37.

［41］ Eliza Strickland.OpenAI’s Moonshot：Solving the AI Alignment Problem The ChatGPT Maker Imagines Superintelligent AI without Existential Risks［EB/OL］.［2024-06-31］.https：//spectrum.ieee.org/the-alignment-problem-openai.

［42］ Kenneth Li，Oam Patel，F(xiàn)ernanda Viegas，et al.Inference-Time Intervention：Eliciting Truthful Answers from a Language Model［EB/OL］.［2024-07-04］.https：//arxiv.org/abs/2306.03341.

［43］ AI Risk Management Framework［EB/OL］.［2024-07-04］.https：//www.nist.gov/itl/ai-risk-management-framework.

作者簡介：張立明，重慶安全技術(shù)職業(yè)學(xué)院副教授；冉政，重慶安全技術(shù)職業(yè)學(xué)院副教授；張容，成都醫(yī)學(xué)院圖書館副研究館員。