陳冰

龍年伊始，Sora橫空出世，震驚眾人。這個(gè)自稱是“世界模擬器”的新工具，作為OpenAI發(fā)布的首個(gè)AI文（圖）生視頻模型，帶給人們的感受真的只能用炸裂來形容——根據(jù)輸入的文字提示，就能生成效果逼真的60秒視頻，而且是可以一鏡到底的那種。

僅僅在一年前，人們還在嘲笑AI生成的威爾·史密斯（Will Smith）吃意大利面的視頻是人工智障。在那段視頻里，威爾·史密斯用一種詭異、尷尬的姿勢將意大利面鏟進(jìn)一張抽搐、不似人類的嘴里。

可是現(xiàn)在，人們對著Sora輸入以下文字：

一位時(shí)尚的女士穿著黑色皮夾克、長紅裙和黑色靴子，手拿黑色手袋，在東京一條燈光溫暖、霓虹燈閃爍、帶有動(dòng)感城市標(biāo)志的街道上自信而隨意地行走。她戴著太陽鏡，涂著紅色口紅。街道潮濕而有反光效果，色彩繽紛的燈光仿佛在地面上創(chuàng)造了鏡面效果。許多行人在街上來往。

在這段刷屏的視頻中，提示詞中的全部細(xì)節(jié)都得到了體現(xiàn)，而且無論是人物臉上的雀斑，還是水中的倒影都顯得極其逼真。以前人們會(huì)懷疑，這是假的吧？現(xiàn)在人們會(huì)驚嘆，這是實(shí)拍的吧？不像是AI生成。這種從文本到圖像再到視頻的進(jìn)階之路實(shí)在走得太快，以至于一年之前大佬還在預(yù)言AGI（通用人工智能）來臨之前，還有很長的路要走，現(xiàn)在紛紛開始改口稱：AIG的實(shí)現(xiàn)將大大提速。360集團(tuán)創(chuàng)始人、董事長周鴻祎近日就宣稱，AIG將在一到兩年內(nèi)實(shí)現(xiàn)。

Sora背后的技術(shù)架構(gòu)是怎樣的，Sora到底有沒有理解物理世界的能力，它的出現(xiàn)是否意味著AGI將在一年內(nèi)實(shí)現(xiàn)？以ChatGPT、Sora為代表的AI技術(shù)將如何顛覆人類社會(huì)既有的種種規(guī)則？我們又將如何應(yīng)對？

關(guān)于Sora，我們有太多的未解之問。

Sora不再是一個(gè)創(chuàng)意玩具，而是一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的物理引擎”，一個(gè)可學(xué)習(xí)的模擬器或“世界模型”，可以對真實(shí)或虛擬世界進(jìn)行模擬。

過去一年多，以ChatGPT為代表的大模型現(xiàn)身江湖，引發(fā)科技界一片沸騰。2024年中國農(nóng)歷新年還沒過完，AI界又發(fā)生了三件大事：谷歌推出Gemini新版本，支持超過100萬個(gè)token的輸入窗口；英偉達(dá)推出ChatWithRTX，誓把每個(gè)人電腦都變成一個(gè)私有大模型；當(dāng)然，最震撼的還是Sora華麗登場。

近年來，AI 生成文字、生成圖片的技術(shù)飛速發(fā)展。相比之下，AI生成視頻領(lǐng)域雖有Runway、Pika 、Meta、谷歌等多個(gè)明星公司入局，但因技術(shù)難度更大，發(fā)展仍處于早期。

2023年12月，谷歌團(tuán)隊(duì)發(fā)布視頻生成模型VideoPoet，一次能生成10秒超長、連貫大動(dòng)作的視頻，超過其他智能生成3～4秒的模型，已足以讓業(yè)內(nèi)振奮。誰能想到，2個(gè)月不到，Sora已經(jīng)可以一次生成60秒鐘的連貫視頻，并且包含高度細(xì)致的背景、復(fù)雜的多角度鏡頭，以及富有情感的多個(gè)角色。

OpenAI首席執(zhí)行官奧特曼在X平臺(tái)上發(fā)布了一系列視頻，精美的場景、逼真的人物細(xì)節(jié)讓用戶驚嘆不已。而這些視頻全都是通過OpenAI 2月15日發(fā)布的最新視頻生成模型Sora制作的，人們將其描述為“絕無僅有”和“游戲規(guī)則改變者”。

1分鐘的視頻并不長，但對于AI文字生成視頻卻是一個(gè)巨大的飛躍。在此之前，文字生成視頻的時(shí)長只有短短幾秒，一大原因就在于，AI不知道接下來要發(fā)生什么，因而不知道該生成怎樣的內(nèi)容。

Sora發(fā)布的黑衣紅裙女視頻很好地保持了人物的連貫性，讓觀眾也明顯感受到其幾乎可以“以假亂真”。當(dāng)然，如果仔細(xì)觀察，可以發(fā)現(xiàn)紅裙女視頻中人物的腳步在某幾個(gè)幀會(huì)出現(xiàn)不自然的扭曲，視頻中的背景廣告牌雖然酷似日文，但由于目前AI還無法直接在視頻中“認(rèn)識(shí)”文字，其只能生成似是而非的“日文”。在另一則中國龍年舞龍的視頻中，出現(xiàn)的也并非真正的漢字“龍”，只是像漢字的圖形而已。這些都是AI生成視頻的特點(diǎn)之一。不過瑕不掩瑜，Sora已經(jīng)用事實(shí)吊打了同類型的文生視頻應(yīng)用。它不僅更加符合邏輯，還在一定程度上“展現(xiàn)”了對現(xiàn)實(shí)世界的理解能力。

英偉達(dá)人工智能研究院首席研究科學(xué)家Jim Fan在社交平臺(tái)感嘆，Sora不再是一個(gè)創(chuàng)意玩具，而是一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的物理引擎”，一個(gè)可學(xué)習(xí)的模擬器或“世界模型”，可以對真實(shí)或虛擬世界進(jìn)行模擬。

那么，Sora具體厲害在哪？

如果說，之前的AI“文生視頻”工具是“模擬現(xiàn)實(shí)”，Sora則是“構(gòu)建現(xiàn)實(shí)”。兩者的區(qū)別在于，前者是對現(xiàn)實(shí)的模仿，難以捕捉現(xiàn)實(shí)世界的物理規(guī)則、動(dòng)態(tài)變化。后者，則是在虛擬世界里，構(gòu)建另外一種現(xiàn)實(shí)。其學(xué)習(xí)的不僅是像素與畫面，還有現(xiàn)實(shí)世界的“物理規(guī)律”。

Jim Fan對咖啡杯里的海盜船這則視頻進(jìn)行了拆解分析。首先，在這個(gè)視頻中模擬器生成了兩只帶不同裝飾的精美海盜船，這需要Sora在其潛在空間中解決文本到3D的隱含問題；第二，這兩艘船需要在航行和避開對方路徑時(shí)始終保持動(dòng)畫效果；第三，從流體動(dòng)力學(xué)上來看，咖啡的流動(dòng)以及船只周圍形成的泡沫都非常自然。流體模擬是計(jì)算機(jī)圖形學(xué)的一個(gè)完整子領(lǐng)域，傳統(tǒng)上需要非常復(fù)雜的算法和方程；第四，在逼真度上，整體的效果看起來幾乎就像使用光線跟蹤渲染一樣；第五，模擬器考慮到與海洋相比，杯子的體積較小，因此采用了傾斜移位攝影技術(shù)，營造出一種微景觀的感覺；第六，雖然提示詞中場景的語義并不存在于現(xiàn)實(shí)世界之中，但Sora依然實(shí)現(xiàn)了我們所期望的正確物理規(guī)則。

咖啡杯里的海盜船視頻，展現(xiàn)了人類所期望的正確物理規(guī)則。

這就是Sora的獨(dú)到之處，理解運(yùn)動(dòng)中的物理世界。復(fù)旦大學(xué)教授、上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任肖仰華指出，因?yàn)槭澜绫举|(zhì)上是非常復(fù)雜的，非線性的。我們傳統(tǒng)的模型只能建一些線性的簡單關(guān)系。像流體力學(xué)之類非常復(fù)雜的現(xiàn)象，用傳統(tǒng)的模型非常難建模。但是今天我們看到基于Transformer深度神經(jīng)網(wǎng)絡(luò)的大模型架構(gòu)，Sora已經(jīng)具備了對現(xiàn)實(shí)世界復(fù)雜現(xiàn)象非常逼真的建模能力，這是Sora帶來的一個(gè)新高度。

在Sora推出后不久，OpenAI發(fā)布了這款新工具的技術(shù)報(bào)告。報(bào)告指出Sora的一個(gè)強(qiáng)大的能力是它的語言理解能力。OpenAI利用Dall-E模型的re-captioning（重述要點(diǎn)）技術(shù)，生成視覺訓(xùn)練數(shù)據(jù)的描述性字幕，不僅能提高文本的準(zhǔn)確性，還能提升視頻的整體質(zhì)量。此外，與DALL·E 3類似，OpenAI還利用GPT技術(shù)將簡短的用戶提示轉(zhuǎn)換為更長的詳細(xì)轉(zhuǎn)譯，并將其發(fā)送到視頻模型。這使Sora能夠精確地按照用戶提示生成高質(zhì)量的視頻。

因?yàn)橐黄獜埞诶畲鞯奈恼露徽`稱為Sora發(fā)明者之一的紐約大學(xué)計(jì)算機(jī)科學(xué)助理教授謝賽寧，實(shí)際上是機(jī)器學(xué)習(xí)領(lǐng)域知名學(xué)者，也是擴(kuò)散模型（Diffusion Transformer，簡稱DiT）一篇重要論文的主要作者之一。他分析Sora應(yīng)該也是一個(gè)建立在DiT架構(gòu)上的擴(kuò)散模型，同時(shí)結(jié)合了GPT技術(shù)的混合模型，從而在視覺領(lǐng)域?qū)崿F(xiàn)重大突破?！皩τ赟ora這樣的大規(guī)模系統(tǒng)工程而言，神經(jīng)網(wǎng)絡(luò)架構(gòu)只是其中很小一部分。大部分的功勞要?dú)w功于OpenAI的人才儲(chǔ)備，高質(zhì)量數(shù)據(jù)規(guī)模以及巨大的算力。”

Sora視頻完整展現(xiàn)了小怪獸伸出爪子擋住紅色蠟燭跳動(dòng)的火焰，它的影子隨之偏移的物理過程。

簡而言之，60秒超長長度、單視頻多角度鏡頭和世界模型是Sora的三大關(guān)鍵詞。如果沒有大語言模型的加持，Sora是不可能迅速“進(jìn)化”到今天這個(gè)地步的。

毫無疑問，Sora目前展現(xiàn)出來的“邏輯能力”看似非常強(qiáng)大，或者說它展現(xiàn)出來的視頻世界更符合人類觀念中的現(xiàn)實(shí)世界。

但Sora真的能夠理解世界嗎？隨著一系列匪夷所思的Sora視頻出現(xiàn)，業(yè)界有了截然不同的判斷。

比如在一個(gè)樣片中，提示詞為“考古學(xué)家在沙漠中發(fā)現(xiàn)了一把普通的塑料椅子，正小心翼翼地挖掘和除塵”，Sora生成的視頻出現(xiàn)了椅子變形、自動(dòng)行走等詭異的場景。

另一個(gè)玻璃杯碎裂的視頻中，玻璃杯碎裂的方式也十分詭異——它被抬到半空中時(shí)，桌子上就忽然出現(xiàn)了一攤平整的紅色玻璃，隨后玻璃杯被摔到桌子上，和這攤玻璃融為一體。

很顯然，Sora混淆了玻璃破碎和液體溢出的順序，也并不能推理時(shí)間和因果關(guān)系。這不正說明，Sora目前還無法理解全部的物理世界？

再比如，Sora團(tuán)隊(duì)Aditya Ramesh自豪地放出一個(gè)螞蟻巢穴內(nèi)爬行的視頻，粗看似乎很驚艷，仔細(xì)一看，卻令人啼笑皆非——螞蟻怎么只有四條腿？！

還有一個(gè)老奶奶慶祝生日的視頻，每一幀都異常逼真，但是當(dāng)老奶奶吹了生日蠟燭的時(shí)候，蠟燭的火苗竟然紋絲不動(dòng)。最離譜的還是一個(gè)男人在跑步機(jī)上煞有介事地反向跑步。如此“南轅北轍的跑步”視頻，讓人看到了Sora“智障”的一面，這些翻車視頻暫時(shí)讓人們松了一口氣，“輸入一部小說，產(chǎn)生一部電影”的時(shí)代還不會(huì)馬上到來。

美國紐約州立大學(xué)石溪分校計(jì)算機(jī)系顧險(xiǎn)峰教授撰文指出，觀察“幽靈椅子”視頻，整個(gè)椅子如鬼魅般懸空，這與日常經(jīng)驗(yàn)相悖。再如“四足螞蟻”的視頻，螞蟻的動(dòng)作栩栩如生，宛如行云流水。局部上非常流暢自然，令人不禁聯(lián)想或許在某個(gè)星球上存在這種四足螞蟻。但是整體上，地球的自然界并沒有四足螞蟻。這種“局部合理，整體荒謬”的生成視頻，意味著Transformer學(xué)會(huì)了Token間局部的連接概率，但是缺乏時(shí)空上下文的大范圍整體觀念。

黃仁勛2016年向OpenAI捐出全球第一臺(tái)AI超算DGX-1時(shí)，馬斯克還是OpenAI的聯(lián)合創(chuàng)始人。

AI科學(xué)家馬庫斯（Gary Marcus）則發(fā)文表示，“我們需要認(rèn)識(shí)到，并非Sora生成的所有視頻都來自其訓(xùn)練集。Sora也并不總是遵循物理學(xué)、生物學(xué)和文化的規(guī)律。我最近討論的7*7棋盤、4條腿的螞蟻，和碎裂的杯子一樣，都證明了Sora是一個(gè)魯莽的野獸，而非迭代的、基于定律的物理引擎。其實(shí)，Sora只是泛化了像素的模式，而并非世界上物體的模式”。

圖靈獎(jiǎng)得主、Meta公司首席科學(xué)家、AI團(tuán)隊(duì)負(fù)責(zé)人楊立昆（Yann LeCun）說，在他看來，僅僅根據(jù)提示詞生成逼真視頻并不能代表一個(gè)模型理解了物理世界，生成視頻的過程與基于世界模型的因果預(yù)測完全不同。他認(rèn)為Sora并不能模擬物理世界，在社交平臺(tái)上發(fā)文稱 “這里存在‘巨大’的誤導(dǎo)”。

對此，英偉達(dá)高級(jí)研究科學(xué)家Jim Fan表示，我們可以從兩個(gè)角度來解釋這個(gè)問題：（1）可能是因?yàn)檫@個(gè)模型根本沒有掌握物理知識(shí)，它僅僅是在無序地拼湊圖像像素；（2）模型確實(shí)嘗試構(gòu)建了一個(gè)內(nèi)部的物理引擎，但這個(gè)引擎的表現(xiàn)還不盡如人意。就像是第一代虛幻引擎在處理流體動(dòng)力學(xué)和物體變形等問題上，與V5相比有著明顯的不足。同樣地，V1的渲染效果也遠(yuǎn)不如V5，并且缺乏物理上的準(zhǔn)確性。

獵豹移動(dòng)董事長兼CEO、獵戶星空董事長傅盛則認(rèn)為Sora在某種意義上具備了對世界的理解?！暗绻阏f它把整個(gè)物理世界復(fù)刻了，我覺得這肯定不是真實(shí)的。我認(rèn)為它對世界的理解還停留在比較初級(jí)的水平。就像一個(gè)五六歲的小孩，對世界的理解并不深，但畫圖方面是一個(gè)天才兒童。我認(rèn)為這也是電腦特性決定的，計(jì)算機(jī)的能力和人類能力并不一樣，對我們來說很難的事情對它來說可能很簡單，畫畫對計(jì)算機(jī)來說就是一堆的像素點(diǎn)打出來，這個(gè)色階正好符合你的審美。所以我覺得僅以視頻本身去驚嘆Sora對物理世界的理解到了一個(gè)什么高度，這點(diǎn)我是絕對不認(rèn)同的，‘AGI因此由十年變一年’，這個(gè)我也不認(rèn)同?！?/p>

傅盛說，其實(shí)語言對世界的認(rèn)知是遠(yuǎn)超視頻的，雖然視頻看起來更讓我們有直覺的沖動(dòng)，但語言的抽象和邏輯是最難理解的。一旦語言對世界的描述建立以后，視頻的這種抽象和描述相對來說是簡單的。OpenAI能走到今天與其說是技術(shù)積累的勝利，不如說是技術(shù)信仰的勝利；與其說是它有什么超牛的技術(shù)，還不如說它堅(jiān)持在別人不相信的道路上勇敢前行。

其實(shí)即便到前年之前，OpenAI在硅谷都不是一個(gè)被看好的公司。但它自成立之初就相信一件事：讓機(jī)器讀大量的文字，它就能理解語言，甚至理解世界。在ChatGPT出現(xiàn)以前，所有人都不相信它可以實(shí)現(xiàn)，但它最后成功了。

Sora某種程度是ChatGPT的又一次翻版：它把視頻數(shù)據(jù)統(tǒng)一了，然后用大語言模型的方法理解視頻，最后“涌現(xiàn)”出了對物理世界的構(gòu)建能力。他們在技術(shù)報(bào)告中指出，Sora的靈感來源于大語言模型的開發(fā)。他們利用互聯(lián)網(wǎng)的規(guī)模數(shù)據(jù)使得大語言模型獲得了通識(shí)知識(shí)的能力。而大語言模型的成功在一定程度上得益于文字編碼（Tokens）的使用，它統(tǒng)一了不同的文字形式，包括編碼、數(shù)學(xué)和不同的自然語言。Sora有了視覺數(shù)據(jù)塊（pathes），可以有效表達(dá)不同種類的視頻和圖像數(shù)據(jù)。

當(dāng)然，Sora成功的背后還離不開另外一個(gè)男人——英偉達(dá)的聯(lián)合創(chuàng)始人黃仁勛。2月22日，英偉達(dá)市值一日暴漲2770億美元，相當(dāng)于漲出一個(gè)阿里+京東+百度，創(chuàng)造了人類史上最大個(gè)股單日市值增幅。英偉達(dá)目前總市值已靠近2萬億美元邊緣（1.96萬億美元），超過英特爾AMD高通博通四大半導(dǎo)體巨頭之和。2012年，當(dāng)英偉達(dá)的黃仁勛決定all in AI 的時(shí)候，沒人看好。但眼下，無論你是發(fā)力自動(dòng)駕駛，布局元宇宙，還是研發(fā)AI大模型，都離不開英偉達(dá)的GPU（圖形處理器）。

2016年，英偉達(dá)推出了全球首個(gè)針對AI計(jì)算場景的P100芯片。在此基礎(chǔ)上，英偉達(dá)打造了全球第一臺(tái)AI超算DGX-1。出人意料地，黃仁勛將這款價(jià)值12.9萬美元的全球首臺(tái)AI超算無償捐給了舊金山某個(gè)非營利性機(jī)構(gòu)。

捐贈(zèng)儀式上，黃仁勛拿出記號(hào)筆在機(jī)箱上寫道：“為了計(jì)算和人類的未來，我捐出世界上第一臺(tái)DGX-1?！爆F(xiàn)在人們知道了，這家非營利性機(jī)構(gòu)就是OpenAI。

8年前的一次捐贈(zèng)，從某種程度上看，也是AI發(fā)展浪潮中的一個(gè)巨大隱喻：用人類的信仰創(chuàng)造出驚人的未來。Sora的重大突破并不一定代表技術(shù)上的重大升級(jí)，而是又一個(gè)“大力出奇跡”的時(shí)刻——相信這事能成，然后不計(jì)成本地投入巨大的算力和數(shù)據(jù)嘗試。技術(shù)信仰使得他們?nèi)σ愿?，從而有了一個(gè)產(chǎn)品級(jí)的突破。從這個(gè)角度上講，Sora生成視頻的意義在于，繼語言模型突破之后，人類又迎來了視頻和物理世界虛擬生成的突破，人類完全可以用數(shù)據(jù)驅(qū)動(dòng)的方法讓機(jī)器學(xué)習(xí)，從而產(chǎn)生出有可能遠(yuǎn)遠(yuǎn)超過人類對這個(gè)世界的認(rèn)知方式，這或許是人類歷史的偉大轉(zhuǎn)折點(diǎn)！

近日，360創(chuàng)始人周鴻祎連發(fā)6段視頻和1篇長文，開直播向網(wǎng)友“推銷”Sora，“我成了布道者”，他隨之宣布了“四個(gè)相信”理論：“要有AI信仰；相信AI是工業(yè)革命級(jí)技術(shù)；相信人類已經(jīng)在朝著AGI（通用人工智能），甚至朝著強(qiáng)人工智能在指數(shù)級(jí)發(fā)展；相信不懂AI會(huì)終將被淘汰?！?/p>

Sora生成的舞龍視頻非常逼真。

Sora是OpenAI發(fā)布的文生視頻模型，能夠根據(jù)用戶輸入的提示詞、文本指令或靜態(tài)圖像，生成長達(dá)一分鐘的視頻，其中既能實(shí)現(xiàn)多角度鏡頭的自然切換，還包含復(fù)雜的場景和生動(dòng)的角色表情，且故事的邏輯性和連貫性極佳。

Sora的命名或來源于日語中的單詞“天空”。OpenAI團(tuán)隊(duì)表示，選用該詞是因其讓人聯(lián)想到無限的創(chuàng)作潛力。

Sora具有三大突出亮點(diǎn)，首先是時(shí)長，Sora可生成長達(dá)一分鐘的視頻，且可以保持視頻主體與背景的高度流暢性與穩(wěn)定性；其次是單視頻多角度，即在一段視頻中圍繞同一主體實(shí)現(xiàn)遠(yuǎn)景、中景、近景、特寫等不同鏡頭的切換，且符合邏輯；此外還有理解真實(shí)世界的能力，Sora對于光影反射、運(yùn)動(dòng)方式、鏡頭移動(dòng)等細(xì)節(jié)處理得十分優(yōu)秀，極大地提升了真實(shí)感。

語言模型是計(jì)算自然語言每個(gè)句子概率的數(shù)學(xué)模型。當(dāng)用戶向 AI 提問時(shí)，AI 會(huì)通過計(jì)算概率來確定其回答。當(dāng)前的語言模型不僅僅是一個(gè)問題對應(yīng)一個(gè)答案，實(shí)際上是一個(gè)問題對應(yīng)多個(gè)可能的答案，并根據(jù)這些答案的概率進(jìn)行排序，最終返回最有可能的答案。大語言模型擁有數(shù)以億計(jì)的參數(shù)，并在解決復(fù)雜任務(wù)時(shí)表現(xiàn)出令人驚嘆的能力。

Transformer模型是一種神經(jīng)網(wǎng)絡(luò)，這種模型應(yīng)用了一組不斷發(fā)展的數(shù)學(xué)技術(shù)，稱為注意力或自我注意力，以檢測甚至是系列中遙遠(yuǎn)的數(shù)據(jù)元素相互影響和相互依賴的微妙方式。自注意力機(jī)制的創(chuàng)新，使得模型能夠在捕捉長距離依賴關(guān)系的同時(shí)實(shí)現(xiàn)并行計(jì)算，大大提高了模型的性能和效率。無論是在自然語言處理還是計(jì)算機(jī)視覺領(lǐng)域，都成為了一種不可或缺的重要工具。

涌現(xiàn)理論的主要奠基人約翰·霍蘭德（John Henry Holland）在《涌現(xiàn)：從混沌到秩序》一書中這樣描述“涌現(xiàn)”現(xiàn)象：“在復(fù)雜的自適應(yīng)系統(tǒng)中，‘涌現(xiàn)’現(xiàn)象俯拾皆是：螞蟻社群、神經(jīng)網(wǎng)絡(luò)、免疫系統(tǒng)、互聯(lián)網(wǎng)乃至世界經(jīng)濟(jì)等。整體行為遠(yuǎn)比構(gòu)成它的部件復(fù)雜，可稱為‘涌現(xiàn)’?！?/p>

涌現(xiàn)在AI領(lǐng)域的表現(xiàn)為，當(dāng)大模型的參數(shù)與數(shù)據(jù)量足夠大時(shí)，突然就“涌現(xiàn)”出了驚人的智能，即實(shí)現(xiàn)AI 的自我進(jìn)化，能舉一反三，觸類旁通。