趙星植

（四川大學(xué) 外國語學(xué)院，四川 成都 610065）

社會符號學(xué)（socialsemiotics或sociosemiotics），顧名思義，是指探究社會文化語境中的符號表意與互動(dòng)的學(xué)科。它既關(guān)心社會與文化對符號表意的影響，也關(guān)注符號表意對社會意識形態(tài)建構(gòu)的作用。因此，“社會”一詞在這里作廣義理解，即社會符號學(xué)關(guān)注符號文本與文本外部現(xiàn)實(shí)世界的相互關(guān)系。因此，該學(xué)科所覆蓋的領(lǐng)域非常廣，也較難有清晰的定義和學(xué)科邊界。正如現(xiàn)任國際符號學(xué)會主席、《社會符號學(xué)》（Social Semiotics）期刊主編保羅·科布利（Paul Cobley）所言，社會符號學(xué)“是不加定義的”，因?yàn)樗且粋€(gè)傘形術(shù)語，關(guān)注符號在“各種社會意義塑造活動(dòng)中所采取的具體策略”［1］132。

社會符號學(xué)在當(dāng)代發(fā)展的一個(gè)主要分支，便是學(xué)界所公認(rèn)的社會符號學(xué)英-澳學(xué)派（The British-Australian School of Social Semiotics）［1］134。在 方法論上，該學(xué)派主要以澳大利亞系統(tǒng)功能語言學(xué)家韓禮德（M.K.Halliday）的社會語言學(xué)理論為基礎(chǔ)，并融合了巴爾特的傳媒符號學(xué)理論、?？碌脑捳Z與權(quán)力理論，以及其他傳播學(xué)研究中的批判理論模式。該學(xué)派在當(dāng)今已產(chǎn)生了極大的影響力，尤其是開辟了批評性話語分析（criticaldiscourseanalysis）這一領(lǐng)域，讓其成為符號學(xué)分析的一個(gè)重要理論工具。這一方法論發(fā)展到現(xiàn)在，顯然已經(jīng)突破了地域或?qū)W派的限制，成為社會符號學(xué)研究中的最基本范式。

一、作為社會符號的語言：韓禮德的影響

“社會符號學(xué)”之所以如此命名，緣于該學(xué)派的奠基人、澳大利亞系統(tǒng)功能語言學(xué)家韓禮德（M.A.K Halliday）的名著《作為社會符號的語言：從社會角度詮釋語言與意義》（Language as social semiot?ic：The social interpretation of language and mean?ing，1978）。該書作為韓禮德系統(tǒng)功能語言學(xué)的開山之作，開篇便承認(rèn)“語言是社會符號（Language as social semiotic）”［2］1，是社會文化的產(chǎn)物和組成部分，是在一定的社會文化背景中表達(dá)一定意義的符號系統(tǒng)。所以，我們“要在社會語境中解釋語言，在此過程中文化本身用符號學(xué)術(shù)語來說，被解釋為一個(gè)信息系統(tǒng)”，“人們在他們?nèi)粘５恼Z言交換過程中，實(shí)現(xiàn)社會結(jié)構(gòu)，肯定自己的地位和角色，建立和傳遞共享的價(jià)值系統(tǒng)和知識系統(tǒng)”［2］108-110。

這表明語言既表達(dá)意義，也積極將社會結(jié)構(gòu)和系統(tǒng)符號化。語言的這種雙重功能使意義的表達(dá)方式多種多樣，“從后院的閑言碎語到敘述體小說到史詩般的詩歌”［2］110。與此同時(shí)，社會結(jié)構(gòu)（包含語境、家庭等級以及社會等級三種）決定了話語的意義，同時(shí)這些結(jié)構(gòu)又通過對話語意義的控制來穩(wěn)定相應(yīng)的社會關(guān)系。這為后來分析討論話語與社會語境、社會結(jié)構(gòu)的相互關(guān)系提供了最重要的理論框架［3］69。

韓禮德認(rèn)為對語言符號的研究不應(yīng)當(dāng)停留在索緒爾意義上的語言層面，而應(yīng)當(dāng)擴(kuò)展到具體社會語境中的語篇（text）或話語（discourse）［2］1-2中。他同樣在《作為社會符號的語言》一書中提出，“話語分析是一種社會分析方法，揭示人類如何理解彼此的話語”［2］5，并認(rèn)為話語及其意義形成均受到語境、系統(tǒng)、語域、社會結(jié)構(gòu)、符碼規(guī)則等影響。這些社會因素的影響使得話語或符號文本具有了三大元功能，即概念功能、交際功能以及語篇功能。因此，我們可以在特定的社會語境下，通過分析話語功能來推導(dǎo)話語的語義結(jié)構(gòu)，這也就是韓禮德著名的系統(tǒng)功能語言學(xué)理論。韓禮德的社會符號學(xué)理論開啟以“話語”或“言語”為中心的分析模式，其逐漸成為社會符號學(xué)英-澳學(xué)派的最主要分析工具。因此，社會符號學(xué)方法在許多場合又被視為是“話語分析法”（discursiveanalysis），這是因?yàn)樵搶W(xué)派對話語的研究興趣由來已久。所謂“話語”（dis?course），從狹義上理解，即為大于句子或從句的語言單位，如口頭對話或書面語篇。社會符號學(xué)學(xué)者使用“話語”，而非“語言”，主要是強(qiáng)調(diào)語言在社會語境下的具體使用，即“自然發(fā)生的”話語。如哈里斯所述，“語言不是在零散的詞或句子中發(fā)生的，而是在連貫的話語中”［4］。再如梵·迪克所言，話語分析是一種社會分析方法，它把話語視為一種過程中的語言，揭示人類如何理解彼此的話語［5］83-101。

關(guān)于話語與語言，索緒爾在《語言學(xué)教程》中已經(jīng)用“語言”和“言語”這兩個(gè)術(shù)語區(qū)分得非常清楚。索緒爾稱語言系統(tǒng)規(guī)則為“語言”（langue），而語言系統(tǒng)的任何一次出現(xiàn)形態(tài)即為“言語”（parole）。索緒爾的貢獻(xiàn)在于從系統(tǒng)和結(jié)構(gòu)層面，發(fā)展了一套共時(shí)語言學(xué)體系。這套體系成為現(xiàn)代符號學(xué)的雛形，它聚焦于語言而排斥言語的基本原則，其基本取向無疑是“反話語的”。

而對索緒爾二元理論的反駁，恰恰成為了社會符號學(xué)英-澳學(xué)派學(xué)者的理論出發(fā)點(diǎn)。社會符號學(xué)英-澳學(xué)派的后繼者、英國符號學(xué)家岡瑟·克雷斯（Guther Kresss）在上述這一區(qū)分性問題上進(jìn)行了根本性闡述。他認(rèn)為話語是由“處于社會中的說話者和作者產(chǎn)生的”［6］260，但話語產(chǎn)生者并不總是平等的，因此他提倡話語分析應(yīng)當(dāng)分析話語與社會權(quán)力的關(guān)系，拓展話語分析的社會批評維度。

這一重話語輕語言、重歷時(shí)輕共識的研究范式，恰恰與索緒爾模式相反。因此，社會符號學(xué)話語研究的興起，從描寫轉(zhuǎn)向闡釋，從文本轉(zhuǎn)向分析使用，對整個(gè)語言研究來說，無疑是意義深遠(yuǎn)的“話語轉(zhuǎn)向”（discursive turn）。應(yīng)當(dāng)指出，話語轉(zhuǎn)向不僅是韓禮德一個(gè)人的貢獻(xiàn)，更不是一個(gè)流派獨(dú)自努力的結(jié)果，它與整個(gè)語言學(xué)、符號學(xué)的符用學(xué)轉(zhuǎn)向緊密相關(guān)。特別是奧斯?。↗.L.Austin）、塞爾（J.R.Searle）等人在20世紀(jì)六七十年代所開啟的“言語行為”（Speech Act）的理論與實(shí)踐，以及利奇（G.N.Leech）和格萊斯（H.P.Grice）等人所開啟的基于言語行為的語用學(xué)分析，也產(chǎn)生了巨大的影響。關(guān)注符號使用中的意義，成為20世紀(jì)中葉以后整個(gè)人文學(xué)科的基本任務(wù)。

社會符號學(xué)英-澳學(xué)派便是在上述學(xué)術(shù)語境中發(fā)展起來的。該學(xué)派的后繼者有英國學(xué)者克雷斯、霍奇，以及在澳大利亞科技大學(xué)工作的荷蘭籍學(xué)者梵·勒文等。他們在韓禮德理論基礎(chǔ)上融合廣義符號學(xué)理論，“以索緒爾為反導(dǎo)向”，以被結(jié)構(gòu)主義符號學(xué)所懸置討論的部分為研究出發(fā)點(diǎn)，繼續(xù)推進(jìn)社會符號學(xué)理論的發(fā)展。

二、從語言到話語分析：霍奇與克雷斯

英國學(xué)者霍奇與克雷斯在韓禮德的影響下，把研究對象從語言推進(jìn)到話語層面，開啟了話語分析的新階段。兩位學(xué)者指出：從學(xué)科定位來說，社會符號學(xué)主要研究人類所有的符號活動(dòng)與符號體［6］260。他們認(rèn)為這些符號活動(dòng)是一種社會現(xiàn)象，在條件和內(nèi)容方面具有本質(zhì)的社會屬性，因而和社會意義相關(guān)。而社會意義就是通過整個(gè)系統(tǒng)、系列的符號形式，通過符號文本和符號實(shí)踐，在人類歷史所有階段的所有社會中建構(gòu)起來。因此，社會符號學(xué)的基本任務(wù)就是探究在這些社會符號活動(dòng)的過程中，各類符號使用者所使用的所有符號形式中的意義生產(chǎn)和再生產(chǎn)、接受和傳播的操作與效果。

對于社會符號系統(tǒng)的構(gòu)成要素，該學(xué)派認(rèn)為主要有以下幾個(gè)。（1）符號現(xiàn)象。它具有社會和指涉兩個(gè)維度，因此必須用模仿層和社會活動(dòng)層進(jìn)行描述。（2）模仿層。它是指可能指涉對象的某種/某些現(xiàn)實(shí)樣式。（3）符號活動(dòng)層。它表示把生產(chǎn)者和接受者以及能指/所指連接成為一種重要關(guān)系的某種/某些符號事件。符號活動(dòng)層是模仿層所需要的語境，而模仿層則是符號活動(dòng)層的組成部分。（4）信息（message）。它是能夠擁有獨(dú)立物質(zhì)存在的意義最小單位。（5）符號。信息必須擁有一種物質(zhì)性存在，其中至少有兩個(gè)意義單位，即符號。（6）信息體系的結(jié)構(gòu)。其與指涉對象的結(jié)構(gòu)通過符碼（code）得以聯(lián)系。（7）元符號。它表示符號活動(dòng)層面的不同方面，它的符號活動(dòng)條件決定了信息的存在方式。

所以，社會符號學(xué)的討論，也必然會包含以下幾個(gè)相互對應(yīng)的重要部分：（1）符號學(xué)內(nèi)部固有的變化、社會和政治；（2）伴隨口頭語言和其他符號學(xué)體系；（3）言語、言說行為，以及其他符碼形式進(jìn)行的具體表意實(shí)踐；（4）符號與話語歷時(shí)性、時(shí)間、歷史、過程變化；（5）表意實(shí)踐與操作，表意體系與指涉結(jié)構(gòu)直接的相互交流；（6）所指結(jié)構(gòu)；（7）符號的物質(zhì)性［6］18。

基于以上探討，社會符號學(xué)主要就是分析上述符號系統(tǒng)中各個(gè)構(gòu)成要素之間的連接、融合、交流及其沖突方式。為此，該學(xué)派又提出一系列工具，對社會符號系統(tǒng)及其構(gòu)成進(jìn)行描述與分析。

（1）符號構(gòu)成部分的關(guān)系分析。該學(xué)派認(rèn)為符號結(jié)構(gòu)可以用連貫（融合/分離，相同/不同）和秩序（水平和垂直）關(guān)系進(jìn)行描述。兩種重要的秩序分別是從屬和并列。由于不同的結(jié)構(gòu)層次需要進(jìn)行不同的描述，因此他們又將社會符號結(jié)構(gòu)分為宏觀結(jié)構(gòu)、中觀結(jié)構(gòu)和微觀結(jié)構(gòu)。這是社會符號學(xué)整體的分析架構(gòu)及其切入方式。

（2）文本。社會符號學(xué)將文本界定為被賦予符號活動(dòng)整體性的一連串的信息。文本常常包含由不止一個(gè)生產(chǎn)者所發(fā)出的信息，也不止使用一種符號，同時(shí)還包含模仿內(nèi)容和一系列元符號活動(dòng)，它們共同投射出文本的一種現(xiàn)實(shí)和一種符號活動(dòng)狀況。因此，社會符號學(xué)對文本的分析，主要從符碼構(gòu)成、模仿以及元符號活動(dòng)等方面展開。

（3）話語。他們認(rèn)為話語是分析符號活動(dòng)層面的重要工具，話語具體是指符號活動(dòng)操作方式而不是其產(chǎn)品（即文本）。話語通過文本得以實(shí)現(xiàn)，并且與之不可分割。由于話語是任何文本的主要所指，因此在社會符號學(xué)中，文本的符號活動(dòng)分析必須要遵從話語分析（discursive analysis）的相關(guān)原則。這是它與其他符號學(xué)范式的一個(gè)重要區(qū)別。

（4）模態(tài)。這是社會符號學(xué)的另一個(gè)關(guān)鍵分析工具。模態(tài)具體是指被符號所再現(xiàn)的內(nèi)容與在現(xiàn)實(shí)世界中所指稱之對象的關(guān)聯(lián)程度。模態(tài)的高低決定著符號再現(xiàn)信息的效果與質(zhì)量。因此，社會符號學(xué)認(rèn)為可以通過模態(tài)標(biāo)記法，對符號文本所顯現(xiàn)出來的信息重要性程度進(jìn)行評估。

通過上述基本概念與分析工具，該學(xué)派把符號意義的建構(gòu)與傳達(dá)視為一種操作方式。因此，意義的生產(chǎn)和再生產(chǎn)是在特定社會條件下，通過特定的物質(zhì)形式和使用者達(dá)成的。對社會符號文本分析的本質(zhì)目的，就是要找出建構(gòu)這種文本意義的社會結(jié)構(gòu)、社會力量、權(quán)力關(guān)系，以及其他復(fù)雜的意識形態(tài)操作關(guān)系，進(jìn)而形成一種獨(dú)特的符號學(xué)分析范式。

可以看出，相關(guān)學(xué)者承襲了韓禮德的社會符號學(xué)理論，強(qiáng)調(diào)符號以及話語實(shí)踐所承擔(dān)的不同功能。他們論著中對于社會結(jié)構(gòu)、口頭語言、符碼、話語與話語結(jié)構(gòu)的歷時(shí)性討論，皆是沿用韓禮德本人的論述，并且認(rèn)為符號從屬于各種社會理論，或者社會中的符號。也就是說，符號是個(gè)人、社會、符號系統(tǒng)和社會文化現(xiàn)實(shí)的綜合體［2］147。

這一學(xué)派近年來把這種以話語為主導(dǎo)的社會符號學(xué)模式，進(jìn)一步推進(jìn)到非言語符號領(lǐng)域，例如圖像、視頻、音樂等，從而實(shí)現(xiàn)話語分析的“多模態(tài)轉(zhuǎn)向”［7］。多模態(tài)這一術(shù)語，同樣從韓禮德的系統(tǒng)功能語言學(xué)發(fā)展而來。以克雷斯和勒溫等人為代表的學(xué)者們，認(rèn)為話語作為被話語使用者所選出的社會符號學(xué)資源，從本質(zhì)上說是多模態(tài)性的。它不僅是語言，還可以是視覺、聽覺、姿態(tài)等其他非語言符號［8］。

換言之，其他非語言符號的多模態(tài)話語，在社會話語實(shí)踐的具體活動(dòng)過程中，通過組合、銜接、修辭等手段，同樣承擔(dān)著重要的社會功能［9］。在這些學(xué)者的帶領(lǐng)下，社會符號學(xué)從單一模態(tài)（即言語符號）轉(zhuǎn)向多模態(tài)話語分析。社會符號學(xué)則以廣義符號學(xué)為基礎(chǔ)，把話語作為符號資源，從多模態(tài)（mul?timodality）代替?zhèn)鹘y(tǒng)話語這一概念出發(fā)，拓展了話語分析的應(yīng)用范圍，成為話語分析突破對話分析模式，轉(zhuǎn)向廣義符號分析的重要突破口。

社會符號學(xué)英-澳學(xué)派所代表的，以多模態(tài)話語分析為研究手段的社會符號學(xué)，應(yīng)當(dāng)被視為當(dāng)代話語分析的最新研究方向，是當(dāng)代符號學(xué)發(fā)展的重要方向。新媒介技術(shù)手段的飛速發(fā)展，多樣且融合的多媒體技術(shù)，是社會符號再現(xiàn)與交流的最主要方式。因此，話語分析要得以進(jìn)一步推進(jìn)，不得不依靠社會符號學(xué)乃至廣義符號學(xué)所提供的諸如多模態(tài)社會話語分析、符號學(xué)資源分析等以非語言符號為對象的新模式與新方法。與此同時(shí)，話語分析作為當(dāng)代符號學(xué)中的一個(gè)重要分支，它對符號表意實(shí)踐與社群之間的關(guān)系，以及社群意識形態(tài)的關(guān)注，也將為符號學(xué)在當(dāng)代的發(fā)展開拓新的局面。

三、從話語到多模態(tài)分析：梵·勒文

如前文所述，社會符號學(xué)英-澳學(xué)派在當(dāng)代的新發(fā)展是從話語研究拓展到以非語言為中心的多模態(tài)研究，而引領(lǐng)這一潮流的是梵·勒文與克雷斯。兩人于1996年出版專著《讀圖：視覺設(shè)計(jì)的語法》（Reading Images：The Grammar of visual design），這是最早進(jìn)行的有關(guān)視覺傳播的符號學(xué)研究。該書提出“框架”（framing）這一核心概念，探索視覺文本中模態(tài)、框架與意義構(gòu)成之間的相互關(guān)系。此研究被視為“視覺符號學(xué)”（visual semiotics）的基礎(chǔ)，也是二人后來建構(gòu)“多模態(tài)符號學(xué)”的理論基礎(chǔ)。

在研究了視覺符號學(xué)之后，兩人開始著手建構(gòu)多模態(tài)符號學(xué)理論，并出版了《多模態(tài)話語：當(dāng)今傳播中的模態(tài)與媒介》（Multimodal Discourse–The Modes and Media of Contemporary Communication，2001），著手從單一的視覺模態(tài)研究，轉(zhuǎn)向到包含多種模態(tài)的文本研究，同時(shí)探討各種模態(tài)意義建構(gòu)與承載媒介之間的相互關(guān)系［10］。隨后，梵·勒文出版了《社會符號學(xué)引論》（Introducing Social Semiotics，2005），克雷斯出版了《多模態(tài)：當(dāng)今傳播的社會符號學(xué)》（Multimodality：A Social Semiotic Approach to Contemporary Communication，2010）等專著，對模態(tài)間銜接與意義建構(gòu)、模態(tài)與多媒介文本表意等關(guān)鍵問題進(jìn)行深入分析，進(jìn)一步奠定了該學(xué)派在多模態(tài)研究方面的理論與方法論體系［8］［9］。

關(guān)于多模態(tài)轉(zhuǎn)向的原因，克雷斯與梵·勒文也曾做了較為清楚的說明。多模態(tài)的轉(zhuǎn)向與當(dāng)代文化，特別是與數(shù)字化時(shí)代的發(fā)展緊密相關(guān)。在數(shù)字化時(shí)代之前，社會文化以“單模態(tài)”（monomodality）為主，無論是文學(xué)、藝術(shù)，還是其他領(lǐng)域均呈現(xiàn)出這一特征。例如，在小說、工作報(bào)告、學(xué)術(shù)論文中，經(jīng)常以純文字形式展開而不帶圖表等其他模態(tài)形式；在交響音樂會中，演奏者們通常身著統(tǒng)一的服裝，舞臺的呈現(xiàn)以音樂為主，沒有如視頻、燈光等其他形式。

社會文化的單模態(tài)化，同樣使得有關(guān)這些領(lǐng)域的學(xué)術(shù)研究呈現(xiàn)單模態(tài)或單學(xué)科化的特征：“用一種語言去討論語言（語言學(xué)），用另一種語言去討論藝術(shù)（藝術(shù)史），再用另一種語言去談?wù)撘魳罚ㄒ魳穼W(xué)）?！保?0］1由此，一個(gè)學(xué)科只能采用自己的方法、自己的假設(shè)、自己的術(shù)語，當(dāng)然也有自身的優(yōu)勢和盲點(diǎn)。這與單模態(tài)符號文本的特征一樣。我們在此前的研究中，只會關(guān)注一個(gè)符號文本中的主導(dǎo)模態(tài)，而忽視其他模態(tài)也會在同時(shí)對文本的意義生成產(chǎn)生重要的影響。這正是多模態(tài)研究的出發(fā)點(diǎn)所在。

如今的數(shù)字媒介時(shí)代，是多模態(tài)文本主導(dǎo)的時(shí)代。不同模態(tài)完全可以自由地匯聚在同一個(gè)符號文本之中或同一個(gè)界面之中。這是數(shù)字媒介時(shí)代的符號表意常態(tài)，而且在紙質(zhì)媒介之中（例如小說、新聞報(bào)道、學(xué)術(shù)論文），在藝術(shù)文本之中（例如裝置藝術(shù)、舞臺藝術(shù)、音樂藝術(shù)）也具有這種多模態(tài)化特征。越來越多的圖例、圖像、漫畫出現(xiàn)在文本之中，舞臺演出越來越離不開多媒體因素，還有越來越多的藝術(shù)跨界與文本跨界現(xiàn)象，等等。不難發(fā)現(xiàn)，多模態(tài)是當(dāng)今社會符號表意的主要形態(tài)。

二位學(xué)者也敏感地指出，20世紀(jì)末的符號學(xué)運(yùn)動(dòng)也表現(xiàn)出與“多模態(tài)文本”類似的趨勢。各個(gè)符號學(xué)派都試圖建構(gòu)一套廣義的理論框架，以包含所有類型的符號模態(tài)：從傳統(tǒng)服飾到詩歌，從交通標(biāo)志到古典音樂，從時(shí)尚到戲劇，等等。但這些學(xué)派與早期的“視覺符號學(xué)”一樣，也僅僅是“某一個(gè)領(lǐng)域的專家（比如圖像），并立足于某個(gè)單模態(tài)的學(xué)科之上”［10］2。

在上述基礎(chǔ)上，二位學(xué)者認(rèn)為多模態(tài)社會符號學(xué)要探索多模態(tài)符號交流背后所蘊(yùn)含的共同表意規(guī)則。傳統(tǒng)論者認(rèn)為，多模態(tài)文本中的不同模態(tài)具有嚴(yán)格的界限，并行使不同的表意功能。例如在電影中，圖像提供行為，同期聲提供現(xiàn)場感，音樂營造情緒，它們各司其職，互不影響。而多模態(tài)符號學(xué)認(rèn)為，在模態(tài)之中存有共同符號規(guī)則，它可以協(xié)同多種不同的模態(tài)，來共同建構(gòu)一個(gè)符號文本的意義。所以，在電影中，音樂也可以表達(dá)行為，圖像也可以表達(dá)現(xiàn)場感。因此，模態(tài)間的關(guān)鍵并不是等級關(guān)系、主次關(guān)系，而是合作、協(xié)同與統(tǒng)一調(diào)配。

因此，多模態(tài)符號學(xué)的任務(wù)就是建立這種寬泛的理論，來包容所有的模態(tài)。這是因?yàn)樵诩榷ǖ纳鐣幕I(lǐng)域，不同的符號模態(tài)可以表達(dá)同一個(gè)意義。或者說，同一個(gè)符號文本里的多種模態(tài)，均在協(xié)同表達(dá)同一個(gè)意義。

1.多模態(tài)與符號資源

所謂“模態(tài)”（mode），在克雷斯等人看來，就是那些可以在話語以及不同類型的符號活動(dòng)中同時(shí)實(shí)現(xiàn)（realization）的“符號資源”（semiotic resourc?es）。而符號資源，作為多模態(tài)分析的核心概念，是從韓禮德《作為社會符號學(xué)的語言》中有關(guān)“語法”（grammar of alanguage）的討論中得到靈感的。韓禮德認(rèn)為“語法不是符碼，也不是一套可以創(chuàng)造正確句子的規(guī)則，而是一種‘可以產(chǎn)生諸種意義’的資源”。

基于這一理論，多模態(tài)學(xué)者們把語法概念拓展到更為廣泛的符號模態(tài)中來，并且將符號資源定義為“一切可供我們交流的行動(dòng)或者物品”。因此，符號資源并不僅僅局限于語言、寫作或者繪畫這些明顯的符號表現(xiàn)形式，事實(shí)上“幾乎所有自然存在的，或者人類自身創(chuàng)造的事物，也即一切能夠用來表達(dá)社會與文化意義的事物”都可以被視作符號資源。但是，符號資源僅僅作為符號表意的潛勢（semiotic potential）而存在。也就是說，符號資源如果沒有被人們感知、解釋，那么它只具有表意的潛能，并不能直接表意。

“符號資源”其實(shí)是一個(gè)復(fù)數(shù)的概念，它包括了在某個(gè)具體語境中可能被轉(zhuǎn)換為意義的物質(zhì)與感知的總和。把符號當(dāng)作“資源”來理解，也就更加確定了符號使用者對符號使用的能動(dòng)力。因?yàn)榉柺褂谜弑仨氁谝淮畏栠^程（semiosis）中，懂得如何調(diào)度與整合符號資源，這樣才能夠很好地將其意圖意義傳遞給符號接收者，反之亦然。因此，符號資源要表意，則必須進(jìn)入社會交際的視野。只有通過符號傳遞雙方挑選、甄別有用的符號資源，并進(jìn)行交流、融合與溝通等活動(dòng)，符號資源才能夠被當(dāng)作攜帶意義的符號而存在，相應(yīng)地，意義表達(dá)行為才能夠順利進(jìn)行。

“符號資源”帶給我們的啟示在于，社會交際是一種由各式各樣的符號資源（單個(gè)模態(tài)）通過不同方式組成的多模態(tài)語篇，而對不同資源在一次交際行為中的不同排列，會造成迥然不同的交際效果。因此，多模態(tài)符號學(xué)分析的關(guān)鍵，就是要討論在多模態(tài)符號文本中，這些潛在的符號資源是如何被調(diào)度，進(jìn)而被有效銜接起來，用于社會表意的。

具體來說，社會符號學(xué)就是探究符號資源是通過什么方式被符號交際雙方使用到具體的語境中，在此語境中得到了怎樣的變異與互動(dòng)，并且獲得什么樣的交際效果。在上述意義上，符號活動(dòng)（semio?sis）可以重新修訂為符號傳達(dá)過程的雙方，為使得符號意義在特定語境中得以順利傳達(dá)，而進(jìn)行的雙向符號資源的調(diào)度與整合活動(dòng)。由此，符號傳播便突破了文本的維度，進(jìn)入到具體的社會語境中，同時(shí)利用一切能夠促進(jìn)該段交際順利進(jìn)行的策略和手段。

2.多模態(tài)符號傳播中的意義生成

如同任何一個(gè)符號學(xué)說一樣，多模態(tài)研究的核心是符號傳播中的生成過程。不過，社會符號學(xué)在意義這一核心問題上與傳統(tǒng)符號學(xué)，特別是結(jié)構(gòu)主義符號學(xué)有著不同的立場。傳統(tǒng)符號學(xué)研究者主要認(rèn)為意義是在一個(gè)有機(jī)的系統(tǒng)或文本中一次生成的，因此他們所分析的意義是較為靜態(tài)的［10］5。

社會符號學(xué)則把意義視為社會表意實(shí)踐中，符號交際雙方對符號資源的調(diào)度與使用，因此符號意義會動(dòng)態(tài)地生成于社會表意實(shí)踐的各個(gè)模態(tài)、各個(gè)層面以及各種過程之中。唯有從多個(gè)維度來考察符號資源也即模態(tài)在社會語境中的使用方式，才能夠更加準(zhǔn)確地描述出意義的生成過程。為此，克雷斯等人提出，應(yīng)當(dāng)從如下四個(gè)層面（strata）考察意義，即話語（discourse）、計(jì)劃（design）、生成（produc?tion）與傳播（distribution）。需要指出的是，這四個(gè)層面是符號意義生成的場域，它們是并列關(guān)系，而非自上而下的等級關(guān)系。

第一，話語。它是“某方面的實(shí)在（reality）被社會化建構(gòu)（socially constructed）出來的知識”［10］5。所謂“社會化建構(gòu)”，是指這些知識的形成需要依靠特定的、與社會行為者興趣相關(guān)的社會語境。這種語境可以很廣泛（例如“西歐”），也可以很集中（例如特定的家庭），可以是體制化的語境（例如報(bào)紙），也可是非常私人或日常的語境（例如餐桌邊的閑談）。這些具體的社會活動(dòng)，都可以是話語生成所依賴的語境。

這些話語的范圍也非常廣泛，可以是構(gòu)成實(shí)在之事件的知識，例如誰參與，發(fā)生在何時(shí)何地等等，也可以是有關(guān)該事件的評論、目的、解釋。與此同時(shí)，人們對同一個(gè)具體的社會實(shí)在也會產(chǎn)生不同的話語。人們總是采用最利于社會交際的話語方式。換言之，盡管話語相對來說不太依賴于風(fēng)格、模態(tài)以及設(shè)計(jì)，但是它必須在符號模態(tài)中才能產(chǎn)生，這是因?yàn)榉柲B(tài)為其提供了具體的實(shí)現(xiàn)方式。

第二，計(jì)劃。設(shè)計(jì)存在于內(nèi)容與表達(dá)之間。它是表達(dá)的概念層面，也是概念的表達(dá)層面［10］19。簡言之，計(jì)劃就是對符號資源的使用，而符號資源則是社會語境中所有的符號模態(tài)以及模態(tài)的組合。具體來說，在社會符號交流中，有三個(gè)方面的事務(wù)需要被計(jì)劃：（1）話語如何被組織或被調(diào)配；（2）話語如何在具體的社會互動(dòng)之中；（3）符號模態(tài)如何被具體使用。因此，計(jì)劃的目的就是在具體的社會交際語境中，通過計(jì)劃并使用符號模態(tài)來建構(gòu)社會話語。與此同時(shí)，計(jì)劃的形成也可能從社會行動(dòng)層面改變既定的社會話語。

第三，生成。它是指符號產(chǎn)品（semioticprod?uct）或者符號事件在物理形式上的銜接過程（artic?ulation）［10］20。多模態(tài)符號文本可以通過原型（proto?type）銜接，也可以在原型符號基礎(chǔ)上被再度編碼、轉(zhuǎn)換成其他更容易傳播的物理形式。與模態(tài)計(jì)劃環(huán)節(jié)一樣，多模態(tài)語篇的生成使得計(jì)劃轉(zhuǎn)換成可感知的意義形成過程，但也在某種程度上增加或改變了符號意義。

第四，傳播。這是指符號使用者在技術(shù)層面對符號產(chǎn)品或符號事件的“再編碼”（re-coding）［10］20。例如，我們對電視、電影的錄制，以及在電視臺或網(wǎng)絡(luò)平臺對該視頻的傳播。克雷斯等人認(rèn)為，這種傳播手段是一種意義再生成（re-production）的手段。它們在傳播過程中，會獲得自身的符號潛勢（semi?oticpotential），共同參與到符號表意活動(dòng)之中。電影在播放過程中出現(xiàn)的花屏、跳幀之類的通常被視為“噪音”的現(xiàn)象，也可以被視為是多模態(tài)文本的一部分，共同參與到符號意義的建構(gòu)過程之中。因此，社會符號學(xué)的多模態(tài)分析是立足于具體的社會語境，對文本中的各個(gè)模態(tài)在上述四個(gè)環(huán)節(jié)中的組合、銜接及其具體的表意作用進(jìn)行仔細(xì)分析。這為探討符號意義在當(dāng)今社會與文化的中生成與傳播過程，提供了一套有效的方法論工具。