黃雅君

(泉州師范學(xué)院 外國語學(xué)院,福建 泉州 362000)

2022年10月,泉州市人民政府提出保護、傳承與活化世界遺產(chǎn),講好泉州故事,提升泉州“宋元中國·海絲泉州”城市品牌(1)轉(zhuǎn)引自泉州市人民政府官方網(wǎng)站.《泉州市推進國家文化和旅游消費試點城市建設(shè)實施方案》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788156.htm,2022-09-27.(2)轉(zhuǎn)引自泉州市人民政府官方網(wǎng)站.《泉州市加快推進21世紀(jì)“海絲名城”建設(shè)實施方案(2022-2026年)》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788144.htm,2022-10-12.的基本思路。城市品牌的構(gòu)建和傳播不僅有利于提升城市的競爭力,也有利于塑造國家形象。智媒時代,大眾對城市形象的認(rèn)知開始由現(xiàn)實空間轉(zhuǎn)向“媒介空間”[1],城市品牌的傳播格局被改變。在這樣的大背景下,“媒介空間”衍生的多模態(tài)符號資源,如圖像、音頻、視頻、文字等,在城市品牌的構(gòu)建與傳播過程中就發(fā)揮著越來越重要的作用。本文以建設(shè)“宋元中國·海絲泉州”城市品牌傳播多模態(tài)語料庫為例,基于符號學(xué)的角度,探討多模態(tài)視域下城市品牌傳播研究的可行性,詳述泉州城市品牌傳播多模態(tài)語料庫的建設(shè)背景、意義與構(gòu)建流程,進而展望該多模態(tài)語料庫在城市品牌傳播研究中的應(yīng)用前景。

一、多模態(tài)語料庫研究現(xiàn)狀

多模態(tài)語料庫是經(jīng)科學(xué)取樣并加工的大規(guī)模語言及非語言文本的集合數(shù)據(jù)庫,建庫目的在于采用實證的方法系統(tǒng)地研究語言符號與非語言符號之間的相互作用[2]。目前,多模態(tài)語料庫的研究已經(jīng)成為自然語言處理、計算機視覺和跨文化等領(lǐng)域的熱點之一。隨著社交媒體和在線平臺的普及,大量的多模態(tài)數(shù)據(jù)被用戶生成與共享。這些數(shù)據(jù)包括文本、圖像、視頻等多種模態(tài),為多模態(tài)語料庫的構(gòu)建和研究提供新的機會和挑戰(zhàn)。多模態(tài)語料庫按照其功能大致可以分為“綜合性多模態(tài)語料庫”與“專門用途多模態(tài)語料庫”等兩類。其中,專門用途多模態(tài)語料庫是指出于某種特定的研究目的而收集該特定領(lǐng)域的多模態(tài)語料樣本建成的用以研究并解決不同問題的語料庫。

國外的多模態(tài)語料庫建設(shè)歷史較長,建庫技術(shù)較為復(fù)雜?，F(xiàn)有的多模態(tài)語料庫雖涉及領(lǐng)域廣泛、語種豐富,但每個語料庫只為某一專門領(lǐng)域的語料集合,即專門用途多模態(tài)語料庫,如人機對話[3]、商務(wù)會議[4]、嬰兒話語及行為[5]、 教材分析[6]等。

國內(nèi)多模態(tài)語料庫建設(shè)還處于起步階段。與國外多模態(tài)語料庫建設(shè)現(xiàn)狀相似,國內(nèi)現(xiàn)有的多模態(tài)語料庫項目亦服務(wù)于某一特定專門領(lǐng)域的發(fā)展,如中國傳統(tǒng)故事[7]、旅游翻譯[8]、情感表達(dá)[9]、老年語言學(xué)[10]327-335、護理英語[11]、外語課堂教學(xué)[12]、口譯教學(xué)[13]等。專用型多模態(tài)語料庫建設(shè)是近年來國內(nèi)學(xué)者關(guān)注的課題。但迄今為止,以城市品牌多模態(tài)傳播資源為語料的多模態(tài)語料庫建設(shè)與應(yīng)用研究還未展開。

近年來,城市品牌傳播研究已從關(guān)注單一模態(tài)逐漸轉(zhuǎn)向關(guān)注多模態(tài)。Wang等[14]選取西安市旅游局在抖音發(fā)布的294條短視頻,以多模態(tài)批評話語分析作為框架進行研究,發(fā)現(xiàn)隨著現(xiàn)代技術(shù)和全球消費主義的發(fā)展,二線城市在品牌建設(shè)過程中創(chuàng)造獨特的地方符號至關(guān)重要。Lam等[15]以旅游網(wǎng)站TripAdvisor用戶對香港的圖文評價作為語料,用批評話語分析作為框架探求城市品牌在網(wǎng)絡(luò)空間的塑造與傳播?，F(xiàn)有的研究證明了多模態(tài)視域下城市品牌傳播研究的可行性。

目前,泉州“宋元中國·海絲泉州”城市品牌傳播實踐初見成效,但借助多模態(tài)語料庫開展的相關(guān)傳播內(nèi)容研究尚為空白。因此,構(gòu)建一個科學(xué)、動態(tài)、有代表性的基于泉州城市品牌多模態(tài)傳播資源的語料庫及其傳播研究,對推進泉州城市品牌建設(shè)與傳播具有重要的學(xué)術(shù)意義和實踐意義。

二、理論框架與研究方法

城市作為一個主體,其品牌是一種具有商業(yè)價值的無形資產(chǎn)[16]。城市品牌傳播是以“城市要素”為主的品牌建設(shè)與塑造過程。智媒時代,技術(shù)賦能傳播,城市品牌的傳播由圖文轉(zhuǎn)向短視頻[16],由單模態(tài)轉(zhuǎn)向多模態(tài),城市品牌建設(shè)與塑造的主場由現(xiàn)實空間轉(zhuǎn)向“媒介空間”[1],品牌傳播的過程嬗變成為多模態(tài)的傳播過程,調(diào)動受眾的聽覺、視覺等多種感官。城市品牌傳播短視頻通過視頻圖像、聲音、動畫等手段,以影像符號傳遞城市信息,在特定的社會文化背景下塑造城市品牌[14]。

索緒爾指出,在一定的社會文化背景下,無意義的符號能通過聚合和組合形式構(gòu)成意義[17]124。其中,“聚合”指的是在一類要素中進行選擇的結(jié)果,而“組合”指的是通過剪輯手段將不同的鏡頭放在一起進行編排。在這樣的視角下,短視頻作為影像語言,正是一種通過聚合和組合符號形成的表意系統(tǒng)。巴特等進一步指出,影像通過轉(zhuǎn)喻、隱喻和象征等修辭手段將實體符號轉(zhuǎn)換為表達(dá)意識形態(tài)的內(nèi)涵因子[18]93?；诖?符號經(jīng)“聚合”和“組合”后形成的意義和內(nèi)涵,是以短視頻為主要傳播方式的多模態(tài)城市品牌傳播研究的基本問題。泉州城市品牌傳播多模態(tài)語料庫的設(shè)計與建構(gòu)是以2021年7月以來主流媒體平臺發(fā)布的泉州城市品牌相關(guān)的短視頻為語料,以符號學(xué)分析法為方法論,探索城市品牌傳播短視頻的文本、表意過程和基本敘事結(jié)構(gòu)類型。

三、泉州城市品牌傳播多模態(tài)語料庫的設(shè)計與構(gòu)建

(一)城市品牌傳播的多模態(tài)特征

從符號學(xué)的角度觀察,城市品牌傳播短視頻是一個從現(xiàn)實城市中獲取傳播要素進行編碼的符號系統(tǒng)。作為視聽影像的一種,城市品牌傳播短視頻實現(xiàn)城市的媒介再現(xiàn),其類型包括圖像、文字、色彩、聲音符號。其中,圖像符號包括人和景;文字符號包括標(biāo)題和字幕等;色彩符號包括被拍攝物的真實色彩和具有象征意義的色彩(如閩南紅);聲音符號包括音樂、旁白和畫面原聲等。

以上4種類型符號綜合了視、聽等多模態(tài),可歸納為語言模態(tài)和非語言模態(tài)。這兩大類模態(tài)所蘊含的意義潛勢[19]28最終構(gòu)成城市品牌傳播的整體意義。在意義系統(tǒng)中,交際者選擇恰當(dāng)?shù)姆栙Y源,建構(gòu)多模態(tài)話語[20]。城市品牌傳播短視頻在創(chuàng)作的過程中,首先經(jīng)由創(chuàng)作者根據(jù)腳本進行拍攝、配樂(聲音),最后根據(jù)敘事表意剪輯成片。其中,短視頻的文字符號(標(biāo)題、字幕)和聲音符號(旁白、畫面原聲、音樂)構(gòu)成語言模態(tài),圖像符號和色彩符號組成非語言模態(tài)。本研究基于符號學(xué)的分析框架,從城市品牌傳播的多模態(tài)性、模態(tài)關(guān)系和意義建構(gòu)3個方面解析短視頻的多模態(tài)特征,證實多模態(tài)視域下城市品牌傳播研究的可行性及相關(guān)多模態(tài)語料庫構(gòu)建的必要性。城市品牌傳播的語言模態(tài)和非語言模態(tài)之間是相輔相成的關(guān)系。2種模態(tài)中的符號資源共同完成城市品牌傳播的再現(xiàn)、互動和構(gòu)圖等意義建構(gòu)(圖1)。

圖1 城市品牌傳播的多模態(tài)特征

(二)泉州城市品牌傳播多模態(tài)語料庫的設(shè)計與構(gòu)建

泉州城市品牌傳播多模態(tài)語料庫有助于觀察城市品牌傳播的多模態(tài)特征,揭示多模態(tài)視角下城市品牌傳播的意義。根據(jù)泉州城市品牌建設(shè)規(guī)劃,“宋元中國·海絲泉州”城市品牌建設(shè)分為5個系列——“萬億之城”“世遺之城”“奮斗之城”“國潮之城”和“煙火之城”。因此,本研究構(gòu)建的“宋元中國·海絲泉州”城市品牌傳播多模態(tài)語料庫分為5個子庫,對應(yīng)“宋元中國·海絲泉州”城市品牌建設(shè)的5個系列。具體的建庫步驟為:第一,語料采集,即采集建庫所用的語料;第二,語料預(yù)處理,即利用工具進行語料的格式轉(zhuǎn)換、數(shù)據(jù)導(dǎo)入等工作;第三,語料轉(zhuǎn)錄與標(biāo)注,包括元語料轉(zhuǎn)寫錄入、初步標(biāo)注、復(fù)審標(biāo)注、確認(rèn)標(biāo)注和儲存標(biāo)注;最后將標(biāo)注導(dǎo)出整合,建成泉州城市品牌傳播多模態(tài)語料庫。

1.語料采集 本語料庫的建庫目的在于研究泉州城市品牌傳播的多模態(tài)特征,因此,所選語料應(yīng)能代表泉州城市品牌傳播這一現(xiàn)象。綜觀現(xiàn)有社交媒體短視頻的傳播現(xiàn)狀,筆者團隊確定選取自2021年7月以來主流中文社交媒體平臺(抖音、微信視頻號)發(fā)布的泉州城市品牌相關(guān)短視頻作為語料,為保證語料的時效性和代表性,采用動態(tài)補充方式。同時,筆者團隊將語料搜索范圍集中在泉州市文化廣電局和旅游局的官方抖音號、官方微信視頻號、“海絲泉州文旅之聲”(表1)。該社交媒體賬號為官方號,現(xiàn)有用戶數(shù)量超17.5萬(3)數(shù)據(jù)來源:閩南網(wǎng)新媒體工作室《泉州新媒體影響力排行榜》,統(tǒng)計時間2023年10月02日-10月08日。,有較穩(wěn)定且不斷增長的受眾人群(4)數(shù)據(jù)來源:閩南網(wǎng)新媒體工作室《泉州新媒體影響力排行榜》,統(tǒng)計時間2023年10月02日-10月08日。,其制作、發(fā)布的泉州城市品牌推廣短視頻更代表著泉州對其城市品牌的構(gòu)建意愿,具有權(quán)威性和代表性。經(jīng)觀察,同名的社交媒體賬號在不同的社交媒體平臺所發(fā)布的內(nèi)容不盡相同,為了較全面地覆蓋泉州城市品牌傳播的相關(guān)語料,筆者團隊同步收錄2個主流社交媒體平臺賬號為“海絲泉州文旅之聲”發(fā)布的短視頻作為語料,手動篩選重復(fù)的語料,獲取有價值的短視頻語料共1 015則。

表1 “海絲泉州文旅之聲”語料采集來源

為保障語料的代表性,本研究采取分層分類抽樣方法進行整理。語料收集完成后,根據(jù)泉州城市品牌建設(shè)構(gòu)思,筆者團隊將語料按5個主題(“萬億之城”“世遺之城”“奮斗之城”“國潮之城”和“煙火之城”)進行編排整理。同一個主題的短視頻放在同一個文件夾內(nèi),并以發(fā)布時間、平臺、視頻名稱等語料元信息命名,每一個主題構(gòu)建一個子庫。該庫的短視頻長短不一,短則1分鐘,長則8分鐘,入庫視頻總時長為2 030分鐘。

2.語料預(yù)處理 語料預(yù)處理環(huán)節(jié)包括格式轉(zhuǎn)換和數(shù)據(jù)導(dǎo)入2個步驟。該多模態(tài)語料庫的語料以短視頻為主,內(nèi)含語言模態(tài)與非語言模態(tài),這些模態(tài)包含文字符號、圖像符號、色彩符號和聲音符號。因此,在預(yù)處理環(huán)節(jié),筆者團隊既分析視覺上的文字、圖像和色彩,又分析聽覺上的聲音符號。建庫時,首先在電腦端安裝VLC media player,借助該軟件將短視頻統(tǒng)一轉(zhuǎn)換為wav格式,再將同源的視頻文件與音頻文件保存在同一文件夾里。最后,建庫者將同一名稱的音頻和視頻文件導(dǎo)入ELAN6.0(EUDICO Linguistic Annotator)軟件中。ELAN6.0是一款可對視頻和音頻數(shù)據(jù)進行創(chuàng)建、編輯、可視化和搜索的標(biāo)注工具(5)軟件來源:https://archive.mpi.nl/tla/elan.。這些導(dǎo)入ELAN6.0的數(shù)據(jù)為未經(jīng)加工的原始語料,稱為元語料。元語料整理后,該多模態(tài)語料庫的導(dǎo)入和預(yù)處理工作隨即完成。但由于原始語料未經(jīng)篩選,可能存在無益于研究的數(shù)據(jù),因此建庫者仍需要對這些語料進行深加工,即語料的轉(zhuǎn)錄與標(biāo)注。

3.語料轉(zhuǎn)錄與標(biāo)注 原始語料預(yù)處理完成后,筆者團隊借助ELAN6.0對語料進行轉(zhuǎn)錄和標(biāo)注。首先是語料的轉(zhuǎn)錄。建庫者按照短視頻內(nèi)容播放順序記錄短視頻所表達(dá)的內(nèi)容和方式,將短視頻中的文字、聲音、圖像和色彩符號轉(zhuǎn)寫記錄為文字片段,如將原短視頻(6)視頻來源:視頻號“聯(lián)合國教科文組織”:《印象泉州》,2023-06-11.中分畫面呈現(xiàn)的字幕“海風(fēng)、鮮花、香火、紅墻,市井與人間,這是泉州”整合轉(zhuǎn)錄為一個句子(圖2)。

圖3 《印象泉州》短視頻截圖 (2023-06-11)

完成語料轉(zhuǎn)錄后,筆者團隊著手語料的標(biāo)注工作。語料的標(biāo)注工作是多模態(tài)建庫的核心環(huán)節(jié)。標(biāo)注工作細(xì)分為標(biāo)注分層和標(biāo)注內(nèi)容,二者按次序進行。如前所述,本庫的多模態(tài)語料以泉州城市品牌在傳播過程中所制作和發(fā)布的社交媒體短視頻為主,社交媒體短視頻通過多符號資源調(diào)動人們的多感官(聽覺、視覺等),具有典型的多模態(tài)特征。再者,泉州將其城市品牌定位于“宋元中國·海絲泉州”,兼具城市的歷史與現(xiàn)代元素。為便于本庫用于后期的語料多模態(tài)話語分析探索泉州城市品牌傳播過程中的歷史與現(xiàn)代元素的互動,在構(gòu)建語料庫的過程中,我們首先考慮將相關(guān)的社交媒體短視頻標(biāo)注分為“宋元中國(歷史)”和“海絲泉州(現(xiàn)代)”兩層,在此基礎(chǔ)上,標(biāo)注分層以社交媒體短視頻的多模態(tài)特征為依據(jù),體現(xiàn)城市品牌傳播過程中符號資源的應(yīng)用,又進一步分層為“語言層”和“非語言層”(圖3)。語料標(biāo)注分層后,筆者團隊借用ELAN6.0軟件現(xiàn)有的功能,結(jié)合社會符號學(xué)分析框架,將標(biāo)注內(nèi)容細(xì)化為:(1)地點描述:標(biāo)注視頻展示的具體地點或景點,如“泉州西街”“中山路”“洛陽橋”等;(2)視覺元素:標(biāo)注視頻顯著的視覺元素,如建筑風(fēng)格(“閩南紅磚厝”“蠔殼厝”“廟宇”等)、“人物服飾”(“閩南服飾”)等;(3)音頻元素:標(biāo)注背景音樂、旁白、當(dāng)?shù)氐姆窖曰蛘Z言、民間歌曲等;(4)情感氛圍:根據(jù)視頻片段傳遞的情感氛圍進行標(biāo)注,如“寧靜”“熱鬧”“莊重”等;(5)文化與歷史:標(biāo)注反映泉州歷史文化的元素,如“絲綢之路的海上交通”“伊斯蘭文化”“南少林武術(shù)”等;(6)民生與日常:標(biāo)注市民的日?；顒雍突?如“茶館聚會”“閩南小吃攤”“街頭表演”等;(7)文字與標(biāo)識:標(biāo)注視頻中的文字、地名、廣告、路標(biāo)等;(8)自然景觀:標(biāo)注與泉州自然景觀相關(guān)的內(nèi)容,如“清源山風(fēng)景”“泉州灣”等。

經(jīng)轉(zhuǎn)寫與標(biāo)注后的語料以eaf格式進行存儲,存儲目錄分2個層級。第一層為主題層(宋元中國和海絲泉州);第二層為資源層(語言層和非語言)。層級編排便于使用者進行后續(xù)的研究。

圖3 語料的標(biāo)注分層與標(biāo)注內(nèi)容

四、泉州城市品牌傳播多模態(tài)語料庫的應(yīng)用展望

雖然該類型的多模態(tài)語料庫建設(shè)處于起步階段,但具有應(yīng)用價值和前景,如用于城市品牌傳播的多模態(tài)話語研究。隨著城市形象構(gòu)建由現(xiàn)實空間轉(zhuǎn)向媒介空間,城市品牌既由不同的符號學(xué)資源實現(xiàn),又由社會文化塑造,具有評價屬性。城市品牌既不是“透明的”,也不是“為自己說話”。相反,它是復(fù)雜的意義建構(gòu)的結(jié)果,應(yīng)基于多模態(tài)話語的系統(tǒng)分析來解釋[21],因此多模態(tài)話語分析成為城市品牌傳播研究的可行方法[22]9-10。泉州城市品牌傳播專用型多模態(tài)語料庫選取近3年(2021年7月至今)來抖音和微信視頻號兩大主要社交媒體平臺中的泉州市文化廣電和旅游局的官方號“海絲泉州文旅之聲”所發(fā)布的短視頻為入庫語料,借由多模態(tài)語料庫的獨特性,將城市品牌傳播的語言模態(tài)和非語言模態(tài)同步考量,在后期的應(yīng)用研究中有望基于該語料庫和符號學(xué)框架,闡明泉州城市品牌是如何通過語言和視覺資源構(gòu)建的。

五、結(jié)語

建立專用型多模態(tài)語料庫且基于語料庫開展相關(guān)研究是近年來國內(nèi)外語言及傳播研究的新趨勢。語料庫研究中先進的語料處理手段、真實的語言與非語言數(shù)據(jù)、嚴(yán)格的設(shè)計標(biāo)準(zhǔn)和獨特的分析模式更有利于對相關(guān)問題進行全面、系統(tǒng)的研究。城市品牌傳播是城市國際化建設(shè)過程中的一個重要環(huán)節(jié),基于豐富的多模態(tài)數(shù)據(jù)展開的城市品牌傳播研究為提高城市國際化建設(shè)形象構(gòu)建與傳播提供更加真實可靠的參考?！八卧袊ず＝z泉州”城市品牌傳播多模態(tài)語料庫構(gòu)建是對智媒時代城市品牌傳播的探索,建庫成果有助于建立城市對外傳播的多模態(tài)話語體系、賦能語言及傳播研究,為地方文化對外傳播教育提供數(shù)據(jù)支持。