陳東華 張潤彤

(1.對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)信息學(xué)院，北京 100029；2.北京交通大學(xué)經(jīng)濟(jì)管理學(xué)院，北京 100044)

隨著醫(yī)療信息化的快速發(fā)展、新型醫(yī)療健康設(shè)備廣泛使用和互聯(lián)網(wǎng)醫(yī)療平臺(tái)迭代更新，海量且類型多樣的醫(yī)療健康數(shù)據(jù)分析應(yīng)用尤為迫切[1]。近年來，智慧醫(yī)療的興起預(yù)示著醫(yī)療健康4.0產(chǎn)業(yè)的快速發(fā)展，傳統(tǒng)醫(yī)療模式逐漸向大健康模式轉(zhuǎn)變。臨床決策支持的準(zhǔn)確性直接關(guān)系到患者的生命健康安全，而高效的多模態(tài)數(shù)據(jù)分析方法能改善現(xiàn)有單模態(tài)數(shù)據(jù)驅(qū)動(dòng)的臨床決策支持可靠性[2-3]。在我國，諸如心腦血管疾病、癌癥、糖尿病、慢性阻塞性肺病等慢性病已成為嚴(yán)重威脅居民健康的疾病，成為影響國家經(jīng)濟(jì)社會(huì)發(fā)展的重大公共衛(wèi)生問題。我國高血壓患病率高達(dá)25%，糖尿病患病率超過10%，心血管病占居民疾病死亡構(gòu)成比例超過40%，帕金森病患者數(shù)量約占全球該疾病患者的30%以上等，這些患者的診療和健康管理需要結(jié)合多方面數(shù)據(jù)源的綜合性決策支持。每一種信息的來源或者形式可以視為一種模態(tài)，而多種模態(tài)的數(shù)據(jù)融合稱之為多模態(tài)數(shù)據(jù)融合。Chandrasekaran G等認(rèn)為，多模態(tài)情感分析提供了基于視頻、音頻和文本組合進(jìn)行觀點(diǎn)分析的方法，這在理解人類行為方面超越了傳統(tǒng)的基于文本的情感分析[4]。由此可見，實(shí)現(xiàn)這些慢病患者龐大人群的早期篩選、風(fēng)險(xiǎn)預(yù)測(cè)、預(yù)警與綜合干預(yù)管理更離不開高效的多模態(tài)醫(yī)療健康數(shù)據(jù)分析和挖掘[5]。

我國醫(yī)療信息化經(jīng)歷了30多年的探索和發(fā)展，現(xiàn)階段正在加速推進(jìn)以電子病歷為核心的智慧醫(yī)院建設(shè)?！丁敖】抵袊?030”規(guī)劃綱要》提出了要建設(shè)我國健康信息化服務(wù)體系，全面夯實(shí)全民健康信息化標(biāo)準(zhǔn)基礎(chǔ)，大力豐富全民健康信息化應(yīng)用，充分利用信息化、智能化的新興技術(shù)，支撐以人民健康為中心的全周期整合型醫(yī)療健康服務(wù)體系建設(shè)，推動(dòng)我國醫(yī)療信息化邁向數(shù)字健康新時(shí)代。新冠疫情全球大流行背景下催生了我國智慧醫(yī)療行業(yè)的快速發(fā)展，多模態(tài)醫(yī)學(xué)數(shù)據(jù)從數(shù)量和維度上也在快速地增長，多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的智慧醫(yī)療決策支持場景不斷拓展。數(shù)字健康數(shù)據(jù)是多模態(tài)和高維的[6]。患者的健康狀態(tài)可以通過多種信號(hào)來表示，包括醫(yī)學(xué)成像、臨床變量、基因組測(cè)序、臨床醫(yī)生與患者之間的對(duì)話以及來自可穿戴設(shè)備的連續(xù)信號(hào)等。臨床決策支持、在線健康管理以及遠(yuǎn)程醫(yī)療服務(wù)成為典型的3個(gè)場景。然而，在這些場景上如何解決多模態(tài)醫(yī)學(xué)數(shù)據(jù)環(huán)境的決策支持精度不足、在線健康信息不可靠、醫(yī)療服務(wù)質(zhì)量難以評(píng)估等成為互聯(lián)網(wǎng)醫(yī)療發(fā)展的障礙。

本文以好大夫在線網(wǎng)站數(shù)據(jù)為例，提取在線醫(yī)生的多模態(tài)信息特征并進(jìn)行融合，利用多種數(shù)據(jù)挖掘方法研究這些多模態(tài)數(shù)據(jù)特征對(duì)患者用戶決策行為的影響。首先，我們收集好大夫網(wǎng)站中與醫(yī)生和患者相關(guān)的多模態(tài)信息，包括醫(yī)生基礎(chǔ)信息、醫(yī)生發(fā)布文本帖子、音頻文章、視頻文章、醫(yī)生頭像等不同形式的數(shù)據(jù)；然后，對(duì)這些多模態(tài)信息進(jìn)行特征抽取和情感分析，在此基礎(chǔ)上研究好大夫網(wǎng)站中醫(yī)生信息、發(fā)布的音頻文章、視頻文章等多模態(tài)信息對(duì)醫(yī)生和患者決策行為的影響。最后，進(jìn)一步深入探討互聯(lián)網(wǎng)醫(yī)療多模態(tài)數(shù)據(jù)融合與互聯(lián)網(wǎng)用戶決策行為的關(guān)系，為實(shí)現(xiàn)高質(zhì)量的互聯(lián)網(wǎng)醫(yī)療健康服務(wù)的決策支持提供借鑒。

1 文獻(xiàn)綜述

大數(shù)據(jù)驅(qū)動(dòng)的智慧醫(yī)療健康決策正在面臨著不斷累積的多模態(tài)數(shù)據(jù)和復(fù)雜的智慧醫(yī)療場景引發(fā)的各類問題和挑戰(zhàn)[7]。其問題包括醫(yī)學(xué)數(shù)據(jù)完整性差、多模態(tài)數(shù)據(jù)內(nèi)部具有異質(zhì)性、多模態(tài)數(shù)據(jù)融合算法尚未成熟、多學(xué)科交叉研究協(xié)作機(jī)制不完善等，這些問題在當(dāng)前亟待解決。我們分別從健康信息素養(yǎng)對(duì)在線用戶決策行為的影響、社會(huì)行為理論對(duì)患者健康決策能力的提升以及多模態(tài)信息在互聯(lián)網(wǎng)醫(yī)療的應(yīng)用三方面進(jìn)行文獻(xiàn)綜述。

1.1 健康信息素養(yǎng)對(duì)在線用戶決策行為影響研究

在線健康社區(qū)中患者健康信息素養(yǎng)對(duì)其決策的影響密切相關(guān)?！敖】敌畔⑺仞B(yǎng)(Health Information Literacy)”的研究經(jīng)歷了一個(gè)概念演變的過程，是“信息素養(yǎng)(Information Literacy)”概念和“健康素養(yǎng)(Health Literacy)”概念的交叉融合。該概念在信息能力與健康素養(yǎng)的交匯融合中突顯出健康信息素養(yǎng)的重要性與內(nèi)涵元素。由于健康素養(yǎng)與信息的緊密聯(lián)系，美國醫(yī)學(xué)圖書館學(xué)將健康信息素養(yǎng)定義為“健康信息素養(yǎng)指一系列識(shí)別健康信息需求、知曉如何獲得健康信息并評(píng)估健康信息、并利用健康信息做出良好健康決策的能力總和”。

在開放社交媒體環(huán)境中非權(quán)威健康信息影響用戶健康信息素養(yǎng)的形成。在互聯(lián)網(wǎng)環(huán)境中，由于信息是開放的，在個(gè)體特征方面，年齡、性別、健康素養(yǎng)等因素對(duì)在線用戶的失真信息可信度判斷具有顯著影響，比如，大學(xué)生對(duì)媒體健康信息具有偏向性和盲目性[8-9]。比如，患有慢性疾病的老年人會(huì)傾向于查詢相關(guān)健康信息，并使用這些信息解決或者緩解目前的健康問題，其健康信息素養(yǎng)也會(huì)因此提升[10]。郭昊男等總結(jié)了國外在線健康社區(qū)的經(jīng)驗(yàn)，包括開發(fā)健康信息質(zhì)量測(cè)評(píng)工具、用戶電子健康素養(yǎng)的測(cè)評(píng)、用戶電子健康記錄的保護(hù)措施，并認(rèn)為未來應(yīng)從提高在線醫(yī)療健康網(wǎng)站信息質(zhì)量、提升全民電子健康素養(yǎng)和保障在線健康社區(qū)用戶數(shù)據(jù)信息安全的角度提升社區(qū)服務(wù)質(zhì)量[11]。社交媒體的健康信息可靠性及用戶信任是其中的關(guān)鍵。唐旭麗等在傳統(tǒng)信息采納模型的基礎(chǔ)上，融入社會(huì)支持理論,綜合考慮健康素養(yǎng)和信任的關(guān)鍵作用，利用結(jié)構(gòu)方程模型,用戶的健康素養(yǎng)對(duì)來源可信度和信息支持間的關(guān)系起到正向調(diào)節(jié)作用,對(duì)論據(jù)質(zhì)量和信息支持間的關(guān)系起到負(fù)向調(diào)節(jié)作用[12]。

當(dāng)期，國內(nèi)缺乏對(duì)在線公眾用戶健康信息素養(yǎng)的評(píng)價(jià)研究。我國除了國家衛(wèi)生計(jì)生委編制的全國居民健康素養(yǎng)監(jiān)測(cè)調(diào)查問卷，目前還沒有影響力較大的全面、專門用于健康信息素養(yǎng)的評(píng)價(jià)工具，這嚴(yán)重制約了健康信息素養(yǎng)研究的開展。國外已有一些相對(duì)成熟的健康信息素養(yǎng)測(cè)評(píng)工具，包括功能性健康信息素養(yǎng)測(cè)評(píng)工具、交互性健康信息素養(yǎng)測(cè)評(píng)工具、批判性健康信息素養(yǎng)測(cè)評(píng)工具等[13]。應(yīng)借鑒國外相關(guān)經(jīng)驗(yàn)，發(fā)展適用于我國文化環(huán)境的健康信息素養(yǎng)測(cè)評(píng)工具。

1.2 社會(huì)行為理論在健康信息素養(yǎng)提升的研究

社會(huì)行為學(xué)、管理學(xué)和心理學(xué)相關(guān)理論在健康信息素養(yǎng)影響機(jī)理研究和提升路徑發(fā)揮重要作用。學(xué)者們對(duì)在線健康社區(qū)的理論和模型大多都是基于心理學(xué)等學(xué)科理論，如社會(huì)文化理論、技術(shù)接受模型等經(jīng)典理論模型。

首先，在線健康社區(qū)的各類知識(shí)共享機(jī)制研究能推動(dòng)在線用戶對(duì)信息的信任，也增強(qiáng)用戶的健康信息素養(yǎng)。張星等將社會(huì)交換理論、社會(huì)支持理論和信任理論相結(jié)合研究影響在線健康社區(qū)用戶持續(xù)知識(shí)貢獻(xiàn)意愿的因素，結(jié)果表明，對(duì)用戶的信任正向影響對(duì)社區(qū)的信任，對(duì)社區(qū)的信任顯著正向影響持續(xù)知識(shí)貢獻(xiàn)意愿，時(shí)間與精力對(duì)持續(xù)知識(shí)貢獻(xiàn)意愿有顯著負(fù)向影響[14]。覃子珍等則從收支博弈視角解析用戶在社交媒體中的持續(xù)搜索健康信息的心理路徑，總結(jié)出平臺(tái)的技術(shù)特性和便利性可有效提升用戶對(duì)社交媒體健康信息搜索價(jià)值的感知,當(dāng)用戶搜索健康信息時(shí)會(huì)弱化對(duì)社交平臺(tái)風(fēng)險(xiǎn)的感知,而健康信息的有用性才是影響用戶感知價(jià)值和達(dá)到滿意的根本。Gupta V等提出了一種新的情感關(guān)懷方案，分析與COVID-19相關(guān)的實(shí)時(shí)推文中包含的多模態(tài)文本數(shù)據(jù)，其中研究了自然、封鎖、健康、教育、市場和政治等多個(gè)類別的八級(jí)情緒，分別為憤怒、預(yù)期、厭惡、恐懼、喜悅、悲傷、驚訝和信任[15]。Moro C等描述了在使用技術(shù)教育健康學(xué)生時(shí)集成多模態(tài)數(shù)據(jù)的一系列選項(xiàng)[16]。由于健康和醫(yī)學(xué)教育的動(dòng)態(tài)和不斷變化的性質(zhì)，教育工作者在將多模態(tài)學(xué)習(xí)引入他們各自的課程時(shí)也帶來巨大的收益。

目前國內(nèi)尚缺乏統(tǒng)一的在線健康信息共享的信用檔案體系數(shù)據(jù)，難以量化其中指標(biāo)，在線健康信息的真實(shí)性、準(zhǔn)確性將直接影響用戶的判斷，建設(shè)效果也難以量化[17]。而王兆侖認(rèn)為，互聯(lián)網(wǎng)醫(yī)療信息平臺(tái)要不斷加強(qiáng)醫(yī)療標(biāo)準(zhǔn)的應(yīng)用,加強(qiáng)信息的可信度建設(shè)，不斷優(yōu)化互聯(lián)網(wǎng)醫(yī)療信息信任生態(tài)[18]。彭昱欣等結(jié)合動(dòng)機(jī)理論和社會(huì)資本理論，從多個(gè)維度探討影響醫(yī)學(xué)專業(yè)用戶知識(shí)共享意愿的因素，發(fā)現(xiàn)醫(yī)學(xué)專業(yè)用戶知識(shí)共享意愿與普通用戶之間的共享行為的差異，彌補(bǔ)對(duì)醫(yī)學(xué)專業(yè)用戶研究較少的問題[19]。桂平等基于網(wǎng)絡(luò)口碑和社會(huì)交換理論，發(fā)現(xiàn)互惠、聲望追求和利他顯著影響健康知識(shí)共享意愿，而信任對(duì)共享意愿的影響沒有得到支持[20]。

從以上研究可以知道，信息質(zhì)量、服務(wù)質(zhì)量、系統(tǒng)質(zhì)量正向影響自我推薦意愿；在線醫(yī)療平臺(tái)認(rèn)知聲譽(yù)、醫(yī)生認(rèn)知聲譽(yù)、醫(yī)院認(rèn)知聲譽(yù)正向影響從眾推薦意愿；從眾推薦意愿對(duì)在線健康行為的影響不具有顯著調(diào)節(jié)作用[21]。因此，信任理論在互聯(lián)網(wǎng)醫(yī)療用戶間信任和健康決策行為發(fā)揮重要作用。

1.3 多模態(tài)信息在互聯(lián)網(wǎng)醫(yī)療的應(yīng)用研究

在線環(huán)境中，醫(yī)學(xué)專業(yè)用戶能持續(xù)貢獻(xiàn)可信的多模態(tài)在線健康信息，在用戶之間建立起信任，消除在線患者決策不確定性。張帥等通過探究在線健康社區(qū)用戶持續(xù)參與行為的演化規(guī)律及動(dòng)力機(jī)制，發(fā)現(xiàn)其用戶持續(xù)參與行為與其他付出成本、聲譽(yù)收益和社會(huì)支持收益密切相關(guān)[22]。Koteyko N等學(xué)者研究了Facebook在Ⅰ型和Ⅱ型糖尿病用戶的生活中的作用，以及他們?cè)诔掷m(xù)代表長期生活狀況時(shí)采用的多模態(tài)話語實(shí)踐[23]。該研究發(fā)現(xiàn)，研究參與者進(jìn)行的多模態(tài)活動(dòng)包括建立與糖尿病管理相關(guān)的個(gè)人專業(yè)知識(shí)，融入了更廣泛的糖尿病相關(guān)社交網(wǎng)絡(luò)，通過語言和視覺提升了自我管理的能力。成全等提出，實(shí)現(xiàn)多源異構(gòu)信息資源融合的在線健康社區(qū)多層級(jí)融合框架，從數(shù)據(jù)級(jí)融合、特征級(jí)融合及決策級(jí)融合逐層剖析在線健康信息多層級(jí)融合的實(shí)現(xiàn)路徑[24]。

互聯(lián)網(wǎng)上單一方面的健康信息往往是片面而不可靠。在線健康社區(qū)中阻礙構(gòu)建可靠的健康問答系統(tǒng)的兩個(gè)特點(diǎn)是：首先，醫(yī)生的答案通常用短文本編寫，這會(huì)產(chǎn)生數(shù)據(jù)稀疏問題；然后，問答系統(tǒng)采用質(zhì)量控制機(jī)制，難以體現(xiàn)大眾的智慧。Hu Z等不僅結(jié)合了答案的標(biāo)準(zhǔn)文本特征，而且還從其他模態(tài)中引入了一組獨(dú)特的非文本特征，例如，非常流行使用的表面語言特征和新穎的社會(huì)特征來提升分類精度[25]。Triantafyllopoulos D等學(xué)者引用了一種用于癲癇管理的多模態(tài)實(shí)時(shí)分析系統(tǒng)的實(shí)現(xiàn)，對(duì)持續(xù)動(dòng)態(tài)的患者生理信號(hào)監(jiān)測(cè)，這將改善患者的治療并實(shí)現(xiàn)積極的個(gè)人健康管理[26]。

多模態(tài)數(shù)據(jù)分析已經(jīng)在數(shù)字健康領(lǐng)域發(fā)揮重要的作用。Sindoni M G采用多模態(tài)話語分析方法來研究如何在預(yù)防自殺的心理健康話語中鼓勵(lì)和表達(dá)同伴支持[27]。與之前的研究不同，該研究側(cè)重于使用多模態(tài)資源(如頁面的視覺效果、布局和超鏈接)關(guān)聯(lián)人際關(guān)系，以了解在線平臺(tái)中專業(yè)醫(yī)療健康服務(wù)提供者和醫(yī)護(hù)人員如何將身份具體化。Yang X等提出了一種利用社交媒體上多模態(tài)數(shù)據(jù)自動(dòng)檢測(cè)藥物濫用和處理的新方法，能夠識(shí)別與毒品相關(guān)的帖子并分析與毒品相關(guān)的用戶帳戶行為模式[28]。黃曉斌等通過了解在線健康社區(qū)中青少年用戶的健康信息需求及主題分布情況，為平臺(tái)滿足青少年用戶的健康信息需求提供借鑒[29-30]。結(jié)合可穿戴設(shè)備技術(shù)，Kaczmarek M等展示了基于傳感器的多模態(tài)數(shù)據(jù)分析平臺(tái)，旨在識(shí)別老年人在家中進(jìn)行的活動(dòng)。Emokpae L E等提出的解決方案實(shí)現(xiàn)了具有多模態(tài)生理傳感能力的物聯(lián)網(wǎng)系統(tǒng)，傳感器節(jié)點(diǎn)集成在可穿戴襯衫中，以無創(chuàng)方式進(jìn)行連續(xù)監(jiān)測(cè)，并在網(wǎng)關(guān)處使用先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)收集和分析數(shù)據(jù)，以便醫(yī)療健康服務(wù)提供者進(jìn)行遠(yuǎn)程訪問[31]。

多模態(tài)數(shù)據(jù)融合分析對(duì)在線健康社區(qū)平臺(tái)創(chuàng)新應(yīng)急服務(wù)水平的提升也具有重要意義。郭鳳儀等研究發(fā)現(xiàn)，情感強(qiáng)度與話題突發(fā)強(qiáng)度存在正向弱相關(guān)關(guān)系，隨著話題突發(fā)強(qiáng)度增強(qiáng)，其用戶情感類型也會(huì)有所不同。鄧君等基于兩級(jí)傳播理論對(duì)在線健康社區(qū)意見領(lǐng)袖交互行為進(jìn)行研究，發(fā)現(xiàn)百度“自閉癥吧”整體網(wǎng)絡(luò)具有小世界效應(yīng)，識(shí)別出的意見領(lǐng)袖各項(xiàng)個(gè)體指標(biāo)數(shù)值均偏高，處于整體網(wǎng)絡(luò)核心位置，有利于推動(dòng)信息在來源層、意見領(lǐng)袖層和受眾層間穩(wěn)定流動(dòng)[32]。因此，在線健康社區(qū)用戶的不同種類知識(shí)共享行為的影響因素，知識(shí)的自我效能對(duì)一般健康知識(shí)和特殊健康知識(shí)共享行為均有顯著正向影響[33]。

2 方 法

2.1 數(shù)據(jù)獲取

我們首先獲取好大夫4 739名信息量較為豐富的醫(yī)生網(wǎng)站數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)生的基本信息、患者診后評(píng)價(jià)數(shù)據(jù)、醫(yī)生收到禮物數(shù)據(jù)、付款醫(yī)生文章以及這些文章的評(píng)論、點(diǎn)贊和價(jià)格等數(shù)據(jù)。同時(shí)，為了研究在線健康社區(qū)多模態(tài)信息對(duì)決策的影響，我們同時(shí)收集了每個(gè)醫(yī)生的非文本信息，包括在線醫(yī)生上傳的頭像、發(fā)布的語音文章、視頻科普文章等信息，供我們后續(xù)分析。

具體使用的數(shù)據(jù)包括在線醫(yī)生基本介紹、診后患者評(píng)論、收到的患者禮物、發(fā)布的科普文章統(tǒng)計(jì)信息、語音視頻文章等數(shù)據(jù)：

1)在線醫(yī)生基本介紹

我們收集了4 739名醫(yī)生基本介紹信息。這些公開的關(guān)鍵信息包括醫(yī)生的職位、服務(wù)患者數(shù)、是否推薦、推薦熱度、患者滿意度等信息。然后，針對(duì)醫(yī)生的服務(wù)質(zhì)量，收集了醫(yī)生的回復(fù)速度、所在醫(yī)院級(jí)別、圖文問診價(jià)格、電話問診價(jià)格、是否是專家、態(tài)度評(píng)價(jià)分?jǐn)?shù)、診療評(píng)價(jià)分?jǐn)?shù)等信息。

2)醫(yī)生診后患者評(píng)論

為了驗(yàn)證醫(yī)生在線服務(wù)質(zhì)量，我們還收集了每位醫(yī)生診后患者評(píng)論，共約26萬條患者評(píng)論。這些信息包括結(jié)構(gòu)化的數(shù)據(jù)，如評(píng)價(jià)渠道、評(píng)價(jià)類型、對(duì)醫(yī)生的態(tài)度、效果和技能的評(píng)價(jià)、患者提供的標(biāo)簽以及非結(jié)構(gòu)化的評(píng)論文本等。

3)醫(yī)生收到的患者禮物信息

這些信息包括每位醫(yī)生獲得的總患者數(shù)、收到的總禮物數(shù)以及每個(gè)禮物的詳情，共3萬多條禮物贈(zèng)送記錄。

4)醫(yī)生發(fā)布的文章統(tǒng)計(jì)信息

進(jìn)一步地，我們收集了醫(yī)生發(fā)布文章的關(guān)鍵信息，約10萬篇，包括醫(yī)學(xué)科普、語音文章、視頻文章等類別的文章信息，文章的關(guān)鍵信息包括文章的閱讀量、評(píng)論數(shù)、評(píng)分、是否為付款文章、收聽次數(shù)和觀看次數(shù)等。

5)醫(yī)生發(fā)布的語音視頻文章內(nèi)容

為了進(jìn)一步研究多模態(tài)信息對(duì)在線醫(yī)療健康社區(qū)患者決策的影響，我們還收集了醫(yī)生和患者用戶的相關(guān)多模態(tài)信息，如醫(yī)生發(fā)布醫(yī)學(xué)科普文章(占41.08%)、語音文章(占4.31%)、視頻文章(占7.24%)、醫(yī)生的頭像(4 739張)、醫(yī)生發(fā)布的圖文朋友圈(1 007條)等信息，這些非結(jié)構(gòu)化信息在本文研究中進(jìn)行處理并轉(zhuǎn)換為能適合數(shù)據(jù)分析的情感和行為標(biāo)簽。

2.2 多模態(tài)信息處理

基于所收集的數(shù)據(jù)，我們研究多模態(tài)信息融合下的醫(yī)生在線行為與患者在線關(guān)系。醫(yī)生多模態(tài)信息的內(nèi)容包括醫(yī)生發(fā)表的朋友圈帖子文本、語音文章、視頻文章以及醫(yī)生頭像信息。表1匯總了非文本的多模態(tài)數(shù)據(jù)處理后得到的結(jié)果示例以及數(shù)據(jù)處理方法。本文研究思路如圖1所示。其中，我們擬綜合采用回歸分析、關(guān)系挖掘以及深度學(xué)習(xí)等方法來對(duì)這些數(shù)據(jù)挖掘并嘗試解釋其關(guān)聯(lián)關(guān)系。體現(xiàn)患者決策行為的相關(guān)指標(biāo)包括患者對(duì)醫(yī)生的評(píng)分、診后評(píng)價(jià)、閱讀量、禮物量和付款文章等指標(biāo)。

表1 非文本的醫(yī)生多模態(tài)數(shù)據(jù)處理方法、原始分析結(jié)果以及使用的特征提取工具

2.2.1 在線健康社區(qū)文本信息與患者決策關(guān)系分析

在線健康社區(qū)文本信息是在線患者了解并選擇在線醫(yī)生服務(wù)的主要來源。這些信息不僅包括結(jié)構(gòu)化后的定量評(píng)價(jià)分?jǐn)?shù)(比如0～5分的評(píng)價(jià))，還包括患者生成的定性敘述性文本(比如診后患者評(píng)論)、醫(yī)生發(fā)布的科普文章、醫(yī)生在個(gè)人朋友圈發(fā)布的各類帖子內(nèi)容。這些數(shù)據(jù)都包含了海量豐富的信息，如何從這些海量文本提取有效信息，供在線健康社區(qū)患者決策，這是一個(gè)關(guān)鍵的問題。除了結(jié)構(gòu)化的信息，我們對(duì)文本的分析主要分兩方面：

1)醫(yī)生的文本情感值分析

首先，對(duì)在線醫(yī)生發(fā)布的文章、醫(yī)生朋友圈發(fā)布的帖子文本信息等進(jìn)行分析，并從中提取文本中醫(yī)生的情感信息，以此作為研究在線醫(yī)生的情感與其決策行為關(guān)系的研究基礎(chǔ)。

2)患者的文本情感值分析

然后，我們分析患者診后評(píng)論的文本數(shù)據(jù)。每個(gè)醫(yī)生對(duì)應(yīng)的患者評(píng)價(jià)情感信息將會(huì)被匯總，給出平均情感值。

在以上兩者文本情感值的基礎(chǔ)上，將這兩者的情感值信息與醫(yī)生和患者其他信息關(guān)聯(lián)，供后續(xù)進(jìn)一步分析。

2.2.2 醫(yī)生音頻文章情感對(duì)患者決策的影響分析

醫(yī)生發(fā)布的音頻文章包含了醫(yī)生情感信息。我們?cè)谑占脑诰€醫(yī)生音頻數(shù)據(jù)基礎(chǔ)上研究這些音頻文章對(duì)患者決策的影響分析。首先，我們對(duì)每個(gè)在線醫(yī)生發(fā)布的音頻進(jìn)行情感分析，根據(jù)設(shè)定的時(shí)間間隔(如5秒)對(duì)每一個(gè)音頻進(jìn)行拆分，并對(duì)每一片段音頻醫(yī)生的說話語氣進(jìn)行情感分析。最終，每一篇語音文章轉(zhuǎn)換為一個(gè)情感標(biāo)簽序列。每一部分音頻的情感類別可以設(shè)置為7個(gè)類別和標(biāo)簽，分別為“生氣(angry，A)”“驚恐(fear，F(xiàn))”“高興(happy，H)”“中立(neutral，N)”“悲傷(sad，S)”“驚喜(surprise，S)”以及“厭惡(disgust，D)”，每一個(gè)類別的情感都被標(biāo)記為一定的概率，即每一個(gè)音頻每一時(shí)刻的情感都是由具有不同概率的情感標(biāo)簽組成的。

圖1 研究思路

為了對(duì)每個(gè)語音文章獲得一個(gè)代表性的指標(biāo)表示其主要情感，我們對(duì)具有時(shí)間特征的語音文章情感標(biāo)記序列進(jìn)行匯總，分別統(tǒng)計(jì)屬于不同情感類別的標(biāo)簽數(shù)，并獲取其所占的比例。得到一個(gè)語音文章的總體特征，而其中所占主導(dǎo)的情感將會(huì)被作為該語音文章的主要情感。

為了分析每個(gè)醫(yī)生語音文章的特點(diǎn)，我們?yōu)槊總€(gè)擁有語音文章的醫(yī)生語音數(shù)據(jù)進(jìn)行挖掘，并對(duì)多個(gè)語音數(shù)據(jù)進(jìn)行綜合和匯總。最終，每個(gè)醫(yī)生都被賦予一個(gè)主要情感標(biāo)簽，與其他數(shù)據(jù)進(jìn)行關(guān)聯(lián)。分析語音文章的情感對(duì)患者用戶決策行為的影響可以從語音文章的情感時(shí)間序列變化、語音文章的主導(dǎo)情感以及語音文章發(fā)布數(shù)等關(guān)鍵指標(biāo)與醫(yī)生的服務(wù)態(tài)度、診療效果等患者評(píng)價(jià)指標(biāo)進(jìn)行相關(guān)性分析。

2.2.3 醫(yī)生視頻文章情感對(duì)患者決策的影響分析

我們分析了醫(yī)生發(fā)布的視頻文章對(duì)患者決策的影響分析。首先，我們獲取擁有視頻文章的醫(yī)生數(shù)據(jù)，對(duì)每一個(gè)視頻進(jìn)行視頻流分析。這里，我們主要對(duì)視頻中醫(yī)生的動(dòng)態(tài)形象進(jìn)行分析，并使用視頻情感抽取工具抽取每隔一段時(shí)間的醫(yī)生情感特征。這些情感標(biāo)簽包括“生氣(angry)”“驚恐(fear)”“高興(happy)”“中立(neutral)”“悲傷(sad)”“驚喜(surprise)”以及“厭惡(disgust)”。最終，一個(gè)視頻轉(zhuǎn)換為一個(gè)情感標(biāo)簽時(shí)間序列，從而可以獲得醫(yī)生視頻文章情感的信息。

由于醫(yī)生可能擁有多個(gè)視頻，因?yàn)閷?duì)多個(gè)視頻文章情感序列的匯聚和融合能更方便我們整體上獲得醫(yī)生在科普視頻中的情感特征?；卺t(yī)生的科普文章情感標(biāo)簽數(shù)據(jù)，我們可以分析醫(yī)生視頻多模態(tài)信息與其患者決策的關(guān)系。首先，考慮到視頻具有時(shí)間特征，因?yàn)橐曨l情感時(shí)間序列的分析和對(duì)比是需要的；在此基礎(chǔ)上，我們獲得視頻主要情感標(biāo)簽，然后與其他患者評(píng)價(jià)相關(guān)的指標(biāo)進(jìn)行相關(guān)性分析。

2.2.4 在線醫(yī)生形象對(duì)患者決策的影響分析

在線醫(yī)生形象對(duì)患者初始決策行為可能具有重要的影響。比如，患者可能更愿意選擇平臺(tái)中醫(yī)生頭像看起來更專業(yè)的醫(yī)生。

首先，獲取在線醫(yī)生的頭像，并對(duì)醫(yī)生頭像形象進(jìn)行分析，獲得其中的情感特征，主要包括情感類別、顏值評(píng)分、微笑評(píng)分、臉部質(zhì)量評(píng)分等特征。

然后，將這些在線臉部特征與其他醫(yī)生和患者指標(biāo)進(jìn)行相關(guān)性分析，研究在線醫(yī)生形象對(duì)患者決策行為的影響。醫(yī)生在網(wǎng)站上傳的頭像表情、臉部等特征可以用于研究在線醫(yī)生形象與患者決策行為的影響。

2.3 醫(yī)生多模態(tài)信息融合對(duì)患者決策行為的影響

基于好大夫在線網(wǎng)站的醫(yī)生與患者多模態(tài)信息，我們構(gòu)建了兩類基于前饋神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Network，F(xiàn)NN)的在線患者用戶決策行為多模態(tài)預(yù)測(cè)模型，融合包含連續(xù)變量和分類變量的多模態(tài)數(shù)據(jù)，檢驗(yàn)醫(yī)生多模態(tài)信息對(duì)在線患者各類決策行為的預(yù)測(cè)精度，從而探究在線醫(yī)生多模態(tài)信息融合對(duì)患者決策行為的影響。表2展示了我們采用的訓(xùn)練數(shù)據(jù)集示例數(shù)據(jù)，其中不僅包含連續(xù)變量和分類變量，還融合了頭像、音頻、視頻和文本的綜合情感特征。

基于PyTorch深度學(xué)習(xí)框架，我們?cè)谧x取訓(xùn)練數(shù)據(jù)集時(shí)每次可以獲得連續(xù)特征變量(比如文章總數(shù))、分類特征變量(比如醫(yī)院級(jí)別)以及輸出樣本值(評(píng)價(jià)分?jǐn)?shù))。然后，我們建立一個(gè)包含兩個(gè)隱藏層、針對(duì)分類變量的嵌入層以及必要的丟棄(Dropout)層和批標(biāo)準(zhǔn)化(Batch Normalization)層的FNN模型，構(gòu)建的深度學(xué)習(xí)模型如圖2所示。

表2 融合多模態(tài)數(shù)據(jù)情感值的醫(yī)生患者數(shù)據(jù)集示例(部分字段)

圖2 基于前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型構(gòu)建

1)基于醫(yī)生在線行為的患者決策行為評(píng)價(jià)預(yù)測(cè)模型構(gòu)建

首先，我們基于圖2的模型建立第一類預(yù)測(cè)模型，研究體現(xiàn)醫(yī)生在線行為的平臺(tái)指標(biāo)與患者相關(guān)評(píng)價(jià)指標(biāo)的關(guān)系。該模型使用的輸入指標(biāo)包括文章總數(shù)、付款文章總數(shù)、語音文章總數(shù)、視頻文章總數(shù)、回復(fù)速度、是否專家、醫(yī)院級(jí)別、頭像情感、音頻情感、視頻情感、圖文問診價(jià)格、電話問診價(jià)格和文本情感值。而模型輸出指標(biāo)評(píng)價(jià)分?jǐn)?shù)、態(tài)度評(píng)價(jià)(%)、效果評(píng)價(jià)(%)、總禮物數(shù)、療效滿意度和總患者數(shù)。輸入特征中保護(hù)連續(xù)變量(如文章總數(shù))和分類變量(頭像情感)。建立深度學(xué)習(xí)模型對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和性能評(píng)估，匯總對(duì)比相關(guān)的預(yù)測(cè)指標(biāo)。為了使得建立的模型更具有魯棒性，我們引入閾值參數(shù)e解決預(yù)測(cè)值與實(shí)際值的差異問題，即若預(yù)測(cè)值落在e決定的某一個(gè)值范圍內(nèi)，則認(rèn)為該預(yù)測(cè)是準(zhǔn)確的。比如，若實(shí)際值為95而e=5，則當(dāng)預(yù)測(cè)值落在[90,100]區(qū)間內(nèi)，認(rèn)為該預(yù)測(cè)值是準(zhǔn)確的。最終，在模型訓(xùn)練的過程中，我們通過統(tǒng)計(jì)預(yù)測(cè)準(zhǔn)確數(shù)來計(jì)算模型的性能。

2)基于醫(yī)生多模態(tài)信息融合的患者決策行為預(yù)測(cè)模型構(gòu)建

然后，我們建立第二類預(yù)測(cè)模型，檢測(cè)醫(yī)生多模態(tài)信息情感融合對(duì)患者決策行為的影響。該類模型中，我們采用的輸入特征包括頭像情感、音頻情感、視頻情感以及文本情感值。而待預(yù)測(cè)特征包括評(píng)價(jià)分?jǐn)?shù)、態(tài)度評(píng)價(jià)、效果評(píng)價(jià)、總禮物數(shù)、總患者數(shù)、文章總數(shù)、付款文章總數(shù)、語音文章總數(shù)以及視頻文章總數(shù)，如圖3所示。同樣，我們也采用第一類模型中閾值參數(shù)e來控制模型訓(xùn)練過程中計(jì)算模型預(yù)測(cè)精度不穩(wěn)定問題。

在以上兩類模型，我們使用的數(shù)據(jù)集將分為訓(xùn)練集和測(cè)試集。最終，我們通過對(duì)比構(gòu)建的模型在預(yù)測(cè)不同患者評(píng)價(jià)指標(biāo)的精度，來分析這些指標(biāo)之間可能存在的關(guān)聯(lián)關(guān)系。

3 結(jié)果分析

首先，對(duì)醫(yī)生與患者用戶數(shù)據(jù)采用Pearson、Spearman以及Kendalltau系數(shù)分析不同指標(biāo)的相關(guān)性。在此基礎(chǔ)上，研究醫(yī)生多模態(tài)信息對(duì)患者在線決策行為的影響，利用深度學(xué)習(xí)方法，挖掘分析潛在的用戶決策行為規(guī)律。

3.1 基本指標(biāo)的相關(guān)性

首先，我們對(duì)在線醫(yī)生行為與患者的Pearson相關(guān)性進(jìn)行探索，得到結(jié)果如表3所示。表3(a)顯示了兩個(gè)指標(biāo)之間的Pearson相關(guān)性和p值(p≤0.05)，由此可見，圖文問診價(jià)格與態(tài)度評(píng)價(jià)、態(tài)度滿意度呈現(xiàn)弱負(fù)相關(guān)性，而與評(píng)價(jià)分?jǐn)?shù)呈現(xiàn)正相關(guān)性。電話問診價(jià)格和醫(yī)生發(fā)布的文章總數(shù)也與評(píng)價(jià)分?jǐn)?shù)呈現(xiàn)正相關(guān)性。由此可見，圖文問診價(jià)格的提升反而會(huì)影響患者用戶的體驗(yàn)，而通過電話問診價(jià)格提升一定程度上會(huì)提高評(píng)價(jià)分?jǐn)?shù)。醫(yī)生發(fā)布文章數(shù)越多，也能一定程度上提升其評(píng)價(jià)分?jǐn)?shù)。

我們同時(shí)分析了在線醫(yī)生的行為與其他指標(biāo)的影響。表3(b)顯示，圖文問診價(jià)格、電話問診價(jià)格與醫(yī)生收到的禮物總數(shù)呈現(xiàn)正相關(guān)性，同時(shí)，高的問診價(jià)格也對(duì)平均評(píng)價(jià)、平均文章付款人數(shù)有一定的影響。部分醫(yī)生發(fā)布了需要付費(fèi)才能查看的文章，而表3(b)的結(jié)果顯示了付款文章總數(shù)的提升也能提升醫(yī)生平均評(píng)價(jià)分?jǐn)?shù)。針對(duì)語音文章，我們也發(fā)現(xiàn)提升語音文章總數(shù)也能一定程度上帶來患者用戶閱讀量的提升。

醫(yī)生自身的職稱以及平臺(tái)回復(fù)速度也是影響因素。表3(c)顯示了醫(yī)生的回復(fù)速度和是否是專家對(duì)醫(yī)生收到總禮物數(shù)、服務(wù)患者數(shù)、價(jià)格調(diào)整的影響。由此可見，回復(fù)速度與服務(wù)患者數(shù)、總禮物數(shù)呈現(xiàn)負(fù)相關(guān)性，而醫(yī)生是否是專家與服務(wù)患者數(shù)、評(píng)價(jià)分?jǐn)?shù)、總禮物數(shù)、咨詢價(jià)格因素呈現(xiàn)正相關(guān)性。圖4匯總了醫(yī)院級(jí)別與其他因素的F值(p≤0.05)，這些關(guān)系呈現(xiàn)顯著水平。而醫(yī)院級(jí)別與圖文問診價(jià)格和電話問診價(jià)格的相關(guān)性比其他因素相關(guān)性高。同時(shí)，醫(yī)院級(jí)別對(duì)評(píng)價(jià)分?jǐn)?shù)的影響也是具有較為顯著的差異。

3.2 醫(yī)生多模態(tài)信息情感對(duì)患者決策行為的影響分析

我們分別對(duì)好大夫網(wǎng)站中醫(yī)生朋友圈帖子、語音文章、視頻文章以及醫(yī)生頭像情感類型進(jìn)行統(tǒng)計(jì)。圖5(a)對(duì)醫(yī)生朋友圈發(fā)布的圖文帖子信息情感類型進(jìn)行分析。由此可見，醫(yī)生在朋友圈發(fā)布的帖子內(nèi)容更多得是積極向上的情感或中立的情感。

然后，圖5(b)匯總了醫(yī)生發(fā)布的語音文章情感類別分布。醫(yī)生在語音文章所表現(xiàn)的情感更多體現(xiàn)在驚恐(fear)這一標(biāo)簽，這可能是因?yàn)獒t(yī)生往往需要講到疾病出現(xiàn)的癥狀和不良反應(yīng)，因此會(huì)體現(xiàn)出擔(dān)憂和驚恐的情緒，部分語音文章的情感體現(xiàn)是高興(happy)類別，證明部分語音文章嘗試鼓勵(lì)患者，而有極少部分是體現(xiàn)悲傷的情感。而其他類別的情感，如厭惡、中立、驚喜等，沒有體現(xiàn)在語音情感上。圖5(c)描述了醫(yī)生發(fā)布的視頻文章情感類型分布。由此發(fā)現(xiàn)，視頻文章中出現(xiàn)較多的情感類別是悲傷和中立。其次是快樂情感類別的文章。也存在其他情感類別的視頻文章，比如生氣、驚喜和恐懼等。圖5(d)則描述了醫(yī)生頭像情感分布情況，大部分醫(yī)生頭像呈現(xiàn)中立的情感，也有相當(dāng)一部分醫(yī)生頭像呈現(xiàn)快樂的情感。

同時(shí)，我們分別對(duì)醫(yī)生的語音文章、視頻文章以及頭像的情感類別差異與患者用戶行為相關(guān)的指標(biāo)進(jìn)行相關(guān)性分析，得到F值，并獲得對(duì)應(yīng)的p值。語音相關(guān)的F值我們使用p≤0.05篩選語音和視頻文章的F值。計(jì)算結(jié)果表明，視頻情感類別與患者行為相關(guān)指標(biāo)p都大于0.1，無法拒絕原假設(shè)，因此可以認(rèn)為視頻的情感類別難以區(qū)分其他指標(biāo)。而基于語音文章和頭像計(jì)算的F值對(duì)比如圖6和圖7所示。首先，將語音文章的主要情感類別與用戶對(duì)醫(yī)生的評(píng)價(jià)進(jìn)行相關(guān)性分析(p≤0.05)，獲得不同因素與語音文章主要情感類別的影響程度，如圖6所示。該圖可見，根據(jù)F值大小，主要情感類別與對(duì)醫(yī)生態(tài)度評(píng)價(jià)比其他因素更大。其他可能的影響因素包括療效滿意度、效果評(píng)價(jià)、平均語音文章閱讀量、平均視頻文章閱讀量等。圖7顯示了用戶頭像情感類型對(duì)醫(yī)生服務(wù)特征的影響。由此可見，頭像的主要情感類型與醫(yī)生文章的平均閱讀量和圖文問診價(jià)格相比其他因素影響大，其他相關(guān)的因素包括電話問診價(jià)格、平均視頻文章閱讀量以及醫(yī)生的視頻文章總數(shù)。

表3 醫(yī)生行為、患者評(píng)價(jià)以及平臺(tái)與醫(yī)生交互之間的相關(guān)性分析(p≤0.05)

3.3 醫(yī)生多模態(tài)信息融合對(duì)在線患者決策行為預(yù)測(cè)分析

圖8比較了基于在線醫(yī)生多模態(tài)信息的患者決策行為預(yù)測(cè)精度。該圖顯示了，在線醫(yī)生多模態(tài)信息融合能很好預(yù)測(cè)出總禮物數(shù)，達(dá)到精度0.95；而對(duì)于預(yù)測(cè)患者評(píng)價(jià)分?jǐn)?shù)和總患者數(shù)分別能達(dá)到0.61和0.56。而多模態(tài)信息卻難以有效地對(duì)患者的態(tài)度評(píng)價(jià)、效果評(píng)價(jià)和療效滿意度指標(biāo)進(jìn)行預(yù)測(cè)。我們通過分析態(tài)度評(píng)價(jià)、效果評(píng)價(jià)和療效滿意度的數(shù)值分析，發(fā)現(xiàn)大部分的評(píng)價(jià)分?jǐn)?shù)趨向于滿分，這導(dǎo)致了基于多模態(tài)信息來預(yù)測(cè)各類指標(biāo)的困難，也體現(xiàn)了患者偏向于給醫(yī)生一個(gè)較好的態(tài)度和療效評(píng)價(jià)分?jǐn)?shù)?？偨Y(jié)起來，醫(yī)生多模態(tài)信息能很好地影響總禮物數(shù)和總患者數(shù)，而與患者對(duì)醫(yī)生的態(tài)度和治療效果等指標(biāo)影響非常弱。

圖6 不同語音情感與體現(xiàn)患者行為關(guān)鍵指標(biāo)相關(guān)性的F值對(duì)比(p≤0.05)

圖7 不同醫(yī)生頭像情感與體現(xiàn)患者行為關(guān)鍵指標(biāo)相關(guān)性的F值對(duì)比(p≤0.10)

為了進(jìn)一步檢驗(yàn)醫(yī)生多模態(tài)信息情感對(duì)患者決策行為的影響，圖9匯總了醫(yī)生的多模態(tài)信息情感預(yù)測(cè)各關(guān)鍵指標(biāo)的精度。從圖9中我們發(fā)現(xiàn)，多模態(tài)信息情感能很好地預(yù)測(cè)總禮物數(shù)、付款文章總數(shù)和語音文章總數(shù)，分別達(dá)到0.96、0.84、0.82和0.80的精度。而該模型也能較好地對(duì)總患者數(shù)、評(píng)價(jià)分?jǐn)?shù)以及文章總數(shù)預(yù)測(cè)，分別達(dá)到0.58、0.55以及0.48精度。類似于圖8的分析結(jié)果，對(duì)于態(tài)度評(píng)價(jià)和效果評(píng)價(jià)卻同樣地難以有效進(jìn)行。由此可以總結(jié)，醫(yī)生在該平臺(tái)發(fā)布的各類多模態(tài)信息，包括朋友圈帖子、語音文章和視頻文章體現(xiàn)出來的情感與醫(yī)生收到的患者總禮物數(shù)、醫(yī)生自身發(fā)布的付款文章總數(shù)、語音文章總數(shù)和視頻文章總數(shù)具有明顯的影響，而與醫(yī)生態(tài)度評(píng)價(jià)和效果評(píng)價(jià)沒有太多直接關(guān)系。醫(yī)生在多模態(tài)信息中體現(xiàn)的情感與醫(yī)生自身平臺(tái)參與意愿(如更愿意發(fā)布視頻文章、語音文章等)密切相關(guān)，同樣也能吸引更多的患者，同時(shí)也相應(yīng)地提高其評(píng)價(jià)分?jǐn)?shù)。

圖9 基于醫(yī)生多模態(tài)信息情感特征的患者決策行為指標(biāo)值預(yù)測(cè)精度對(duì)比

4 討 論

本文以好大夫在線網(wǎng)站的醫(yī)生多模態(tài)數(shù)據(jù)為基礎(chǔ)，研究醫(yī)生多模態(tài)信息融合與在線患者決策行為的關(guān)系。研究結(jié)果發(fā)現(xiàn)，醫(yī)生發(fā)布各類信息(如帖子、語音和視頻)的意愿越強(qiáng)，評(píng)價(jià)分?jǐn)?shù)越高。而且，醫(yī)院級(jí)別對(duì)患者給醫(yī)生的評(píng)價(jià)分?jǐn)?shù)影響也是具有顯著的差異。針對(duì)多模態(tài)信息研究發(fā)現(xiàn)，醫(yī)生在朋友圈發(fā)布的帖子內(nèi)容多數(shù)是積極向上的情感或中立的情感，而在語音或視頻文章中體現(xiàn)的情感更多傾向于恐懼或悲傷。大部分的醫(yī)生頭像呈現(xiàn)是中立或者高興的情感，這些多模態(tài)信息顯著地影響醫(yī)生收到患者的禮物數(shù)、付費(fèi)文章數(shù)以及服務(wù)患者總數(shù)。因此，這給了互聯(lián)網(wǎng)醫(yī)療未來發(fā)展的啟示是，應(yīng)鼓勵(lì)醫(yī)生通過語音、視頻、朋友圈帖子等非傳統(tǒng)形式分享他們專業(yè)知識(shí)以及與患者交流，這樣會(huì)提高患者用戶對(duì)平臺(tái)粘性，也提高患者獲取在線付費(fèi)服務(wù)的意愿。

多模態(tài)數(shù)據(jù)的有效利用推動(dòng)互聯(lián)網(wǎng)醫(yī)療高質(zhì)量的發(fā)展和轉(zhuǎn)型。本文所使用的好大夫網(wǎng)站平臺(tái)語音和視頻文章數(shù)據(jù)，更多是提前錄制好的語音和視頻，我們研究發(fā)現(xiàn)，有少量的視頻是無效的宣傳視頻。這相比于醫(yī)生實(shí)時(shí)直播的多模態(tài)分析具有一定的局限性。隨著信息技術(shù)的發(fā)展，當(dāng)前許多醫(yī)生嘗試使用直播的方式與患者實(shí)時(shí)交流以及分享專業(yè)知識(shí)。直播中多模態(tài)數(shù)據(jù)的分析將進(jìn)一步推動(dòng)各類互聯(lián)網(wǎng)醫(yī)療的決策創(chuàng)新。在這些多模態(tài)數(shù)據(jù)分析中離不開人工智能技術(shù)的應(yīng)用。國務(wù)院辦公廳2016年發(fā)布的《關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見》[34]提及“推動(dòng)醫(yī)療健康人工智能標(biāo)準(zhǔn)化建設(shè)”“規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)化建設(shè)”等。黨的十九屆五中全會(huì)通過的《中共中央關(guān)于制定國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》[35]提及“全面推進(jìn)健康中國建設(shè)”，要加快壯大新一代信息技術(shù)、強(qiáng)化以人工智能、生命科學(xué)等前沿領(lǐng)域?yàn)榇淼膰覒?zhàn)略科技力量建設(shè)等建議。由此可見，邁入“十四五”時(shí)期，推動(dòng)多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的智慧醫(yī)療人工智能和決策支持技術(shù)推廣尤為必要，關(guān)乎我國人民的生命健康安全，將是增進(jìn)民生福祉、實(shí)現(xiàn)“健康中國2030”規(guī)劃綱要目標(biāo)的重要舉措。

多模態(tài)醫(yī)療健康數(shù)據(jù)分析不再局限于醫(yī)院、診所、實(shí)驗(yàn)室、研究機(jī)構(gòu)等地點(diǎn)的數(shù)據(jù)使用，這些數(shù)據(jù)也能來自互聯(lián)網(wǎng)醫(yī)療、移動(dòng)APP、可穿戴設(shè)備等新興健康數(shù)據(jù)源。據(jù)《2020中國互聯(lián)網(wǎng)醫(yī)療行業(yè)研究報(bào)告》顯示，中國互聯(lián)網(wǎng)醫(yī)院月接診患者超過3億人次，月活躍用戶規(guī)模超過5 400萬，在線醫(yī)療月活用戶峰值超6 000萬，月活用戶同比增長17%。新冠疫情催生了“互聯(lián)網(wǎng)+醫(yī)療健康”數(shù)字經(jīng)濟(jì)新業(yè)態(tài)和新模式快速發(fā)展，也對(duì)多模態(tài)醫(yī)療健康數(shù)據(jù)的利用產(chǎn)生迫切的需求。元宇宙概念的廣泛關(guān)注也推動(dòng)人們開始思考將沉浸式虛擬現(xiàn)實(shí)環(huán)境引入醫(yī)生與患者交互，多模態(tài)數(shù)據(jù)精準(zhǔn)分析若為迫切。本文研究結(jié)果表明，語音文章主要情感類別對(duì)醫(yī)生態(tài)度評(píng)價(jià)影響比其他因素更大。而醫(yī)生頭像的主要情感類型與醫(yī)生文章的平均閱讀量和圖文問診價(jià)格相比其他因素影響大，其他相關(guān)的可能因素包括電話問診價(jià)格、平均視頻文章閱讀量以及醫(yī)生的視頻文章總數(shù)。

當(dāng)前在線健康社區(qū)用戶往往接觸各種形式的多模態(tài)信息。首先，患者尋找醫(yī)生時(shí)給患者的第一印象很多時(shí)候是醫(yī)生的頭像圖片。本文也對(duì)醫(yī)生頭像情感表現(xiàn)與其患者用戶行為關(guān)聯(lián)進(jìn)行研究，發(fā)現(xiàn)醫(yī)生頭像情感對(duì)醫(yī)生文章閱讀量以及圖文問診價(jià)格的影響較大?；颊呓佑|到在線音頻、視頻等內(nèi)容，更可能獲得更高健康素養(yǎng)，降低患者用戶慢性病的健康風(fēng)險(xiǎn)。研究結(jié)果表明，醫(yī)生多模態(tài)信息也能較明顯地影響總禮物數(shù)和總患者數(shù)，而針對(duì)醫(yī)生的態(tài)度和治療效果等評(píng)價(jià)指標(biāo)影響非常弱。而在醫(yī)生多模態(tài)信息中體現(xiàn)的情感與醫(yī)生自身平臺(tái)參與意愿(如更愿意發(fā)布視頻文章、語音文章等)密切相關(guān)。醫(yī)生參與意愿的上升也能吸引更多的患者，從而進(jìn)一步提高其評(píng)價(jià)分?jǐn)?shù)。

在線健康社區(qū)中用戶的健康信息素養(yǎng)對(duì)如何高效地訪問這些多模態(tài)信息影響非常大[36]。Moro C等通過研究發(fā)現(xiàn)，慢性疾病人群對(duì)最新技術(shù)存在較低的使用率。隨著年齡的增長，用戶健康信息甄別能力呈現(xiàn)下降的趨勢(shì)，農(nóng)村老年人和大學(xué)生的健康信息素養(yǎng)顯著不一樣[37]。不同年齡的患者決策行為也是存在差異。比如，在線平臺(tái)老年用戶對(duì)熟練地掌握平臺(tái)中視頻、音頻播放和使用有困難，而無法對(duì)這些多模態(tài)信息進(jìn)行甄別，這不能僅僅依賴醫(yī)生創(chuàng)造內(nèi)容，還得需要平臺(tái)技術(shù)支持。唐坤孟等在研究好大夫真實(shí)醫(yī)生團(tuán)隊(duì)數(shù)據(jù)后，發(fā)現(xiàn)團(tuán)隊(duì)聲譽(yù)、團(tuán)隊(duì)規(guī)模、團(tuán)隊(duì)回復(fù)速度、團(tuán)隊(duì)登錄行為對(duì)患者選擇行為具有積極影響，團(tuán)隊(duì)回復(fù)速度與患者的醫(yī)療團(tuán)隊(duì)選擇之間存在中介效應(yīng)[38]。楊雪潔等通過分析好大夫網(wǎng)站數(shù)據(jù)，發(fā)現(xiàn)知識(shí)的相關(guān)性、時(shí)效性、原創(chuàng)性與知識(shí)源可信度都對(duì)用戶知識(shí)采納產(chǎn)生影響，疾病的類型調(diào)節(jié)了相關(guān)性、時(shí)效性、原創(chuàng)性與知識(shí)采納之間的關(guān)系[39]。平臺(tái)也應(yīng)將多模態(tài)信息以更加合理和高效的方式呈現(xiàn)給患者用戶，而不是單純依賴醫(yī)生用戶自身的意愿分享。

本文在研究中遇到了不少的挑戰(zhàn)。首先是，國內(nèi)互聯(lián)網(wǎng)醫(yī)療平臺(tái)的數(shù)據(jù)采集、分析和挖掘。從現(xiàn)有在線健康社區(qū)獲取海量多模態(tài)數(shù)據(jù)進(jìn)行挖掘分析是難點(diǎn)。其次，我們使用數(shù)據(jù)挖掘研究方法定量地研究醫(yī)生、患者和平臺(tái)之間的相關(guān)性問題。不同在線平臺(tái)的用戶社交方式不完全一致，各類數(shù)據(jù)形式各樣，因此如何采用統(tǒng)一方法來定量地研究其中醫(yī)生、患者和平臺(tái)之間的交互機(jī)制需要進(jìn)一步調(diào)研。未來我們將通過文獻(xiàn)調(diào)研、問卷調(diào)查等形式充分了解在線患者和醫(yī)生的信息需求，從而更加準(zhǔn)確了解互聯(lián)網(wǎng)醫(yī)療用戶決策行為產(chǎn)生的機(jī)理。

5 結(jié) 語

在線健康社區(qū)多模態(tài)信息形式復(fù)雜、處理困難、難以定量等特點(diǎn)阻礙了這些信息的有效利用，也使得平臺(tái)難以基于這些多模態(tài)數(shù)據(jù)推動(dòng)在線患者用戶決策支持。現(xiàn)有研究較少有研究在線健康社區(qū)多模態(tài)數(shù)據(jù)與醫(yī)生、患者決策行為相關(guān)性。本文以好大夫在線網(wǎng)站的醫(yī)生帖子、語音、視頻、頭像等非結(jié)構(gòu)化信息為研究對(duì)象，深入研究這些多模態(tài)信息融合與患者用戶決策行為的關(guān)系。其中，充分采用文本挖掘、音頻分析、視頻分析、圖像分析等數(shù)據(jù)挖掘技術(shù)，從非結(jié)構(gòu)化數(shù)據(jù)中提取有效的特征并嘗試融合分析，應(yīng)用于在線患者用戶決策行為研究中。研究結(jié)果表明，醫(yī)療健康服務(wù)提供者應(yīng)鼓勵(lì)在線醫(yī)生通過語音、視頻、朋友圈帖子等非傳統(tǒng)形式分享專業(yè)知識(shí)，這樣會(huì)增強(qiáng)患者用戶對(duì)平臺(tái)的粘性，吸引患者獲取服務(wù)和付費(fèi)的意愿，進(jìn)一步推動(dòng)可持續(xù)的、可信的以及多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的在線健康社區(qū)智能決策支持。