李娜,范正潔,郝傳洲,王平輝,陶敬,林杰

(1.西安交通大學(xué)智能網(wǎng)絡(luò)與網(wǎng)絡(luò)安全教育部重點(diǎn)實(shí)驗(yàn)室,710049,西安;2.中國移動(dòng)通信有限公司研究院大數(shù)據(jù)與IT技術(shù)研究所,100053,北京)

隨著大數(shù)據(jù)技術(shù)的深入研究與應(yīng)用,企業(yè)的專注點(diǎn)日益聚焦于怎樣利用大數(shù)據(jù)來為精準(zhǔn)營銷服務(wù),進(jìn)而深入挖掘潛在的商業(yè)價(jià)值[1-4],于是用戶畫像的概念也就應(yīng)運(yùn)而生。所謂用戶畫像,即用戶信息的標(biāo)簽化,利用標(biāo)簽體系勾畫用戶的屬性特征[5]。精準(zhǔn)、細(xì)粒度且結(jié)構(gòu)化的標(biāo)簽體系是用戶畫像的基礎(chǔ),其廣度和粒度對(duì)用戶畫像的精確性有較大影響,因此標(biāo)簽體系的構(gòu)建具有一定的研究意義和應(yīng)用價(jià)值。

早期比較流行的標(biāo)簽體系構(gòu)建方法均基于Golder所提出的協(xié)同標(biāo)簽體系[6];Yeung和Tahar等利用分眾分類法構(gòu)建標(biāo)簽體系[7-8];Cai等先后提出利用協(xié)同標(biāo)簽系統(tǒng)不同標(biāo)簽權(quán)重的結(jié)構(gòu)化和非結(jié)構(gòu)化標(biāo)簽來構(gòu)建標(biāo)簽體系[9-10]。協(xié)同標(biāo)簽體系描述眾多用戶以標(biāo)簽形式向共享內(nèi)容添加元數(shù)據(jù)的過程,大多知名網(wǎng)站允許用戶公開標(biāo)簽和共享內(nèi)容,用戶不僅可以為自己的信息分類,也可以瀏覽他人的分類信息,故協(xié)同標(biāo)簽體系的構(gòu)建受到個(gè)人和公共兩方面因素的影響。由于個(gè)人背景知識(shí)以及描述文字的習(xí)慣不同,不同用戶對(duì)同一網(wǎng)頁可能添加不同的標(biāo)簽,致使最終的標(biāo)簽體系存在重復(fù)和結(jié)構(gòu)層次不明顯的問題。隨著本體的發(fā)展,利用本體構(gòu)建標(biāo)簽體系的研究也逐漸增多,Skillen、Maleszka和Ferreira等利用現(xiàn)有本體框架人工或自動(dòng)化地構(gòu)建本體以生成標(biāo)簽體系[11-13],但目前基于本體所得到的標(biāo)簽體系準(zhǔn)確度低,存在冗余或者缺失以及結(jié)構(gòu)問題。此外,本體的構(gòu)建需要大量人工參與,成本較高。Farseev等基于主題模型[14-15]構(gòu)建標(biāo)簽體系,但這種標(biāo)簽體系粒度較粗,不利于精準(zhǔn)畫像。

針對(duì)上述問題,本文基于主流網(wǎng)站的導(dǎo)航標(biāo)簽,提出一種標(biāo)簽體系融合方法以構(gòu)建細(xì)粒度結(jié)構(gòu)化的標(biāo)簽體系。主流網(wǎng)站的導(dǎo)航標(biāo)簽是經(jīng)過專家仔細(xì)分析,并結(jié)合廣大網(wǎng)民的用戶體驗(yàn)進(jìn)行優(yōu)化而得,故網(wǎng)站導(dǎo)航標(biāo)簽?zāi)軌蚓珳?zhǔn)勾畫用戶的行為屬性,進(jìn)而為用戶畫像打下基礎(chǔ)。

本文根據(jù)標(biāo)簽文本特征、結(jié)構(gòu)特征以及標(biāo)簽對(duì)應(yīng)的網(wǎng)頁文本特征,提出一種基于語義特征分析的標(biāo)簽融合方法(TMSFA)。該方法通過識(shí)別標(biāo)簽間的等同和上下位這兩種映射關(guān)系,對(duì)主流網(wǎng)站的導(dǎo)航標(biāo)簽進(jìn)行融合,進(jìn)而構(gòu)建出精準(zhǔn)、細(xì)粒度且結(jié)構(gòu)化的標(biāo)簽體系。

1 標(biāo)簽體系構(gòu)建方法

第一層級(jí)標(biāo)簽稱作根標(biāo)簽,每個(gè)根標(biāo)簽及其所有子孫標(biāo)簽稱作一個(gè)標(biāo)簽樹。本文方法三階段流程如圖1所示,其基本思想是將標(biāo)簽樹兩兩融合,將待融合標(biāo)簽樹插入到基準(zhǔn)標(biāo)簽樹中,通過找到待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的等同映射關(guān)系和上下位映射關(guān)系,從而構(gòu)建出融合后的標(biāo)簽體系。本文方法分為數(shù)據(jù)處理、標(biāo)簽映射以及標(biāo)簽融合3個(gè)階段。

在數(shù)據(jù)處理階段,首先從網(wǎng)站中獲取原始標(biāo)簽體系,并基于爬蟲獲取標(biāo)簽對(duì)應(yīng)的網(wǎng)頁文本,以豐富標(biāo)簽語義;其次根據(jù)標(biāo)簽體系內(nèi)容并結(jié)合分組條件對(duì)標(biāo)簽樹進(jìn)行聚類分組,分組條件一是當(dāng)兩個(gè)標(biāo)簽樹的根標(biāo)簽相同分為一組,分組條件二是當(dāng)標(biāo)簽樹的根標(biāo)簽不同但子標(biāo)簽內(nèi)容相似則分為一組;最后根據(jù)標(biāo)簽樹的層數(shù)、葉子標(biāo)簽及非葉子標(biāo)簽的數(shù)量判斷融合順序,標(biāo)簽樹層數(shù)越多則標(biāo)簽的劃分結(jié)構(gòu)粒度越細(xì),葉子標(biāo)簽的數(shù)量越多則標(biāo)簽樹描述的子領(lǐng)域越廣,非葉子標(biāo)簽的數(shù)量越多則標(biāo)簽的劃分粒度越細(xì)。

在標(biāo)簽映射和標(biāo)簽融合階段,基于標(biāo)簽間的等同映射關(guān)系和上下位映射關(guān)系去除標(biāo)簽體系中重復(fù)以及結(jié)構(gòu)相同的標(biāo)簽,然后將待融合標(biāo)簽樹插入到基準(zhǔn)標(biāo)簽樹中,進(jìn)而構(gòu)建出融合后的標(biāo)簽體系。

2 等同關(guān)系標(biāo)簽映射

標(biāo)簽間的等同關(guān)系是指兩個(gè)標(biāo)簽語義相同,對(duì)應(yīng)的網(wǎng)頁內(nèi)容相似。在識(shí)別標(biāo)簽的等同關(guān)系時(shí),主要存在以下兩個(gè)難點(diǎn):一是不同原始標(biāo)簽體系的標(biāo)簽詞義表達(dá)方式不同,例如“釣魚用品”“垂釣用品”和“彩寶”“彩色寶石”等;二是上級(jí)標(biāo)簽對(duì)下級(jí)標(biāo)簽的語義具有約束力,例如標(biāo)簽“洗發(fā)水”的上級(jí)標(biāo)簽有“洗發(fā)護(hù)發(fā)”“男士洗護(hù)”兩種,此時(shí)標(biāo)簽的語義截然不同。

本文基于標(biāo)簽體系的語義和結(jié)構(gòu)提出兩種方法以解決上述難點(diǎn),一是通過判斷標(biāo)簽對(duì)應(yīng)網(wǎng)頁內(nèi)容是否相似;二是同時(shí)分析標(biāo)簽及其上級(jí)標(biāo)簽的語義信息,基于這兩種方法可得到眾多等同關(guān)系標(biāo)簽對(duì),本文取這些等同關(guān)系標(biāo)簽對(duì)的并集作為最終識(shí)別的等同關(guān)系標(biāo)簽對(duì)。

四級(jí)標(biāo)簽體系樹狀圖如圖2所示,其中一級(jí)標(biāo)簽指所有標(biāo)簽樹的第1級(jí)根標(biāo)簽,如標(biāo)簽a1～a2;二級(jí)標(biāo)簽指所有標(biāo)簽樹的第2層級(jí)標(biāo)簽,如標(biāo)簽b1～b4;三級(jí)標(biāo)簽指所有標(biāo)簽樹的第3層級(jí)標(biāo)簽,如標(biāo)簽c1～c8;四級(jí)標(biāo)簽指所有標(biāo)簽樹的第4層級(jí)標(biāo)簽,如標(biāo)簽d1～d4。

2.1 基于標(biāo)簽語義的等同關(guān)系映射方法

基于標(biāo)簽語義比較待融合標(biāo)簽與基準(zhǔn)標(biāo)簽是否“相同”,若“相同”則將待融合標(biāo)簽和基準(zhǔn)標(biāo)簽的父標(biāo)簽及祖父標(biāo)簽進(jìn)行兩兩比較,存在一對(duì)“相同”則說明待融合標(biāo)簽與基準(zhǔn)標(biāo)簽具有等同關(guān)系。

待融合標(biāo)簽A和基準(zhǔn)標(biāo)簽B分別由n和m個(gè)字組成,表示為A1,A2,…,An和B1,B2,…,Bm,其中Ai(i=1,2,…,n)、Bj(j=1,2,…,m)分別表示組成標(biāo)簽A和B的字。逐個(gè)比較標(biāo)簽A和B的字,假設(shè)標(biāo)簽A和B中重復(fù)的字的個(gè)數(shù)為h,則標(biāo)簽A和B的相似度為h/n,若相似度大于基于統(tǒng)計(jì)分析設(shè)定的閾值,則說明這兩個(gè)標(biāo)簽是“相同”的。

2.2 基于附加語義的等同關(guān)系映射方法

基于標(biāo)簽對(duì)應(yīng)的網(wǎng)頁文本內(nèi)容的相似性來判斷標(biāo)簽的等同關(guān)系?；诰W(wǎng)頁文本語義獲得標(biāo)簽的向量表示,輸入為每個(gè)標(biāo)簽對(duì)應(yīng)的k個(gè)網(wǎng)頁標(biāo)題,通過句子向量表示模型(Sentence2Vec)[16]。獲得每個(gè)標(biāo)題的句子向量表示為s1,s2,…,sn,則標(biāo)簽表示為

(1)

待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B的向量表示分別為SA和SB,其余弦相似度為

(2)

當(dāng)余弦相似度大于基于統(tǒng)計(jì)分析設(shè)定的閾值時(shí),說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有等同關(guān)系。

3 上下位關(guān)系標(biāo)簽映射

上下位關(guān)系是指兩個(gè)標(biāo)簽的語義之間存在包含與被包含的關(guān)系,下位詞是上位詞的一個(gè)特殊實(shí)例或者一個(gè)子類。如圖3所示,待融合標(biāo)簽“鮮花餅”的上級(jí)標(biāo)簽為“休閑食品”,標(biāo)簽“鮮花餅”會(huì)跟隨其上級(jí)標(biāo)簽“休閑食品”融合到“鮮花餅1”的位置,但是“餅干糕點(diǎn)”是“鮮花餅”更為準(zhǔn)確的上位詞,故標(biāo)簽“鮮花餅”應(yīng)融合到“鮮花餅2”的位置。

基于標(biāo)簽對(duì)應(yīng)的網(wǎng)頁文本內(nèi)容提出兩種上下位標(biāo)簽映射方法:一是通過判斷待融合標(biāo)簽對(duì)應(yīng)的網(wǎng)頁標(biāo)題中包含基準(zhǔn)標(biāo)簽的比例來判斷上下位關(guān)系;二是通過判斷待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的子標(biāo)簽的相關(guān)性來判斷上下位關(guān)系。

圖3 基于上下位關(guān)系的標(biāo)簽融合示意圖

3.1 基于網(wǎng)頁標(biāo)簽包含關(guān)系的上下位標(biāo)簽映射方法

標(biāo)簽對(duì)應(yīng)的網(wǎng)頁標(biāo)題通常會(huì)包含其上級(jí)標(biāo)簽,利用這個(gè)特點(diǎn)判斷兩個(gè)標(biāo)簽是否存在上下位關(guān)系。待融合標(biāo)簽A的對(duì)應(yīng)的網(wǎng)頁標(biāo)題個(gè)數(shù)為p,若網(wǎng)頁標(biāo)題中有q個(gè)標(biāo)題包含基準(zhǔn)標(biāo)簽B,則包含比例為

(3)

當(dāng)包含比例大于基于統(tǒng)計(jì)分析設(shè)定的閾值時(shí),則說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有上下位關(guān)系。

3.2 基于標(biāo)簽間相關(guān)性的上下位標(biāo)簽映射方法

如圖2所示,“鮮花餅”與“餅干糕點(diǎn)”的子標(biāo)簽“曲奇餅干”和“沙琪瑪”有一定的相關(guān)性,也就是子標(biāo)簽間存在著一定的相關(guān)性,據(jù)此判斷兩個(gè)標(biāo)簽是否存在上下位關(guān)系。計(jì)算待融合標(biāo)簽與所有包含子標(biāo)簽的基準(zhǔn)標(biāo)簽的相關(guān)性,當(dāng)最大相關(guān)性大于基于統(tǒng)計(jì)分析設(shè)定的閾值時(shí),則說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有上下位關(guān)系?；谧訕?biāo)簽的向量表示分別計(jì)算標(biāo)簽A與標(biāo)簽B以及子標(biāo)簽的余弦相似度C(SA,SB),C(SA,SB1),…,C(SA,SBn),則標(biāo)簽A和B的相關(guān)性為

(4)

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)設(shè)置

目前用戶訪問的網(wǎng)站類型主要包括門戶、金融、電商3類,故從這3類網(wǎng)站中分別選擇兩個(gè)主流網(wǎng)站導(dǎo)航作為原始標(biāo)簽體系進(jìn)行融合,其中門戶網(wǎng)站選擇新浪網(wǎng)和搜狐網(wǎng),金融網(wǎng)站選擇中金在線和東方財(cái)富網(wǎng),電商網(wǎng)站選擇天貓和蘇寧易購,詳情見表1。

表1 三類網(wǎng)站標(biāo)簽體系中各級(jí)標(biāo)簽分布

為了測(cè)試融合方法得到的標(biāo)簽體系的準(zhǔn)確性,本文提出標(biāo)簽重合度和上下位關(guān)系重合度兩個(gè)指標(biāo)來驗(yàn)證融合方法的效果。

所謂標(biāo)簽重合度指標(biāo),即通過計(jì)算融合后標(biāo)簽體系與測(cè)試標(biāo)簽體系的標(biāo)簽重合比例來說明兩個(gè)標(biāo)簽體系的內(nèi)容差異,它是一種標(biāo)簽內(nèi)容相似的度量。融合標(biāo)簽體系和測(cè)試標(biāo)簽體系中標(biāo)簽的個(gè)數(shù)分別為NL、NT,相同的標(biāo)簽個(gè)數(shù)為Nsame,則標(biāo)簽重合度為

(5)

所謂上下位關(guān)系重合度指標(biāo),即通過計(jì)算融合后標(biāo)簽體系與測(cè)試標(biāo)簽體系的上下位關(guān)系相同比例來說明兩個(gè)標(biāo)簽體系的結(jié)構(gòu)差異,它是一種標(biāo)簽上下位關(guān)系的度量。融合標(biāo)簽體系和測(cè)試標(biāo)簽體系中樹枝個(gè)數(shù)分別為ML、MT,測(cè)試標(biāo)簽體系中與融合標(biāo)簽體系中相同的樹枝的個(gè)數(shù)為Msame,則上下位關(guān)系重合度為

(6)

測(cè)試標(biāo)簽體系是從上述原始標(biāo)簽體系中隨機(jī)抽取若干個(gè)標(biāo)簽進(jìn)行分組,在20多位老師和同學(xué)的幫助下人工融合標(biāo)簽并校正,得到最終的測(cè)試標(biāo)簽體系。

對(duì)于電商網(wǎng)站,本文將“家居家紡”“母嬰玩具”和“個(gè)護(hù)化妝”3個(gè)分組的原始標(biāo)簽人工融合得到電商測(cè)試標(biāo)簽體系;對(duì)于金融網(wǎng)站,將“理財(cái)中心”和“股票中心”兩個(gè)分組的原始標(biāo)簽人工融合得到金融測(cè)試標(biāo)簽體系;對(duì)于門戶網(wǎng)站,將“頻道”分組中的“新聞”“體育”“娛樂”“科技”“女人”“健康”“房產(chǎn)”“星座”和“旅游”這些小組的原始標(biāo)簽人工融合得到門戶測(cè)試標(biāo)簽體系。三類網(wǎng)站標(biāo)簽體系中原始及測(cè)試標(biāo)簽數(shù)的統(tǒng)計(jì)情況見表2,以電商為例,電商網(wǎng)站原始標(biāo)簽體系共有6 039個(gè)標(biāo)簽,抽取其中1 265個(gè)標(biāo)簽進(jìn)行融合,得到的測(cè)試標(biāo)簽體系共有934個(gè)標(biāo)簽。

表2 三類網(wǎng)站標(biāo)簽體系中原始及測(cè)試標(biāo)簽數(shù)

4.2 實(shí)驗(yàn)結(jié)果

為了進(jìn)一步說明本文方法的優(yōu)越性,采用基于同義詞林的融合方法(TMC)與之進(jìn)行對(duì)比。TMC方法基于同義詞林和標(biāo)簽文本層面的相似性來判斷標(biāo)簽映射關(guān)系,進(jìn)而融合標(biāo)簽體系。

在同一臺(tái)計(jì)算機(jī)上使用相同數(shù)據(jù)對(duì)本文方法和TMC方法進(jìn)行對(duì)比,首先基于這兩種方法分別將門戶、金融、電商網(wǎng)站的原始標(biāo)簽體系進(jìn)行融合,然后將融合后的標(biāo)簽體系分別與測(cè)試標(biāo)簽體系進(jìn)行比對(duì),最后計(jì)算出標(biāo)簽重合度和上下位關(guān)系重合度,對(duì)比結(jié)果及時(shí)間頻度見表3、表4。

表3 本文和TMC方法在評(píng)價(jià)指標(biāo)上的比較

表4 本文與TMC方法的時(shí)間頻度對(duì)比

針對(duì)電商類網(wǎng)站,基于本文方法融合天貓和蘇寧的標(biāo)簽體系得到1 041個(gè)標(biāo)簽,并與測(cè)試標(biāo)簽體系進(jìn)行對(duì)比,標(biāo)簽重合度和上下位關(guān)系重合度分別為89.4%、88.4%,而TMC方法的結(jié)果是79.8%和80.9%。電商類網(wǎng)站的標(biāo)簽體系結(jié)構(gòu)復(fù)雜,經(jīng)常會(huì)出現(xiàn)待融合標(biāo)簽所在的結(jié)構(gòu)粒度粗而相應(yīng)所屬基準(zhǔn)標(biāo)簽粒度細(xì)的情況,這就需要拆分待融合標(biāo)簽子樹并將其映射到基準(zhǔn)標(biāo)簽體系中,但難點(diǎn)在于如何判斷待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的映射關(guān)系,故造成上下位關(guān)系重合度相對(duì)標(biāo)簽重合度較低。針對(duì)金融類網(wǎng)站,基于本文方法將東方財(cái)富和中金在線的標(biāo)簽體系進(jìn)行融合得到504個(gè)標(biāo)簽,并與測(cè)試標(biāo)簽樹進(jìn)行對(duì)比,標(biāo)簽重合度和上下位關(guān)系重合度分別為85.5%,90.2%,而TMC方法的結(jié)果是76.7%和88.4%。針對(duì)門戶類網(wǎng)站,基于本文方法將新浪和搜狐的標(biāo)簽體系進(jìn)行融合,得到232個(gè)標(biāo)簽,并與測(cè)試標(biāo)簽體系進(jìn)行對(duì)比,標(biāo)簽重合度和上下位關(guān)系重合度分別為90.0%、95.3%,而TMC方法的結(jié)果是80.1%和90.3%。由于詞語描述差異比較大,門戶類網(wǎng)站和金融類網(wǎng)站難以精準(zhǔn)判斷標(biāo)簽之間是否存在等同關(guān)系,故上下位關(guān)系重合度相比于標(biāo)簽重合度較高。

在時(shí)間復(fù)雜度方面,本文方法和TMC方法的時(shí)間復(fù)雜度均為O(n2)。從表4可以看出,兩種方法的時(shí)間頻度相差無幾,但從表3可以看出,與TMC方法相比,本文方法的效果有較大的提升,并且本文方法得到的融合后標(biāo)簽體系相對(duì)于TMC方法的標(biāo)簽體系的標(biāo)簽數(shù)量較少,說明識(shí)別的融合標(biāo)簽對(duì)數(shù)更多。無論從等同關(guān)系識(shí)別還是上下位關(guān)系識(shí)別,本文方法都有一定的提升且具備一定的準(zhǔn)確性,而且相對(duì)已有構(gòu)建標(biāo)簽體系方法得到的標(biāo)簽體系而言更為全面、結(jié)構(gòu)化。

5 結(jié) 論

本文方法將不同網(wǎng)站的導(dǎo)航標(biāo)簽體系進(jìn)行融合得到統(tǒng)一且結(jié)構(gòu)化的標(biāo)簽體系,為精準(zhǔn)用戶畫像打下基礎(chǔ)。本文方法基于標(biāo)簽間的等同關(guān)系和上下位關(guān)系來判斷標(biāo)簽的融合位置,由于標(biāo)簽本身詞語短小且包含的語義信息較少,本文不僅分析標(biāo)簽本身的語義信息,還結(jié)合其對(duì)應(yīng)網(wǎng)頁文本的語義信息及標(biāo)簽上下級(jí)結(jié)構(gòu)關(guān)系信息以豐富標(biāo)簽語義,進(jìn)而判斷標(biāo)簽間的映射關(guān)系。本文提出標(biāo)簽重合度和上下位關(guān)系重合度兩個(gè)指標(biāo)以評(píng)估本文方法的優(yōu)越性,與現(xiàn)有方法相比,本文方法的這兩個(gè)指標(biāo)至少提升5%,證明了方法的有效性。采用本文方法可以構(gòu)建出精準(zhǔn)有效且適應(yīng)不同領(lǐng)域的標(biāo)簽體系。