袁剛 郭爽 唐琦 許入文 王金國(guó) 韓春曉* 溫圣軍* 張文通
(1.國(guó)家市場(chǎng)監(jiān)督管理總局信息中心 北京 100820;2.北京理工大學(xué)計(jì)算機(jī)學(xué)院)
食品安全風(fēng)險(xiǎn)管理是當(dāng)前提升我國(guó)食品安全管理能力的重要內(nèi)容,《食品安全法》在總則中確定了一個(gè)重要原則,就是食品安全工作實(shí)行以預(yù)防為主、風(fēng)險(xiǎn)管理、全程控制、社會(huì)共治,建立科學(xué)、嚴(yán)格的監(jiān)管制度。 實(shí)際上就是強(qiáng)調(diào)對(duì)食品安全風(fēng)險(xiǎn)進(jìn)行全面管理的重要性。 當(dāng)前,風(fēng)險(xiǎn)管理主要來(lái)源于對(duì)數(shù)據(jù)的分析判斷,但食品安全鏈條長(zhǎng)、范圍廣、涉及的因素多,每天產(chǎn)生大量與食品安全相關(guān)的風(fēng)險(xiǎn)數(shù)據(jù), 但對(duì)于龐大的數(shù)據(jù)體量和無(wú)規(guī)則的數(shù)據(jù)關(guān)系,利用技術(shù)進(jìn)行分析挖掘不夠,導(dǎo)致食品安全風(fēng)險(xiǎn)預(yù)警研判成為業(yè)界共同研究的課題。
知識(shí)圖譜技術(shù)蘊(yùn)含豐富的先驗(yàn)知識(shí),具有重要的學(xué)術(shù)價(jià)值和廣泛的應(yīng)用前景。 知識(shí)圖譜分析推理作為知識(shí)圖譜領(lǐng)域的核心技術(shù),能夠極大地?cái)U(kuò)展現(xiàn)有知識(shí)的邊界, 有力地輔助人類(lèi)進(jìn)行智能決策。 因此,利用知識(shí)圖譜技術(shù)和食品安全監(jiān)管的海量數(shù)據(jù),構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜, 建立食品各維度數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系, 為食品安全風(fēng)險(xiǎn)分析和預(yù)測(cè)提供技術(shù)手段。當(dāng)前,構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜需要面對(duì)一系列問(wèn)題:(1) 信息數(shù)據(jù)量大, 難以人工處理;(2)信息來(lái)源多樣,難以挖掘數(shù)據(jù)間關(guān)聯(lián);(3)信息維度多樣,難以統(tǒng)籌整合。 針對(duì)以上3 個(gè)問(wèn)題,本文使用BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜。
知識(shí)圖譜以“實(shí)體—關(guān)系—實(shí)體” 形式描述語(yǔ)義,進(jìn)而使用包含語(yǔ)義的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)組織知識(shí),表示現(xiàn)實(shí)世界事物與事物之間各種各樣的聯(lián)系。 作為一種更適合于描述客觀世界實(shí)體與關(guān)系的信息載體,知識(shí)圖譜的研究掀起一股研究熱潮[1]。
早期主要是基于對(duì)啟發(fā)式規(guī)則的應(yīng)用,通過(guò)人工定義構(gòu)建模式,進(jìn)行文本匹配,從而實(shí)現(xiàn)信息抽取知識(shí)圖譜構(gòu)建。1991 年,RAU[2]結(jié)合人工編寫(xiě)規(guī)則與啟發(fā)性算法,首次實(shí)現(xiàn)從文本中提取公司實(shí)體的原型系統(tǒng)。這些基于規(guī)則的實(shí)體識(shí)別系統(tǒng)的優(yōu)點(diǎn)在于可以在特定領(lǐng)域有良好的性能表現(xiàn),但同時(shí)也有著巨大缺點(diǎn),即需要花費(fèi)大量人工成本設(shè)計(jì)信息抽取規(guī)則。 這些規(guī)則通常是依托于場(chǎng)景的,因此在復(fù)用性上表現(xiàn)也比較差。
為解決這一問(wèn)題, 研究者將自動(dòng)構(gòu)建與統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法相結(jié)合,分為幾個(gè)子任務(wù):實(shí)體抽取、關(guān)系抽取、屬性抽取。將拆解出的子任務(wù)轉(zhuǎn)化為機(jī)器學(xué)習(xí)領(lǐng)域研究的序列標(biāo)注和分類(lèi)問(wèn)題, 進(jìn)而使用學(xué)習(xí)模型來(lái)解決,比如CRF 模型[3]、HMM 模型[4]、MEMM模型[5]、SVM 模型[6]、LSTM 模型[7]等。 其中,生成式模型如HMM 對(duì)數(shù)據(jù)量的需求往往較大, 而判別式模型如MEMM、CRF 對(duì)數(shù)據(jù)量的要求就要少許多。 SUTTON 等[8]分析了CRF、HMM 與MEMM 之間異同,與HMM 和MEMM 相比,CRF 模型更復(fù)雜, 計(jì)算復(fù)雜度更高,但是其特征設(shè)計(jì)更靈活。 LIU 等[9]利用KNN算法和CRF 模型,實(shí)現(xiàn)了基于Twitter 文本數(shù)據(jù)的實(shí)體識(shí)別任務(wù)。 LIN 等[10]使用MaxEnt 模型,結(jié)合字典輔助,在GENIA 數(shù)據(jù)集上取得了精確率(precision)與召回率(recall)均超過(guò)70%的優(yōu)秀結(jié)果。
隨后, 具有極強(qiáng)的非線(xiàn)性擬合能力的深度學(xué)習(xí)出現(xiàn)了, 該技術(shù)也被應(yīng)用于知識(shí)圖譜抽取任務(wù)中。COLLOBERT 等較早地使用了結(jié)構(gòu)形如NN/CNNCRF 的模型,來(lái)完成實(shí)體抽取圖譜構(gòu)建任務(wù),并提出了基于窗口和基于句子的2 種模式。
而后學(xué)術(shù)界又提出一系列結(jié)構(gòu)形如RNN-CRF框架, 其中這類(lèi)模型中RNN 層主要代表LSTM 模型。 LAMPLE 等提出BiLSTM-CRF 框架,并分別在詞和字的級(jí)別上給出應(yīng)用。 REI 等基于RNN-CRF模型改進(jìn)了詞編碼與字編碼的拼接步驟, 并引入注意力機(jī)制, 實(shí)現(xiàn)了詞編碼和字編碼中所包含信息的動(dòng)態(tài)學(xué)習(xí)。 BHARADWAJ 等將字編碼結(jié)果和音韻進(jìn)行拼接處理,并在字編碼上引入注意力機(jī)制。MA 等人提出了混合模型BiLSTM-CNNsCRF。 ZHANG 等提出Lattice LSTM 模型,引入字典機(jī)制,對(duì)輸入的字符序列和所有與詞典匹配的潛在詞匯進(jìn)行編碼,實(shí)現(xiàn)了零分詞錯(cuò)誤。 AKBIK 等訓(xùn)練語(yǔ)言模型內(nèi)部隱狀態(tài),產(chǎn)生一種新的編碼模型。PETERS 等提出一種簡(jiǎn)單、通用的半監(jiān)督方法TagLM。YANG 等提出一種基于RNN 的轉(zhuǎn)移學(xué)習(xí)方法,并開(kāi)發(fā)了用于3 種遷移學(xué)習(xí)架構(gòu):T-A,T-B,T-C。 3 個(gè)結(jié)構(gòu)目前得到廣泛應(yīng)用,成為跨域、跨任務(wù)的一種baseline 模型。
在實(shí)體抽取的任務(wù)中, 某個(gè)詞語(yǔ)是否能被識(shí)別為一個(gè)人名、組織或者其他實(shí)體信息,很大程度上取決于上下文信息。例如:“鐘南山院士”、“本科畢業(yè)于北京協(xié)和醫(yī)學(xué)院醫(yī)療系”等文本中,“院士”并不是命名實(shí)體,但是對(duì)于識(shí)別“鐘南山”為人名實(shí)體有幫助;“本科畢業(yè)于”、“醫(yī)療系” 也不是需要識(shí)別的命名實(shí)體,但是有助于識(shí)別出機(jī)構(gòu)名“北京協(xié)和醫(yī)學(xué)院”。
深度學(xué)習(xí)中長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)正是利用這一上下文信息,通過(guò)在模型中引入遺忘門(mén)機(jī)制,使得模型可以存儲(chǔ)記憶序列化數(shù)據(jù), 并將其量化表現(xiàn)為參數(shù)能力。 因此LSTM 非常適合處理依賴(lài)上下文信息的實(shí)體抽取任務(wù)。 LSTM 網(wǎng)絡(luò)可以在一定程度上使用上下文之間的一些關(guān)聯(lián)信息, 增強(qiáng)對(duì)字詞的語(yǔ)義理解。 但是傳統(tǒng)的單向LSTM 只能捕獲序列的歷史信息,沒(méi)用充分利用上下文信息。
不充分考慮上下文信息, 可能在進(jìn)行命名實(shí)體識(shí)別的任務(wù)中出現(xiàn)錯(cuò)誤,例如“武漢市長(zhǎng)江大橋位于中國(guó)湖北省武漢市”,如果不對(duì)下文信息“位于中國(guó)湖北省武漢市”加以利用,而只觀察到“武漢市長(zhǎng)江大橋”,則可能只看到“武漢市長(zhǎng)”信息,并將“江大橋”標(biāo)注為人名,這種情況是需要避免的。
BiLSTM,即雙向長(zhǎng)短期神經(jīng)網(wǎng)絡(luò),通過(guò)特有門(mén)閥單元控制信息傳遞有選擇地保留上下文信息,實(shí)現(xiàn)對(duì)上下文信息利用和對(duì)有效文本的記憶功能。
對(duì)于BiLSTM 網(wǎng)絡(luò),舉例網(wǎng)絡(luò)的輸入若為“鐘南山院士”,主要捕獲反向信息,“院士”為職稱(chēng),記憶單元因此可能學(xué)習(xí)到前面的詞大概率為人名或姓氏,因此預(yù)測(cè)“鐘南山”為人名。
BiLSTM 層在知識(shí)圖譜構(gòu)建模型框架中起著很重要作用, 由于具備能接受預(yù)訓(xùn)練得到的文本向量、可基于前后時(shí)序進(jìn)行建模捕捉文本中上下文信息、同時(shí)捕獲文本數(shù)據(jù)歷史信息和反向信息這幾個(gè)特點(diǎn)和優(yōu)勢(shì),BiLSTM 模型具有優(yōu)于其他模型的實(shí)體識(shí)別效果。
對(duì)于中文知識(shí)抽取任務(wù), 經(jīng)過(guò)BiLSTM 的輸出,文本中歷史信息和反向信息被捕捉和記憶,模型計(jì)算得到各個(gè)字的輸出表示。 BiLSTM 輸出的各個(gè)字之間沒(méi)有互相影響, 這不利于得到一個(gè)完整的中文實(shí)體。這樣的標(biāo)注顯然是不合理的,也無(wú)法獲得任何有效信息,用以構(gòu)建知識(shí)圖譜。 其原因在于,BiLSTM 模型將會(huì)輸出各個(gè)標(biāo)簽對(duì)應(yīng)得分張量矩陣,隨后會(huì)簡(jiǎn)單地選擇每個(gè)字對(duì)應(yīng)張量中得分最高標(biāo)簽類(lèi)別, 作為當(dāng)前字的標(biāo)簽預(yù)測(cè)結(jié)果, 而得分最高的標(biāo)簽相互組合并不一定構(gòu)成完整實(shí)體,這種現(xiàn)象在中文數(shù)據(jù)中尤為明顯。
而上述問(wèn)題可通過(guò)引入CRF 層來(lái)解決。CRF 模型是一種用于解決序列標(biāo)注問(wèn)題的深度學(xué)習(xí)模型,該模型結(jié)合了HMM 模型與MaxEnt 模型優(yōu)點(diǎn),具有表達(dá)長(zhǎng)距離依賴(lài)性和交疊性特征能力, 解決了最大熵馬爾可夫模型存在的標(biāo)記偏置問(wèn)題, 通過(guò)將所有特征進(jìn)行全局歸一化,來(lái)求得全局最優(yōu)解。
CRF 模型側(cè)重考慮句子層面上,每個(gè)字標(biāo)注的tag 之間互相影響。作為BiLSTM 模型和CRF 模型的結(jié)合體,BiLSTM-CRF 模型先通過(guò)BiLSTM 層獲取歷史信息和反向信息, 輸出每個(gè)字對(duì)于各標(biāo)簽的權(quán)值矩陣, 再通過(guò)CRF 層學(xué)習(xí)標(biāo)簽間依賴(lài)性調(diào)整輸出,最終得到預(yù)測(cè)結(jié)果。
經(jīng)過(guò)CRF 層對(duì)最終輸出的約束, 相較于BiLSTM 網(wǎng)絡(luò),BiLSTM-CRF 網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不合理現(xiàn)象出現(xiàn)概率大大降低。
本文將以BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型,完成食品安全風(fēng)險(xiǎn)知識(shí)圖譜的自動(dòng)構(gòu)建。 將從數(shù)據(jù)預(yù)處理、基于BiLSTM-CRF 的知識(shí)圖譜構(gòu)建、效果及分析三小節(jié)對(duì)構(gòu)建過(guò)程進(jìn)行介紹。
1.3.1 數(shù)據(jù)預(yù)處理
目前基于食品安全監(jiān)管知識(shí)抽取數(shù)據(jù)集包括監(jiān)督檢查數(shù)據(jù)集、行政許可數(shù)據(jù)集、信用監(jiān)管數(shù)據(jù)集、行政處罰數(shù)據(jù)集、抽檢監(jiān)測(cè)數(shù)據(jù)集、投訴舉報(bào)數(shù)據(jù)集、登記注冊(cè)數(shù)據(jù)集、違法失信數(shù)據(jù)集等,如表1 所示。
表1 知識(shí)抽取數(shù)據(jù)集Table 1 Dataset for knowledge extraction
因此,經(jīng)過(guò)分析權(quán)衡,本文選取以上數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)。 提取2023 年1—5 月數(shù)據(jù),形成訓(xùn)練集,2023 年6 月份數(shù)據(jù)作為測(cè)試集。 訓(xùn)練集與測(cè)試集數(shù)據(jù)量大致是5∶1,以此構(gòu)建模型訓(xùn)練使用的數(shù)據(jù)集。
1.3.2 基于BiLSTM-CRF 的知識(shí)抽取
深度學(xué)習(xí)中長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)利用上下文信息,通過(guò)在模型中引入遺忘門(mén)機(jī)制,使得模型可以存儲(chǔ)記憶序列化數(shù)據(jù), 并將其量化表現(xiàn)為參數(shù)能力。 LSTM 記憶單元結(jié)構(gòu)如圖1 所示[32]。
圖1 LSTM 記憶單元Fig.1 A LSTM memory cell
LSTM 記憶單元中細(xì)胞狀態(tài)的保存和更新由輸入門(mén)、遺忘門(mén)、輸出門(mén)決定。 輸入門(mén)將新信息保存到記憶單元,遺忘門(mén)控制歷史記憶信息保留哪些,輸出門(mén)控制更新后的細(xì)胞狀態(tài)輸出哪些。 記憶單元依照下面一組公式執(zhí)行:
其中σ 是sigmoid 函數(shù),i 是輸入門(mén),f 是遺忘門(mén),c 是記憶單元,o 是輸出門(mén),h 是隱藏向量,Wxo代表輸入門(mén)(x)到輸出門(mén)(o)的權(quán)重矩陣,其他權(quán)重矩陣表示同理。
LSTM 網(wǎng)絡(luò)如圖2 所示, 其中淺藍(lán)色部分表示一個(gè)上述LSTM 記憶單元。
圖2 LSTM 網(wǎng)絡(luò)Fig.2 A LSTM network
BiLSTM,即雙向長(zhǎng)短期神經(jīng)網(wǎng)絡(luò),通過(guò)LSTM 特有的記憶單元控制信息傳遞, 有選擇地保留來(lái)自前向和反向上下文信息, 進(jìn)而實(shí)現(xiàn)對(duì)上下文信息利用和對(duì)有效文本記憶功能。 BiLSTM 網(wǎng)絡(luò)如圖3 所示。
圖3 BiLSTM 網(wǎng)絡(luò)Fig.3 A BiLSTM network
CRF 模型具有表達(dá)長(zhǎng)距離依賴(lài)性和交疊性特征的能力,通過(guò)將輸入的所有特征進(jìn)行全局歸一化,進(jìn)而求得全局最優(yōu)解。
作為BiLSTM 模型和CRF 模型的結(jié)合體,BiLSTM-CRF 模型先通過(guò)BiLSTM 層獲取歷史信息和反向信息,輸出每個(gè)字對(duì)于各標(biāo)簽權(quán)值矩陣,再通過(guò)CRF 層學(xué)習(xí)標(biāo)簽間依賴(lài)性調(diào)整輸出,最終得到預(yù)測(cè)結(jié)果。 圖4 以“生產(chǎn)環(huán)境衛(wèi)生不合格導(dǎo)致食品安全風(fēng)險(xiǎn)”為例,展示了BiLSTM-CRF 網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行結(jié)果。
圖4 BiLSTM-CRF 網(wǎng)絡(luò)結(jié)構(gòu)及實(shí)例Fig.4 A BiLSTM-CRF network and instance
在對(duì)BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)訓(xùn)練中,本文采用當(dāng)前適用性最強(qiáng),性能最優(yōu)的自適應(yīng)矩估計(jì)(Adam)優(yōu)化器;loss 函數(shù)使用最小負(fù)對(duì)數(shù)似然(NLL)。
本實(shí)驗(yàn)使用精確率 (Precision)、 召回率(Recall)、準(zhǔn)確率(Accuracy)、F1 值(F1-score)4 項(xiàng)作為評(píng)估指標(biāo)。 Precision 衡量模型僅返回所有檢索到的實(shí)例中相關(guān)實(shí)例的能力。 Recall 衡量模型檢索所有相關(guān)實(shí)例的能力。 Accuracy 評(píng)估模型在整個(gè)數(shù)據(jù)集中做出正確預(yù)測(cè)的百分比。 F1-score 是Precision 和Recall 的調(diào)和平均值, 它同時(shí)考慮了測(cè)試精度和召回率。 這4 個(gè)指標(biāo)一起可以對(duì)食品安全風(fēng)險(xiǎn)知識(shí)圖譜構(gòu)建模型進(jìn)行綜合評(píng)價(jià)。 公式如下所示。
模型訓(xùn)練主程序核心代碼如圖5 中偽代碼所示。
圖5 模型訓(xùn)練主程序核心偽代碼Fig.5 Pseudocode of model training program
深度學(xué)習(xí)模型BiLSTM-CRF 構(gòu)造函數(shù)的核心代碼如圖6 代碼塊所示。
圖6 BiLSTM-CRF 模型構(gòu)造函數(shù)偽代碼Fig.6 Pseudocode of BiLSTM-CRF model constructor
1.3.3 食品安全風(fēng)險(xiǎn)知識(shí)圖譜構(gòu)建效果
最初訓(xùn)練的版本模型效果欠佳,F(xiàn)1-score 并不理想,經(jīng)分析本文認(rèn)為可能來(lái)源于參數(shù)選擇不合理,本文采用預(yù)訓(xùn)練-微調(diào)方式和手工標(biāo)注部分平臺(tái)數(shù)據(jù),使模型學(xué)到一些針對(duì)食品安全風(fēng)險(xiǎn)數(shù)據(jù)的特點(diǎn),模型效果更適合食品安全風(fēng)險(xiǎn)結(jié)果。 后續(xù)實(shí)驗(yàn)嘗試了多組參數(shù)進(jìn)行對(duì)比分析,最終F1-score 可以達(dá)到較高水平。
本文在不同類(lèi)型數(shù)據(jù)中, 隨機(jī)抽取一定數(shù)量數(shù)據(jù)項(xiàng),人工判斷精確率、召回率、F1-score 的性能指標(biāo),用以測(cè)試不同模型在數(shù)據(jù)中的表現(xiàn),知識(shí)抽取性能如表2 所示。
表2 隨機(jī)抽取數(shù)據(jù)測(cè)試模型的性能Table 2 Performance for randomly extracted data
在不同分類(lèi)(如:監(jiān)督檢查、信用監(jiān)管、投訴舉報(bào)等分類(lèi))下,系統(tǒng)對(duì)人才數(shù)據(jù)進(jìn)行知識(shí)抽取時(shí)表現(xiàn)出的效果也不盡相同。 教育經(jīng)歷分類(lèi)下知識(shí)抽取性能如表3 所示;工作經(jīng)歷分類(lèi)下知識(shí)抽取性能如表4 所示;社會(huì)網(wǎng)絡(luò)分類(lèi)下知識(shí)抽取性能如表5 所示。
表3 監(jiān)督檢查方面的性能Table 3 Performance for supervision and inspection data
表4 信用監(jiān)管方面的性能Table 4 Performance for credit supervision data
表5 投訴舉報(bào)方面的性能Table 5 Performance for complaints and reports data
根據(jù)表3~5 分析可得,在不同的數(shù)據(jù)信息分類(lèi)下,知識(shí)抽取算法表現(xiàn)差異較大,該結(jié)果需要根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行分析是否合理。
監(jiān)督檢查分類(lèi)下數(shù)據(jù)信息, 一方面存在很多生僻和不規(guī)范數(shù)據(jù),另一方面,通常這類(lèi)數(shù)據(jù)不以完成的一句話(huà)錄入,模型無(wú)法利用到上下文信息,因此在此項(xiàng)中表現(xiàn)較差。
與之相反的投訴舉報(bào)分類(lèi)下信息, 通常有較完整的上下文信息如“XX 人于XX 時(shí)間食用了XX 食品,感覺(jué)惡心,出現(xiàn)嘔吐”,本文訓(xùn)練出的模型對(duì)這類(lèi)數(shù)據(jù)分類(lèi)下信息的知識(shí)抽取效果很好。
基于所抽取原始數(shù)據(jù)的組織結(jié)構(gòu), 本文將食品安全風(fēng)險(xiǎn)設(shè)置為知識(shí)圖譜的節(jié)點(diǎn), 以因素間關(guān)聯(lián)關(guān)系作為知識(shí)圖譜的邊。 通過(guò)食品安全風(fēng)險(xiǎn)信息中抽取出實(shí)體,對(duì)各因素進(jìn)行關(guān)聯(lián),再通過(guò)信息所在信息項(xiàng)判斷關(guān)聯(lián)關(guān)系。 因素A 在食源性風(fēng)險(xiǎn)信息中出現(xiàn)因素X,因素B 在輿情信息中出現(xiàn)因素X,則因素A與因素B 之間建立關(guān)聯(lián)關(guān)系。 如圖7 所示。
圖7 食品安全風(fēng)險(xiǎn)圖譜構(gòu)建效果展示Fig.7 Demonstration for constructing a food safety risk knowledge graph
為更始圖結(jié)構(gòu)清晰, 限制所展示節(jié)點(diǎn)和邊的總量,不同顏色節(jié)點(diǎn)代表食品安全風(fēng)險(xiǎn)因素,不同顏色的邊代表不同關(guān)聯(lián)關(guān)系。
本文提出一種基于深度學(xué)習(xí)的知識(shí)抽取算法,自動(dòng)構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜。 在大數(shù)據(jù)時(shí)代提供了食品安全風(fēng)險(xiǎn)知識(shí)圖譜自動(dòng)抽取方案, 對(duì)于海量食品安全相關(guān)信息, 建立食品安全風(fēng)險(xiǎn)因素之間關(guān)聯(lián)關(guān)系, 為食品安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警提供了一種有效的技術(shù)方法。