周文

（懷化市麻陽縣煙草專賣局，懷化418000）

0 引言

煙草行業(yè)經(jīng)過數(shù)十年的信息化建設(shè)，建立了統(tǒng)一的信息化平臺及大量的應(yīng)用系統(tǒng)，這些系統(tǒng)生成的海量數(shù)據(jù)已經(jīng)成為行業(yè)進(jìn)行科學(xué)決策和內(nèi)部監(jiān)管的重要依據(jù)。目前，煙草行業(yè)信息化建設(shè)正在從集成整合向綜合集成轉(zhuǎn)變，業(yè)務(wù)數(shù)據(jù)大融合不斷加強(qiáng)，行業(yè)對應(yīng)用系統(tǒng)的可持續(xù)運(yùn)行、數(shù)據(jù)的安全保護(hù)和資源利用率的提升也提出了更高的要求[1-2]。簡單的存儲和查詢信息利用方式缺乏對于數(shù)據(jù)中隱含的關(guān)聯(lián)規(guī)則、隱藏信息和知識的挖掘，無法對事物發(fā)展的趨勢進(jìn)行預(yù)測，早已不能滿足實(shí)際需要[3]。技術(shù)的創(chuàng)新推動著煙草行業(yè)業(yè)務(wù)模式的創(chuàng)新，如何充分挖掘行業(yè)大數(shù)據(jù)價值，將數(shù)據(jù)挖掘等自動化技術(shù)與煙草行業(yè)市場監(jiān)管等核心業(yè)務(wù)相結(jié)合以提高工作效率的要求已經(jīng)十分迫切。

數(shù)據(jù)挖掘是把大量模糊的實(shí)際數(shù)據(jù)進(jìn)行提取和處理，從中發(fā)現(xiàn)數(shù)據(jù)間的相互關(guān)聯(lián)，進(jìn)而發(fā)現(xiàn)新的知識和規(guī)律的過程[4]。數(shù)據(jù)挖掘技術(shù)將是解決怎樣把大量看似無用的數(shù)字信息轉(zhuǎn)化為企業(yè)競爭優(yōu)勢這一問題的重要方法[5]。數(shù)據(jù)挖掘技術(shù)作為一項(xiàng)新興的知識發(fā)現(xiàn)技術(shù)，已經(jīng)在商業(yè)、物流、金融業(yè)等行業(yè)有了廣泛的應(yīng)用[6]。在煙草農(nóng)業(yè)生產(chǎn)應(yīng)用方面，孫微微等人[7-8]將決策樹分析方法應(yīng)用到植煙土壤質(zhì)量評價中；陳桂芬[9]采用模糊空間聚類算法分析進(jìn)行精準(zhǔn)施肥、關(guān)聯(lián)分析方法被應(yīng)用于煙草品種選育；BP神經(jīng)網(wǎng)絡(luò)算法被應(yīng)用于煙葉采收估產(chǎn)及煙葉分級等工作中。在煙草工業(yè)管理應(yīng)用方面，分類、聚類等數(shù)據(jù)挖掘方法在卷煙物流配送、卷煙營銷、卷煙原料感官質(zhì)量評價等應(yīng)用中已有不少研究[10-11]。在市場監(jiān)管方面，汪立勝[12]從市場管理數(shù)據(jù)中比較提取出四個卷煙違規(guī)經(jīng)營的因素，并基于BP神經(jīng)網(wǎng)絡(luò)建立了預(yù)測模型，對卷煙銷售中違規(guī)行為進(jìn)行預(yù)測。

市場監(jiān)管是維護(hù)卷煙市場秩序，提高卷煙市場控制力和凈化率，提升社會滿意度，保護(hù)國家和消費(fèi)者利益的重要環(huán)節(jié)。APCD工作法是市場檢查的新方法，但其主要通過既定規(guī)則匹配的方式進(jìn)行分析，對專家的依賴性高，對數(shù)據(jù)的有效利用不夠充分，閾值設(shè)置缺乏靈活性。人們已經(jīng)關(guān)注到數(shù)據(jù)挖掘技術(shù)在市場監(jiān)管方面的應(yīng)用，但與ACPD工作法融合還未有深入研究。為此，本文將數(shù)據(jù)挖掘的建模思想和方法應(yīng)用到煙草APCD市場檢查工作法的分析環(huán)節(jié)中，來彌補(bǔ)它的不足，進(jìn)一步提高分析環(huán)節(jié)數(shù)據(jù)的利用率和分析的準(zhǔn)確性。

1 專賣市場檢查工作方法概況

零售市場檢查是市場監(jiān)管工作的重要內(nèi)容，是煙草專賣管理檢查人員依據(jù)相關(guān)法律法規(guī)對卷煙零售客戶進(jìn)行的監(jiān)督檢查，以發(fā)現(xiàn)零售市場中的違法違規(guī)行為，查處有關(guān)案件，維護(hù)零售市場秩序的執(zhí)法活動。目前，湖南煙草已經(jīng)建設(shè)了專賣信息管理系統(tǒng)，可以通過PC端進(jìn)行日常各項(xiàng)業(yè)務(wù)的數(shù)據(jù)輸入、查詢和分析，但是在專賣執(zhí)法移動端業(yè)務(wù)處理方面相對落后，執(zhí)法與信息錄入分離。專賣系統(tǒng)與營銷、物流業(yè)數(shù)據(jù)的共享不足，數(shù)據(jù)利用不充分，導(dǎo)致專賣執(zhí)法手段較為原始。卷煙市場監(jiān)管工作多年來沿襲舊有的粗放式管理方式，市場檢查沒有針對性，已經(jīng)嚴(yán)重不能滿足當(dāng)前工作的需要，市場監(jiān)管效率和水平不高成為常態(tài)。

隨著信息化在煙草行業(yè)的不斷推進(jìn)和深入，市場監(jiān)管人員逐漸重視對轄區(qū)市場相關(guān)數(shù)據(jù)的分析，通過長期探索，總結(jié)出煙草零售市場檢查信息分析指南，并形成一套相對合理的市場檢查機(jī)制，即APCD市場檢查工作法，該方法通過對市場相關(guān)信息先行性分析，下市場前發(fā)現(xiàn)異常并制定相應(yīng)對策，帶著問題有目的的下市場檢查。APCD工作法較原始的市場檢查管理辦法在效率和準(zhǔn)確性上有了很大的提高，從試點(diǎn)向全國各地逐漸傳播開來，各地還根據(jù)各自市場特色建立自己的APCD市場檢查信息化平臺。APCD工作法信息化平臺的建設(shè)有效地解決采用人工計(jì)算的方式去發(fā)現(xiàn)異常數(shù)據(jù)的困擾，其分析指標(biāo)主要依靠專家設(shè)置與經(jīng)驗(yàn)

2 APCD工作法的介紹與分析

卷煙零售市場檢查“APCD”工作法是以控制論為原理基礎(chǔ)，通過獲取并應(yīng)用監(jiān)管對象在市場中反映出的信息，進(jìn)而作用于監(jiān)管對象，最終達(dá)到市場控制的目的。APCD工作法是對傳統(tǒng)市場檢查的突破，不再按固定線路、固定頻次漫無目的地查市場，真正在實(shí)際工作中落實(shí)了“帶著問題上市場、提高市場檢查的針對性和目的性”的要求，是實(shí)現(xiàn)精細(xì)化監(jiān)管，提高市場監(jiān)管效率和水平的有效方法。

2.1 APCD工作法定義

APCD工作法分為“分析（Analysis）、計(jì)劃（Plan）、檢查（Check）、處理（Deal with）”四個步驟，上一步的輸出是下一步的輸入，步步銜接，形成閉環(huán)，循環(huán)運(yùn)行。

ACPD工作法的具體流程是：市場監(jiān)管員通過對問題反饋情況、營銷數(shù)據(jù)、歷史信息進(jìn)行分析、篩選，找出存在的異常問題，明確工作目標(biāo)以及工作重點(diǎn)，合理制定市場檢查計(jì)劃，有針對性和目的性地實(shí)施檢查，在尋求答案的過程中糾正違規(guī)現(xiàn)象，查處違法行為，并將計(jì)劃執(zhí)行情況以及市場信息通過檢查日記錄、周小結(jié)、月總結(jié)的形式進(jìn)行分析歸納，并持續(xù)改進(jìn)，不斷提高自身能力素質(zhì)和市場管控水平。

2.2 APCD工作法分析的數(shù)據(jù)來源于評估標(biāo)準(zhǔn)

信息分析是煙草零售市場檢查APCD（分析、計(jì)劃、檢查、處理）工作法的關(guān)鍵環(huán)節(jié)，分析環(huán)節(jié)的成功與否直接決定著整次APCD工作法運(yùn)用的成敗。因而，分析環(huán)節(jié)的數(shù)據(jù)來源、獲取方式及分析方法都對整個工作法具有重要意義。

（1）分析數(shù)據(jù)的來源

數(shù)據(jù)是分析環(huán)節(jié)的基礎(chǔ)，APCD工作法的數(shù)據(jù)來源主要包括零售戶基本信息、零售戶營銷數(shù)據(jù)以及專賣管理數(shù)據(jù)。零售戶的基礎(chǔ)管理數(shù)據(jù)和相關(guān)擴(kuò)展信息，主要包括零售戶的許可證相關(guān)信息、業(yè)態(tài)、供應(yīng)類別、所處商圈或地段、主要業(yè)務(wù)關(guān)系、停歇業(yè)狀態(tài)及變更時間，零售店經(jīng)營者的籍貫等。零售戶在日常經(jīng)營中形成的營銷數(shù)據(jù)，主要包括訂單總量、訂單總價、訂單結(jié)構(gòu)等；還包括訂貨總量降（增）異常、訂貨結(jié)構(gòu)降（增）異常、敏感品牌降（增）異常、無故拒絕訂購卷煙、低價競銷、超過最高限價銷售卷煙等。零售戶的專賣管理數(shù)據(jù)主要包括違法經(jīng)營的歷史數(shù)據(jù)，如案件發(fā)生頻率、案件情節(jié)、涉案卷煙數(shù)量及金額、處理情況等。

（2）分析數(shù)據(jù)的獲取方式

數(shù)據(jù)獲取方式主要有市場巡查走訪、受理舉報投訴、上級交辦任務(wù)、其他部門移交、同級煙草專賣部門移交、市場信息反饋、相關(guān)崗位傳遞、對象服務(wù)信息、內(nèi)部信息系統(tǒng)獲取、互聯(lián)網(wǎng)絡(luò)獲取。

（3）常用的數(shù)據(jù)分析方法

分析方法有單項(xiàng)數(shù)據(jù)法、雙項(xiàng)數(shù)據(jù)組合法、多項(xiàng)數(shù)據(jù)組合法。單項(xiàng)數(shù)據(jù)信息是指能明確重點(diǎn)監(jiān)管事項(xiàng)或重點(diǎn)監(jiān)管對象的數(shù)據(jù)項(xiàng)，可直接應(yīng)用。如：注銷戶、停業(yè)戶、零進(jìn)貨戶、家族或同鄉(xiāng)聚集經(jīng)營地區(qū)、不經(jīng)銷品牌等。雙項(xiàng)數(shù)據(jù)組合法對于單項(xiàng)數(shù)據(jù)信息不能明確指出異常的，由另一項(xiàng)數(shù)據(jù)信息與之進(jìn)行組合分析，加以驗(yàn)證，找出卷煙零售市場存在的異常情況，從而明確重點(diǎn)監(jiān)管事項(xiàng)或重點(diǎn)監(jiān)管對象。如：新辦證零進(jìn)貨戶等。對于單項(xiàng)數(shù)據(jù)信息不能明確指出異常，雙項(xiàng)數(shù)據(jù)組合仍無法反映該異常在市場中全部情況的，則采用多項(xiàng)數(shù)據(jù)組合。

三種分析方法均依賴一定的評分機(jī)制，一般先將指標(biāo)體系分層，再由專家打分確定每層權(quán)值，然后由多位專家從重要對比程度按10分制對各項(xiàng)指標(biāo)打分，建立完整指標(biāo)評價體系，通過設(shè)定閾值，根據(jù)零售戶的綜合得分與閾值的偏離程度，將該零售戶判定為嚴(yán)重戶、守法戶、普通戶等幾個類別。分析出的問題可分為許可證問題，市場凈化問題，規(guī)范經(jīng)營問題，真煙流通問題，工作法根據(jù)不同的問題細(xì)分制定了不同的管理措施，實(shí)現(xiàn)精準(zhǔn)施策。

3 數(shù)據(jù)挖掘在APCD工作法分析環(huán)節(jié)的應(yīng)用

3.1 APCD工作法的特點(diǎn)

目前，APCD工作法此工作法經(jīng)由浙江紹興市局、山東泰安市局和貴州遵義市局多方試點(diǎn)、多次實(shí)踐完善，最終于今年在浙江紹興試點(diǎn)工作會議上討論推出，相應(yīng)信息化系統(tǒng)已基本建成。數(shù)據(jù)信息分析是煙草零售市場檢查APCD工作法的關(guān)鍵環(huán)節(jié)，從現(xiàn)行的分析過程我們不難看出，APCD工作法的應(yīng)用但其總體上還是存在很多不足：

問題1，一方面分析數(shù)據(jù)（特征）不夠完善，許多有價值的要素有待被發(fā)掘與應(yīng)用；另一方面，分析過程中特征的取舍不加區(qū)分，容易產(chǎn)生干擾，同時增加計(jì)算的復(fù)雜性。

問題2，分析過程人工參與的人力成本過高，市場監(jiān)管追求時效性也難以得到保證。

問題3，分析方法強(qiáng)度不夠，主要采用簡單的同比、環(huán)比，分析強(qiáng)度不夠，分析方法嚴(yán)重依賴一定的評分機(jī)制，專家打分對系統(tǒng)評判的結(jié)果具有決定性作用。

問題4，閾值設(shè)置不夠靈活、普適性不強(qiáng)，未能按地區(qū)、時間等因素進(jìn)行自動調(diào)整。

問題5，APCD信息系統(tǒng)的處理能力的局限性，只能處理結(jié)構(gòu)化數(shù)據(jù)，對半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)無法利用。

可見，APCD工作法的不足就在于對于數(shù)據(jù)中隱含的關(guān)聯(lián)規(guī)則卻無法深入分析，因此，要通過數(shù)據(jù)挖掘來改善APCD工作法的不足，就得對數(shù)據(jù)充分利用。本文改變逐條指標(biāo)對比的模式，將零售戶作為一個數(shù)據(jù)實(shí)體，其相關(guān)數(shù)據(jù)作為屬性特征，將實(shí)體對象是否屬于違法對象這一分析過程當(dāng)作分類問題來計(jì)算，通過建立空間向量模型，采用機(jī)器學(xué)習(xí)分類算法來自動歸類。由于不同的對象屬性對對象類別的表征強(qiáng)度不同，有些屬性甚至?xí)a(chǎn)生干擾性，所以需要通過特征提取的方法來提純特征，起到降維、降噪的作用。其次在分類方法的選擇，基于目前APCD工作法的進(jìn)展使用情況，已有部分案例數(shù)據(jù)可作為樣本數(shù)據(jù)使用，可以選擇有監(jiān)督或半監(jiān)督的分類方法。

3.2 基于數(shù)據(jù)挖掘的APCD工作法的構(gòu)建

“APCD”工作法其核心在于“分析”環(huán)節(jié)，數(shù)據(jù)挖掘在“分析”模塊應(yīng)當(dāng)全力解決與相關(guān)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的對接，實(shí)現(xiàn)不同格式數(shù)據(jù)的統(tǒng)一化處理；建立智能化分析模型，解決分析對比龐大的數(shù)據(jù)計(jì)算問題，通過自動預(yù)警方式解決專賣人員分析篩查工作量大的問題，從而確?！癆PCD”工作法運(yùn)用效果[13]。

基于數(shù)據(jù)挖掘的APCD工作法主要對A環(huán)節(jié)采用分類算法建立分析模型代替原本公式化的計(jì)算過程，其分類算法的大致處理流程圖3所示。

圖1 基于分類算法的分析過程

（1）基于煙草市場監(jiān)管的特征庫構(gòu)建

“分析”環(huán)節(jié)對信息分析處理的要求較高，需要從大量具有模糊性、偶然性、不確定性的異常訂單信息中抽絲剝繭，找出可能真實(shí)存在違法違規(guī)行為的問題線索。分析的數(shù)據(jù)來自不同的業(yè)務(wù)系統(tǒng)，以及一些歷史案件信息，所以原始數(shù)據(jù)是不同格式的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化的數(shù)據(jù)集合。為了將這些不同格式的數(shù)據(jù)統(tǒng)一處理，可以將零售客戶相關(guān)數(shù)據(jù)指標(biāo)作為一個實(shí)體對象，將各個數(shù)據(jù)指表源轉(zhuǎn)化成零售戶數(shù)據(jù)實(shí)體的一個或幾個數(shù)據(jù)特征，屏蔽掉數(shù)據(jù)來源與格式不同造成的操作難題。另外，零售戶數(shù)據(jù)實(shí)體的特征數(shù)量巨大，在數(shù)據(jù)分析模型中往往采用的是空間向量模型，這些龐大的特征集合不僅會造成運(yùn)算的維度災(zāi)難，并且這些特征數(shù)據(jù)對實(shí)體是否屬于異常類別具有不同的影響力即權(quán)重系數(shù)，有些特征數(shù)據(jù)可能還會對實(shí)體整體的判別具有副作用，即所謂的噪聲，因此在數(shù)據(jù)預(yù)處理過程中需對實(shí)體對象的特征集合進(jìn)行特征選擇，降低維度，同時減小噪聲。

（2）數(shù)據(jù)挖掘算法的選擇

從眾多的零售戶數(shù)據(jù)樣本中找出其中的異常數(shù)據(jù)，這是數(shù)據(jù)挖掘中常見的分類任務(wù)。根據(jù)現(xiàn)有數(shù)據(jù)的多少決定采用不同的分類方法，當(dāng)已經(jīng)擁有一定數(shù)量標(biāo)準(zhǔn)數(shù)據(jù)（已知是正常數(shù)據(jù)或異常數(shù)據(jù)）時可以將標(biāo)注數(shù)據(jù)作為訓(xùn)練集，采用有監(jiān)督的分類方法，來提高分類的準(zhǔn)確率；當(dāng)擁有的已知數(shù)據(jù)很少或沒有已標(biāo)注數(shù)據(jù)時，可以采用半監(jiān)督或無監(jiān)督的分類方法。

KNN和SVM是兩種效果比較好的有監(jiān)督分類算法。KNN（K Nearest Neighbors），又叫K最近鄰算法，該算法假設(shè)樣本空間里每個樣本都有唯一的類標(biāo)記表示這些樣本是屬于某一個分類，其通過待分類樣本周圍最近的K個樣本中分布數(shù)目最多類別確定待分類樣本的類別，訓(xùn)練過程中可以不斷調(diào)整K值的大小，來提高精確度。SVM（Support Vector Machine），又叫支持向量機(jī)算法，是一種基于結(jié)構(gòu)風(fēng)險最小化原則的分類方法，可以根據(jù)有限的樣本信息在模型的復(fù)雜度和學(xué)習(xí)能力之間求得最佳折中，即獲取局部最優(yōu)解。

無監(jiān)督聚類算法能在沒有任何先驗(yàn)數(shù)據(jù)的條件下對樣本進(jìn)行聚類分析，但這種傳統(tǒng)聚類算法的性能還有待進(jìn)一步提高。在實(shí)際問題中，我們能獲得少量先驗(yàn)知識，包括類別標(biāo)簽和數(shù)據(jù)點(diǎn)的劃分約束條件等。利用少量先驗(yàn)知識對大量沒有標(biāo)注的樣本數(shù)據(jù)來輔助無監(jiān)督聚類分析的算法通常被稱為半監(jiān)督算法[14-15]。K-means是一種有效的基于樣本間相似度的間接聚類算法，算法通過迭代將N個對象劃分成K個簇，每次迭代利用各聚類中的對象與“質(zhì)心”的相似度均值更新“質(zhì)心”，使得同一簇中的對象相似度較高，不同簇中對象的相似度較低。

（3）基于特征的分析模型的建立

數(shù)據(jù)實(shí)體經(jīng)過格式預(yù)處理并且分類方法已確定就可以構(gòu)建基于指定分類器的分析模型了，分析模型的建立可以采用以下的步驟：

①根據(jù)待分類樣本的特征，進(jìn)行格式化處理，對同一零售戶不同來源的數(shù)據(jù)進(jìn)行特征化處理，即做特征提??；

②對提取的特征集合進(jìn)行過濾，去掉所有實(shí)體共有、對分類結(jié)果沒有意義甚至可以根據(jù)當(dāng)?shù)貙?shí)際情況及工作經(jīng)驗(yàn)，進(jìn)行特征選擇，優(yōu)化特征集；

③然后是構(gòu)建完整的零售戶數(shù)據(jù)實(shí)體，可以采用空間向量模型，將數(shù)據(jù)實(shí)體（樣本）進(jìn)行向量化表示，作為分類算器的輸入；

④選擇合適的分類算法，對訓(xùn)練數(shù)據(jù)進(jìn)行處理，根據(jù)已標(biāo)注的類別對分類算法的參數(shù)進(jìn)行調(diào)整優(yōu)化，到此即構(gòu)建了完整分類器；

⑤用已調(diào)整好參數(shù)的分類器來處理待分類的數(shù)據(jù)樣本，有監(jiān)督的分類器直接輸出數(shù)據(jù)樣本的類別，無監(jiān)督的分類器還需要簡單驗(yàn)證輸出標(biāo)簽的類別；

⑥對分析模型的驗(yàn)證。實(shí)驗(yàn)數(shù)據(jù)最好能采用當(dāng)?shù)氐恼鎸?shí)數(shù)據(jù)（網(wǎng)絡(luò)上有公布的案例集），分別將傳統(tǒng)APCD工作法和基于數(shù)據(jù)挖掘的CPCD工作法來實(shí)驗(yàn)比較兩種方法的準(zhǔn)確率，也可以采用其他判別指標(biāo)進(jìn)行判別。

4 結(jié)語

互聯(lián)網(wǎng)時代，信息技術(shù)在市場監(jiān)管體系建設(shè)中舉重若輕，“APCD”工作法的推廣應(yīng)用，離不開信息化、智能化手段的有力支撐。本文借用大數(shù)據(jù)時代互聯(lián)網(wǎng)思維，將數(shù)據(jù)挖掘的方法應(yīng)用到APCD工作法中，通過建立符合煙草領(lǐng)域的特征庫，選著合適的特征提取方法，對APCD工作法的分析環(huán)節(jié)進(jìn)行改造，由于筆者當(dāng)?shù)氐腁PCD信息化系統(tǒng)尚處于建設(shè)階段，不能采用大量樣本集來做驗(yàn)證，只在小范圍的數(shù)據(jù)樣本中進(jìn)行對比測試，實(shí)驗(yàn)數(shù)據(jù)采用的是網(wǎng)絡(luò)公布的案例集，目前不成熟的分析模型已經(jīng)能夠達(dá)到較高的判別準(zhǔn)確度。本文研究的分析模型是對數(shù)據(jù)在煙草業(yè)務(wù)中應(yīng)用的一次嘗試與探討，目的是形成一種可自動識別的高準(zhǔn)確率的市場檢查工作法。

目前還存在的問題：改進(jìn)方法還需在大量數(shù)據(jù)樣本中進(jìn)行試驗(yàn)，缺乏實(shí)際數(shù)據(jù)對分析模型進(jìn)行驗(yàn)證，無法對兩種方式進(jìn)行客觀準(zhǔn)確的評價，在參數(shù)權(quán)重的自動調(diào)整上還需待下一步實(shí)驗(yàn)的驗(yàn)證；其次改進(jìn)的方法如何與現(xiàn)有的系統(tǒng)進(jìn)行融合還有很長的路要走，可以說本文研究給市場監(jiān)管信息化系統(tǒng)提供了一個很好的改進(jìn)方向，但如何對具體融入系統(tǒng)還有大量工作要做。