梁 潔，張 巖，閆 嘉（中國聯(lián)通智慧足跡數(shù)據(jù)科技有限公司，北京 ）

0 前言

目前，社會經濟形態(tài)經歷了從傳統(tǒng)經濟到互聯(lián)網經濟，再到數(shù)字經濟的演變。2018年，我國數(shù)字經濟規(guī)模達到31.3萬億，占GDP比重為34.8%，數(shù)字經濟在推動經濟高質量發(fā)展中的戰(zhàn)略地位和引擎作用不斷凸顯。同時，以網絡化、信息化與智能化的深度融合為核心的第四次工業(yè)革命不斷深化，全球逐漸進入以“萬物互聯(lián)”為顯著特征的數(shù)字化時代。數(shù)據(jù)日益成為推動數(shù)字化時代發(fā)展的重要驅動力，如何最大化數(shù)據(jù)價值是當前數(shù)據(jù)服務商面臨的新課題、新機遇、新挑戰(zhàn)。

來自中國聯(lián)通等移動通信運營商的手機信令數(shù)據(jù)是一種大規(guī)模采樣、脫敏的移動位置數(shù)據(jù)，是手機用戶使用移動通信網時留下的時空軌跡。手機信令數(shù)據(jù)的主要特點有：

a）手機的普及率高，根據(jù)工業(yè)和信息化部發(fā)布的電信業(yè)多項數(shù)據(jù)顯示，截至2018年底，全國移動電話用戶總數(shù)達到15.7億戶，人均擁有1.12張手機卡。

b）手機數(shù)據(jù)具有實時性，能連續(xù)記錄居民活動的時空變化，無論是主動還是被動行為，在運營商網絡內都會留下記錄。

c）手機數(shù)據(jù)采集成本低，易于連續(xù)多日采集，方便挖掘居民多日行為的一般特征和活動規(guī)律。

d）被調查者不能干預手機信令數(shù)據(jù)實時采集，數(shù)據(jù)更為客觀和有效。

目前政府機關、高校、科研機構和大數(shù)據(jù)企業(yè)已經利用手機信令數(shù)據(jù)開展了大量研究并衍生出各種類別的數(shù)據(jù)產品，例如利用手機信令數(shù)據(jù)能夠有效把握城鄉(xiāng)居民的行為軌跡、城市空間利用現(xiàn)狀、交通運行現(xiàn)狀、公共設施服務水平等，從而用于城鎮(zhèn)體系等級結構、城市空間結構、城市中心體系、職住平衡、商圈活力、城市交通等方面的研究。

手機信令數(shù)據(jù)產品多種多樣，其數(shù)據(jù)質量和準確性是產生價值的核心要素。但是數(shù)據(jù)采集存在不穩(wěn)定性，底層數(shù)據(jù)清洗、處理過程參數(shù)多，數(shù)據(jù)建模階段定制化需求多，如何保證算法的可靠性，提高數(shù)據(jù)產品的質量和準確性是亟待解決的問題。本文以基于手機信令的人口洞察類數(shù)據(jù)產品為切入口，研究數(shù)據(jù)質量校驗方法和質檢流程，用既定的規(guī)則代替相關人員主觀上的判斷，提高數(shù)據(jù)產品的交付質量。

1 數(shù)據(jù)質量校驗整體框架

面向人口洞察的手機信令數(shù)據(jù)產品交付過程可主要分為數(shù)據(jù)采集、數(shù)據(jù)處理、建模分析共3個階段，如圖1所示。

圖1 數(shù)據(jù)質量校驗整體框架

a）數(shù)據(jù)采集：主要完成中國聯(lián)通信令數(shù)據(jù)的接入、脫敏和清洗，以及不同來源數(shù)據(jù)（信令數(shù)據(jù)、基站工參等）之間的關聯(lián)處理。

b）數(shù)據(jù)處理：基于數(shù)據(jù)倉庫，通過大數(shù)據(jù)模型的核心加工模塊，將歷史信令數(shù)據(jù)聚合計算為網格化標簽數(shù)據(jù)，并基于GIS數(shù)據(jù)的路徑擬合、基于預測算法的趨勢分析等多種數(shù)據(jù)挖掘分析處理，生成人口洞察用的基礎輸出數(shù)據(jù)。

c）建模分析與成果交付：根據(jù)客戶定制化需求，對數(shù)據(jù)處理產生的數(shù)據(jù)結果進行建模分析，提供數(shù)據(jù)集、API、洞察報告/行業(yè)報告、系統(tǒng)平臺類等多角度、多場景的交付成果。

數(shù)據(jù)質量校驗必須貫穿數(shù)據(jù)產品的全過程，才能有效保障數(shù)據(jù)質量并提高產品交付一次成功率，實現(xiàn)提質增效的經營目標。

1.1 輸入數(shù)據(jù)檢查

輸入數(shù)據(jù)檢查主要包括手機信令、基站工參、屬性數(shù)據(jù)、參考數(shù)據(jù)4部分。

a）手機信令檢查：以省為單位，對每日的2G/3G/4G信令數(shù)據(jù)進行檢查，主要為分省數(shù)據(jù)的容量大小值。若某省信令數(shù)據(jù)量低于閾值，則標為異常并預警，人工排查原因，在問題修復或數(shù)據(jù)恢復后進行事件記錄。

b）基站工參檢查：對每月灌入的2G/3G/4G基站工參數(shù)據(jù)進行檢查，主要是分省統(tǒng)計2G/3G/4G各類基站工參總量，同時檢查工參完整性，剔除基站經緯度為空或為0的工參數(shù)據(jù)。

c）用戶屬性檢查：對每月灌入的用戶屬性表進行統(tǒng)計檢查，主要為：各省用戶總量、正常狀態(tài)用戶量檢查，其中正常狀態(tài)用戶指當月有手機信令的用戶；年齡未知用戶及占比、性別未知用戶及占比檢查。

d）參考數(shù)據(jù)檢查：參考數(shù)據(jù)主要為全國各區(qū)縣的人口統(tǒng)計數(shù)據(jù)，為年度更新表，以各統(tǒng)計局/政府發(fā)布的統(tǒng)計年鑒數(shù)據(jù)為準。檢查內容：按地（市）匯總區(qū)縣常住人口，與統(tǒng)計公報公布數(shù)字進行對比，檢查是否吻合；男女總數(shù)是否等于常住人口數(shù)。

1.2 輸出數(shù)據(jù)檢查

通過大數(shù)據(jù)模型的核心加工模塊處理，將手機信令數(shù)據(jù)加工為5大類核心數(shù)據(jù)表，分別為月點位表、月駐留表、月出行表、日駐留表和日出行表。對這5大類輸出數(shù)據(jù)進行省、市、區(qū)縣級等更精細空間粒度的數(shù)據(jù)質量檢查，所采用的方法主要是統(tǒng)計學中的離散系數(shù)和離群值檢驗方法，檢查項如表1所示。檢查方法、檢查邏輯及評判標準如表2所示。

表1 輸出數(shù)據(jù)質量檢查指標

表2 輸出數(shù)據(jù)質量檢查邏輯

1.3 項目成果檢查

建模分析階段的質量檢查流程主要分為項目啟動、項目成果提交、質檢和內部/外部評審4部分，如圖2所示。

a）項目啟動：項目啟動時需通知質檢負責人，告知項目名稱、城市描述、交付形式、項目描述、交付負責人、計劃交付日期、計劃提交質檢時間。此時質檢狀態(tài)為“待提交”。

b）提交的項目成果主要為：

（a）合同+補充協(xié)議：指最終簽訂的項目合同，以及執(zhí)行過程中因需求變更或者新增需求而增加的補充協(xié)議。該內容一般作為質檢依據(jù)。

（b）成果包：包含執(zhí)行代碼、數(shù)據(jù)圖層、數(shù)據(jù)集、圖、報告。

（c）成果說明表：包含交付客戶的成果列表、成果數(shù)據(jù)字典以及統(tǒng)計口徑。

圖2 建模分析與成果交付質量檢查流程

（d）自檢報告：交付負責人自檢報告。此時質檢狀態(tài)為“待質檢”。

c）質檢：質檢負責人根據(jù)提交內容，按質檢指標進行質檢；若質檢無問題，則“質檢通過”，并郵件通知交付負責人，通過質檢可進行成果交付；若質檢過程發(fā)現(xiàn)問題，則將質檢結果以郵件形式反饋給交付負責人，此時質檢狀態(tài)為“修改中”；交付負責人進行修改，直至質檢通過。

d）評審：對于大額項目或有重大戰(zhàn)略意義的項目，由質檢負責人組織內部評審。交付負責人作為主講人，講解項目需求、制作方案，展示項目成果和質檢結果，內部專家對以上內容進行評審，評審過程記錄到《評審記錄表》進行留存和問題追蹤。如果內部評審后對結果意見不一致或把握性低于50%的，由項目經理邀請相關的行業(yè)專家，召開外部評審會。

2 質檢關鍵指標體系

面向人口洞察的手機信令數(shù)據(jù)產品的質檢，分為人口分布類、出行類、屬性類、熱力分布4大類，具體細化成17項關鍵指標，如表3所示，該部分指標均為必查項，且問題等級均為最高級。

3 案例應用

以2019年9月商洛市人口分布與出行大數(shù)據(jù)服務為例，詳細介紹質量檢驗流程。該項目的統(tǒng)計指標為：人口分布特征研究，含居住人口分布，性別、年齡特征分析；人口出行特征研究，含全用戶出行空間分布、出行距離、出行時間。下文主要從輸出數(shù)據(jù)檢查和成果檢查2方面進行具體說明。

表3 質檢指標

3.1 輸出數(shù)據(jù)檢查

本項目分析過程均采用月度增強模塊處理后的月表進行統(tǒng)計分析，因此對2019年9月商洛市輸出的月點位表（見圖3）、月駐留表（見圖4）、月出行表（見圖5）進行檢查，可以看出：

a）日總用戶量、日駐留總量、日出行總量，均在均值上下小范圍浮動，無明顯缺省異常情況，格拉布斯檢驗系數(shù)范圍分別為（-0.88，1.01）、（-0.88，1.55）、（-0.15，0.29），最大值均小于2.134，正常。

b）中秋節(jié)前后、國慶節(jié)前日，出現(xiàn)了比較大的用戶量的增長現(xiàn)象，符合節(jié)日特征。

3.2 成果檢查

3.2.1人口分布特征結果檢查

據(jù)《2018年商洛市國民經濟和社會發(fā)展統(tǒng)計公報》顯示，“2018年末，全市總戶數(shù)85.70萬戶，戶籍人口251.03萬人?？側丝谥?，男性133.17萬人。據(jù)1%人口抽樣調查結果顯示，2018年末全市常住人口238.02萬人，比上年減少0.11萬人?！备鶕?jù)中國聯(lián)通用戶外推計算的2019年9月商洛市居住人口198.56萬人，差值16.58%。查看商洛市2019年1月至11月中國聯(lián)通總用戶量的分布特征（見圖6），可以看出商洛市從2019年1月21日春運開始到2月底，人口出現(xiàn)大幅增長，且從公報看出戶籍人口大于常住人口，表明該城市主要為人口輸出型城市，因此出現(xiàn)平常月居住人口略低于統(tǒng)計口徑的常住人口，屬于正?，F(xiàn)象。

從各區(qū)縣的居住人口分布密度來看，中心城區(qū)商州區(qū)的人口分布最密集，與其經濟發(fā)展為全市第一相符。從人口屬性來看（見圖7），商州市男女比例為0.52∶0.48，與統(tǒng)計公報發(fā)布的0.53∶0.47基本吻合；年齡結構上，25～34歲人口為主，其次為35～54歲，符合正態(tài)分布。

圖3 點位表輸出結果檢查

圖4 駐留表輸出結果檢查

圖5 出行表輸出結果檢查

圖6 商洛市2019年1月至11月中國聯(lián)通總用戶量分布特征

3.2.2人口出行特征結果檢查

從工作日、周末全方式出行數(shù)據(jù)統(tǒng)計結果來看：

a）各區(qū)縣均以區(qū)縣內出行為主，除丹鳳縣外，其他區(qū)縣區(qū)內出行：跨區(qū)出行均大于7∶3（見圖7和圖8），符合當?shù)亟洕l(fā)展現(xiàn)狀。

b）跨區(qū)出行，以中心城區(qū)商州區(qū)為中心，其與周邊區(qū)縣活動最頻繁，符合中心城區(qū)的出行特點（見圖8和圖9）。

c）工作日出行有明顯的早晚高峰，工作日主要為晚高峰，符合分小時出行特征（見圖10）。

d）工作日和周末出行距離在15 km以下的用戶分別為58.14%、58.24%，均高于50%，正常（見圖11）。

4 結束語

圖7 商洛市居住人口年齡分布

圖8 工作日出行分布

圖9 周末出行分布

圖10 分小時出行分布

圖11 出行距離分布

手機信令大數(shù)據(jù)是開展人口洞察的主要數(shù)據(jù)源，基于手機信令的數(shù)據(jù)產品種類繁多，時空尺度多樣，其數(shù)據(jù)質量和交付效果是政府及企業(yè)客戶的關注重點。制定可信的質量校驗規(guī)則，替代分析人員的主觀判斷，將有利于交付質量的提升。智慧足跡聚焦“人口+”，以位置為核心，長期進行人的職住、出行、行為、消費、健康等人口洞察類數(shù)據(jù)產品的研發(fā)，在產品交付和質量控制方面具備大量的經驗，通過總結數(shù)據(jù)分析過程中的各種問題，將面向人口洞察的手機信令數(shù)據(jù)產品的質檢劃分為4大類共17項指標，形成了可行的質量校驗方案和質檢流程，提高了數(shù)據(jù)產品的數(shù)據(jù)質量和交付品質。