繆智偉，韋才敏

（汕頭大學(xué)數(shù)學(xué)系，廣東 汕頭 515063）

0 引 言

顧客購買保險產(chǎn)品的最終目的是通過轉(zhuǎn)移風(fēng)險來增強自身面對未來不確定事件的能力.現(xiàn)今，我國大部分公民都具有通過購買保險來防范未來不確定事件風(fēng)險的意識，比如我們看病會用醫(yī)療險，在購買車之后往往會投保車險等.這些在我們真正遇到相應(yīng)事故的時候，都可以幫助我們將風(fēng)險轉(zhuǎn)嫁給保險公司，降低自身的經(jīng)濟壓力，是一種很好的提前預(yù)防的保險方式.任何一種從大眾中籌集的巨額資金，然后通過一定的規(guī)則重新分配到部分人的金融機制，在這個過程很容易出現(xiàn)信用、道德危機.保險也不例外.

保險欺詐行為識別面臨較大挑戰(zhàn).傳統(tǒng)保險公司主要依靠內(nèi)部定性判別方式和專家的經(jīng)驗判斷進(jìn)行保險欺詐行為的識別.但是由于保險欺詐手段多樣化、數(shù)據(jù)量大且復(fù)雜等原因，如果單靠以往傳統(tǒng)的保險欺詐識別方法進(jìn)行識別，不僅難以精準(zhǔn)地識別出騙保行為，而且還會產(chǎn)生大量的人工成本.

現(xiàn)今，在精準(zhǔn)識別保險欺詐行為的問題上，許多保險公司通過搜集、整理被保人的個人信息以及理賠事故信息，形成一套屬于自己公司的數(shù)據(jù)庫，并且聘請高級數(shù)據(jù)工程師來構(gòu)建屬于自己公司的保險騙保行為的檢測系統(tǒng).雖然使用大數(shù)據(jù)手段進(jìn)行保險欺詐行為的識別，可以提高檢測的準(zhǔn)確性和效率，但是也面臨一些問題.首先是數(shù)據(jù)不平衡：保險欺詐行為在數(shù)據(jù)中的比例相對較小，這導(dǎo)致了數(shù)據(jù)的不平衡.因此，在訓(xùn)練深度學(xué)習(xí)模型時，需要采取一些措施來平衡數(shù)據(jù)，以避免模型對少數(shù)類別的識別性能下降.其次，可解釋性：深度學(xué)習(xí)模型通常被視為黑盒模型，難以解釋其預(yù)測結(jié)果的原因.在保險欺詐行為的識別中，可解釋性是非常重要的，因為保險公司需要知道模型是如何判斷被保人是否存在欺詐行為的，以便更好地制定反欺詐策略.最后是，模型選擇和優(yōu)化：在深度學(xué)習(xí)中，模型的選擇和優(yōu)化是關(guān)鍵，但是不同的模型需要不同的參數(shù)設(shè)置和訓(xùn)練方式，需要耗費大量的時間和計算資源.

因此，針對以上保險欺詐識別系統(tǒng)的不足，本文提出基于XGBoost 與LightGBM的Stacking 模型融合集成學(xué)習(xí)模型.文章第一部分對LightGBM、XGBoost 進(jìn)行算法機理的介紹與推導(dǎo)，第二部分將詳細(xì)描述基于多模型融合Stacking 集成學(xué)習(xí)方式的保險欺詐識別模型的原理和構(gòu)建方法，第三部分用阿里云天池保險欺詐行為數(shù)據(jù)集對構(gòu)建的模型進(jìn)行實證檢驗，第四部分是結(jié)論.

XGBoost 和LightGBM 都是目前應(yīng)用較為廣泛的集成學(xué)習(xí)算法，它們的主要特點是具有高效性、準(zhǔn)確性和可擴展性.這些特性使得它們在數(shù)據(jù)挖掘、預(yù)測分析、自然語言處理、圖像識別等領(lǐng)域得到廣泛應(yīng)用.

本文選擇了基于XGBoost 與LightGBM 的Stacking 模型融合集成學(xué)習(xí)模型，主要是因為這兩個模型具有以下特點：1.XGBoost 和LightGBM 是當(dāng)前最流行和最優(yōu)秀的梯度提升樹模型，能夠高效地處理大規(guī)模的高維數(shù)據(jù)，并具有很好的預(yù)測性能. 2. 在Stacking 模型融合中，XGBoost 和LightGBM 作為基礎(chǔ)模型可以很好地利用其優(yōu)點，如高準(zhǔn)確性、良好的魯棒性、高效性等，同時通過融合可以進(jìn)一步提高模型的預(yù)測性能.3.XGBoost 和LightGBM 模型都具有很好的可解釋性和可視化性，能夠幫助分析人員更好地理解模型的預(yù)測結(jié)果和特征重要性.

1 算法理論介紹

1.1 LightGBM 算法機理

LightGBM（Light Gradient Boosting Machine）是一種以高效率的并行訓(xùn)練計算的方式實現(xiàn)GBDT 算法，總結(jié)其優(yōu)點：訓(xùn)練的速度比初始訓(xùn)練框架要快，占用的內(nèi)存空間更小，獲得更高的精確度，可以以較快的速度處理海量的數(shù)據(jù).

GBDT 二元分類算法基本步驟：

對于二元分類GBDT，如果用類似于Logistic 回歸的對數(shù)損失函數(shù)，則損失函數(shù)為：

其中y∈{－1，＋1}.則此時的負(fù)梯度誤差為

對于新生成的決策樹，計算各個葉子節(jié)點處的最優(yōu)殘差擬合值為

由于上述方程比較難進(jìn)行計算，一般我們采用近似值來代替

1.2 XGBoost 算法機理

XGBoost 的Gradient Boosting 方法是通過對損失函數(shù)、正則化處理、切分點搜索和并行化結(jié)構(gòu)設(shè)計等進(jìn)行改進(jìn)，從而加快了模型的訓(xùn)練計算速度.舉例，在傳統(tǒng)的GBDT算法實現(xiàn)的時候，模型在訓(xùn)練計算第n 棵決策樹的時候需要使用到前面n-1 棵樹的殘值計算值，這一步驟需要較大的算力和內(nèi)存空間，從而導(dǎo)致面對海量數(shù)據(jù)的時候，該算法難以實現(xiàn)并行.而XGBoost 通過將求解的目標(biāo)函數(shù)進(jìn)行二階泰勒展開，這樣模型在計算求解的時候每一個數(shù)據(jù)點上的損失函數(shù)只需要計算出一階導(dǎo)和二階導(dǎo)，進(jìn)而可以提高算法并行的速率.

與傳統(tǒng)GBDT 相比，XGBoost 算法在推導(dǎo)中以一種新的方式進(jìn)行構(gòu)造新樹.這里主要介紹XGBoost 構(gòu)造新樹的方法.將ft和Ω 的表達(dá)式帶入近似求解的目標(biāo)函數(shù)中，忽略與ft無關(guān)的常量，可以得到：

最后一式中的Gj和Hj定義為：

因為求解目標(biāo)函數(shù)可以看做一個是關(guān)于N 個相互獨立的變量ωj的二次目標(biāo)函數(shù)，可以直接通過計算求解得到極小值點：

然后將極小值點帶入到目標(biāo)函數(shù)，求解出目標(biāo)函數(shù)值.

緊接著，開始構(gòu)造新樹的結(jié)構(gòu).上面式子中Obj*表示當(dāng)我們確定了一顆樹的時候，可以在其目標(biāo)函數(shù)上確定最多可以減去多少值，因子我們可以把它們叫做樹的結(jié)構(gòu)得分.Obj*越小說明新樹的結(jié)構(gòu)就越好，然后應(yīng)用貪心算法列舉出不同的新樹結(jié)構(gòu)，篩選出結(jié)構(gòu)得數(shù)最小的樹.

在每一次進(jìn)行計算的時候，都要對已有新樹的葉子引入分割計算，都要通過下面的計算式子.

采用分割計算并不會影響目標(biāo)函數(shù)的值，因為在對新的葉子進(jìn)行分割計算的時候，會對新的葉子進(jìn)行一定懲罰，這個操作可以對樹的減枝進(jìn)行優(yōu)化.若引入分割計算所產(chǎn)生的增益效果小于一個給定的閾值時，我們可以去除掉這個分割.通過這樣的方式就可以重新確定了新樹的結(jié)構(gòu).

2 基于多模型融合Stacking 集成學(xué)習(xí)方式的保險欺詐識別模型

2.1 基于Stacking 的集成學(xué)習(xí)原理

Stacking 是近幾年在人工智能領(lǐng)域比較流行的集成學(xué)習(xí)的框架.通常，Stacking 的大框架是一個多層嵌套的模型，第一層我們可以稱做特征學(xué)習(xí)層，里面包含了n 個不同類型的模型，可以是支持向量機、多元回歸模型、神經(jīng)網(wǎng)絡(luò)等，將不同模型預(yù)測結(jié)果整理合并成一個新的特征集，并作為最后一層模型輸入，最后一層模型再根據(jù)所給的數(shù)據(jù)標(biāo)簽，進(jìn)行訓(xùn)練計算，這樣就得到一個基礎(chǔ)Stacking 集成學(xué)習(xí)框架.[16-17]

圖1 Stacking 集成學(xué)習(xí)示意圖

為使訓(xùn)練出來的新的特征集充分代表原始訓(xùn)練數(shù)據(jù)的特征，我們會在第一層的模型里面采用擬合度較高的訓(xùn)練模型，例如XGBoost、神經(jīng)網(wǎng)絡(luò)、SVM 等.值得注意的是，第一層的模型框架里面涵蓋了許多不同模型，不同模型計算原理有所差別，第一層模型的主要目的是自動有效地提取出原始數(shù)據(jù)的非線性變化的特征，但是這樣很容易出現(xiàn)過擬合的問題.

因此，為了更好地解決過擬合的問題，我們通常會在第二層使用一些比較簡單的預(yù)測模型.如果第二層模型在使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，極大概率會加大預(yù)測結(jié)果出現(xiàn)過擬合的嫌疑.

從上述的分析可以得出，一個優(yōu)秀的Stacking 預(yù)測模型的關(guān)鍵在于第一層的訓(xùn)練模型是否能夠有效地提取出原始數(shù)據(jù)之間的非線性變化的關(guān)系，然后在通過最后一層的簡單學(xué)習(xí)，能夠在第一層的基礎(chǔ)上，結(jié)合簡單模型結(jié)構(gòu)，使得模型在預(yù)測的時候具有一定的泛化能力和準(zhǔn)確率.

2.2 從傳統(tǒng)的Stacking 到改進(jìn)的Stacking

2.2.1 傳統(tǒng)的Stacking

首先，如圖2 所示，是一個傳統(tǒng)的Stacking 集成學(xué)習(xí)模型結(jié)構(gòu)示意圖.圖中，第一次模型結(jié)構(gòu)中分別使用不同類型的預(yù)測模型去訓(xùn)練同一批次的訓(xùn)練集數(shù)據(jù)，這樣做可以有助于模型能夠利用不同基礎(chǔ)學(xué)習(xí)器的優(yōu)點然后去訓(xùn)練出不同特征之間的非線性關(guān)系，得到具有代表性的新生成的特征值.其次，再通過第二層模型結(jié)構(gòu)中簡單的預(yù)測模型——邏輯回歸，訓(xùn)練預(yù)測得到最終的預(yù)測值.

圖2 傳統(tǒng)Stacking 集成學(xué)習(xí)示意圖

2.2.2 改進(jìn)的Stacking

本文使用的是一種改進(jìn)的集成學(xué)習(xí)框架，如圖3 所示，框架的第一層不僅使用不同的模型，還使用有差異的訓(xùn)練數(shù)據(jù)，這進(jìn)一步增大了模型輸出值之間的差異性（相關(guān)性低），這樣的差異性往往適用于訓(xùn)練數(shù)據(jù)和預(yù)測數(shù)據(jù)不是同分布的領(lǐng)域，可以增強預(yù)測的穩(wěn)定性.

圖3 改進(jìn)Stacking 集成學(xué)習(xí)示意圖

并且我們將第一層Stacking 生成的新的特征和原有的特征進(jìn)行合并作為第二層的輸入，這樣做可以有效地防止出現(xiàn)過擬合.在第二層框架中選擇采用多種分類預(yù)測算法，包括邏輯回歸、K 近鄰、高斯貝葉斯、決策樹、集成學(xué)習(xí)分類模型，其中集成學(xué)習(xí)分類模型有隨機森林、Bagging、LightGBM、XGBoost.

2.2.3 改進(jìn)Stacking 模型的構(gòu)建過程

下面舉例進(jìn)一步說明：

1）首先將數(shù)據(jù)集劃分為訓(xùn)練集和測試集兩組數(shù)據(jù)，并將訓(xùn)練集隨機分成5 份train1到train5 這五個部分.

2）選定基礎(chǔ)學(xué)習(xí)模型.本文示例中選擇了XGBoost，LightGBM，隨機森林作為基礎(chǔ)學(xué)習(xí)模型.以隨機森林解釋例子，依次選用劃分后5 份訓(xùn)練集中的四份作為訓(xùn)練集，然后使用5 折交叉驗證的方法進(jìn)行模型訓(xùn)練，最后在測試集上進(jìn)行預(yù)測結(jié)果. 這樣會得到在訓(xùn)練集上由隨機森林模型訓(xùn)練出來的5 份預(yù)測結(jié)果和在測試集上的1 份預(yù)測值B1，然后將5 份預(yù)測結(jié)果縱向重疊拼接成新的A1 特征.LightGBM 模型和隨機森林模型部分也采用相同的方法進(jìn)行模型預(yù)測，生成新的預(yù)測特征.如圖4 所示.

圖4 改進(jìn)Stacking 集成學(xué)習(xí)模型構(gòu)建示意圖

3）在三個基礎(chǔ)模型訓(xùn)練完畢后，將其在訓(xùn)練集上的預(yù)測值分別作為3 個“特征”A1，A2，A3，然后使用LR 模型進(jìn)行訓(xùn)練并建立LR 模型.

4）利用訓(xùn)練好的Logistic 分類模型來預(yù)測測試集，在模型的第一部分的三個基礎(chǔ)學(xué)習(xí)模型上會生成新的三個特征，Logistic 在進(jìn)行預(yù)測的時候通過利用新生成的三個特征以及原始數(shù)據(jù)的特征，通過訓(xùn)練得出分類預(yù)測結(jié)果.

5）在做Stacking 的過程中，如果將第一層模型的預(yù)測值和原始特征合并加入第二層模型的訓(xùn)練中，則可以使模型的效果更好，還可以防止模型的過擬合嫌疑.

3 算例驗證與分析

3.1 算例數(shù)據(jù)

為驗證本文所構(gòu)建模型的科學(xué)性和可靠性，本文實驗使用基于阿里云天池保險反欺詐公開信息作為數(shù)據(jù)集.數(shù)據(jù)集中標(biāo)簽——是否存在欺詐行為（fraud），若該被保人的理賠事件存在欺詐行為取1，否則取0.

本文的特征工程包括以下三類（共43 個特征，僅列出部分重要特征，見表1）：項目基本信息包括年齡、每年的保費、保險責(zé)任上限.被保人基本信息包括被保人學(xué)歷、被保人職業(yè)、被保人興趣愛好、資本收益、資本損失.被保人理賠事故基本信息包括碰撞類型、出險類型、目擊證人、是否有警察記錄的報告、整體索賠金額等.

表1 特征工程匯總

3.2 評價指標(biāo)

查準(zhǔn)率（precision）：模型對保險事件的信息進(jìn)行預(yù)測，預(yù)測結(jié)果中存在保險欺詐行為的樣本有N 個，樣本中真實存在保險欺詐行為的樣本有M 個，即precision＝M/N.

3.3 Stacking 模型融合

3.3.1 基于遺傳算法的模型融合參數(shù)優(yōu)化

以XGBoost 模型為例，此處使用遺傳算法，在有限的數(shù)值空間內(nèi)搜索最優(yōu)的學(xué)習(xí)率ε 與樹的最大深度Z 參數(shù)使訓(xùn)練得到的模型具有較強的泛化能力和準(zhǔn)確率.

3.3.2 預(yù)測結(jié)果對比分析

本節(jié)對比所提方法與傳統(tǒng)機器學(xué)習(xí)模型及其模型融合系統(tǒng)的預(yù)測性能.首先，測試單一分類預(yù)測模型，包括邏輯回歸、高斯貝葉斯、決策樹、集成學(xué)習(xí)分類模型，其中集成學(xué)習(xí)分類模型有Bagging、LightGBM、XGBoost. 其次，分別設(shè)置兩組，一組是XGBoost 算法與LightGBM，另一組是隨機森林與支持向量機，兩組進(jìn)行Stacking 模型融合生成新的兩個特征，新生成的兩個特征和原有的40 個特征合并作為第二層Stacking訓(xùn)練模型的輸入，在Stacking 的第二層中選擇使用多種分類學(xué)習(xí)模型，包括Bagging、LightGBM、XGBoost 等，以檢驗改進(jìn)的Stacking 模型融合方法的預(yù)測性能.各模型的參數(shù)均由遺傳算法優(yōu)化得到.最終預(yù)測結(jié)果如表2 所示.

表2 預(yù)測結(jié)果對比 %

根據(jù)表2 的預(yù)測結(jié)果可得如下結(jié)論.

（1）總體而言，基于XGBoost 模型與LightGBM 的Stacking 模型融合預(yù)測精度高于未進(jìn)行模型融合的預(yù)測精度.主要是因為XGBoost 和LightGBM 在第一層的模型中有效地提取了保險欺詐數(shù)據(jù)集中不同特征之間的非線性關(guān)系，然后再通過最后一層簡單模型訓(xùn)練，使得集成學(xué)習(xí)器的錯誤率呈指數(shù)級下降，最終趨于零.通過融合可以達(dá)到“取長補短”的效果，綜合個體學(xué)習(xí)器的優(yōu)勢是能降低預(yù)測誤差、優(yōu)化整體模型性能. 而且，如果單個基學(xué)習(xí)器對非線性關(guān)系的捕捉、預(yù)測的精度越高、模型的多樣性越大，Stacking 模型融合預(yù)測效果就會越好.

（2）單一模型預(yù)測結(jié)果里面XGBoost 的準(zhǔn)確率最高，其次是GBDT. 結(jié)合前文XGBoost 的推導(dǎo)內(nèi)容，可以知道傳統(tǒng)GBDT 在優(yōu)化時只計算了損失函數(shù)的一階導(dǎo)數(shù)，而XGBoost 通過將求解的目標(biāo)函數(shù)進(jìn)行二階泰勒展開，這樣模型在計算求解的時候每一個數(shù)據(jù)點上的損失函數(shù)只需要計算出一階導(dǎo)和二階導(dǎo)，進(jìn)而可以提高算法并行的速率.為了更好地降低模型預(yù)測結(jié)果的方差和控制模型的復(fù)雜程度，XGBoost 在損失函數(shù)里加入了正則項.正則項降低了模型預(yù)測結(jié)果的方差，使訓(xùn)練得出的模型更加簡單，能很好地防止過擬合，這也是XGBoost優(yōu)于傳統(tǒng)GBDT 的一個特性.

（3）通過對比有無模型融合預(yù)測準(zhǔn)確率，可以發(fā)現(xiàn)在Stacking 的第二層模型訓(xùn)練中使用決策樹分類器的準(zhǔn)確率是最高的，其次是XGBoost，并且也可以得出不同基礎(chǔ)分類器，得到預(yù)測準(zhǔn)確率有明顯的差異.

（4）通過對比XGBoost 算法與LightGBM、隨機森林與支持向量機兩組實驗結(jié)果，可以發(fā)現(xiàn)，XGBoost 算法與LightGBM 大部分的實驗具有較高的預(yù)測準(zhǔn)確率，這說明了在Stacking 模型第一層中使用XGBoost 算法與LightGBM 可以很好提取數(shù)據(jù)特征的非線性關(guān)系，進(jìn)而提高模型的預(yù)測性能.相比之下，支持向量機和隨機森林也是常用的分類算法，但相對于XGBoost 和LightGBM，在處理大規(guī)模數(shù)據(jù)和非線性問題時可能會存在一些瓶頸，對于參數(shù)調(diào)節(jié)和特征處理等方面的要求也更高一些.同時，XGBoost 和LightGBM 都是基于梯度提升的算法，能夠自適應(yīng)地學(xué)習(xí)到數(shù)據(jù)中的復(fù)雜關(guān)系，相對于支持向量機和隨機森林更具有優(yōu)勢.

3.4 特征重要性

特征重要性（Feature Importance）的核心思想是計算依據(jù)某個特征進(jìn)行決策樹分裂時分裂前后的信息增益，信息增益越大，該特征越重要.通過計算出模型中特征的重要性可以直觀得出具體哪一個特征對于預(yù)測結(jié)果具有較大的影響力，可以從定量的角度去解釋機器學(xué)習(xí)的預(yù)測結(jié)果.下面打印出最高準(zhǔn)確率的Stacking 模型的特征重要性，其模型結(jié)構(gòu)為在第一層模型中使用XGBoost 模型與LightGBM 來預(yù)測新特征，然后在第二層中采用決策樹分類器.如圖5.

圖5 最優(yōu)Staking 集成學(xué)習(xí)模型特征重要性

觀察圖3，可以知道Stacking 模型融合下，被保人的職業(yè)、發(fā)生保險事故的城市、發(fā)生保險事故的地區(qū)、資本收益、資本虧損是比較重要的分類特征.根據(jù)此結(jié)果，本文向保險行業(yè)建議在對被保人保險欺詐行為核查的時候重點關(guān)注這些重要的特征，并且通過海量的大數(shù)據(jù)挖掘出保險欺詐行為在這些特征的潛在規(guī)律.

4 結(jié)語

保險行業(yè)中，被保人通過欺詐進(jìn)行騙保，不僅對保險行業(yè)造成巨大損失，更會制約我國保險業(yè)的發(fā)展.長期來看，如果我國能夠構(gòu)建一個信息可信度高、數(shù)據(jù)庫范圍廣、信息層次更豐富的征信體系，這將會為我國的保險行業(yè)提供一個更加有保障、有活力的生態(tài)空間.短期而言，最有效的方法是保險公司基于海量的用戶數(shù)據(jù)，構(gòu)建識別準(zhǔn)確、性能穩(wěn)定的保險欺詐行為識別模型.本文結(jié)合人工智能的前沿理論研究，提出一種基于改進(jìn)XGBoost 與LightGBM 模型融合的Stacking 集成學(xué)習(xí)方式的保險欺詐行為預(yù)測模型，對保險公司被保人保險欺詐行為的識別具有啟示意義，有助于保險公司更好地識別被保人的騙保行為，強化自身風(fēng)控體系.經(jīng)過對阿里云天池挑戰(zhàn)賽公開的保險欺詐數(shù)據(jù)集的驗證與測試，結(jié)果表明，相比傳統(tǒng)機器分類模型，本文提出的基于XGBoost 與LightGBM 模型融合的Stacking 集成學(xué)習(xí)模型在欺詐行為識別方面具有更高的預(yù)測性能與準(zhǔn)確性，這得益于本文所提出的特征工程和模型融合方法，以及使用多種分類學(xué)習(xí)模型進(jìn)行訓(xùn)練和參數(shù)優(yōu)化的策略.同時，本研究通過計算并可視化出最優(yōu)分類模型不同特征的重要性結(jié)果，發(fā)現(xiàn)被保人的職業(yè)、發(fā)生保險事故的城市、發(fā)生保險事故的地區(qū)、資本收益、資本虧損是識別保險欺詐行為的重要特征.這些結(jié)果不僅對保險公司提供了重要的參考和指導(dǎo)，也為相關(guān)研究提供了寶貴的經(jīng)驗和啟示.