郭思岐 諶力 馬淑琴

當(dāng)前，傳統(tǒng)的金融場景正在被互聯(lián)網(wǎng)金融模式所蠶食，越來越多的消費者傾向于借助互聯(lián)網(wǎng)的手段獲取金融服務(wù)。然而，單個縣域農(nóng)商行的科技力量無法滿足互聯(lián)網(wǎng)時代對金融對科技的需求，省聯(lián)社集中開發(fā)系統(tǒng)的模式又不能滿足不同地域農(nóng)商行個性化需求。

江蘇省農(nóng)村信用社聯(lián)合社（以下簡稱“江蘇農(nóng)信”）作為我國發(fā)達(dá)地區(qū)的省級農(nóng)村金融機(jī)構(gòu)，對轄內(nèi)的農(nóng)信機(jī)構(gòu)在業(yè)務(wù)發(fā)展和系統(tǒng)建設(shè)發(fā)展不均衡、特色業(yè)務(wù)系統(tǒng)繁多等痛點非常重視。為方便轄內(nèi)農(nóng)信機(jī)構(gòu)有一個更大的發(fā)展空間，專心致力于特色業(yè)務(wù)、個性化服務(wù)研發(fā)，并從繁重的系統(tǒng)維護(hù)事務(wù)中解放出來，江蘇農(nóng)信決定把握時代趨勢，化挑戰(zhàn)為機(jī)遇，積極利用新興技術(shù)來實現(xiàn)省聯(lián)社的科技金融轉(zhuǎn)型，走一條“服務(wù)即管理”的全新路線，重塑省聯(lián)社價值。

為此，江蘇農(nóng)信成立了專門的團(tuán)隊，對A（AI人工智能）B（BlockChain區(qū)塊鏈）C（Cloud云計算）D（Data大數(shù)據(jù)）四大金融科技概念認(rèn)真學(xué)習(xí)研究。經(jīng)過反復(fù)的考量和評估，最終選擇了當(dāng)時發(fā)展相對成熟，應(yīng)用場景已比較明確，且和省聯(lián)社的需求契合度較高的云計算和大數(shù)據(jù)作為重點抓手，雙管齊下推動江蘇農(nóng)信的金融科技轉(zhuǎn)型升級之路。

江蘇農(nóng)信信息科技管理部總經(jīng)理傅曉三表示：“江蘇農(nóng)信從2016年開始關(guān)注金融科技，根據(jù)我們轄內(nèi)農(nóng)商行的需求迫切度、自身技術(shù)積累，以及新興技術(shù)的應(yīng)用成熟度，我們選擇了云計算、大數(shù)據(jù)作為金融科技上的切入點?！弊鳛槿珖r(nóng)村信用社首家改革試點單位，江蘇農(nóng)信這一舉措走在了其他同行的前列。

打造行業(yè)云重塑省聯(lián)社價值

利用云計算對業(yè)務(wù)進(jìn)行轉(zhuǎn)型升級是很多農(nóng)商行的愿景所在，不少農(nóng)商行試圖自建云服務(wù)而實現(xiàn)“上云”。然而，自身IT條件的限制和人才的缺乏，短缺往往制約了農(nóng)商行的“上云”腳步。另一方面，大量農(nóng)商行由于服務(wù)模式類似，自建的云服務(wù)同質(zhì)化極高，在一定程度上成為了一種資源浪費。

面對這樣的現(xiàn)狀，傅曉三思考：能否由省聯(lián)社建立一個開放的農(nóng)商行專屬行業(yè)云，讓所轄的中小農(nóng)商行接入進(jìn)來？這樣不僅避免了各家農(nóng)商行建立同質(zhì)化私有云所帶來的資源浪費，也可以提供統(tǒng)一維護(hù)，解決了農(nóng)商行自建私有云所面臨人才不足的難題。

于是，江蘇農(nóng)信的行業(yè)云建設(shè)之路就這樣展開了。

（一）謹(jǐn)慎抉擇，打造自主可控“上云”之路

考慮到金融業(yè)務(wù)的特殊性，江蘇農(nóng)信在建設(shè)云計算平臺時，第一要義就是自主可控。2016年江蘇農(nóng)信正式進(jìn)入大規(guī)模云計算環(huán)境規(guī)劃階段，傅曉三親自帶領(lǐng)員工考察了市場上多種技術(shù)類型和幾乎所有云廠商的解決方案，期間交流的云廠商數(shù)量達(dá)到19家，省聯(lián)社自行總結(jié)了POC測試指標(biāo)達(dá)321條，并開展了兩輪POC測試工作，POC測試廠商達(dá)到14家，最終確定采用OpenStack + KVM + SDS技術(shù)方向。

“當(dāng)時之所以最終選擇這樣的技術(shù)路線，是因為OpenStack + KVM + SDS技術(shù)方向大量采用了開源技術(shù)，能充分滿足自主可控要求，避免封閉技術(shù)導(dǎo)致成本投入和技術(shù)服務(wù)不可控的風(fēng)險?！苯K農(nóng)信信息科技管理部云計算團(tuán)隊負(fù)責(zé)人蔣星梁告訴《新金融世界》記者，“在選擇關(guān)鍵供應(yīng)商的問題上我們相當(dāng)嚴(yán)謹(jǐn)。在項目實施過程中也一直堅持積極探索、穩(wěn)健推廣的原則，為的是確保產(chǎn)品的穩(wěn)定性和先進(jìn)性。”

據(jù)悉，為了避免初創(chuàng)公司的經(jīng)營的不確定性，江蘇農(nóng)信特意選擇了兩家OpenStack公司分別實施私有云（定位為省聯(lián)社統(tǒng)建系統(tǒng)的運行環(huán)境）與行業(yè)云（定位為基于多租戶的，農(nóng)商行自建業(yè)務(wù)系統(tǒng)的運行環(huán)境），互作備份，從而保證業(yè)務(wù)的萬無一失。

（二）直擊痛點，為轄內(nèi)農(nóng)商行做好服務(wù)

從2017年開始，江蘇農(nóng)信陸續(xù)實施了私有云、行業(yè)云多個網(wǎng)絡(luò)區(qū)域資源池的部署，“上云”之路開展得如火如荼。但是，不同于省聯(lián)社，當(dāng)時轄內(nèi)的農(nóng)商行普遍還處于一個運維自動化程度低、資源利用效率也低，基礎(chǔ)環(huán)境部署響應(yīng)較慢，日常運維管理難度較大的狀態(tài)中。盡管這些農(nóng)商行也想?yún)⒖际÷?lián)社的路線“上云”，但是技術(shù)人員缺失、硬件資源不足、機(jī)房容量不夠、無力進(jìn)行擴(kuò)容等痛點卻制約住了他們的腳步。

為了給轄內(nèi)農(nóng)商行提供切實有效的服務(wù)，江蘇農(nóng)信從第一個資源池、第一個應(yīng)用上線時，就同步實施基于自動化的配置采集系統(tǒng)、性能監(jiān)控、容量管理平臺，最終目標(biāo)是實現(xiàn)極大程度的自動化和智能化的云計算平臺，來提高基礎(chǔ)環(huán)境的部署和運維效率。行業(yè)云多租戶模式下，協(xié)助農(nóng)商行將本地應(yīng)用近乎在線的遷移至省聯(lián)社的行業(yè)云平臺，減少農(nóng)商行對本地IT資源的需求，同時也減輕了農(nóng)商行本地的基礎(chǔ)設(shè)施管理壓力。

當(dāng)前，江蘇農(nóng)信的行業(yè)云上已經(jīng)運行有54家農(nóng)商行的1300余套業(yè)務(wù)系統(tǒng)，已占到業(yè)務(wù)系統(tǒng)總量的60%以上，自建的微信銀行、中間業(yè)務(wù)、績效系統(tǒng)、辦公OA、數(shù)據(jù)平臺等系統(tǒng)均運行在其上。江蘇農(nóng)信行業(yè)云在基礎(chǔ)的計算資源、存儲資源、網(wǎng)絡(luò)資源之外，提供了監(jiān)控、備份、對象存儲自服務(wù)的能力，給農(nóng)商行們提供了切實有效的服務(wù)。

（三）成績斐然，技術(shù)人才“雙提升”

現(xiàn)如今，這項“上云”建設(shè)已經(jīng)開始展現(xiàn)出了五大顯著的成果：一是基礎(chǔ)環(huán)境的標(biāo)準(zhǔn)化程度極大的提高，運維自動化較大程度的提高，配置、性能、容量均實現(xiàn)了自動化，基礎(chǔ)環(huán)境部署效率大大提高；二是資源利用率極大程度的提高，在自動化的配置、性能、容量管理的幫助下，資源利用率提高了6倍左右；三是較大程度地釋放了農(nóng)商行的科技人員的運維壓力，農(nóng)商行科技人員可以更多精力投入到當(dāng)?shù)貥I(yè)務(wù)需求的支持中去了；四是全省范圍內(nèi)集約效應(yīng)凸顯，農(nóng)商行機(jī)房內(nèi)服務(wù)器設(shè)備等待自然淘汰，機(jī)房容量的壓力已徹底消失；五是為后期的互聯(lián)網(wǎng)安全統(tǒng)一防護(hù)與管理打下了基礎(chǔ)。

“以往一個應(yīng)用系統(tǒng)的投產(chǎn)受制于基礎(chǔ)軟硬件的采購、安裝、配置，動輒兩三個月還搞不定，而現(xiàn)在依托云計算平臺，基礎(chǔ)軟硬件環(huán)境的準(zhǔn)備可以按小時來計算。” 蔣星梁告訴《新金融世界》記者。

不僅僅是技術(shù)和效率上獲得了提升，云計算平臺的建設(shè)給江蘇農(nóng)信還帶來了其他的收獲?！敖?jīng)過云計算平臺的建設(shè)，我們改變了很多原有的運維思路，驅(qū)動了應(yīng)用場景和IT業(yè)務(wù)的創(chuàng)新?！?傅曉三表示，銀行業(yè)務(wù)系統(tǒng)云化之前與之后的最大變化是運維方式，由于設(shè)計理念不同，兩者的運維模式存在很大的差異。為了適應(yīng)軟件定義存儲帶來的運維變化，江蘇農(nóng)信單獨成立了云服務(wù)團(tuán)隊，以軟件定義、軟件調(diào)度的方式全新構(gòu)建運維體系與搭建運維團(tuán)隊。在帶領(lǐng)團(tuán)隊探索新技術(shù)應(yīng)用的過程中，不同部門之間增強(qiáng)了開放、共享與協(xié)作，人才隊伍得到了很好的鍛煉。

（四）從IaaS到SaaS，“上云”之路仍在繼續(xù)

盡管已經(jīng)取得了喜人的成果，但是江蘇農(nóng)信的“上云”之路還在繼續(xù)。據(jù)悉，云平臺的下一步規(guī)劃，一個是繼續(xù)完善云平臺的IaaS功能，實現(xiàn)防火墻、VPN、負(fù)載均衡、SSL、簽名驗簽等的自服務(wù)，讓農(nóng)商行享受更多更便捷的底層資源服務(wù)；二是實施云平臺的同城災(zāi)備與多中心模式探索，提供云平臺本身的災(zāi)難預(yù)防等級；三是開展集中代監(jiān)控服務(wù)，根據(jù)監(jiān)控結(jié)果探索代運維的可行性，進(jìn)一步減輕農(nóng)商行科技人員壓力；四是開展應(yīng)用商店建設(shè)，也即PaaS和SaaS的服務(wù)平臺，依托容器、API平臺、混合編排等技術(shù)，為省聯(lián)社、農(nóng)商行、外部軟件供應(yīng)商的生態(tài)圈創(chuàng)造條件。

“我們的云計算是一個長期的布局規(guī)劃，初期以IaaS服務(wù)的模式實現(xiàn)全轄農(nóng)商行的硬件資源共享，逐步推進(jìn)PaaS和SaaS服務(wù)，集合同類需求農(nóng)商行的科技力量合力開發(fā)，共享成果，省農(nóng)信的云平臺將成為一個云上的應(yīng)用商店，農(nóng)商行可以根據(jù)自己的需要選擇服務(wù)?！备禃匀嬖V《新金融世界》記者，“云平臺的建設(shè)和我們省聯(lián)社‘服務(wù)即管理發(fā)展思路的一個落地體現(xiàn)，希望在未來可以給轄內(nèi)農(nóng)商行提供更為優(yōu)質(zhì)的服務(wù)體驗?！?/p>

利用大數(shù)據(jù)優(yōu)化整體運維效率

在江蘇農(nóng)信的日常運營中，省聯(lián)社自身的IT系統(tǒng)、應(yīng)用和基礎(chǔ)設(shè)施時刻都在產(chǎn)生數(shù)據(jù)，它們是系統(tǒng)的性能、容量、安全、壓力、穩(wěn)定性的記錄。這些數(shù)據(jù)對于運維工作至關(guān)重要，然而傳統(tǒng)的架構(gòu)，使得這些數(shù)據(jù)過于分散、大量分散的實時數(shù)據(jù)也不易被及時分析，因此需要通過全新的大數(shù)據(jù)平臺來將分散數(shù)據(jù)整合，并通過實時數(shù)據(jù)分析和歷史數(shù)據(jù)關(guān)聯(lián)分析相結(jié)合的方法，挖掘它們內(nèi)在的規(guī)律和模型，以幫助預(yù)測和預(yù)防未來可能出現(xiàn)的運行中斷和性能瓶頸問題。

傅曉三曾多次提出，江蘇農(nóng)信需要借助大數(shù)據(jù)的力量做一個整體的升級，將IT部門的運行數(shù)據(jù)實時展示在每個人的面前，為員工們?nèi)粘９ぷ髦械倪\維決策提供數(shù)據(jù)參考。

（一）建立全新的運維大數(shù)據(jù)平臺

大數(shù)據(jù)戰(zhàn)略的第一步是建立平臺，收集大量數(shù)據(jù)。江蘇農(nóng)信通過開源軟件自主搭建了大數(shù)據(jù)平臺，可以收集包括應(yīng)用日志、網(wǎng)絡(luò)設(shè)備日志、系統(tǒng)監(jiān)控數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)包和安全態(tài)勢感知數(shù)據(jù)。在《新金融世界》的采訪中，牽頭帶領(lǐng)運維大數(shù)據(jù)平臺團(tuán)隊的江蘇農(nóng)信信息科技管理部副總經(jīng)理陳長玲告訴記者：“在做大數(shù)據(jù)整體架構(gòu)的設(shè)計的時候，我們就明確指出希望平臺可以對服務(wù)管理、基礎(chǔ)運維、安全管理等信息進(jìn)行大數(shù)據(jù)采集，之后結(jié)合人工智能分析預(yù)測，對運維管理實現(xiàn)可視化的支持，以達(dá)到持續(xù)運行優(yōu)化的目標(biāo)?！?img src="https://cimg.fx361.com/images/2022/02/13/qkimagesxjrsxjrs201904xjrs20190405-4-l.jpg"/>

大量的數(shù)據(jù)在提供了分析資料的同時，對于數(shù)據(jù)處理也是一個挑戰(zhàn)。面對每天日志增量近1TB，單個業(yè)務(wù)流量峰值達(dá)到70MB，每秒采集數(shù)據(jù)處理請求數(shù)達(dá)到10萬次，要對超過100T的歷史數(shù)據(jù)實現(xiàn)秒級檢測的需求，江蘇農(nóng)信的運維大數(shù)據(jù)平臺對接入業(yè)務(wù)應(yīng)用的實際數(shù)據(jù)負(fù)載情況共同做了4次的擴(kuò)容，采用Rolling Upgrade的升級方式，始終未影響大數(shù)據(jù)應(yīng)用的正常運行，保障平臺擴(kuò)容方便、靈活、高效，對業(yè)務(wù)和運營的服務(wù)也從未間斷。

據(jù)悉，目前組成運維大數(shù)據(jù)平臺的服務(wù)器分區(qū)數(shù)量達(dá)到60臺，包括33臺CDH、24臺Elasticsearch和3臺門戶，可以在保障關(guān)鍵組件的高可用的同時提供實時數(shù)據(jù)處理。

（二）打造獨具特色的使用場景

陳長玲告訴《新金融世界》記者，當(dāng)前江蘇農(nóng)信的運維大數(shù)據(jù)平臺主要有4大獨具特色的場景。分別是數(shù)據(jù)集中查詢檢索、單筆業(yè)務(wù)跟蹤、批量作業(yè)執(zhí)行時長計算與預(yù)警和數(shù)據(jù)庫實時分析。

1. 數(shù)據(jù)集中查詢檢索

數(shù)據(jù)集中查詢檢索具體包括：應(yīng)用日志快速檢索查詢、日志數(shù)據(jù)實時統(tǒng)計分析、綜合前置（AFA）系統(tǒng)交易合并、ESB（豐富的特征字段提取）、ODS（作業(yè)流與作業(yè)標(biāo)簽）和NMON系統(tǒng)性能查詢。陳長玲指出，數(shù)據(jù)集中檢索查詢，對業(yè)務(wù)非常重要?！耙郧岸际巧习佟⑸锨_的服務(wù)器，一臺臺查很麻煩。通過這個我們把它連接起來了，只要大數(shù)據(jù)選什么系統(tǒng)，把關(guān)鍵字輸入進(jìn)去，馬上就會有對應(yīng)的東西顯示出來。”

2. 單筆業(yè)務(wù)跟蹤

新平臺的單筆業(yè)務(wù)跟蹤可以實現(xiàn)跨多業(yè)務(wù)應(yīng)用查詢，基于Service SN追蹤單筆交易在不同業(yè)務(wù)日志中的流向，然后根據(jù)返回的日志條目數(shù)量判斷該筆交易在ESB中是否請求和響應(yīng)成功，并根據(jù)單筆交易追蹤過程中遇到的問題，反向協(xié)調(diào)業(yè)務(wù)開發(fā)部門對日志進(jìn)行優(yōu)化，確保Service SN等有效信息在不同業(yè)務(wù)應(yīng)用中的一致性流轉(zhuǎn)?！靶孪到y(tǒng)會對日志數(shù)據(jù)的實時統(tǒng)計分析，比如請求量多少，平均耗時多少等。單筆業(yè)務(wù)追蹤場景可以基于Service SN去判斷某一筆業(yè)務(wù)具體慢在哪個點，單獨一個場景就可以幫助我們把全流程打通?！?陳長玲介紹。

3. 批量作業(yè)執(zhí)行時長計算與預(yù)警

據(jù)悉，批量作業(yè)執(zhí)行時長與預(yù)警是保障業(yè)務(wù)高可用的一個重要緯度。基于Web Service接口TWS 8.6和TWS 9.1，其預(yù)警算法可以基于過去一個月歷史運行時長、均值與中位數(shù)/剔除毛刺或是預(yù)測未來一天的動態(tài)閾值。

4. 數(shù)據(jù)庫實時分析

據(jù)悉，數(shù)據(jù)庫實時分析有三大作用：一、定位問題。無需開啟Crace、運行SQL，就能在故障發(fā)生時實時查看最慢的SQL操作、遇到Lock的SQL操作和訪問最頻繁的SQL。二、優(yōu)化性能。問題發(fā)生時實時對數(shù)據(jù)庫的訪問情況進(jìn)行各種維度的分析，對數(shù)據(jù)庫變更前后的性能做對比，包括SQL訪問頻次、 SQL總耗時 / 平均耗時、 SQL類型分布和全量SQL語句記錄。三、分析影響。對數(shù)據(jù)庫變更后的負(fù)載、性能數(shù)據(jù)進(jìn)行比對，分析變更對數(shù)據(jù)庫的影響。

“該場景實現(xiàn)了零影響、全量記錄和實時監(jiān)控三大成果?！?陳長玲表示，“進(jìn)行數(shù)據(jù)庫分析實時采用的是通過網(wǎng)絡(luò)旁路，抓取網(wǎng)絡(luò)數(shù)據(jù)包的方式，從而實現(xiàn)對數(shù)據(jù)庫零影響。通過網(wǎng)絡(luò)數(shù)據(jù)包分析，解析出所有的數(shù)據(jù)庫訪問并記錄，實現(xiàn)了整體的全量記錄。通過流計算對數(shù)據(jù)庫訪問，進(jìn)行數(shù)據(jù)監(jiān)控分析做到實時監(jiān)控。”

（三）利用可視化數(shù)據(jù)幫員工提升效率

數(shù)據(jù)可視化作為大數(shù)據(jù)生態(tài)鏈的最后一公里，也是最能直接感知信息的環(huán)節(jié)，在完成數(shù)據(jù)集中和分析之后，需要一個數(shù)據(jù)可視化展現(xiàn)平臺實現(xiàn)高效定制，快速展現(xiàn)。

為了讓數(shù)據(jù)更為直觀進(jìn)行展示，提升整個運維工作效率，在江蘇農(nóng)信最核心的技術(shù)部門豎起了一面高7.3米、寬4.1米，由36塊顯示器緊密結(jié)合組成成的巨型“顯示墻”。每個技術(shù)人員抬起頭就能看到數(shù)字大屏上清晰、實時的數(shù)據(jù)反饋，然后從里面尋找到有用的信息，及時監(jiān)控整個公司IT設(shè)施的運行狀態(tài)。

陳長玲向《新金融世界》記者介紹，這是運維大數(shù)據(jù)平臺的最后一環(huán)——數(shù)據(jù)可視化展示平臺。在數(shù)據(jù)可視化展示平臺上，有77個場景的數(shù)據(jù)展示，并根據(jù)關(guān)注點的不同，將這些展示場景進(jìn)行組合，為ECC大屏提供5大模式的展示內(nèi)容，包括：日間模式、日終模式、年終模式、高峰模式和參觀模式。

“我們改變了原有ECC大屏展示高度依賴廠商的定制化模式，通過平臺自由功能實現(xiàn)產(chǎn)品級開發(fā)，消除復(fù)雜的代碼開發(fā)帶來的約束，降低項目上線后的存續(xù)成本。這就可以讓需求者變成設(shè)計者，節(jié)省需求溝通帶來的時間成本，降低溝通不到位的風(fēng)險，加快數(shù)據(jù)展示的進(jìn)程?！?/p>

據(jù)悉，通過大數(shù)據(jù)平臺，江蘇農(nóng)信擁有了更全面的客戶特征畫像和產(chǎn)品畫像。“比如，我們可以通過貢獻(xiàn)度、忠誠度、風(fēng)險度和客戶等級等來甄別優(yōu)質(zhì)客戶、潛力客戶和即將流失的客戶，幫助員工及時去獲取、挽留和交叉銷售。也只有通過大數(shù)據(jù)，主動服務(wù)和個性化營銷才能實現(xiàn)?！备禃匀龔?qiáng)調(diào)，這在過去，全靠人的經(jīng)驗判斷是不可能完成的任務(wù)。

眼下，江蘇農(nóng)信已經(jīng)完成一期運維大數(shù)據(jù)的建設(shè)，傅曉三也展開了對未來新的期望，在平臺優(yōu)化的基礎(chǔ)上，他希望可以完成“運維大數(shù)據(jù)畫像”，實現(xiàn)系統(tǒng)與應(yīng)用聯(lián)動，進(jìn)行更多指標(biāo)的關(guān)聯(lián)分析和問題根因定位、業(yè)務(wù)畫像、平臺智能運維等功能?！拔磥?，基于一期建設(shè)成果，江蘇農(nóng)信將對行內(nèi)所有運維數(shù)據(jù)進(jìn)行整合，最終完成江蘇農(nóng)信運維大數(shù)據(jù)湖的建設(shè)?！?b975000636975>