田海熠，張青青

（南京審計大學(xué) 金審學(xué)院，江蘇 南京 210000）

0 引言

在互聯(lián)網(wǎng)的高速滲透下，數(shù)據(jù)管理已經(jīng)成為重中之重。數(shù)據(jù)庫技術(shù)是組成應(yīng)用系統(tǒng)的重要的一部分，幾乎所有的計算機(jī)應(yīng)用都沒有辦法離開數(shù)據(jù)庫系統(tǒng)的支持，尤其是金融行業(yè)［1］。數(shù)據(jù)量的提升，促使人們?nèi)?chuàng)建一個可以降低成本，滿足線性擴(kuò)容以及能夠處理交易事務(wù)的新型數(shù)據(jù)庫，提升數(shù)據(jù)的儲存能力成為不得不去面對的挑戰(zhàn)?；ヂ?lián)網(wǎng)的快速發(fā)展也要求金融數(shù)據(jù)庫系統(tǒng)的性能有所提升，其必須具備高性能、高容錯性以及可擴(kuò)展性能。為了應(yīng)對這些挑戰(zhàn)，分布式數(shù)據(jù)庫成了金融行業(yè)發(fā)展和創(chuàng)新的主流。

1 數(shù)據(jù)庫的來源以及其發(fā)展歷程

數(shù)據(jù)庫系統(tǒng)的萌芽出現(xiàn)于20世紀(jì)60年代，數(shù)據(jù)庫技術(shù)從起源以來，在這短短的不到半個世紀(jì)的時間里，形成了較為成熟的商業(yè)產(chǎn)品、一定的理論基礎(chǔ)以及產(chǎn)生了廣泛的應(yīng)用領(lǐng)域，它的起源和發(fā)展給計算機(jī)信息管理以及技術(shù)管理帶來了一場翻天覆地的變化。

數(shù)據(jù)庫的發(fā)展歷程一共經(jīng)歷了3個階段，分別是人工管理階段、文件系統(tǒng)階段和數(shù)據(jù)庫系統(tǒng)階段［2］。具體各階段的發(fā)展特點如表1所示，每個階段的使用模型如圖1所示。

圖1 數(shù)據(jù)庫的發(fā)展歷程

表1 各階段的發(fā)展特點

總之，在不同階段，為了解決產(chǎn)生的新問題，數(shù)據(jù)庫的功能需要不斷提升，不斷在其發(fā)展的領(lǐng)域做出適應(yīng)大眾的改變。

2 目前金融行業(yè)常使用的數(shù)據(jù)庫及其優(yōu)缺點分析

商業(yè)銀行業(yè)務(wù)的模式和特點使它使用的信息系統(tǒng)和普通企業(yè)使用的信息系統(tǒng)產(chǎn)生了區(qū)別，如果所要處理的數(shù)據(jù)很多，就可以考慮DB2，因為它擁有很強(qiáng)的擴(kuò)展性。Oracle可以在目前較為流行的操作系統(tǒng)上運行，而且它具有性能較為完備的數(shù)據(jù)庫存儲服務(wù)。MySQL在互聯(lián)網(wǎng)公司中使用的較多，在銀行業(yè)中使用的并不多，因為它沒有成熟的高可用可解決方案，但是有一些銀行會將一些可用的成熟組件和MySQL聯(lián)合起來使用，也取得了想要得到的效果。目前比較常用的數(shù)據(jù)庫有以下幾種，如表2所示。

表2 常用的數(shù)據(jù)庫

總而言之，銀行端在進(jìn)行業(yè)務(wù)系統(tǒng)開發(fā)時，應(yīng)該要根據(jù)需要處理的業(yè)務(wù)的特點來選擇不同的數(shù)據(jù)庫類型，這樣可以提高數(shù)據(jù)處理的效率，也可以縮短系統(tǒng)所做出的反應(yīng)時間。同時可以提高客戶體驗感，也可以節(jié)約相應(yīng)的成本。而傳統(tǒng)數(shù)據(jù)庫在面對銀行業(yè)務(wù)需求時，不同的數(shù)據(jù)庫暴露了不同的性能弱勢，很難完全迎合業(yè)務(wù)需求，所以目前很多銀行都采用分布式數(shù)據(jù)庫。

3 分布式數(shù)據(jù)庫

這些年來，隨著海量交易數(shù)據(jù)的出現(xiàn)以及交易復(fù)雜度的增加，傳統(tǒng)數(shù)據(jù)庫在處理這些問題時，在擴(kuò)展性、性能、吞吐量和可靠性方面遇到了明顯的瓶頸，并且只能通過拆分業(yè)務(wù)、升級軟件的方式來提升相關(guān)方面的性能，導(dǎo)致了設(shè)備和人員方面成本的提升［3-6］。面對互聯(lián)網(wǎng)金融行業(yè)的發(fā)展，數(shù)據(jù)的交互和存儲呈大幅度增長，這樣是無法保證業(yè)務(wù)連續(xù)性的。因此，許多商業(yè)銀行紛紛展開了對分布式數(shù)據(jù)庫的研發(fā)應(yīng)用。分布式數(shù)據(jù)庫的應(yīng)用場景主要特征是海量并發(fā)，所以從理論上來說，業(yè)務(wù)規(guī)模越大，使用分布式數(shù)據(jù)庫的需求也就更加的急迫。相對于傳統(tǒng)數(shù)據(jù)庫來說，分布式數(shù)據(jù)庫具有靈活的體系結(jié)構(gòu)，高可靠性和可用性以及優(yōu)越的可擴(kuò)展性和易于集成現(xiàn)有的系統(tǒng)。

(1）何為分布式數(shù)據(jù)庫。分布式數(shù)據(jù)庫是由一組數(shù)據(jù)組成的，這組數(shù)據(jù)分布在計算機(jī)網(wǎng)絡(luò)的不同計算機(jī)上，網(wǎng)絡(luò)中每個節(jié)點具有獨立處理的能力［7］，每個節(jié)點也能通過網(wǎng)絡(luò)通信子系統(tǒng)執(zhí)行全局應(yīng)用。銀行業(yè)中常見的分布式數(shù)據(jù)庫有：MySQL，Redis，MongoDB以及Hadoop。

(2）分布式數(shù)據(jù)庫的優(yōu)點?？蓴U(kuò)展性：隨著銀行業(yè)務(wù)數(shù)據(jù)不斷擴(kuò)大，原來的傳統(tǒng)數(shù)據(jù)庫性能方面出現(xiàn)瓶頸，無法通過增加硬件資源獲得提升時，分布式數(shù)據(jù)庫可以通過將數(shù)據(jù)拆分橫向擴(kuò)充的方法來解決問題。可靠性：分布式數(shù)據(jù)庫具備多副本的特性，并且基于協(xié)議可以確保副本中數(shù)據(jù)的一致性?？捎眯裕?］：節(jié)點發(fā)生故障時，可以自動切換，不需要人工進(jìn)行操控，對于應(yīng)用是透明的。

(3）分布式數(shù)據(jù)庫的不足［9-11］。對于帶寬要求高：由于分布式數(shù)據(jù)庫是通過網(wǎng)絡(luò)來連接各數(shù)據(jù)節(jié)點的，對網(wǎng)絡(luò)帶寬的要求較高，任何一種因為網(wǎng)絡(luò)延遲而造成的問題都會被放大。有一定損耗：由于分布式事物大部分是使用2PC(二階段提交協(xié)議，一種分層式通信算法）的方式，雖然產(chǎn)品都做過優(yōu)化，但是仍受原理、性能的牽制，還是會有一定的損耗。存在限制：對特定的對象和語法存在限制，對開發(fā)來說有一定的改造成本。技術(shù)不夠成熟：成熟度相對較低，學(xué)習(xí)和運維成本較高。

4 分布式數(shù)據(jù)庫的應(yīng)用實例——以銀行為例

4.1 工商銀行

在大數(shù)據(jù)時代的需求下，工商銀行對數(shù)據(jù)庫實現(xiàn)轉(zhuǎn)型。通過構(gòu)架轉(zhuǎn)型，他們在自主能力方面，初步建立了企業(yè)級的基于MySQL的分布式解決的自主能力：首先是分布式框架＋MySQL的應(yīng)用及分布式解決方案，承載了很多從主機(jī)下來的應(yīng)用［12］。其次是基于分布式中間件構(gòu)成了所謂聯(lián)機(jī)交易的數(shù)據(jù)庫，在應(yīng)對一些不是很復(fù)雜的場景時，通過良好設(shè)計的分庫分表方案就可以滿足需求。

在信息輔助服務(wù)中，通過DBLE實現(xiàn)分布式數(shù)據(jù)庫。這是一個數(shù)據(jù)量很大的系統(tǒng)，它的交易特征是：高并發(fā)、低延時、日均交易量2億，交易相應(yīng)延時小于10 ms，業(yè)務(wù)數(shù)據(jù)量20 T，并且要求7×24小時的聯(lián)機(jī)服務(wù)。工商銀行通過分布式中間件做MySQL的分庫分表，共計128個分片，并對分片進(jìn)行合并部署，使資源使用上的收益增加。

通過轉(zhuǎn)型可以看到，工商銀行在主機(jī)上的成本投入明顯下降，雖然業(yè)務(wù)交易量每年以20%的速度增長，但是主機(jī)并沒有進(jìn)行擴(kuò)容，投入還逐年降低。商業(yè)產(chǎn)品的數(shù)據(jù)庫的使用不僅實現(xiàn)零增長，還有所下降。總的來看，經(jīng)費下降幅度很大。

4.2 招商銀行

在AI技術(shù)和大數(shù)據(jù)技術(shù)的推動下，招商銀行正向數(shù)據(jù)驅(qū)動的方向發(fā)展，因此對數(shù)據(jù)庫的要求也發(fā)生了變化，但由于現(xiàn)在市場上缺乏滿足要求的成熟產(chǎn)品，通常情況下是會采取在開源數(shù)據(jù)庫上進(jìn)行分表，但是仍然有明顯的不足。另一方面，各種新型數(shù)據(jù)庫也都存在著缺陷，所以招商銀行和華為公司雙方共同合作打造了一款數(shù)據(jù)庫產(chǎn)品，名為GaussDB。

使用GaussDB分布式聯(lián)機(jī)事務(wù)處理過程(On-Line Transaction Processing，OLTP）數(shù)據(jù)庫后，招商銀行的綜合交易流水平臺、風(fēng)險預(yù)警平臺以及重資產(chǎn)營銷平臺的管理數(shù)據(jù)容量提升了10倍，AI的故障恢復(fù)速度提升了30倍，相較其他產(chǎn)品30秒的恢復(fù)時間目標(biāo)，Gauss可以在1秒以內(nèi)做到。

4.3 江蘇銀行

隨著大數(shù)據(jù)時代的到來，江蘇銀行在數(shù)據(jù)存儲方面也遇到了問題，傳統(tǒng)數(shù)據(jù)庫迎來了性能瓶頸時期。江蘇銀行原有的事后監(jiān)督系統(tǒng)是基于Oracle開發(fā)的，在大數(shù)據(jù)量下，存在性能瓶頸，于是開始使用分布式數(shù)據(jù)庫GoldenDB，進(jìn)行遷移改造。

GoldenDB通過完善的導(dǎo)數(shù)工具和并行處理架構(gòu)，實現(xiàn)了對數(shù)據(jù)的高性能處理。與此同時，他還提供兼容結(jié)構(gòu)化查詢語言(Structured Query Language，SQL）和Oracle語法的業(yè)務(wù)。在江蘇銀行使用分布式數(shù)據(jù)庫GoldenDB后，系統(tǒng)性能高于原有系統(tǒng)的3倍。

分布式數(shù)據(jù)庫給銀行業(yè)所帶來的益處是肉眼可見的，在費用方面，他一改傳統(tǒng)數(shù)據(jù)庫增加硬件資源的做法，而是對數(shù)據(jù)結(jié)構(gòu)進(jìn)行劃分，橫向擴(kuò)充，這大大地降低了對硬件設(shè)施的投資，從而達(dá)到了降低經(jīng)費的標(biāo)準(zhǔn)。在數(shù)據(jù)處理方面，他不僅擁有大數(shù)據(jù)存儲容量還具有很快的數(shù)據(jù)處理速度。

大部分銀行在選擇所使用的分布式數(shù)據(jù)庫時，會結(jié)合自身需求，在現(xiàn)階段所存在的數(shù)據(jù)庫中進(jìn)行選擇。若沒有符合要求的，他們會尋找技術(shù)商進(jìn)行合作，共同打造一個全新的、全面符合自身要求的分布式數(shù)據(jù)庫。雖然分布式數(shù)據(jù)庫出現(xiàn)的時間不夠長，但是相對于之前的傳統(tǒng)數(shù)據(jù)庫來說，他能夠提供之前傳統(tǒng)數(shù)據(jù)庫所不能提供的便利和快捷，而且也能夠在降低成本的同時做到滿足銀行各項業(yè)務(wù)所需要的基本性能。現(xiàn)在所存在的分布式數(shù)據(jù)庫可能還存在一些不足，但是在未來的發(fā)展過程中，是值得期待的。

5 展望

分布式數(shù)據(jù)庫從研發(fā)到應(yīng)用這個過程的時間是很短的，不管是從建設(shè)還是成熟度上來說，它相對于傳統(tǒng)數(shù)據(jù)庫是遠(yuǎn)遠(yuǎn)不足以相提并論的。大部分的分布式數(shù)據(jù)庫都是應(yīng)運而生，是為了滿足生產(chǎn)者的自身業(yè)務(wù)要求而產(chǎn)生的，所以還是需要在以后的使用過程中逐步完善，補(bǔ)齊差距。

(1）對于產(chǎn)品硬件方面可以提高兼容性，分布式數(shù)據(jù)庫對于傳統(tǒng)Oracle和DB2等數(shù)據(jù)庫的兼容能力很低，這是須需技術(shù)人員去改善的一大缺陷，盡快提高兼容性，降低使用者在轉(zhuǎn)換方面的難度，提高兼容性的同時，也需要提供一套能夠幫助使用者遷移的工具。

(2）對于產(chǎn)品性能方面可以提高安全性能，完整的安全能力是目前國產(chǎn)分布式數(shù)據(jù)庫產(chǎn)品相對不足的地方，在數(shù)據(jù)加密、數(shù)據(jù)審計、精細(xì)權(quán)限管理方面，都需要進(jìn)行相應(yīng)的優(yōu)化和提高，防止敏感數(shù)據(jù)泄露，杜絕誤操作行為。

(3）對于管理方面可以提高管理能力，大部分的分布式數(shù)據(jù)庫都是由互聯(lián)網(wǎng)廠商研發(fā)的，所以在運營維護(hù)方面欠缺較多，研發(fā)時一般只為了迎合業(yè)務(wù)需求，并沒有考慮到后續(xù)的管理問題，所以需要加強(qiáng)完整的管理能力，使操作該數(shù)據(jù)庫的數(shù)據(jù)庫管理人員、負(fù)責(zé)人以及相關(guān)團(tuán)隊能夠擁有良好的掌控能力。

6 結(jié)語

隨著互聯(lián)網(wǎng)金融高潮的襲來，銀行業(yè)中的數(shù)據(jù)管理已經(jīng)開始變得復(fù)雜和多樣化，所以需要利用新的分布式構(gòu)架所構(gòu)建的數(shù)據(jù)業(yè)務(wù)來適應(yīng)發(fā)展業(yè)務(wù)所提出的要求。相信在不斷地改進(jìn)和完善中，分布式數(shù)據(jù)庫的應(yīng)用會和傳統(tǒng)數(shù)據(jù)庫一樣為金融業(yè)廣泛、熟練地使用。