莊良源

（福建省南安市市場監(jiān)督管理局 福建省南安市 362300）

1 序言

在當(dāng)前科技飛速發(fā)展的背景下，專利的數(shù)據(jù)存儲工作也顯得越發(fā)的繁瑣和復(fù)雜，傳統(tǒng)數(shù)據(jù)庫已經(jīng)漸漸不能滿足大量專利數(shù)據(jù)存儲的功能。其中的難點就是異構(gòu)數(shù)據(jù)的存貯，異構(gòu)數(shù)據(jù)的特點就是收錄校驗和數(shù)據(jù)存儲的難度大，同時它的資源通常較為分散，數(shù)據(jù)增長速度快的同時類型也更加的多樣化，所以如果實現(xiàn)針對異構(gòu)數(shù)據(jù)的存儲是專利部門數(shù)據(jù)庫開發(fā)人員不得不面臨的難題。專利部門的專利數(shù)據(jù)就是典型的異構(gòu)數(shù)據(jù)，本文針對專利數(shù)據(jù)的特點，在云平臺的基礎(chǔ)上開發(fā)了專利數(shù)據(jù)庫，對異構(gòu)數(shù)據(jù)實現(xiàn)了一定程度的智能化管理，能夠用于多個地使用場景，希望能對相關(guān)的數(shù)據(jù)庫開發(fā)項目提供一些建議。

2 相關(guān)技術(shù)概述

本次設(shè)計計劃針對專利數(shù)據(jù)中心的專利數(shù)據(jù)安全云提供相應(yīng)的支持，核心是針對此類型的異構(gòu)數(shù)據(jù)建立相應(yīng)的儲存、檢索和管理框架。整個專利數(shù)據(jù)庫系統(tǒng)架構(gòu)共分為三個數(shù)據(jù)模塊，分別是數(shù)據(jù)儲存模塊、數(shù)據(jù)檢索模塊和數(shù)據(jù)管理模塊。針對這三個模塊的特點筆者采用了HDFS、MySQL 和Redis 所綜合而成的數(shù)據(jù)庫技術(shù)方案與MVVM 為主的前后端分離式Web 系統(tǒng)設(shè)計。

2.1 數(shù)據(jù)庫技術(shù)方案

HDFS 技術(shù)是指Hadoop 分布式文件系統(tǒng)，作為針對大數(shù)據(jù)運(yùn)行日志存儲讓設(shè)計出來的分布式儲存系統(tǒng)，HDFS 有著良好的儲存效果，但是實際的數(shù)據(jù)基礎(chǔ)與應(yīng)用需求表現(xiàn)不佳，所以僅使用Hadoop 框架下的HDFS 作為數(shù)據(jù)儲存的核心之一。

MySQL 是一類常見的開源關(guān)系型數(shù)據(jù)庫類型，其本身有著完全多線程編程、具備優(yōu)化的SQL 算法、多平臺支持和集群部署等優(yōu)勢。MySQL 數(shù)據(jù)庫可以分為用戶層、SQL 節(jié)點、數(shù)據(jù)節(jié)點和管理服務(wù)器等部分，能夠很好的滿足異構(gòu)數(shù)據(jù)的儲存需求，所以本次研究使用MySQL 作為主要數(shù)據(jù)儲存核心。[1]

Redis 是一類常見的內(nèi)存數(shù)據(jù)庫，與上述數(shù)據(jù)庫的儲存方式不同，Redis 數(shù)據(jù)庫的存儲和計算工作完全在計算機(jī)內(nèi)存中運(yùn)作。Redis 的特點在于其支持半結(jié)構(gòu)化的數(shù)據(jù)存儲功能和部分特殊數(shù)據(jù)結(jié)構(gòu)的存儲，使用對象非常的靈活，對于數(shù)據(jù)增長速度快的同時類型也更加的多樣化的異構(gòu)數(shù)據(jù)來說非常合適。此外Redis 的操作滿足原子性約束的原理，有著非常高的讀寫性能的同時支持?jǐn)?shù)據(jù)持久化，運(yùn)行起來非常的穩(wěn)定可靠。[2]所以本次研究同樣使用Redis 作為主要數(shù)據(jù)儲存核心。

2.2 MVVM架構(gòu)

所謂MVVM 架構(gòu)是模型（Model）、視圖（View）、視圖模型（ViewModel）平行架構(gòu)的簡稱。MVVM 大致可以分為視圖層、視圖模型層、模型層三層，三層之間進(jìn)行著同步更新，并且采用數(shù)據(jù)綁定技術(shù)和指令綁定技術(shù)進(jìn)行綁定，從而形成了無縫的數(shù)據(jù)反饋，能夠方便永興進(jìn)行大量數(shù)據(jù)的編輯和讀取調(diào)用工作。針對專利異構(gòu)數(shù)據(jù)的運(yùn)行特點，筆者采用MVVM 作為本次數(shù)據(jù)庫的前端框架結(jié)構(gòu)。[3]

2.3 后端技術(shù)框架

本次專利數(shù)據(jù)庫采用前后端分離式Web 系統(tǒng)，其中前段框架采用上文介紹的MVVM 架構(gòu)中的Vue 框架，同時綁定DOM 用以實現(xiàn)數(shù)據(jù)的實時更新、編輯和讀取調(diào)用。后段技術(shù)框架則采用Gin框架，作為Golang 編寫的開源框架，Gin 有著支持多個子程序段并發(fā)和占用堆棧大小非常小的特點。能夠很好的處理專利數(shù)據(jù)庫中關(guān)于文件上傳、參數(shù)獲取、數(shù)據(jù)處理和協(xié)議驗證等工作。

2.4 Web服務(wù)器

本次專利數(shù)據(jù)庫所采用的Web 服務(wù)器是Nginx 服務(wù)器，其特點為要求低、體積小和負(fù)載均衡模塊靈活，所以應(yīng)用到特定的專利數(shù)據(jù)庫中能夠節(jié)省一定程度的系統(tǒng)開銷，同時安裝配置簡單，并且支持服務(wù)器集群策略，所以在異構(gòu)數(shù)據(jù)處理上有著一定的拓展性優(yōu)勢。[4]

3 專利數(shù)據(jù)庫設(shè)計難點

本次研究針對的是專利數(shù)據(jù)庫建設(shè)，基于筆者的數(shù)據(jù)庫開發(fā)經(jīng)驗，筆者認(rèn)為本次研究的難點主要在于專利數(shù)據(jù)統(tǒng)一存儲和檢索以及專利數(shù)據(jù)的完備度校驗上。

3.1 專利數(shù)據(jù)統(tǒng)一存儲和檢索

專利數(shù)據(jù)面臨的數(shù)據(jù)來源多種多樣，不同專利面臨的數(shù)據(jù)內(nèi)容不同，但從數(shù)據(jù)結(jié)構(gòu)上來看可以分為半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，三類數(shù)據(jù)分布于不同的數(shù)據(jù)庫中，需要進(jìn)行統(tǒng)一的存儲。同時專利數(shù)據(jù)的跨庫檢索實現(xiàn)起來也有一定的難度，不同數(shù)據(jù)庫之間的檢索入口和條件設(shè)置都有所區(qū)別，因此云平臺基礎(chǔ)上的專利數(shù)據(jù)庫設(shè)計的首要難點就是針對存儲和檢索方案進(jìn)行設(shè)計。

3.1.1 專利數(shù)據(jù)存儲方案

本次研究的專利數(shù)據(jù)庫存儲系統(tǒng)針對半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的特點，采用Redis 存儲半結(jié)構(gòu)化數(shù)據(jù)、MySQL存儲節(jié)后華數(shù)據(jù)、HDFS 存儲類型文件數(shù)據(jù)的存儲方法，同時利用Redis 的特性實現(xiàn)數(shù)據(jù)的檢索和緩存，進(jìn)而實現(xiàn)后續(xù)的數(shù)據(jù)檢索模塊。

3.1.2 專利數(shù)據(jù)檢索方案

在專利數(shù)據(jù)的跨庫檢索方面，可以將本次上文三類數(shù)據(jù)存儲的數(shù)據(jù)歸結(jié)為數(shù)據(jù)庫檢索和數(shù)值檢索兩個方面。其中數(shù)據(jù)庫檢索需要建立特定的三級表結(jié)構(gòu)，依照小型數(shù)據(jù)庫字庫和大型數(shù)據(jù)庫字庫采取不同的應(yīng)對措施。小型數(shù)據(jù)庫字庫規(guī)定數(shù)據(jù)條數(shù)為1000 以內(nèi)，采取后端程序分段檢測的檢測方式，大型數(shù)據(jù)庫規(guī)定數(shù)據(jù)條數(shù)為1000 及以上，采用直接調(diào)取三級表中目標(biāo)數(shù)據(jù)庫的id 形式，進(jìn)而進(jìn)行相應(yīng)的解析，然后獲得子數(shù)據(jù)庫后進(jìn)行針對性的檢索；在數(shù)值檢索方面，需要建立作為檢索起點的數(shù)據(jù)表，然后對用戶的檢索選項進(jìn)行相應(yīng)的區(qū)分與判斷，然后基于B+樹的檢索結(jié)果進(jìn)行緩存方案，用來優(yōu)化專利數(shù)據(jù)庫數(shù)值檢索的效率，進(jìn)而完成相應(yīng)的索引構(gòu)建。

3.2 專利數(shù)據(jù)完備度校驗

本次設(shè)計的專利數(shù)據(jù)庫的完備度校驗采用自動化入庫和自動化完備度分析工具為基礎(chǔ)，作為一種面向?qū)ο蟮年P(guān)系型數(shù)據(jù)庫，自動化入庫和自動化完備度分析工具支持在標(biāo)準(zhǔn)數(shù)據(jù)庫系統(tǒng)中管理相關(guān)數(shù)據(jù)，一方面能夠?qū)崿F(xiàn)數(shù)據(jù)的完整性，另一方面能夠保證使用過程的安全?；诒敬卧囼瀸嶋H情況，筆者將專利數(shù)據(jù)庫系統(tǒng)完備度校驗的構(gòu)建分為如下幾步：

（1）針對該數(shù)據(jù)庫的專利數(shù)據(jù)系統(tǒng)信息數(shù)據(jù)進(jìn)行搜集和整理，針對不同的分類完成格式、單位和尺度的統(tǒng)一，最終將該數(shù)據(jù)庫的數(shù)據(jù)庫完備度信息編程有效的字段名和表頭；

（2）完成自動化入庫和自動化完備度分析工具的構(gòu)建，依照完備度的實際情況將不同的參數(shù)進(jìn)行分類和儲存；

（3）把剩下的數(shù)據(jù)儲存到access 屬性的二維表數(shù)據(jù)庫中，同時完成分類和編碼；

（4）完善自動化入庫和自動化完備度分析工具各版塊的構(gòu)建和相應(yīng)的管理系統(tǒng)。

4 專利數(shù)據(jù)庫的設(shè)計與實現(xiàn)

專利異構(gòu)數(shù)據(jù)存在數(shù)據(jù)資源分散，數(shù)據(jù)類型、資源總量擴(kuò)張迅速的特征。目前，專利數(shù)據(jù)庫系統(tǒng)中收錄的數(shù)據(jù)主要為自身企業(yè)在運(yùn)轉(zhuǎn)過程中所產(chǎn)生的海量數(shù)據(jù)，部分?jǐn)?shù)據(jù)量為TB 級。隨著專利局云用戶的不斷增長，專利局云應(yīng)用的開發(fā)與增加，專利局專利數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)量將快速增長。與此同時，目前專利局云的目標(biāo)用戶為內(nèi)部用戶，數(shù)據(jù)訪問量較低，而隨著專利局云的推廣、數(shù)據(jù)收錄的增加，遠(yuǎn)期應(yīng)用場景可能會面對高并發(fā)請求、高數(shù)據(jù)存儲請求的應(yīng)用場景。

4.1 專利數(shù)據(jù)庫的設(shè)計

為滿足專利數(shù)據(jù)庫系統(tǒng)的上述技術(shù)特征與需求，框架結(jié)構(gòu)選擇階段需要考慮系統(tǒng)對于云其他模塊的底層支持，同時對用戶量、數(shù)據(jù)量增長后服務(wù)器擴(kuò)容的基礎(chǔ)條件等因素進(jìn)行評估。

本文使用了基于NGV（Nginx+Gin+Vue）技術(shù)棧的MuVM 框架，其中Nginx 為基礎(chǔ)Web 服務(wù)器，實現(xiàn)請求的分流與轉(zhuǎn)發(fā)，同時實現(xiàn)系統(tǒng)的負(fù)載均衡。Gin 為后端服務(wù)器框架，Vue 為前端框架，系統(tǒng)的設(shè)計模式為MVVM 模式，實現(xiàn)前后端的輕耦合，降低用戶與服務(wù)器間的數(shù)據(jù)通信量，進(jìn)而提高系統(tǒng)的并發(fā)性能。

本次研究的云平臺基礎(chǔ)上專利數(shù)據(jù)庫設(shè)計其架構(gòu)可以分為Nginx、基于Vue 開發(fā)的前端程序、基于Gin 開發(fā)的后端程序、存儲層三個層面。

其中Nginx 分為proxy 反向代理模塊和upstream 負(fù)載均衡模塊；

基于Vue 開發(fā)的前端程序分為權(quán)限控制模塊、數(shù)據(jù)基礎(chǔ)服務(wù)模塊、跨庫訪問模塊、數(shù)據(jù)檢索模塊、數(shù)據(jù)可視化模塊、數(shù)據(jù)庫管理模塊和軟件資源管理模塊；

基于Gin 開發(fā)的后端程序分為DAO 模塊、SSO 模塊、TXTWO 格式解析器、數(shù)據(jù)庫管理模塊、權(quán)限服務(wù)模塊和數(shù)據(jù)收錄分析模塊

儲存層則分為HDFS、MySQL 和Redis 所綜合而成的數(shù)據(jù)庫存儲模塊。

4.2 專利數(shù)據(jù)庫的實現(xiàn)

專利數(shù)據(jù)庫系統(tǒng)采用了基于NGV 技術(shù)棧的MVVM 開發(fā)模式，實現(xiàn)了對單機(jī)部署、分離部署、集群部署三種部署方案的支持，而上述三種部署方案需要經(jīng)過測試驗證以確保方案的可行性、科學(xué)性。

單機(jī)部署測試軟硬件環(huán)境：

硬件環(huán)境為CPU：1Core（IntelE-2682-V4@2.SGhz）內(nèi)存：0.5GB

軟件環(huán)境為操作系統(tǒng)：ubuntu 16.04

功能測試過程中，針對相應(yīng)系統(tǒng)的單機(jī)部署方案的有效性、可行性進(jìn)行了部署、驗證，在單機(jī)部署模式下，專利數(shù)據(jù)庫系統(tǒng)能夠正常提供數(shù)據(jù)即軟件服務(wù)，各項功能正常，單機(jī)部署方案是可行的。

4.3 專利信息存儲模塊的實現(xiàn)

專利管理部門的主要功能對專利的信息進(jìn)行錄入、修改、查詢、刪除，具體分為管理者未確認(rèn)、管理者已確認(rèn)和管理者已駁回三種不同的場景。當(dāng)專利管理人員將專利錄入系統(tǒng)后，自動轉(zhuǎn)入管理者未確認(rèn)狀態(tài)。而管理者可以執(zhí)行兩種操作：駁回、確認(rèn)。當(dāng)管理者駁回專利時，需要說明駁回原因，專利管理人員根據(jù)管理者駁回原因可以選擇進(jìn)行修改或者作廢該專利。除此之外，在專利管理人員錄入專利的同時，需要填寫管理者的基本信息，后臺將己經(jīng)提交的專利信息中關(guān)于管理者的基本信息存入數(shù)據(jù)庫中的管理者表單中，具體數(shù)據(jù)依照實際應(yīng)對的類型不同進(jìn)行相應(yīng)的調(diào)整。

4.4 專利數(shù)據(jù)完備度校驗實現(xiàn)

專利數(shù)據(jù)種類多，數(shù)據(jù)更新頻繁，使得數(shù)據(jù)資源的覆蓋度和完整性分析成為數(shù)據(jù)管理過程中的難點。專利數(shù)據(jù)目前以TXTWO格式存儲，為實現(xiàn)專利數(shù)據(jù)的自動化收錄，本文設(shè)計開發(fā)了針對TXTWO 格式的專利數(shù)據(jù)自動化入庫工具。數(shù)據(jù)庫管理員或用戶上傳TXTWO 格式的文本后，專利異構(gòu)數(shù)據(jù)庫系統(tǒng)處理程序首先對用戶上傳的專利數(shù)據(jù)文件進(jìn)行分片，得到每條數(shù)據(jù)對應(yīng)的數(shù)據(jù)值，從中提取對應(yīng)數(shù)據(jù)。專利異構(gòu)數(shù)據(jù)庫系統(tǒng)收到用戶上傳文件后，首先進(jìn)行格式校驗，確認(rèn)其為TXTWO 文件后計算器HASH 碼，并與己有數(shù)據(jù)比對，若是己有文件則直接向用戶展示對應(yīng)的數(shù)據(jù)內(nèi)容。若用戶上傳的是新文件，則直接將TXTWO 文件存入HDFS 系統(tǒng)中，同時則根據(jù)TXTWO 數(shù)據(jù)組織及數(shù)據(jù)規(guī)定，讀取出對應(yīng)的參數(shù)，并根據(jù)文件說明從每條數(shù)據(jù)中整理出對應(yīng)的數(shù)據(jù)參數(shù)，并整理存儲進(jìn)入到MySQL 數(shù)據(jù)庫中，從而實現(xiàn)專利數(shù)據(jù)的自動化入庫。數(shù)據(jù)上傳進(jìn)入專利數(shù)據(jù)庫系統(tǒng)后，數(shù)據(jù)庫管理員可直接使用對應(yīng)的數(shù)據(jù)統(tǒng)計工具快速分析其中的數(shù)據(jù)資源。

5 總結(jié)

總而言之，專利數(shù)據(jù)庫構(gòu)建是當(dāng)前數(shù)據(jù)庫構(gòu)建領(lǐng)域發(fā)展的重要方向，將之組合不僅能夠挖掘傳輸識別過程中各個已有數(shù)據(jù)之間的潛在關(guān)系，更能快速地構(gòu)建起相關(guān)的預(yù)測模型。當(dāng)然本次研究也存在著許多的不足，雖然本次研究對專利數(shù)據(jù)庫構(gòu)建在當(dāng)前數(shù)據(jù)庫構(gòu)建應(yīng)用中存在的問題進(jìn)行了分析，但仍不夠深入，希望將來能有機(jī)會繼續(xù)對數(shù)據(jù)庫構(gòu)建的問題進(jìn)行研究，進(jìn)而為我國相關(guān)領(lǐng)域的發(fā)展做出貢獻(xiàn)。