黃同成 張思陽 段頊

摘要：隨著物聯(lián)網(wǎng)技術的飛速發(fā)展，物聯(lián)網(wǎng)產(chǎn)品設備越來越豐富，物聯(lián)網(wǎng)數(shù)據(jù)量呈爆炸式增長趨勢，迫切需要開發(fā)一種高效、快速的文件實時監(jiān)控系統(tǒng)。針對Web服務器中文件實時監(jiān)控信息的采集，將用戶、進程和權限訪問控制相結合，獲取指定監(jiān)控路徑中所有文件的信息，監(jiān)控和掃描路徑中的文件進行分析、掃描，同時利用緩存模塊進行緩存，記錄服務器宕機期間的文件信息，再將監(jiān)控操作信息進行日志記錄，實現(xiàn)日志事件生成和寫入，開通線程與驅(qū)動之間的通信，將監(jiān)控信息及時提交至服務器上，并提供接口與其他平臺對接，從而實現(xiàn)服務器平臺間文件實時監(jiān)控信息數(shù)據(jù)的采集。便于用戶實時監(jiān)控文件信息，提高文件數(shù)據(jù)信息的時效性和完整性。

關鍵詞：文件實時監(jiān)控；數(shù)據(jù)采集；系統(tǒng)調(diào)用

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）14-0037-02

Abstract： With the rapid development of Internet of things， IOT products are more and more abundant， and the amount of data in Internet of things is increasing. It is urgent to develop an efficient and fast file real-time monitoring system. The file Web server in real-time monitoring information collection， user access control， the process and the combination of access to all files in the specified path information in the monitoring， analysis， scanning monitoring and scanning path of the file， the cache cache module， server downtime during the recording file information， and then monitor the operation information log log event generation and write， open communication between threads and driving， monitoring information will be promptly submitted to the server， and provides the docking interface with other platforms， so as to realize the real-time monitoring data acquisition platform file server. It is convenient for users to monitor the file information in real time and improve the timeliness and completeness of the file data information.

Keywords： file real-time monitoring；data collection；system call

1背景

當前互聯(lián)網(wǎng)中已存在很多文件監(jiān)控產(chǎn)品，主要應用于客戶端與服務端的文件監(jiān)控，這些產(chǎn)品對文件的監(jiān)控主要采用文件檢索比對的方式，通過客戶端對本地文件目錄進行一次全面掃描，將掃描到的所有文件變化信息傳輸至服務端進行驗證，確定文件的更新信息，比如新建、修改或刪除等，如果該文件是更新的，則將文件同步到服務端，這種方法效率低，且缺乏準確度[1]。而且現(xiàn)有常用的同步方法的缺陷在于不能實現(xiàn)終端和服務端的雙向同步。顯然，文件實時同步的主要問題是對文件操作的監(jiān)控、及時上傳和備份。

由于傳統(tǒng)的文件監(jiān)控軟件的各類缺陷以及迫切需要解決的物聯(lián)網(wǎng)設備數(shù)據(jù)傳輸實時性問題，此時就需要一個文件實時監(jiān)控系統(tǒng)來完成這項工作。本文件實時監(jiān)控與數(shù)據(jù)采集的設計方法可以對指定監(jiān)控的目錄和文件新建、修改、重命名和刪除等操作進行日志記錄，實時保存文件發(fā)生變更的路徑、系統(tǒng)時間、操作類型等信息，能夠?qū)崟r、高效地對文件進行實時監(jiān)控[2]。

本設計方法主要是基于Web服務器運行，針對服務器中的文件動態(tài)數(shù)據(jù)信息進行實時監(jiān)控，具體模塊的實施統(tǒng)一采用Java語音進行編寫，滿足不同平臺的需求，具備良好的擴展性。選擇MySQL數(shù)據(jù)庫作為數(shù)據(jù)信息存儲容器，通過網(wǎng)絡協(xié)議數(shù)據(jù)接口，實現(xiàn)服務器與數(shù)據(jù)庫的數(shù)據(jù)交互。同時該系統(tǒng)提供擴展數(shù)據(jù)接口，方便后續(xù)數(shù)據(jù)更新處理。

2設計思想

針對該系統(tǒng)方法，通過分析現(xiàn)有的軟、硬件環(huán)境，分析各種可能產(chǎn)生文件操作的系統(tǒng)調(diào)用。針對文件變化所產(chǎn)生的系統(tǒng)調(diào)用，捕獲相關操作信息，過濾有效文件變化信息，進行預警和緩存處理操作等。對于Web服務器中的各類文件系統(tǒng)（尤其是本地文件系統(tǒng)）來說，每個文件的操作，如文件的打開、關閉、讀寫等操作都無一例外的需要最終通過文件的系統(tǒng)調(diào)用來實現(xiàn)，而最終的系統(tǒng)調(diào)用則是要通過底層代碼來實現(xiàn)[3]，而該方法使用的實時監(jiān)控思想最主要的就是在系統(tǒng)特定位置處設置一個“門”，通過“門”來獲取所需實時監(jiān)控的文件操作信息，同時過濾文件操作信息，再將監(jiān)控信息進行日志記錄，數(shù)據(jù)庫同步存儲信息，提供離線緩存，并設置外部擴展接口，便于后期對該系統(tǒng)方法進行擴展。方法設計思想流程如圖1所示。

3功能模塊設計

通過對該監(jiān)控系統(tǒng)功能模塊進行分析和研究，結合方法設計思想流程將該方法的實際操作分為以下五個模塊：

（1）分析并查找有關的系統(tǒng)操作

按照本監(jiān)控系統(tǒng)方法的設計思想，首先，應該要對不同Web服務器系統(tǒng)中的常規(guī)系統(tǒng)調(diào)用做一個全面地分析，找出有哪部分系統(tǒng)調(diào)用可以對所需監(jiān)控的數(shù)據(jù)文件造成影響。經(jīng)過對常見的操作的過程以及操作系統(tǒng)的工作原理的深入分析，我們認為進行以下的系統(tǒng)操作可以對文件的完整性造成不同程度的影響[4]：文件的修改（FILE_MODIFIED）、重命名（FILE_RENAMED）、刪除文件（FILE_DELETED）、創(chuàng)建文件（FILE_CREATED）。

（2）添加實時監(jiān)控模塊

確定了部分系統(tǒng)操作會對所需監(jiān)控的數(shù)據(jù)文件造成影響之后，通過查找和匹配確認關鍵性的系統(tǒng)調(diào)用，搭建實時監(jiān)控模塊，利用操作系統(tǒng)的監(jiān)聽能力產(chǎn)生事件，通過事件驅(qū)動，無目錄掃描，系統(tǒng)層直接產(chǎn)生文件變化信息，然后反調(diào)進行“熱加載”，通過JNI技術，讓代碼可以實時監(jiān)控指定文件夾內(nèi)文件的變動信息[5]，支持平臺包括Linux、Windows、MacOS等。

（3）設置監(jiān)控文件過濾模塊

文件夾中的文件種類繁多，不同用戶對文件的需求不同，為了使有效信息得到實時、準確的反饋[6]，設置監(jiān)控文件過濾模塊，可以對指定監(jiān)控路徑進行設置，以及所需監(jiān)控的文件類型進行確認，此類操作可以靈活在程序外部進行更改，降低程序各模塊之間的耦合度。

（4）監(jiān)控實時記錄模塊

將獲取到的文件變化信息（主要包括文件的類型，文件的路徑，發(fā)生變化的時間），根據(jù)用戶不同的應用領域，可以同步增加對應的文件變化信息，將不同平臺之間的系統(tǒng)調(diào)用進行過濾，再將產(chǎn)生的文件變化信息依次存入到相應的日志文件當中，同步存儲進數(shù)據(jù)庫鏈表中。

（5）離線緩存模塊

離線緩存模塊用于程序宕機后文件仍在發(fā)生變化，該模塊將對這些文件的操作信息進行緩存，當程序重新啟動時，首先遍歷離線緩存中文件操作信息，若存在離線緩存，則提交該離線緩存信息；若不存在，則監(jiān)控程序便可正常運行，直接監(jiān)控指定目錄。

4具體實現(xiàn)

該系統(tǒng)方法可以預先設定監(jiān)控某類型文件，對每個文件可以采用各種監(jiān)控參數(shù)配置，遍歷離線緩存模塊之后，再將實時監(jiān)控模塊啟動，通過日志緩存器將實時文件操作進行緩存操作，對日志緩存器中的數(shù)據(jù)操作信息進行數(shù)據(jù)庫存儲更新，直至緩存中數(shù)據(jù)操作信息同步更新完畢，所有模塊全部并發(fā)執(zhí)行。以文件修改操作為例進行方法具體實現(xiàn)，其具體流程圖如圖2所示。

（1）通過文件實時監(jiān)控模塊，過濾不同類型的文件操作，代碼如下所示。

Stringpath=fileReqUrl；

intmask=JNotify.FILE_CREATED|JNotify.FILE_DELETED

|JNotify.FILE_MODIFIED|JNotify.FILE_RENAMED；

booleanwatchSubtree=true；

JNotify.addWatch（path，mask，watchSubtree，newJNotifyListener（）{…。

（2）當發(fā)現(xiàn)被監(jiān)控文件產(chǎn)生修改操作時，觸發(fā)監(jiān)聽事件fileModified（intwd，StringrootPath，Stringname）{…}。

（3）fileModified（intwd，StringrootPath，Stringname）函數(shù)進行修改操作處理，調(diào)用Log（）函數(shù)記錄操作日志；調(diào)用盒子函數(shù)discovery.discoveryFile（newPath）；從propertiesUtils函數(shù)獲取配制過濾文件信息，滿足條件的文件修改時執(zhí)行變動邏輯；利用FileUtils函數(shù)遍歷監(jiān)控文件夾；使用discoveryFile（Stringfilepathname）函數(shù)離線緩存數(shù)據(jù)信息，檢查至上次關閉到本次啟動期間的文件變動，并按變動邏輯執(zhí)行；連接數(shù)據(jù)庫線程進行同步存儲。此外，提供外接數(shù)據(jù)接口函數(shù)publicinterfaceFileDiscoveryInterface{…}，方便后續(xù)功能擴展使用。

（4）系統(tǒng)初始化，設置文件實時監(jiān)控的目錄，過濾條件，系統(tǒng)時間以及獲取所需監(jiān)控的文件操作信息。程序界面如圖3所示。

5 結語

本文提供一種基于Web服務器的文件實時監(jiān)控與數(shù)據(jù)采集的方法，在不同的系統(tǒng)操作環(huán)境下經(jīng)過嚴格的測試與使用，有效避免了監(jiān)控時全部文件進行差量比對所造成的資源耗費，提高了文件監(jiān)控的效率，并將操作信息同步更新利用日志緩存進行日志輸出，為文件的同步更新調(diào)用提供支持；利用數(shù)據(jù)庫進行動態(tài)信息存儲，保證操作信息的準確性和時效性。然而，在文件監(jiān)控的研究上，仍然存在許多的不足之處，需要不斷地研究和開發(fā)，通過對該文件監(jiān)控模塊進行擴展，將其應用到物聯(lián)網(wǎng)環(huán)境中，研發(fā)出一套功能完善的“實時監(jiān)控預警平臺”，具有深遠的研究推廣前景。

參考文獻：

[1] 胡宏銀，姚峰，何成萬.一種基于文件過濾驅(qū)動的Windows文件安全保護方案[J]. 計算機應用， 2009（1）.

[2] 張之勇，鄭方偉，佘堃，周明天. Windows NT文件系統(tǒng)實時監(jiān)控的實現(xiàn)[J]. 計算機應用，2007（S1）.

[3] 陳姚節(jié)，盧建華.基于手機短信遠程控制系統(tǒng)的研究與設計[J].微計算機信息， 2010 （33）.

[4] 顧巧云，李安欣.基于Windows的文件完整性檢測系統(tǒng)的設計和實現(xiàn)[J]. 計算機工程，2004（S1）.

[5] File system minifilter drivers. http：//msdn.microsoft.com/en-us/library/ff540402（v=VS.85）.aspx . 2010

[6] AnOptimalStrategyforComputing File Copies. K A S Abdel—Ghaffar，A ElAbbadi[J]. IEEE Trans.On Parallel and Distributed System，1994.