孫樹田

天津開發(fā)區(qū)先特網(wǎng)絡(luò)系統(tǒng)有限公司 天津 300000

引言

在大數(shù)據(jù)分析領(lǐng)域，數(shù)據(jù)挖掘是一個新興概念。數(shù)據(jù)挖掘的關(guān)鍵是對數(shù)據(jù)量大、價值密度低的數(shù)據(jù)進行有效分析，提取出具有應(yīng)用價值和研究價值的信息數(shù)據(jù)，從而進一步提高數(shù)據(jù)的應(yīng)用率。軟件工程經(jīng)歷了多年的發(fā)展，軟件開發(fā)和項目管理也面臨著數(shù)據(jù)分析問題，如漏洞分析和源代碼管理等。軟件在長時間運行下不斷積累數(shù)據(jù)，但數(shù)據(jù)量不斷增加，傳統(tǒng)的處理手段無法實現(xiàn)綜合處理，因此數(shù)據(jù)挖掘技術(shù)在軟件工程中的有效應(yīng)用成為當(dāng)前的研究熱點。

1 數(shù)據(jù)挖掘技術(shù)簡介

數(shù)據(jù)挖掘技術(shù)是一種現(xiàn)代信息處理技術(shù)，與傳統(tǒng)的信息處理技術(shù)相比具有非常明顯的功能優(yōu)勢，因此在許多行業(yè)得到了廣泛的應(yīng)用。目前，在軟件工程領(lǐng)域，對數(shù)據(jù)挖掘技術(shù)應(yīng)用價值的研究還很少，很多軟件工程都采用傳統(tǒng)的數(shù)據(jù)處理技術(shù)，難以提高數(shù)據(jù)處理的效率。數(shù)據(jù)挖掘技術(shù)是包含多種功能的，不同功能之間也有明顯的聯(lián)系，可以實現(xiàn)綜合評價，對于部分軟件工程來說，數(shù)據(jù)挖掘技術(shù)的應(yīng)用最明顯的優(yōu)勢是數(shù)據(jù)處理效率得到了顯著的提升，數(shù)據(jù)丟失等問題也得到了很好的解決，為企業(yè)的發(fā)展提供了有效的保障。

2 數(shù)據(jù)挖掘技術(shù)應(yīng)用于軟件工程的關(guān)鍵意義

2.1 有助于信息的獲取

數(shù)據(jù)挖掘技術(shù)還包括傳統(tǒng)信息處理中的各種重要功能。信息收集后，可根據(jù)數(shù)據(jù)信息的具體類型進行分類處理。在這種處理機制下，數(shù)據(jù)挖掘技術(shù)所涉及的業(yè)務(wù)范圍也進一步擴大，可以結(jié)合數(shù)據(jù)分析的具體特點，在海量數(shù)據(jù)資源中建立起功能完備的信息管理系統(tǒng)，它可以幫助人們快速檢索所需的數(shù)據(jù)資源。數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用還可以集成大量的信息，幫助企業(yè)快速掌握數(shù)據(jù)信息的各個方面。

2.2 信息的正確錄入

數(shù)據(jù)挖掘技術(shù)的操作水平很高，傳統(tǒng)的數(shù)據(jù)信息系統(tǒng)在操作過程中往往需要很高的時間成本，在某些情況下，操作系統(tǒng)可能會因數(shù)據(jù)處理量大而崩潰。數(shù)據(jù)挖掘技術(shù)的應(yīng)用可以有效地避免這一問題，在操作過程中提高效率也可以進一步避免操作過程中的數(shù)據(jù)丟失或混亂，增強數(shù)據(jù)處理的整體效果。對于大規(guī)模數(shù)據(jù)的操作，一些垃圾數(shù)據(jù)沒有使用價值，但可能存儲在數(shù)據(jù)處理系統(tǒng)中，影響系統(tǒng)的運行效率。數(shù)據(jù)挖掘技術(shù)的應(yīng)用還可以處理這些垃圾數(shù)據(jù)，并將有價值的信息輸入到系統(tǒng)中。

2.3 提高數(shù)據(jù)處理效率

對于數(shù)據(jù)挖掘技術(shù)來說，數(shù)據(jù)轉(zhuǎn)換也是最重要的優(yōu)勢之一，它可以將混沌數(shù)據(jù)信息整合成一種使用形式，并且這些混沌信息整合后也可以被合理利用。在雜項數(shù)據(jù)挖掘過程中，可以自動選擇合理的分析模式，及時處理模糊數(shù)據(jù)，使最終的數(shù)據(jù)結(jié)果得到充分利用[1]。結(jié)合所獲得的數(shù)據(jù)，從不同的方向檢驗數(shù)據(jù)的真實性和價值，并將真實數(shù)據(jù)進行整合，使數(shù)據(jù)具有可讀性，即將分析結(jié)果作為參考的新知識。數(shù)據(jù)分析的過程一般比較復(fù)雜，需要對不同的過程進行多次驗證才能得到真實的運行結(jié)果。然而，數(shù)據(jù)挖掘技術(shù)在軟件工程中的有效應(yīng)用可以全面提高數(shù)據(jù)操作的效率和質(zhì)量。

3 數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用策略

3.1 信息挖掘

可以實現(xiàn)全方位的信息數(shù)據(jù)控制，軟件工程和軟件工程的應(yīng)用范圍也很廣，需要涉及軟件開發(fā)過程中的信息類型，同時軟件工程的版本可以統(tǒng)一控制信息數(shù)據(jù)，確保軟件在開發(fā)過程中能夠執(zhí)行各種數(shù)據(jù)資源的同步更新，進一步保證軟件開發(fā)的質(zhì)量和開發(fā)過程的效率，使開發(fā)項目目標(biāo)能夠順利實現(xiàn)。在數(shù)據(jù)挖掘的過程中，包括軟件開發(fā)替換的數(shù)據(jù)，技術(shù)人員可以快速區(qū)分軟件的內(nèi)部結(jié)構(gòu)，也可以充分利用數(shù)據(jù)挖掘技術(shù)的優(yōu)勢，在后續(xù)工作中可以快速發(fā)現(xiàn)軟件的內(nèi)部問題并加以解決，完成軟件開發(fā)任務(wù)。

3.2 軟件漏洞檢測

在軟件工程中，漏洞檢測作為工作中不可缺少的一部分，能夠保證軟件開發(fā)的質(zhì)量和系統(tǒng)的安全運行，及時發(fā)現(xiàn)和消除隱患?？焖傩迯?fù)軟件漏洞可以為用戶提供更穩(wěn)定的保護。在數(shù)據(jù)挖掘技術(shù)的應(yīng)用中，漏洞檢測不僅要對軟件進行基本測試內(nèi)容，還要進行相關(guān)性測試，對與軟件漏洞相關(guān)的項目內(nèi)容也要進行全面測試，以滿足軟件開發(fā)的實際需求。數(shù)據(jù)挖掘技術(shù)可以結(jié)合記錄的內(nèi)容對數(shù)據(jù)進行分析，改進分析結(jié)果，進而決定采用哪種測試模式來完成測試工作，以確保測試模式的選擇更符合軟件工程的實際需求。在脆弱性數(shù)據(jù)處理方面，數(shù)據(jù)挖掘技術(shù)需要首先對數(shù)據(jù)進行清理，然后對相關(guān)數(shù)據(jù)進行分析提取，去除沒有應(yīng)用價值的數(shù)據(jù)，然后補充內(nèi)容中缺失的部分，以數(shù)據(jù)的形式呈現(xiàn)出來。此外，數(shù)據(jù)挖掘技術(shù)在軟件脆弱性中的應(yīng)用需要選擇合理有效的數(shù)據(jù)模型來完成分析驗證工作，并盡可能選擇可行的挖掘模式使其成為測試集[2]。相關(guān)系統(tǒng)還需要對運行結(jié)果進行比較，選擇最合理的結(jié)果。在漏洞檢測和分類軟件漏洞和描述中，更新數(shù)據(jù)庫中的軟件漏洞數(shù)據(jù)，使任何其他相關(guān)軟件或系統(tǒng)能夠從待獲取的數(shù)據(jù)庫數(shù)據(jù)中及時應(yīng)對類似問題，從而快速操作，減少泄漏檢測所需時間的同時也為泄漏檢測和解決提供了參考依據(jù)，因此在更新漏洞數(shù)據(jù)時應(yīng)保證數(shù)據(jù)分類的合理性。

3.3 開源軟件的數(shù)據(jù)挖掘

對于軟件工程來說，開源軟件是數(shù)據(jù)挖掘的主要目標(biāo)，其中克隆代碼檢測起著關(guān)鍵的作用和意義，并且廣泛應(yīng)用于源文件開發(fā)中，可以快速復(fù)制和復(fù)制數(shù)據(jù)?？寺〈a技術(shù)可以進一步提高代碼復(fù)制和代碼粘貼的效率，也有助于代碼檢測工作的快速實施，進一步避免軟件工程系統(tǒng)受到代碼的漏洞，提高軟件系統(tǒng)后期的維護工作，為其開發(fā)提供更有利的條件。然而，開源軟件的數(shù)據(jù)挖掘項目也有一定的影響因素，如環(huán)境的開放性和動態(tài)性會帶來一定的影響，尤其是軟件的開發(fā)和管理，這與傳統(tǒng)的軟件開發(fā)明顯不同。但是，一些技術(shù)相對完善的開源軟件大多會記錄錯誤報告、軟件應(yīng)用情況和開發(fā)者信息，幫助開發(fā)者根據(jù)發(fā)展特點快速建立典型的社交網(wǎng)絡(luò)，快速了解和掌握網(wǎng)絡(luò)的動態(tài)變化。此外，工作人員還需要進一步探索開源軟件的動態(tài)，加強開源項目管理的整體效果

3.4 執(zhí)行記錄的數(shù)據(jù)挖掘

執(zhí)行記錄的數(shù)據(jù)挖掘也是軟件工程數(shù)據(jù)挖掘的核心內(nèi)容。對軟件系統(tǒng)的執(zhí)行路徑進行有效的分析，可以幫助工作人員掌握軟件工程中不同系統(tǒng)模塊的工作代碼之間的聯(lián)系。記錄挖掘操作也是通過跟蹤軟件進行逆向建模的過程，可以提高對軟件工作系統(tǒng)的理解、跟蹤、維護等方面的有效性。在執(zhí)行過程中記錄挖掘數(shù)據(jù)，還著重分析程序的執(zhí)行過程，有利于掌握程序代碼之間的相關(guān)性，在應(yīng)用過程中執(zhí)行記錄實際挖掘需要分析工作系統(tǒng)的具體情況，通過使用挖掘軟件完成應(yīng)用程序的結(jié)構(gòu)編程工作，記錄系統(tǒng)各方面的信息，建立系統(tǒng)功能模塊。

4 數(shù)據(jù)挖掘技術(shù)的應(yīng)用方法

隨著數(shù)據(jù)挖掘技術(shù)在瑞軟件開發(fā)中應(yīng)用的日益頻繁，其應(yīng)用方法也受到人們的廣泛關(guān)注。目前在軟件工程開發(fā)中運用數(shù)據(jù)挖掘技術(shù)，最為常用的方法主要有以下幾種。

4.1 關(guān)聯(lián)法

所謂關(guān)聯(lián)法，主要是指一種關(guān)注兩個事物之間的內(nèi)在聯(lián)系和外在聯(lián)系的研究方法。在數(shù)據(jù)挖掘技術(shù)中，關(guān)聯(lián)方法經(jīng)常應(yīng)用于數(shù)據(jù)的處理和采集[3]。在實際應(yīng)用中，相關(guān)法的工作原理主要體現(xiàn)在相關(guān)性和趣味性相關(guān)性上。基于這兩個關(guān)聯(lián)原則，數(shù)據(jù)挖掘技術(shù)與軟件工程的關(guān)系包括支持度和置信度，這也是檢測挖掘出的關(guān)聯(lián)規(guī)則是否有效的重要指標(biāo)。具體而言，支持度可以用公式P（A）表示∪B） ，這是兩個∪B和一組A可以出現(xiàn)在事務(wù)集D中。置信度屬性可以用公式P（B | A）表示，主要是指當(dāng)事務(wù)集D中出現(xiàn)項目集A時，項目集B的出現(xiàn)概率。

4.2 分類法

分類法可以簡單地看作是一種可以使用分類標(biāo)簽預(yù)測的執(zhí)行操作。在分類法的實際應(yīng)用中，需要確保有一個相應(yīng)的分析模型作為基礎(chǔ)，即需要建立一個與分類法對應(yīng)的分析類型。同時，分析模型本身必須有一定的應(yīng)用基礎(chǔ)，這就需要提前引入數(shù)據(jù)類集或概念集。目前，在軟件工程領(lǐng)域分類的實際應(yīng)用中，判斷樹方法是最常用的方法，它還包括神經(jīng)網(wǎng)絡(luò)分類、K-最近分類等小方法。應(yīng)該注意的是，在使用分類法時，有必要清楚地理解和掌握計算方法及其適用范圍，以便以最低的成本獲得最佳結(jié)果。

4.3 聚類法

所謂聚類方法是根據(jù)一定的分類標(biāo)準(zhǔn)將研究工作中涉及的數(shù)據(jù)對象細(xì)化為不同的類和不同的聚類的過程。同時，在此過程中，有必要確保同類數(shù)據(jù)對象和集群之間有高度的了解。相反，不同類別和集群的數(shù)據(jù)之間必須存在相對明顯的差異?？梢哉f，聚類方法與上述分類方法有著本質(zhì)的區(qū)別。用聚類方法劃分的數(shù)據(jù)對象不能作為指導(dǎo)學(xué)習(xí)的方法，即不能進行預(yù)測。然而，聚類方法可以應(yīng)用于其他算法的預(yù)處理，特別是在數(shù)據(jù)分布信息的獨立分析中，聚類方法得到了廣泛的應(yīng)用。這是因為聚類方法在孤立點挖掘中具有非常有利的性能。

5 在軟件工程中數(shù)據(jù)挖掘技術(shù)的應(yīng)用發(fā)展方向

數(shù)據(jù)挖掘技術(shù)在軟件工程中應(yīng)用的根本目的是最大限度地提高軟件開發(fā)的質(zhì)量和效率，為后續(xù)的管理工作打下良好的基礎(chǔ)。因此，數(shù)據(jù)挖掘技術(shù)在軟件工程中的每一個要素都必須隨著軟件工程的發(fā)展而不斷優(yōu)化和更新，從而促進軟件工程與數(shù)據(jù)挖掘技術(shù)更緊密地結(jié)合，發(fā)揮最佳作用。因此，數(shù)據(jù)挖掘技術(shù)在未來的發(fā)展和應(yīng)用過程中，應(yīng)朝著更高性能的挖掘研究方向努力前進。也就是說，針對軟件工程中數(shù)據(jù)挖掘技術(shù)存在的實際問題，需要開發(fā)一種性能更高的挖掘算法[4]。值得注意的是，目前在軟件工程中，雖然絕大多數(shù)測試工具都能檢測出違反給定程序的動態(tài)或靜態(tài)規(guī)則所造成的缺陷，但要檢測出容易出現(xiàn)缺陷的信息，可以根據(jù)軟件執(zhí)行，但仍然存在一大缺陷，對于更復(fù)雜的缺陷，很難準(zhǔn)確檢測。因此，發(fā)展方向應(yīng)該是更廣泛的復(fù)雜缺陷檢測工具。同時，面對近年來軟件工程規(guī)模的逐步擴大，軟件需求的進一步增加，無論是在細(xì)化軟件開發(fā)工具，還是在軟件開發(fā)人員的參與方面都提出了更高的要求，軟件開發(fā)周期也進一步被迫延長。針對這一問題，針對海量數(shù)據(jù)信息，數(shù)據(jù)挖掘技術(shù)應(yīng)該圍繞數(shù)據(jù)降維、特征提取的開放方向發(fā)展，從而開發(fā)出更高效的數(shù)據(jù)預(yù)處理方法。此外，我們應(yīng)該充分結(jié)合人工智能技術(shù)、機器人技術(shù)等更先進的科學(xué)技術(shù)，完善數(shù)據(jù)挖掘技術(shù)本身，以便更好地服務(wù)于軟件工程的各個領(lǐng)域。

6 結(jié)束語

數(shù)據(jù)挖掘技術(shù)已經(jīng)成為軟件工程不斷發(fā)展和進步的關(guān)鍵。因此，在未來的軟件工程中，更應(yīng)加強數(shù)據(jù)挖掘技術(shù)與軟件開發(fā)、軟件管理等工作環(huán)節(jié)的有機融合，讓更多科學(xué)合理的數(shù)據(jù)挖掘技術(shù)應(yīng)用于軟件工程領(lǐng)域，促進軟件產(chǎn)品的優(yōu)化升級，更好地服務(wù)于客戶，服務(wù)于企業(yè)，服務(wù)于現(xiàn)代科技的發(fā)展。