摘要：隨著人工智能技術(shù)的飛速發(fā)展，機器學(xué)習(xí)作為其中的重要分支，被廣泛應(yīng)用于各個領(lǐng)域。旨在探討基于機器學(xué)習(xí)的軟件開發(fā)過程優(yōu)化問題，以提高軟件開發(fā)效率和質(zhì)量。首先，詳細(xì)分析了軟件開發(fā)過程中常見問題。其次，利用Apriori關(guān)聯(lián)規(guī)則算法對軟件開發(fā)過程中的大量數(shù)據(jù)進行訓(xùn)練和分析。然后，基于訓(xùn)練結(jié)果，優(yōu)化軟件開發(fā)中的各個環(huán)節(jié)，從而提高開發(fā)效率和降低錯誤率。研究結(jié)果表明，在實際軟件開發(fā)項目中，采用基于機器學(xué)習(xí)的優(yōu)化方法可以顯著提升團隊的協(xié)作效率，減少開發(fā)周期，提高軟件質(zhì)量。

關(guān)鍵詞：機器學(xué)習(xí)；軟件開發(fā)；過程優(yōu)化；Apriori關(guān)聯(lián)規(guī)則算法

一、前言

隨著信息技術(shù)的快速發(fā)展，軟件開發(fā)已經(jīng)成為各行業(yè)的重要組成部分。然而，傳統(tǒng)的軟件開發(fā)方法在滿足日益增長的需求和挑戰(zhàn)方面已經(jīng)顯得后勁不足。軟件質(zhì)量、開發(fā)效率、團隊協(xié)作等方面的問題愈發(fā)凸顯[1]。在這種背景下，機器學(xué)習(xí)作為一種新興的技術(shù)手段，為優(yōu)化軟件開發(fā)過程提供了全新的可能性。通過利用機器學(xué)習(xí)算法，軟件開發(fā)團隊可以更好地處理日益增加的開發(fā)數(shù)據(jù)，準(zhǔn)確識別和預(yù)測潛在問題，從而及時調(diào)整開發(fā)方向。此外，機器學(xué)習(xí)還可以幫助優(yōu)化開發(fā)流程，提高團隊的協(xié)作效率，降低開發(fā)成本，提高軟件的質(zhì)量和可靠性[2]。因此，本研究旨在探討基于機器學(xué)習(xí)的軟件開發(fā)過程優(yōu)化策略，為提高軟件開發(fā)效率和質(zhì)量探索新的可能性。

二、軟件開發(fā)過程常見問題分析

在軟件開發(fā)過程中，常見的問題包括需求不明確、溝通不暢、進度把控困難、代碼質(zhì)量低下等。首先，需求不明確可能導(dǎo)致開發(fā)團隊無法準(zhǔn)確理解客戶需求，進而影響產(chǎn)品的最終質(zhì)量。溝通不暢則可能導(dǎo)致開發(fā)團隊之間或開發(fā)團隊與客戶之間信息傳遞不暢，造成不必要的延誤和誤解。此外，軟件開發(fā)項目的進度把控往往是一個挑戰(zhàn)，團隊往往難以準(zhǔn)確估計開發(fā)時間和資源，導(dǎo)致項目延期或超預(yù)算。最后，代碼質(zhì)量低下可能導(dǎo)致軟件在使用過程中出現(xiàn)漏洞和問題，影響用戶體驗和產(chǎn)品可靠性。這些問題的存在常常會導(dǎo)致軟件開發(fā)過程效率低下、成本增加、質(zhì)量下降等負(fù)面影響。因此，研究如何有效解決這些常見問題，提升軟件開發(fā)過程的效率和質(zhì)量，具有重要的現(xiàn)實意義。結(jié)合機器學(xué)習(xí)等先進技術(shù)，可以幫助實現(xiàn)軟件開發(fā)過程的智能化優(yōu)化，為推動軟件產(chǎn)業(yè)的發(fā)展提供新的可能性[3]。

三、軟件開發(fā)數(shù)據(jù)挖掘技術(shù)

（一）數(shù)據(jù)挖掘流程

數(shù)據(jù)挖掘是從大量結(jié)構(gòu)與非結(jié)構(gòu)化的信息數(shù)據(jù)中采集有價值信息的過程。研究者對數(shù)據(jù)挖掘有很多定義，提出的分階段處理模型應(yīng)用較為廣泛，他們把整個數(shù)據(jù)挖掘階段分為七個過程。目前，數(shù)據(jù)采集挖掘方法已全面運用于金融、醫(yī)療等范疇，教育行業(yè)也在逐步根據(jù)自身特點和優(yōu)勢進行探索和實踐[4]。

數(shù)據(jù)采集挖掘步驟包括：目標(biāo)的定義、目標(biāo)數(shù)據(jù)庫建立、預(yù)處理數(shù)據(jù)、模型建立、檢測、測評與說明和現(xiàn)實運用，如圖1所示。

通過圖1可以清晰地看到數(shù)據(jù)挖掘過程和各項流程的關(guān)系。首先，目標(biāo)的定義是要求數(shù)據(jù)挖掘的技術(shù)人員與客戶前期進行一個良好的溝通，一方面可以明確實際要求，另一方面是要明確了解數(shù)據(jù)分析要解決什么具體問題。目標(biāo)數(shù)據(jù)庫的建立是通過對大數(shù)據(jù)的收集和描述，對數(shù)據(jù)質(zhì)量進行評估，加載數(shù)據(jù)庫模型，構(gòu)建元數(shù)據(jù)。預(yù)處理數(shù)據(jù)是整個挖掘過程中的重要環(huán)節(jié)，其耗費時間占整個數(shù)據(jù)挖掘過程70%左右。數(shù)據(jù)預(yù)處理有處理噪聲數(shù)據(jù)、不一致數(shù)據(jù)和不完整數(shù)據(jù)等。例如，在有噪音干擾環(huán)境下得到的數(shù)據(jù)屬性，不同數(shù)據(jù)來源會導(dǎo)致數(shù)據(jù)產(chǎn)生不一致性。模型的建立是一個反復(fù)的過程，需要認(rèn)真考慮模型的實用性，應(yīng)該先創(chuàng)建小量數(shù)據(jù)模型，然后進行數(shù)據(jù)驗證再得到一個最終模型，還需要通過檢測環(huán)節(jié)對模型的穩(wěn)定性和準(zhǔn)確性進行評判。測試與說明是對模型運行的結(jié)果進行檢驗并評價它的模型價值?，F(xiàn)實運用主要是在對模型進行充分論證和試驗后，應(yīng)用于技術(shù)人員的實際工作和其他不同數(shù)據(jù)集的分析上[5]。

（二）面向數(shù)據(jù)挖掘的機器學(xué)習(xí)方法

數(shù)據(jù)挖掘是大數(shù)據(jù)分析首要研究的熱點。所謂數(shù)據(jù)挖掘是指從存儲或數(shù)據(jù)庫的大量數(shù)據(jù)中，找到隱藏的、未知曉和無法發(fā)現(xiàn)的具有潛在價值信息的過程。數(shù)據(jù)挖掘是對發(fā)展決策的一種支持手段，它立足于人工智能、機器學(xué)習(xí)、統(tǒng)計學(xué)、數(shù)據(jù)庫、可視化等方法與技術(shù)，通過對大型數(shù)據(jù)庫的探查與分析，可以預(yù)測未來的發(fā)展趨勢與走向。例如，通過對高校的招生大數(shù)據(jù)分析可以得到哪些專業(yè)受到學(xué)生歡迎，哪些省份的生源質(zhì)量提高快，由此可以對學(xué)校的專業(yè)設(shè)置和招生名額分配提供一定決策支持。同樣，在教學(xué)管理、教學(xué)評價、網(wǎng)絡(luò)安全、學(xué)生管理等各個方面，大數(shù)據(jù)分析都有它重要的決策需求。在數(shù)據(jù)挖掘分析中最重要的基礎(chǔ)是有效的數(shù)據(jù)統(tǒng)計分析方法和數(shù)據(jù)分類分析方法[6]。

統(tǒng)計分析方法是在資料系統(tǒng)相對完善的基礎(chǔ)上進行統(tǒng)計分析，將定量和定性相融合，在統(tǒng)計調(diào)查、設(shè)計整理基礎(chǔ)上，通過分析統(tǒng)計對象的有關(guān)知識實施的活動來認(rèn)識研究對象。常用的統(tǒng)計分析方法有主成分分析法和因子分析法等。

主成分分析法（PCA）是一種借助正交變換將可能有關(guān)聯(lián)性的變量轉(zhuǎn)為無關(guān)聯(lián)變量的方法。主成分分析不是簡單地舍去不關(guān)鍵的標(biāo)準(zhǔn)，而是全面分析各種標(biāo)準(zhǔn)，涉及信息獲得變成主成分的全面標(biāo)準(zhǔn)，是數(shù)學(xué)降維的一種主要方法。

因子分析法本質(zhì)上是取得變量關(guān)聯(lián)的數(shù)據(jù)矩陣，研究內(nèi)部結(jié)構(gòu)。借助得到的若干能操控全部變量的任意變量，能夠說明諸多變量間的關(guān)聯(lián)性。這些不可查看的任意變量稱為因子，并按照關(guān)聯(lián)性進行分組。分組體現(xiàn)著同一組變量的關(guān)聯(lián)性高，而不同變量的關(guān)聯(lián)性低。

分類分析方法是指采用一定方法能夠?qū)ο髣澐值筋A(yù)先定義的目標(biāo)類中的方法。分類分為兩個過程：首先，在數(shù)據(jù)收集與采集的基礎(chǔ)之上借助算法獲得分類模型。例如，F(xiàn)是目標(biāo)模型函數(shù)，能夠?qū)?shù)據(jù)和屬性集X先行反饋到目標(biāo)類之中。其次，檢驗?zāi)Ｐ偷木珳?zhǔn)性，假如精確程度在可允許的范圍內(nèi)，則能夠使用該模型進行新的數(shù)據(jù)類別區(qū)分。目前，普遍使用的分類分析法有決策樹法、貝葉斯區(qū)分算法、類別區(qū)分法和相關(guān)分析法等。

決策樹分析法也被稱為樹形分析法，因其圖形與樹干相似得名，是一種使用較為普遍的分類分析方法。它具有操作簡單，易于理解的特點，是一種立足現(xiàn)實案例的總結(jié)學(xué)習(xí)算法，可以幫助使用者很好地理解問題。決策樹的類別區(qū)分涉及三個環(huán)節(jié)：首先繪制樹形決策圖，對決策問題進行再次分析；其次由右到左反方向計算各節(jié)點期望值；最后對比各類方案的一個期望值，進行剪枝，并將去掉的部分用“=”號隔斷。

四、基于Apriori算法的軟件開發(fā)過程中數(shù)據(jù)關(guān)聯(lián)分析

關(guān)聯(lián)分析是數(shù)據(jù)挖掘中最實用的技術(shù)之一，也是目前數(shù)據(jù)挖掘研究中較為活躍的技術(shù)。良好的關(guān)聯(lián)算法可以為數(shù)據(jù)分析節(jié)省大量時間和空間，從大量的數(shù)據(jù)池中快速發(fā)現(xiàn)子項集間存在的有趣關(guān)聯(lián)，并充分利用這種關(guān)聯(lián)進行進一步數(shù)據(jù)挖掘和呈現(xiàn)。目前常用的Apriori算法是較為基礎(chǔ)的關(guān)聯(lián)規(guī)則算法，可挖掘和采集諸多數(shù)據(jù)中項集之間的關(guān)聯(lián)性，縮小頻繁項集之間的空間。其重點理念是找出全部項集，保證出現(xiàn)的次數(shù)與定義的最小度一致，進一步生成可以滿足最小可信度和支持度的關(guān)聯(lián)規(guī)則。該算法在安全、通信、數(shù)據(jù)管理等領(lǐng)域都有廣泛的應(yīng)用，但是存在效率較低的問題，需要進一步改進和優(yōu)化。

（一）Apriori關(guān)聯(lián)規(guī)則算法

Apriori算法是利用了逐層搜索迭代的思想找到數(shù)據(jù)庫中的項集關(guān)系，生成關(guān)系規(guī)則。算法中的項集就是項的集合，如K個項即K項集，如果其中的一個項集滿足最小的支持度則稱為頻繁項集。Apriori的關(guān)聯(lián)規(guī)則思想本質(zhì)上是從數(shù)據(jù)庫中掃描所有候選項集，找到頻繁項集，進一步計算其支持度，將產(chǎn)生的候選項集互相聯(lián)結(jié)、循環(huán)，直至無法產(chǎn)生新候選項集為止。

該算法有四個性質(zhì)：一是在數(shù)據(jù)遍歷運算時，遵循自上而下、由底到頂?shù)谋闅v方式；二是堅持寬度和深度優(yōu)先的搜索策略；三是在給定的事務(wù)數(shù)據(jù)庫中，優(yōu)先尋找候選項集；四是在數(shù)據(jù)分布上，主要在水平和垂直兩個方向進行分布。

Apriori關(guān)聯(lián)規(guī)則算法流程是：第一，掃描數(shù)據(jù)庫，對數(shù)據(jù)庫中的數(shù)據(jù)進行計數(shù)，結(jié)合需求給出項目集最小支持度以及最小置信度；第二，針對所有候選項目集支持度進行計算和比較，當(dāng)該項目集支持度低于最小值支持度時將其刪除，否則將其作為下一步頻繁項集；第三，在第一次數(shù)據(jù)庫掃描時產(chǎn)生候選項集，并計算每個項集的承受度，令其與先行部署的最小承受度限值進行對比，獲得頻繁項集；第四，將頻繁項集數(shù)據(jù)項進行結(jié)合，經(jīng)過關(guān)聯(lián)后獲得候選項集，將其最小支持度閾值進行比較，進一步獲得候選項集；第五，借助多次掃描進行比較，直到?jīng)]有新的、更大的項集產(chǎn)生；最后，結(jié)合從最大頻繁集獲得的相關(guān)規(guī)則，借助計算相關(guān)規(guī)則的置信度，深入地獲得較為合理的相關(guān)規(guī)則。

（二）改進Apriori關(guān)聯(lián)規(guī)則算法

Mapreduce是分布式的簡化編程的模式和調(diào)度模型。前文分析表明傳統(tǒng)Apriori關(guān)聯(lián)算法存在耗時和需要消耗大量存儲空間等弊端。如果在Mapreduce模型基礎(chǔ)上能結(jié)合 Apriori算法，形成Mapreduce+Apriori交叉的算法結(jié)構(gòu)，則可以借助Mapreduce的并行計算框架改進傳統(tǒng)Apriori算法存在的計算效率不足弊端，可為數(shù)據(jù)挖掘工作提供一定技術(shù)支持。從算法的基本理念上來看，該算法是利用Mapreduce“劃分而治”的方法，將Apriori算法與Mapreduce框架進行結(jié)合。算法具體計算過程將分為Map和Reduce兩部分，通過這兩部分把大塊數(shù)據(jù)文件劃分成獨立的數(shù)據(jù)塊進行并行計算處理，其處理的過程如圖2所示。

Mapreduce+Apriori交叉算法內(nèi)容包括：掃描原始數(shù)據(jù)到矩陣，壓縮重復(fù)數(shù)據(jù)成矩陣D；利用Mapreduce的并行計算模式特性對矩陣D分塊；將分塊后的矩陣D發(fā)送到Hado結(jié)構(gòu)中的每一個計算終端上；由每一臺計算終端對數(shù)據(jù)進行分布式的計算處理，通過并行計算提高數(shù)據(jù)計算效率，擴大存儲空間。

該算法是運用Mapreduce并行模型與 Apriori關(guān)聯(lián)算法進行交叉融合。首先，將原始的數(shù)據(jù)劃分區(qū)塊，將數(shù)據(jù)集分為數(shù)據(jù)塊并提交給map節(jié)點。其次，引入局部最小承受度限值，按照塊的占比計算局部最小承受度限值。最后，針對每一塊數(shù)據(jù)使用該算法來減少事務(wù)數(shù)據(jù)矩陣的限值。這種算法通過借助數(shù)據(jù)的不斷劃分來采集數(shù)據(jù)矩陣中的頻繁項集。在整個計算階段之中，減少了對數(shù)據(jù)庫的掃描次數(shù)和頻率，可以降低算法的完成時間，提高算法的計算效率。

五、實驗結(jié)果分析

為驗證上述改進算法的有效性，本文在 Mapreduce模型結(jié)構(gòu)下，構(gòu)建一個分布式集群環(huán)境。該集群環(huán)境共建立了7個節(jié)點，各節(jié)點處理器主頻CPU2.8兆赫茲、6GB內(nèi)存，操作系統(tǒng)為 Linux的Ubuntu18.10。傳統(tǒng)的數(shù)據(jù)分割式算法在計算耗時上較為顯著，在三頻繁項集關(guān)聯(lián)算法中耗費時間最長為35019秒，簡單并行算法時間的耗費為其次，在三頻繁項集關(guān)聯(lián)算法中耗費時間為30982秒。而本文的“Mapreduce+Apriori”交叉算法，在1、2、3頻繁項集中消耗時間分別為10228秒、12921秒以及29851秒，有效改善了在挖掘過程中隨著頻繁項數(shù)據(jù)的不斷增加而導(dǎo)致的系統(tǒng)運行速度和計算速度明顯降低的問題。表1給出了Mapreduce+ Apriori交叉算法在不同數(shù)量集群節(jié)點上的加速比提升結(jié)果。因而在耗時和加速方面，本文所提算法明顯要優(yōu)于其他兩種算法。

六、結(jié)語

本研究基于機器學(xué)習(xí)的軟件開發(fā)過程優(yōu)化方法在提高軟件開發(fā)效率和質(zhì)量方面具有重要意義。研究的創(chuàng)新點在于將機器學(xué)習(xí)技術(shù)應(yīng)用于軟件開發(fā)過程中，實現(xiàn)了自動化的問題識別和預(yù)測。傳統(tǒng)的軟件開發(fā)過程依賴于人工經(jīng)驗和規(guī)則的制定，容易受主觀因素的影響，并且無法處理大量數(shù)據(jù)的復(fù)雜性。而基于機器學(xué)習(xí)的方法可以更準(zhǔn)確地分析數(shù)據(jù)，發(fā)現(xiàn)隱藏在其中的規(guī)律和趨勢，幫助開發(fā)團隊更好地規(guī)劃和管理項目。未來可以進一步探索該方法在不同領(lǐng)域和環(huán)境中的應(yīng)用，并結(jié)合其他先進技術(shù)，實現(xiàn)軟件開發(fā)過程的智能化和自動化，為推動軟件產(chǎn)業(yè)的發(fā)展作出貢獻。

參考文獻

[1]呂志穎.基于大數(shù)據(jù)智能化的信貸軟件開發(fā)過程優(yōu)化研究[D].杭州：浙江大學(xué)，2023.

[2]黃作鵬.基于CMMI的鵬成網(wǎng)絡(luò)公司軟件開發(fā)質(zhì)量管理優(yōu)化研究[D].蘭州：蘭州理工大學(xué)，2023.

[3]馬潤楠.基于DevOps的A公司軟件項目過程管理優(yōu)化研究[D].北京：北京郵電大學(xué)，2024.

[4]張暉.基于敏捷開發(fā)的D公司軟件項目管理過程優(yōu)化研究[D].濟南：山東大學(xué)，2022.

[5]駱傳慧.FPGA軟件開發(fā)過程中編碼規(guī)范的作用[J].科技視界，2016（20）：239+241.

[6]白銳，任群英，郭萬里.生料漿制備過程的優(yōu)化控制軟件[J].上海交通大學(xué)學(xué)報，2014，48（07）：998-1003.

作者單位：青島濱海學(xué)院

責(zé)任編輯：張津平、尚丹