濰柴動力股份有限公司 劉建飛 秦玉軍

本文介紹了引入TMMi 模型的原因及TMMi 成熟度級別，通過實施基于TMMi 的測試過程改進，構建了一套符合汽車行業(yè)特點的軟件測試流程，并在項目中實施應用，獲得了TMMi 3 級認證，實現(xiàn)了測試效率和軟件質量的提高。

近年來，隨著智能化、網(wǎng)聯(lián)化、電動化、共享化在汽車產業(yè)的不斷發(fā)展，汽車軟件的規(guī)模和復雜性急劇增加，軟件系統(tǒng)中潛在的風險越來越高，軟件缺陷引發(fā)的后果也越來越嚴重，而提高軟件質量的成本越來越高，測試費用約為總成本的30%～40%，為提高軟件測試效率以及軟件質量保證能力，測試團隊做了很多探索和嘗試。

（1）引入了CMMI，軟件質量管理取得了一定成效，但僅能提供基礎性的保障。CMMI 雖然提供了一整套研發(fā)管理規(guī)范，但關注的重點是軟件項目宏觀的過程管理、是否有階段性的交付成果等，而對于軟件質量控制的關鍵環(huán)節(jié)——軟件測試的關注嚴重不足，軟件質量難以得到有效提升[1]。

（2）經(jīng)過調研TMMi（Test Maturity Model Integration）是當前國際最權威的測試組織成熟度認證體系，其根本理念就是讓軟件測試從一個無序的、缺乏資源的、缺乏工具的、過程不明確的測試組織過程，發(fā)展成為“以缺陷預防為主要目標”的成熟可控的過程[2]。測試團隊學習借鑒TMMi 的體系方法，與CMMI 研發(fā)管理流程充分融合，基于TMMi 的2 級、3 級過程域及目標構建了一套符合汽車行業(yè)特點的包含軟件、硬件和系統(tǒng)的測試流程。

1 TMMi 簡介

TMMi，全稱Test Maturity Model Integration，即“測試成熟度模型集成”，是由TMMi 基金會開發(fā)的一個非商業(yè)化的、獨立于組織的測試成熟度模型。它是測試過程改進的一個先進模型，可用作組織的測試過程改進指南和參考框架。

TMMi 以美國伊利諾伊理工學院開發(fā)的TMM 框架為主要來源，借鑒了CMM/CMMI、Gelperin 和Hetzel 的測試模型演進以及其他一些關鍵測試標準，如IEEE829.ISTQB 等[3]。

TMMi 中的測試是一種廣義的定義，它包含所有產品質量相關的活動。TMMi 屬于階段型改進模型，該階段型模型使用預先定義的一系列過程域來為組織定義改進途徑。模型組件所描述的改進途徑被稱為成熟度級別。一個成熟度級別是明確定義的為了實現(xiàn)組織過程改進演進的穩(wěn)定階段。在TMMi 中有5 個級別，如表1所示，規(guī)定了成熟度級別和測試過程改進的路徑。

表1 TMMi 成熟度級別Tab.1 TMMi maturity level

除了TMMi 初始級，其他成熟度級別都包括了幾個過程域，其表明組織的測試過程改進應集中關注在哪里。每個過程域明確定義了組織要達到成熟度級別所必須要解決的問題，針對每個過程域定義了一系列測試活動，通過執(zhí)行測試活動不斷改進改過程域的測試實踐。下面詳細介紹基于TMMi 的2 級、3 級過程域及目標進行的測試改進過程。

2 測試改進過程

TMMi 測試改進過程主要分為五個階段，如圖1所示。

圖1 TMMi 過程改進階段Fig.1 TMMi process improvement stage

第一個階段是啟動階段，組建過程改進團隊。

第二個階段是診斷階段，制定差距分析計劃，進行差距分析。

第三個階段是建立階段，制定過程改進計劃，進行過程建立和改進。

第四個階段是行動階段，進行過程改進試點及推廣。

第五個階段是學習階段，進行TMMi 評估認證及過程改進總結。

測試過程改進過程參考上述的五個階段進行開展，首先組建過程改進團隊，主管領導牽頭，以測試經(jīng)理、測試人員為主，視情況協(xié)調其他相關部門的人員支持，如開發(fā)人員、架構師等，組建持續(xù)改進的團隊。下面詳述診斷階段，如何進行差距分析。

2.1 軟件測試過程差距分析

首先確定以TMMi 3 級為測試改進實施的目標，而TMMi 3 級涉及的過程域如表2所示，軟件測試改進過程主要是針對這10 個過程域進行開展。

表2 TMMi 3 級涉及的過程域Tab.2 Process areas involved in TMMi Level 3

其次借助文檔檢查和員工訪談等方式，結合行業(yè)相關標準及TMMi 模型要求，深入分析測試管理方面存在的問題和可優(yōu)化環(huán)節(jié)。通過量化打分的方式展現(xiàn)目前各領域的現(xiàn)狀，輸出差距分析表，如圖2所示，發(fā)現(xiàn)6 項特殊目標、11 項通用目標未達標。

圖2 差距打分表Fig.2 Gap scoring table

最后根據(jù)差距分析結果，可以直觀了解TMMi 的滿足情況，以及離TMMi 目標要求的差距，從而明確改進的方向。進入測試改進過程的第三個階段，從測試流程、測試技術和測試人員能力提升方面制定測試改進實施計劃。

2.2 軟件測試管理與流程改進

首先根據(jù)業(yè)務發(fā)展需要，規(guī)劃測試團隊，測試團隊的組織架構示意圖如圖3所示，結合測試團隊規(guī)劃的崗位和勝任要求，量身制定相應的培訓計劃，確保各崗位人員達到崗位勝任力要求。

圖3 測試組織架構圖Fig.3 Test organization structure

其次根據(jù)測試管理需求以及測試管理方面存在的問題，設計測試管理流程架構，如圖4所示，構建符合實際需要的一套測試管理流程。

圖4 測試管理流程架構圖Fig.4 Test management process architecture

最后，在搭建測試管理流程過程中，累計完成TMMi的10 個過程域的36 個改進點。建立測試方針與策略、測試管理手冊、測試生命周期模型、測試項目管理、測試環(huán)境管理等8 項測試管理文件；建立軟件合格測試、硬件測試、系統(tǒng)測試、系統(tǒng)驗證、法規(guī)抽檢、同行評審等6 項具體過程規(guī)范文件；制定各類報告模板、評審依據(jù)、核查單等20 余項，形成公司寶貴的測試管理資產。

2.3 軟件測試環(huán)境與工具鏈改進

信息在工具中的孤立存在，對測試管理是一種低效且難以有效服務管理工作的狀態(tài)。建立和部署一體化管理信息系統(tǒng)，有助于促進組織內部將實踐、過程、運作進行形式化和標準化，提高組織管理成熟度。一個有效的工具鏈應能提高研發(fā)項目的成功率，幫助研發(fā)團隊提高效率，降低項目成本，并提高項目的及時交付率。全生命周期模型的管理工具應能夠融合方法論、TMMi 模型以及其他測試管理實踐。

引入看板作為項目任務管理工具，搭建WeKan 系統(tǒng)，進行測試任務的安排，讓項目協(xié)作權責分明、分工清晰，實現(xiàn)測試過程實時監(jiān)控及測試過程度量數(shù)據(jù)的高效統(tǒng)計。

搭建測試環(huán)境管理平臺，HIL 預約系統(tǒng)，將部門內的測試環(huán)境錄入系統(tǒng)，測試人員在系統(tǒng)中可查看到當前滿足測試條件的空閑HIL 信息，先預約再使用，釋放后其他人可預約使用；平臺上可監(jiān)控每臺HIL 的實際利用情況，通過白天手工測試及晚上自動化連跑的方式，對測試環(huán)境實現(xiàn)高效充分的利用。

建立測試資產管理平臺-Wiki（多人協(xié)作的寫作系統(tǒng)），將培訓材料、測試文檔、規(guī)范模板等分類上傳到系統(tǒng)，實現(xiàn)部門內知識共享和信息整合，提高資產的復用率。

3 項目應用及效果

將上述的基于TMMi 的測試改進流程應用到實際項目中，在項目的實施過程中，記錄發(fā)現(xiàn)的不符合項，并評價各個過程滿足TMMi 要求的程度如圖5所示。

圖5 差距打分表Fig.5 Gap scoring table

通過對發(fā)現(xiàn)的不符合項進行原因定位和解決，進行測試流程的持續(xù)優(yōu)化和改善，逐步形成一套適合本測試團隊業(yè)務，符合行業(yè)標準要求的測試管理流程，最終獲得TMMi 的3 級認證。

在項目應用過程中，建立14 項測試流程規(guī)范，確保測試過程可控，測試方法一致，確保測試質量穩(wěn)定，使得測試過程更加規(guī)范；經(jīng)過培訓，測試人員專業(yè)能力得到提升；根據(jù)風險分析開展不同程度的測試，測試用例覆蓋率提高30%，自動化率提高46%，測試效率進一步提高；數(shù)字化決策平臺實時監(jiān)控項目進展情況，實時度量缺陷嚴重度、缺陷狀態(tài)分布，質量監(jiān)控可視化程度提高；細化測試過程流程圖，完善指導文件、模板20 余項，管理成本有效降低；建立組織級過程資產庫，建立復用資產390 余項，資產復用率進一步提高。

4 結語

通過項目的試用，基于TMMi 的測試過程改進可以幫助測試部門提高軟件測試效率，提升軟件質量保證能力。下一步，需要在部門內的所有項目中進行推廣落地，在實施過程中持續(xù)改進，優(yōu)化流程，實現(xiàn)測試流程的動態(tài)持續(xù)改進，進一步提高軟件測試效率。