陳偉迅

（廣州鐵路職業(yè)技術學院,廣東 廣州 511300）

0 引言

中國芯片行業(yè)是當前中國經(jīng)濟發(fā)展的重要組成部分，其發(fā)展趨勢也影響著中國經(jīng)濟的發(fā)展走向，已經(jīng)成為經(jīng)濟發(fā)展、國家信息安全的命脈[1]。隨著中國科技的不斷進步，中國芯片行業(yè)的技術研發(fā)也在迅速提升。中國已經(jīng)成為全球最大的芯片制造商，主要從事芯片研發(fā)、生產(chǎn)和銷售的企業(yè)數(shù)量也在不斷增加。2019年，中國芯片行業(yè)的市場規(guī)模達到了4.4萬億元，同比增長17.3%，這一數(shù)據(jù)表明，中國芯片行業(yè)發(fā)展勢頭強勁，市場規(guī)模不斷擴大。根據(jù)市場調(diào)研在線發(fā)布的2023—2029年中國芯片行業(yè)市場行情動態(tài)及發(fā)展前景展望報告分析，隨著中國經(jīng)濟和科技的發(fā)展，中國芯片行業(yè)的市場規(guī)模將進一步擴大。據(jù)業(yè)內(nèi)預測，到2022年，中國芯片行業(yè)的市場規(guī)模將達到7.5萬億元，同比增長7.3%。

隨著中國經(jīng)濟的發(fā)展，電子信息產(chǎn)業(yè)也在不斷發(fā)展，智能機器人、智能家居、自動駕駛等新興行業(yè)的發(fā)展，中國芯片行業(yè)的需求量也在不斷增加，行業(yè)的市場規(guī)模將進一步擴大。此外，政府和企業(yè)正在加大投入，將更多的資金用于芯片行業(yè)的研發(fā)和應用，加快行業(yè)技術進步，提高行業(yè)競爭力，從而促進行業(yè)的發(fā)展。綜上所述，隨著國民經(jīng)濟的持續(xù)發(fā)展，中國芯片行業(yè)將迎來更快的發(fā)展，市場規(guī)模和未來發(fā)展趨勢將繼續(xù)保持上升趨勢。

1 芯片質(zhì)檢的意義及現(xiàn)狀分析

芯片的生產(chǎn)流程一般包括芯片設計、晶片制作、芯片封裝三個步驟。芯片封裝作為芯片生產(chǎn)流程的最后一步，其封裝質(zhì)量和封裝可靠性影響著整個芯片產(chǎn)品的質(zhì)量。芯片封裝是將芯片固定在基底上，再將保護封蓋用金屬焊料焊接在基底上，在將芯片內(nèi)外電路連接的同時，起到對內(nèi)部芯片的保護作用，并且金屬封蓋還能增強芯片的整體散熱性能。因為芯片的制造過程十分復雜，在整個集成電路大規(guī)模工業(yè)生產(chǎn)過程中，集成芯片缺陷檢測是一個必不可少的環(huán)節(jié)[2]。一旦缺陷未被及時發(fā)現(xiàn)，將會對成品芯片的性能和可靠性產(chǎn)生影響，因此在生產(chǎn)過程中實時監(jiān)控芯片封裝的質(zhì)量逐漸成為芯片生產(chǎn)的必要步驟。在芯片生產(chǎn)制造過程中，各工藝流程環(huán)環(huán)相扣，技術復雜，材料、環(huán)境、工藝參數(shù)等因素的微變常導致芯片產(chǎn)生缺陷，芯片引腳數(shù)目缺失、傾斜及斷裂等問題[3]，影響產(chǎn)品良率。

芯片缺陷檢測的意義在于確保制造的芯片符合要求的規(guī)格，并在其預期應用中可靠運行。這一點至關重要，原因如下：

（1）產(chǎn)品可靠性：不符合要求規(guī)格的芯片可能在其預期應用中出現(xiàn)故障或性能不佳，這可能導致產(chǎn)品故障并降低客戶滿意度。

（2）質(zhì)量控制：芯片質(zhì)量檢查有助于通過識別和拒絕任何不符合要求規(guī)范的芯片來保持制造過程的完整性。這有助于確保只有高質(zhì)量的芯片被包裝并運送給客戶。

（3）成本節(jié)約：在檢查過程中識別和拒絕有缺陷的芯片有助于降低制造和維修成本，并將產(chǎn)品退貨和客戶投訴的風險降至最低。

（4）符合行業(yè)標準：芯片質(zhì)量檢查有助于確保制造的芯片符合行業(yè)標準和法規(guī)，這對市場接受度和消費者安全至關重要。

綜上所述，芯片質(zhì)量檢測作為芯片生產(chǎn)線中的關鍵環(huán)節(jié)，可以積極地反饋產(chǎn)品質(zhì)量信息，以便人們及時掌控各生產(chǎn)環(huán)節(jié)的健康狀況，促使質(zhì)量檢測技術在生產(chǎn)線中的作用越來越凸顯。

然而，傳統(tǒng)的目視芯片質(zhì)檢法存在檢查速度有限、準確度不高、勞動強度大、容易產(chǎn)生人為錯誤等局限性，影響了芯片質(zhì)檢的可靠性和效率。因此，亟須研發(fā)自動、可靠的芯片質(zhì)檢裝置。

隨著計算機視覺和人工智能技術的發(fā)展，基于這兩種技術的芯片質(zhì)檢方法應運而生，與傳統(tǒng)方法相比其優(yōu)勢如下：

（1）提高效率：計算機視覺算法可以以比傳統(tǒng)方法更快的速度處理圖像和檢查芯片。

（2）提高準確性：計算機視覺算法可以檢測更廣泛的缺陷，包括小的或細微的缺陷，比傳統(tǒng)方法更準確。

（3）減少人為錯誤：計算機視覺系統(tǒng)可以消除人為錯誤的影響，對于確保檢查過程的一致性和可靠性尤為重要。

（4）增強可追溯性：計算機視覺系統(tǒng)可以提供詳細的檢查記錄和數(shù)據(jù)，可用于提高芯片制造過程的整體效率和有效性。

該裝置目的是克服現(xiàn)有技術的不足和缺陷，主要克服了現(xiàn)有技術中的傳統(tǒng)算法單一檢測芯片外部缺陷，無法滿足需求的問題。

2 基于YOLOv3的芯片軟硬件質(zhì)檢裝置

針對現(xiàn)有技術不足，該作品從芯片質(zhì)檢環(huán)節(jié)入手，利用深度學習算法和射頻模組，實現(xiàn)了準確高效的芯片表面缺陷和內(nèi)部軟件的聯(lián)合質(zhì)檢，除了能檢測出劃痕、引腳缺失等外觀缺陷外，還能檢測出芯片的基本功能是否完好。

圍繞軟芯片硬件聯(lián)合質(zhì)檢這一總體目標，針對芯片缺陷的類別多樣、形態(tài)各異、背景復雜等特點，面向快速、自動化質(zhì)檢的需求，該文設計了一種基于YOLOv3[4]的芯片軟硬件質(zhì)檢裝置。芯片從入口輸送到該裝置后，通過YOLOv3芯片檢測技術對芯片表面進行質(zhì)檢，將由傳送帶進行傳送和分揀，根據(jù)識別結(jié)果控制機械臂阻攔實現(xiàn)分揀效果，硬件質(zhì)檢合格的芯片將進入軟件質(zhì)檢模塊；不合格的芯片則由傳送帶上的分揀器根據(jù)缺陷種類自動進行分揀。采用雙高射頻模組對芯片內(nèi)部線圈檢測，不合格的芯片同樣由傳送帶上的分揀器阻攔分揀，雙重保障下提高芯片的出關質(zhì)量。

2.1 裝置硬件設計

芯片缺陷檢測裝置的硬件部分如圖1所示。硬件部分由照明機構(gòu)、相機、鏡頭和計算機組成，用于拍攝清晰的芯片表面圖像，反饋到計算機內(nèi)存中。裝置的軟件部分由YOLOv3模型實現(xiàn)缺陷檢測和分類功能，由雙高射頻模組協(xié)議測試平臺檢測芯片內(nèi)部缺陷。該檢測裝置使用一種運用直射光的環(huán)形照明方式，CCD相機采用800萬像素的工業(yè)電子顯微鏡相機，分辨率為1 920×1 080，最終完成對芯片表面缺陷高質(zhì)量、高效率的圖像采集，以便后續(xù)算法的實現(xiàn)。

圖1 裝置結(jié)構(gòu)圖

2.2 功能模塊介紹

就功能而言，系統(tǒng)主要可以分為圖像采集模塊、模型訓練模塊、芯片表面缺陷檢測模塊和芯片軟件質(zhì)檢模塊這四大模塊。各模塊具體的使用方法分述如下：

2.2.1 圖像采集模塊

圖像采集模塊主要由高清工業(yè)攝像頭模組組成，同時要求攝像頭模組提供可供取視頻流的SDK組件。使用時，需要先將攝像頭安裝到適合拍攝各種不同排列的芯片的位置，并將攝像頭通過網(wǎng)線連接到后臺服務器，以供實時從攝像頭前端獲取包含集裝號的視頻流。

2.2.2 模型訓練模塊

該模塊主要訓練用于定位芯片表面缺陷位置的Yolov3目標識別模型。具體來說，需要首先從后臺由前端攝像頭拍攝的視頻流中導出包含芯片的圖像。為了識別的準確性，導出的含芯片目標的圖像統(tǒng)一為jpg格式，并對每一張包芯片圖像進行兩類標注，即圖像種類標注，以及圖像中芯片缺點位置標注（如圖2所示）。該過程需要人工手動完成。芯片圖像標注可以借助標注工具LabelImg完成。將目標圖片輸入LabelImg，手動框出芯片表面缺陷所在位置，并保存標注的結(jié)果，此時軟件LabelImg會生產(chǎn)一個與圖片同名的txt文件。保存的txt文件形式如下：

圖2 芯片圖像標注結(jié)果示意圖

前面的0代表只有一類，有兩行代表有兩個目標。后面是目標在圖片中的位置信息。前面兩個數(shù)字代表中心點位置、像素點/圖片尺寸；后兩位代表寬高、像素/圖片尺寸。

2.2.3 芯片表面缺陷檢測模塊

該模塊的功能是檢測芯片表面是否存在缺陷。在硬件質(zhì)檢模塊的輸入端配置了高清工業(yè)級攝像頭負責采集芯片樣品的圖像，所采集的芯片圖像會傳輸?shù)叫酒|(zhì)檢軟件平臺（圖3所示），當中部署了該作品提出的基于級聯(lián)卷積神經(jīng)網(wǎng)絡的芯片表面缺陷快速檢測模型，可對圖像中的芯片缺陷進行檢測和識別。模型的第一級網(wǎng)絡為輕量級圖像分類網(wǎng)絡，可識別出圖像中是否存在帶有缺陷的芯片；第二級網(wǎng)絡為目標檢測網(wǎng)絡，可以對圖像中的芯片缺陷精準地進行檢測和定位。通過輕量級分類網(wǎng)絡先對芯片圖像進行分類可以減少目標檢測網(wǎng)絡的調(diào)用，從而提高芯片硬件質(zhì)檢這一步驟的效率。

2.2.4 軟件質(zhì)檢模塊

該模塊搭載了雙高射頻模組協(xié)議測試平臺（圖4所示），可進行芯片應用設置功能測試、芯片與協(xié)議功能測試等。通過對芯片基本功能的測試，可判斷芯片內(nèi)部軟件是否運行正常，達到軟件質(zhì)檢的目的。

3 基于Yolov3的芯片缺陷檢測

該文采用You Only Look Once v3（YOLOv3）[5]模型來對芯片圖像中的異物進行檢測和定位。YOLOv3是一種常用的目標檢測網(wǎng)絡，通過使用一步回歸來預測圖像中物體的位置和類別。此外，通過引入特征金字塔網(wǎng)絡（FPN）[6]，YOLOv3對不同尺度的對象具有魯棒性，可檢測出圖像中的小目標。YOLOv3使用Darknet-53作為其主干特征提取器。在主干網(wǎng)絡之后，采用了FPN在三個不同的尺度上檢測不同大小的目標。接著，YOLOv3通過添加若干個卷積層來預測對象的位置和類別。這些卷積層在三個不同的尺度上輸出特征圖，對邊界框、對象性和類別預測進行編碼。

上述模塊的配置使得YOLOv3可用于檢測芯片圖像中不同大小的缺陷。

4 結(jié)語

該文結(jié)合芯片質(zhì)檢領域的一般流程，對該裝置進行了功能分析，根據(jù)需要完成的功能和系統(tǒng)整體的需要，該文針對生產(chǎn)中產(chǎn)檢的芯片類型，設計了一種基于YOLOv3的芯片軟硬件協(xié)同質(zhì)檢裝置。裝置可以分為硬件部分和軟件部分，硬件部分包括各個硬件模塊的選型與設計，軟件部分包括開發(fā)平臺和開發(fā)語言的選擇、圖像處理的模塊設計、芯片定位和芯片分類識別的模塊設計和關鍵技術的設計。在圖像采集部分，該文根據(jù)裝置的功能需求調(diào)研后，對相機和鏡頭進行了選型。

采用高清工業(yè)攝像頭采集了訓練和測試所需的芯片樣本圖像，并進行人工標注，利用CNN框架搭建了卷積神經(jīng)網(wǎng)絡模型，并進行訓練和參數(shù)調(diào)優(yōu)，實現(xiàn)了芯片表面缺陷自動質(zhì)檢的目的。