顧 鑫， 曹丹華， 吳裕斌， 欒永昕， 王偉成

(1.華中科技大學(xué) 光學(xué)與電子信息學(xué)院,湖北 武漢 430074; 2.江蘇北方湖光光電有限公司,江蘇 無(wú)錫 214035; 3.南京大學(xué) 軟件學(xué)院,江蘇 無(wú)錫 210000)

單片F(xiàn)PGA的小型非制冷紅外機(jī)芯設(shè)計(jì)

顧 鑫1,2， 曹丹華1， 吳裕斌1， 欒永昕2， 王偉成3

(1.華中科技大學(xué) 光學(xué)與電子信息學(xué)院,湖北 武漢 430074; 2.江蘇北方湖光光電有限公司,江蘇 無(wú)錫 214035; 3.南京大學(xué) 軟件學(xué)院,江蘇 無(wú)錫 210000)

針對(duì)傳統(tǒng)的基于數(shù)字信號(hào)處理器(DSP)+現(xiàn)場(chǎng)可編程門陣列(FPGA)的非制冷紅外機(jī)芯平臺(tái)存在體積大、功耗大、實(shí)時(shí)性差、系統(tǒng)集成度低等不足，提出了一種基于單片F(xiàn)PGA的小型化非制冷紅外機(jī)芯平臺(tái)設(shè)計(jì)。針對(duì)25 μm非制冷紅外探測(cè)器，為滿足小型化、低功耗要求，平臺(tái)在采用先進(jìn)的FPGA處理器和DDR3存儲(chǔ)器技術(shù)的同時(shí)，將硬件邏輯算法與NIOS Ⅱ軟核相結(jié)合，完成對(duì)紅外探測(cè)器的時(shí)序驅(qū)動(dòng)、溫度控制、圖像的非均勻性處理、圖像增強(qiáng)以及各種人機(jī)接口控制。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)成像質(zhì)量較高，系統(tǒng)功耗小于2 W，系統(tǒng)延時(shí)小于0.5 ms，系統(tǒng)具有較強(qiáng)的可拓展性。

非制冷紅外機(jī)芯; 現(xiàn)場(chǎng)可編程門陣列; IP核; NIOS Ⅱ

0 引 言

非制冷紅外機(jī)芯[1]有著廣闊的應(yīng)用前景，我國(guó)在此領(lǐng)域與國(guó)際先進(jìn)水平還存在較大差距。國(guó)內(nèi)單位在非制冷機(jī)芯開(kāi)發(fā)的時(shí)候往往采用基于現(xiàn)場(chǎng)可編程門陣列(FPGA)+數(shù)字信號(hào)處理器(DSP)的處理架構(gòu)[2，3]，其中FPGA負(fù)責(zé)探測(cè)器的時(shí)序驅(qū)動(dòng)、A/D數(shù)據(jù)采集和一些簡(jiǎn)單的控制處理，DSP負(fù)責(zé)復(fù)雜圖像算法的運(yùn)算。這種機(jī)芯由于采用了雙處理系統(tǒng)的架構(gòu)存在體積和功耗過(guò)大的問(wèn)題，同時(shí)還存在實(shí)時(shí)性較差、算法可移植性差等問(wèn)題。這些弊端決定了該處理架構(gòu)不適用于一些特別的定制領(lǐng)域,如手持便攜設(shè)備、高速圖像采集設(shè)備等。

FPGA是一種大規(guī)?？删幊绦酒?，其本身存在著編程靈活、并行快速、模塊化可移植性高等特點(diǎn)。隨著芯片技術(shù)的發(fā)展FPGA內(nèi)部又引入了NIOSⅡ軟核[4]，這更是彌補(bǔ)和加強(qiáng)了其作為系統(tǒng)主芯片的軟硬件集成控制力。

本文采用單芯片的處理架構(gòu)將探測(cè)器時(shí)序驅(qū)動(dòng)、A/D釆集處理、非均勻性校正[5]、圖像處理、人機(jī)通信和I/O控制等功能全部集成在一塊FPGA芯片上，并采用分時(shí)復(fù)用的DDR3仲裁技術(shù)使多個(gè)圖像處理算法共享DDR3內(nèi)存。實(shí)現(xiàn)緊湊化、小型化、低功耗機(jī)芯設(shè)計(jì)。系統(tǒng)實(shí)驗(yàn)證明了該非制冷紅外機(jī)芯成像質(zhì)量良好、功耗較低、實(shí)時(shí)性較好、體積較小。

1 非制冷機(jī)芯總體設(shè)計(jì)

非制冷紅外機(jī)芯由探測(cè)器，驅(qū)動(dòng)模塊，F(xiàn)PGA控制模塊和電源模塊4部分組成，如圖1所示。

圖1 非制冷機(jī)芯組件整體設(shè)計(jì)

其中，探測(cè)器采用國(guó)產(chǎn)25 μm氧化釩探測(cè)器。FPGA控制模塊共有2片DDR3,其中一片作為NIOSⅡ運(yùn)行的外部存儲(chǔ)器，另一片則用來(lái)存儲(chǔ)圖像及校正數(shù)據(jù)，F(xiàn)LASH用來(lái)存儲(chǔ)一些非均勻性參數(shù)以及其他需要掉電存儲(chǔ)的信息供開(kāi)機(jī)后調(diào)用。硬件上，F(xiàn)PGA芯片選用 Cyclone 5系列的5CEFA7F31C7NES；DDR3選用MT41J18M16JT—125；FLASH芯片選用M25P64。整個(gè)系統(tǒng)中FPGA首先對(duì)探測(cè)器發(fā)送工作時(shí)鐘、積分時(shí)間、TEC參數(shù)、片上非均勻性校正(OCC)參數(shù)等配置及校正信號(hào)，為探測(cè)器正常工作提供正確的時(shí)序，在保證探測(cè)器能正常工作的情況下,對(duì)探測(cè)器送來(lái)的14 bit量化圖像信號(hào)進(jìn)行紅外圖像算法處理，這些處理包括單點(diǎn)校正算法[6]、兩點(diǎn)校正算法[7]、盲元補(bǔ)償、直方圖均衡圖像增強(qiáng)[8]、非均勻性校正等。在完成各項(xiàng)時(shí)序控制和實(shí)時(shí)圖像處理后，紅外視頻信號(hào)將在PAL制模擬監(jiān)視器上顯示。

2 FPGA的定制與交互設(shè)計(jì)

整個(gè)FPGA系統(tǒng)由NIOS Ⅱ，控制寄存器組和外部硬件3個(gè)部分組成，系統(tǒng)定制如圖2所示。

圖2 FPGA系統(tǒng)定制

NIOS Ⅱ?yàn)橄到y(tǒng)的控制核心，各個(gè)邏輯模塊為具體功能實(shí)現(xiàn)采用硬件邏輯語(yǔ)言(VHDL)滿足高實(shí)時(shí)性?？刂萍拇嫫鹘M為獨(dú)立外設(shè)IP核，用來(lái)存儲(chǔ)各個(gè)邏輯模塊的數(shù)據(jù)和控制指令。NIOS Ⅱ與邏輯模塊之間通過(guò)Avalon總線與控制寄存器組進(jìn)行數(shù)據(jù)傳遞和指令下達(dá)。人機(jī)控制按鍵部分采用I/O口經(jīng)Avalon總線與NIOS Ⅱ交互。其他外部硬件也是通過(guò)各自IP核驅(qū)動(dòng)NIOS Ⅱ讀寫。系統(tǒng)工作時(shí)NIOS II對(duì)傳來(lái)的串口指令、按鍵狀態(tài)進(jìn)行存儲(chǔ)譯碼后轉(zhuǎn)入不同的流程語(yǔ)句處理，并調(diào)用各個(gè)功能邏輯模塊得到所需的輸出圖像。

比較發(fā)現(xiàn)，相比傳統(tǒng)的DSP+FPGA架構(gòu)的系統(tǒng)而言，由于該系統(tǒng)圖像處理部分采用硬件邏輯語(yǔ)言設(shè)計(jì)，其實(shí)時(shí)性明顯要高于前者；同時(shí)系統(tǒng)采用FPGA內(nèi)部集成的NIOS Ⅱ軟核作為中央控制器，提出了一種基于控制寄存器組的軟硬交互的控制方式，將眾多功能控制集成于一組寄存器，通過(guò)編址實(shí)現(xiàn)控制，具有較高的集成度和可控性。而以上功能僅需要一片芯片即可實(shí)現(xiàn)。

3 系統(tǒng)軟件設(shè)計(jì)

非制冷紅外機(jī)芯軟件設(shè)計(jì)包含2部分組成，其中對(duì)實(shí)時(shí)性要求較低的外部控制、以及數(shù)據(jù)初始化部分通過(guò)NIOS Ⅱ程序完成，對(duì)實(shí)時(shí)性要求較高的探測(cè)器時(shí)序驅(qū)動(dòng)、圖像處理算法和通信部分通過(guò)硬件邏輯語(yǔ)言實(shí)現(xiàn)。

3.1 非制冷機(jī)芯FPGA邏輯程序設(shè)計(jì)

3.1.1 探測(cè)器時(shí)序驅(qū)動(dòng)設(shè)計(jì)

探測(cè)器工作需要FPGA提供正確的時(shí)序，其中包括輸入時(shí)鐘(SCL)、幀使能信號(hào)(FS)、上電復(fù)位信號(hào)(Res_N)、配置信號(hào)(SDL，SDH)。像素時(shí)鐘6 MHz，探測(cè)器時(shí)鐘頻率(SCL)為像素時(shí)鐘頻率的6倍。FS為高電平期間，SDL配置圖像的行周期、積分時(shí)間。FS的下降沿為一幀圖像的開(kāi)始，此時(shí)OCC圖像校正數(shù)據(jù)通過(guò)SDL和SDH輸入到探測(cè)器，每行輸入一次。上電后驅(qū)動(dòng)模塊首先從DDR中獲得探測(cè)器配置參數(shù)，然后實(shí)時(shí)配置紅外探測(cè)器。驅(qū)動(dòng)模塊具體設(shè)計(jì)如圖3所示。

圖3 探測(cè)器時(shí)序驅(qū)動(dòng)模塊設(shè)計(jì)

驅(qū)動(dòng)模塊正常工作前需要為每個(gè)像素點(diǎn)尋找最優(yōu)的片上非均勻性校正(OCC)，本文通過(guò)模塊內(nèi)的算法，分析紅外數(shù)據(jù)“videodata”的均勻性，不斷調(diào)整OCC輸出直至“videodata”達(dá)到設(shè)定的均勻性指標(biāo)。同時(shí)探測(cè)器時(shí)序驅(qū)動(dòng)模塊也可以通過(guò)Avalon總線NIOS Ⅱ相連， NIOS Ⅱ讀取實(shí)時(shí)配置的OCC數(shù)據(jù)和所對(duì)應(yīng)的圖像數(shù)據(jù)，通過(guò)串口傳至上位機(jī)，利用上位機(jī)軟件進(jìn)一步分析OCC數(shù)據(jù)。

3.1.2 DDR3仲裁控制設(shè)計(jì)

傳統(tǒng)的DSP+FPGA設(shè)計(jì)往往常用SRAM或者是SDRAM，SRAM的讀寫速度最高為100 MHz，而SDRAM最高位167 MHz,較低的運(yùn)行速度直接導(dǎo)致了紅外系統(tǒng)需要采用4片或更多存儲(chǔ)器芯片，增加了系統(tǒng)體積和功耗。如圖4所示本文采用DDR3的設(shè)計(jì)。

圖4 DDR3仲裁模塊控制流程

DDR3有較高的運(yùn)行速度可達(dá)1 600 MHz,而紅外圖像處理的像素時(shí)鐘頻率較低為6 MHz,通過(guò)采用DDR3仲裁模塊設(shè)計(jì)可以協(xié)調(diào)各個(gè)圖像處理算法的讀寫需求，只需要一片就能滿足系統(tǒng)運(yùn)行。仲裁模塊采用異步時(shí)鐘緩沖技術(shù)，各圖像處理模塊只需要對(duì)仲裁模塊提出訪問(wèn)申請(qǐng)并給出數(shù)據(jù)、地址、時(shí)鐘等信號(hào)就能在周期內(nèi)完成操作而不影響其他模塊的讀寫。

3.2 非制冷機(jī)芯NIOS Ⅱ軟核設(shè)計(jì)

紅外機(jī)芯的NIOS Ⅱ配置通過(guò)Qsys軟件生成，Qsys是ALTERA最新一代的可視化SOPC[9]工具。NIOS Ⅱ程序通過(guò)不同地址設(shè)定讀取各個(gè)控制器和外部IP核的數(shù)據(jù)，并向其發(fā)送指令。NIOS Ⅱ主要功能流程如圖5所示。

圖5 NIOS II程序流程圖

NIOS Ⅱ在上電初始化時(shí)負(fù)責(zé)將探測(cè)器參數(shù)從Flash中寫入SDRAM；初始化完成以后，NIOS Ⅱ等待上位機(jī)指令，并根據(jù)指令調(diào)用各個(gè)功能邏輯模塊，更新圖像及圖像界面中的參數(shù)。

4 實(shí)驗(yàn)結(jié)果及其分析

4.1 OCC

受材料、工藝影響國(guó)產(chǎn)非制冷紅外焦平面探測(cè)器的各個(gè)像元之間的非均勻性不如國(guó)外器件， 會(huì)影響系統(tǒng)成像質(zhì)量，降低空間分辨率和溫度分辨率。國(guó)產(chǎn)探測(cè)器提供了一種前端校正手段,即OCC,通過(guò)每幀設(shè)定并發(fā)送OCC數(shù)據(jù)給探測(cè)器保證輸出響應(yīng)的一致性。圖6為通過(guò)示波器得到的OCC配置前后的探測(cè)器每幀數(shù)據(jù)的電壓輸出響應(yīng)(觀察背景為均勻黑體)。

圖6 探測(cè)器輸出波形

圖6中?，?采樣點(diǎn)的電壓差為電壓極差，觀察圖6(a)發(fā)現(xiàn)在OCC配置前探測(cè)器輸出電壓分布極差達(dá)到2.5 V，圖像均勻性較差。為了改善輸出響應(yīng)的一致性，通過(guò)程序計(jì)算OCC校正數(shù)據(jù)并配置，使探測(cè)器輸出穩(wěn)定在AD采樣區(qū)間內(nèi)基準(zhǔn)電壓值附近。圖6(b)為OCC配置后的一幀數(shù)據(jù)電壓輸出，其電壓分布極差得到了改善達(dá)到了460 mV。

4.2 紅外圖像處理

雖然OCC校正能保證一定的圖像非均勻性，但成像質(zhì)量仍不高，為了提高圖像質(zhì)量以及便于觀察，需要后期對(duì)探測(cè)器數(shù)據(jù)進(jìn)行兩點(diǎn)校正、圖像增強(qiáng)等工作，成像效果如圖7和圖8所示。

圖7 兩點(diǎn)非均勻性校正

圖8 紅外圖像增強(qiáng)

觀察可以發(fā)現(xiàn)：兩點(diǎn)非均勻性校正算法去除了圖像中的非均勻豎條紋，圖像增強(qiáng)算法顯著加強(qiáng)了圖像邊緣的輪廓感。

4.3 機(jī)芯功耗和實(shí)時(shí)性測(cè)試

為了測(cè)試機(jī)芯的性能我們將FPGA機(jī)芯與基于DM642 DSP芯片的非制冷紅外機(jī)芯做了對(duì)比，其結(jié)果如表1所示。

需要指出的是,實(shí)時(shí)性是指圖像處理系統(tǒng)的延時(shí)量，具體值為圖像輸入信號(hào)與圖像輸出信號(hào)階躍點(diǎn)的時(shí)間差。通過(guò)對(duì)比可以發(fā)現(xiàn)：基于FPGA的紅外機(jī)芯無(wú)論是在體積、功耗還是實(shí)時(shí)性方面都優(yōu)于傳統(tǒng)DSP機(jī)芯。

5 結(jié) 論

本文介紹了一種針對(duì)國(guó)產(chǎn)非制冷探測(cè)器的紅外機(jī)芯設(shè)計(jì)，設(shè)計(jì)采用以單片F(xiàn)PGA為核心的電路設(shè)計(jì)，通過(guò)SOPC技術(shù)及NIOSⅡ?qū)Ⅱ?qū)動(dòng)程序、圖像處理算法、應(yīng)用程序與硬件接口有效結(jié)合，在功耗、體積、實(shí)時(shí)性上相對(duì)傳統(tǒng)DSP紅外機(jī)芯有較大優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果顯示,該紅外機(jī)芯有著較高的圖像均勻性和成像質(zhì)量。該系統(tǒng)的完成對(duì)非制冷紅外機(jī)芯的國(guó)產(chǎn)化和小型化有著重要的意義。

[1] 馮 濤,金偉其,司俊杰.非制冷紅外焦平面探測(cè)器及其技術(shù)發(fā)展動(dòng)態(tài)[J].紅外技術(shù),2015(3):177-184.

[2] 王 磊,王寶珠,薛雙苓,等.基于DSP+FPGA的紅外熱成像偽彩色變換系統(tǒng)[J].制造業(yè)自動(dòng)化,2013,35(7):149-152.

[3] 黃戰(zhàn)華,楊鶴猛,孫立彬,等.一種基于DSP+CPLD的低功耗實(shí)時(shí)紅外成像系統(tǒng)實(shí)現(xiàn)方法[J].光學(xué)技術(shù),2012(1):14-18.

[4] 張?zhí)旌悖~ 偉，王陽(yáng)陽(yáng),等．基于SOPC的便攜式高精度頻率儀設(shè)計(jì)[J].儀表技術(shù)與傳感器,2015(5):34-37.

[5] 薛 慧.紅外焦平面陣列非均勻性校正方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2007.

[6] 候良科,楊俊剛,鄧新浦,等.含運(yùn)動(dòng)目標(biāo)的紅外圖像非均勻校正算法[J].傳感器與微系統(tǒng),2015,34(8):142-148.

[7] 楊正宇.基于SoC的IRFPA非均勻性校正研究[D].成都:西華大學(xué),2010.

[8] 陳 錢.紅外圖像技術(shù)及發(fā)展趨勢(shì)[J].紅外技術(shù),2013,35(6):311-318.

[9] 劉紫燕,馮 亮,祁 佳.一種基于FPGA的實(shí)時(shí)視頻跟蹤系統(tǒng)硬件平臺(tái)設(shè)[J].傳感器與微系統(tǒng),2014,33(7):98-102.

Design of miniaturized uncooled infrared movement based on FPGA

GU Xin1,2, CAO Dan-hua1, WU Yu-bin1, LUAN Yong-xin2, WANG Wei-cheng3

(1.School of Optical and Electronic Information,Huazhong University of Science and Technology; Wuhan 430074,China; 2.Jiangsu North Huguang Opto-Electronics Co Ltd,Wuxi 214035,China; 3.SoftWare Institute,Nanjing University,Wuxi 210000,China)

Aiming at problem that traditional uncooled infrared imaging system which based on DSP+FPGA has many disadvantages such as large volume,high power consumption,poor real-time performance,low system integration,and so on,a design of miniaturized uncooled infrared imaging system based on FPGA is proposed.The design aims at 25 μm uncooled infrared detector.The latest FPGA processor and DDR3 memory technology are adopted to meet the requirement of miniaturization and low power consumption.A novel solution of combination of hardware logic algorithm and NIOS Ⅱsoft core architecture is proposed.By this way,complete timing driving of infrared detector,temperature control,non-uniformity processing of image,image enhancement,man-machine interface control.Experimental results show the system owns characteristics of higher imaging quality,power consumption of system is less than 2 W,system delay is less than 0.5 ms and the system can be easy extended.

uncooled infrared movement; FPGA; IP core; NIOS Ⅱ

2016—06—08

10.13873/J.1000—9787(2017)06—0083—03

TN 216

A

1000—9787(2017)06—0083—03

顧 鑫(1979-)，男，博士，高級(jí)工程師，主要從事模式識(shí)別、人工智能圖像處理等技術(shù)研究。