楊婧薇,錢蕓生,柳 磊,盧 杰
(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院,江蘇 南京 210094)
電子轟擊型有源像素傳感器(electron bombarded active pixel sensor,EBAPS)是一種高性能的真空-半導(dǎo)體混合器件,具有高靈敏度、快響應(yīng)度、低成本、低功耗等優(yōu)點,廣泛應(yīng)用于軍事裝備、遙感測繪、空間探測等領(lǐng)域,研究EBAPS 已成為數(shù)字微光夜視技術(shù)研究領(lǐng)域的重點方向[1]。EBAPS 是減薄后的互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)芯片在像增強器熒光屏位置進行耦合,通過采用光電子轉(zhuǎn)換成高能倍增電子的方式,使低照度光電圖像得以倍增的[1]。其工作過程如下:微弱的光信號透過入射窗到達光陰極,在光陰極表面發(fā)生外光電效應(yīng)并產(chǎn)生微弱的光電子信號;在光陰極與電子敏感CMOS 負(fù)高壓的作用下,電子加速撞擊有源像素傳感器(active pixel sensor,APS)表面的電子倍增層以實現(xiàn)電子數(shù)目的倍增;產(chǎn)生的二次電子被傳感器結(jié)區(qū)收集后經(jīng)過光電二極管輸出,實現(xiàn)微弱信號的探測與采集,以方便后續(xù)信號的處理[2]。
EBAPS 技術(shù)屬于高科技軍事領(lǐng)域,美國和法國在這方面的研究成果最為突出。1999 年,美國Intevac 公司率先發(fā)布了電子轟擊有源像素傳感器混合型光電探測器的相關(guān)發(fā)明專利[3];2005 年,美國Intevac 公司發(fā)布了ISIE6 和ISIE10,相對于Night Vista 幀頻提升,讀出噪聲減小,低照度性能更優(yōu)[4-5];2009 年,法國核物理研究所研制的EBAPS 器件的靈敏度探測下限達到了單光子量級[6];2013 年法國Photonis 公司推出名為EBNOCTURN 的EBAPS 相機[5-7];2020 年,Intervac 公司為美國海軍提供ISIE19型EBAPS 傳感器,便于海軍陸戰(zhàn)飛行員在微光環(huán)境下正常執(zhí)行任務(wù)[5]。在國內(nèi),以北方夜視技術(shù)股份有限公司和微光夜視技術(shù)國防科學(xué)重點實驗室為代表的研發(fā)團隊已在EBAPS 的理論研究、器件制備等方面取得一定成果[2,8-9],但其成像電路所采用的多數(shù)芯片主要依賴于進口。由于美國在半導(dǎo)體行業(yè)對中國的制裁,使得芯片供不應(yīng)求,阻礙了我國EBAPS 成像系統(tǒng)的發(fā)展,因此,本文基于EBAPS的國產(chǎn)成像電路研制展開了深入研究。
本文擬設(shè)計一套基于EBAPS 的全國產(chǎn)成像電路評估板。該系統(tǒng)全部采用國產(chǎn)芯片,以FPGA 芯片作為核心處理器,針對我國自主研發(fā)的電子轟擊型有源像素傳感器的特點設(shè)計成像電路;其電路對CMOS 圖像傳感器輸出的圖像信號進行實時采集,并通過數(shù)字圖像處理算法提高成像質(zhì)量;采用Cameralink 接口實現(xiàn)1 280×1 024 pixel@30 f/s 視頻輸出。該成像系統(tǒng)可實現(xiàn)3×10-3lx 環(huán)境照度下目標(biāo)物體的成像,對微光夜視技術(shù)和國內(nèi)集成電路產(chǎn)業(yè)的發(fā)展具有重要意義,對低照度環(huán)境下的探測工作有一定的應(yīng)用價值。
本文選定了國內(nèi)某公司用國產(chǎn)APS 芯片完成封裝的正照式EBAPS 器件,其基本結(jié)構(gòu)[1-2]如圖1所示。該APS 芯片分辨率為1 280(H)×1 024(V)像素,像素時鐘最大不超過80 MHz,主要工作波段為0.3 μm~0.97 μm,卷簾門式曝光,由9 路外部信號控制,分別是VSYNC、HCLK、HSYNC、VCLK、RD1、RD2、RST、SEL、T,其中VSYNC 信號的占空比設(shè)置決定有效曝光時間,且采用模擬差分輸出方式。APS 芯片的主要技術(shù)參數(shù)在一定程度上會影響其他器件的選型與硬件電路的設(shè)計,芯片主要技術(shù)參數(shù)如表1 所示。
表1 APS 芯片主要技術(shù)參數(shù)Table 1 Main technical parameters of APS chip
圖1 EBAPS 基本結(jié)構(gòu)示意圖Fig.1 Schematic diagram of basic structure of EBAPS
本系統(tǒng)將復(fù)旦微電子FMK50t 系列FPGA(field programmable gate array)芯片作為核心處理器,含CMOS 圖像傳感器模塊、模數(shù)信號轉(zhuǎn)換模塊、FPGA核心板模塊、視頻輸出模塊以及系統(tǒng)供電模塊5 個模塊。其中,CMOS 圖像傳感器模塊由FPGA控制,在高壓電子轟擊模式下,器件表面的光陰極接收到光學(xué)鏡頭匯聚的光信號,光陰極發(fā)生光電效應(yīng)產(chǎn)生光電子,在高壓電場的作用下,光電子加速撞擊APS 芯片實現(xiàn)電子倍增,最終以一對差分模擬信號輸出;模數(shù)信號轉(zhuǎn)換模塊完成模擬信號到數(shù)字信號的轉(zhuǎn)換,在接收CMOS 圖像傳感器模塊輸出的模擬信號時,先通過具有緩沖作用的電壓跟隨器,隨后經(jīng)過可平衡差分輸入的全差分運算放大器,從AD(analog digital)轉(zhuǎn)換器輸出16 bit的數(shù)字信號至FPGA 核心板模塊中;FPGA 核心板模塊對數(shù)字信號進行有效地緩存與處理后,在視頻輸出模塊將數(shù)字信號通過Cameralink 采集卡傳輸?shù)缴衔粰C,實現(xiàn)Cameralink 接口輸出。整個系統(tǒng)的總電源幅值為12 V,系統(tǒng)供電模塊則是通過電源芯片的轉(zhuǎn)換以滿足各個模塊的供電需求,整個成像系統(tǒng)結(jié)構(gòu)框圖如圖2 所示。
本項目硬件電路圍繞EBAPS 傳感器、FPGA核心處理器開展系統(tǒng)的硬件設(shè)計。依據(jù)模塊化的設(shè)計理念,硬件電路設(shè)計主要包括系統(tǒng)電源板、探測器驅(qū)動板、FPGA 核心板、視頻輸出板,通過合理的器件選型、外圍電路設(shè)計、PCB 繪制和調(diào)試完成各電路板的預(yù)設(shè)功能。
系統(tǒng)電源模塊負(fù)責(zé)各個模塊的供電工作,是設(shè)計電路能否正常工作的基礎(chǔ)與保障。根據(jù)DCDC(direct current-direct current)電源芯片轉(zhuǎn)換效率高、輸入電壓范圍寬,LDO(low drop-out)電源芯片穩(wěn)定性好、負(fù)載響應(yīng)快、效率低等特點,結(jié)合各模塊供電需求,本設(shè)計采用矽力杰的DC-DC 開關(guān)電源SY8113 和圣邦微LDO 電阻分壓電源芯片SGM2028。在原理圖設(shè)計時,為避免供電電源引起串?dāng)_,電路采用單獨供電的方式;為減小電壓波動,芯片輸出端采用串聯(lián)鉭電容的方式穩(wěn)定信號。系統(tǒng)電源模塊供電方案如圖3 所示。
圖3 系統(tǒng)電源模塊供電方案Fig.3 Power supply scheme of system power module
探測器驅(qū)動板包含圖像傳感器模塊和模數(shù)信號轉(zhuǎn)換模塊。UV1280 芯片是圖像傳感器模塊的核心器件,該芯片有9 路數(shù)字驅(qū)動信號線、2 路模擬差分信號線;模數(shù)信號轉(zhuǎn)換模塊核心芯片為AD轉(zhuǎn)換器。本設(shè)計中,AD 選擇的是芯佰微的16 位模數(shù)轉(zhuǎn)換器CBM92AD68-80,其采樣率為80 MSPS。為了保證圖像信號的穩(wěn)定,本設(shè)計采用杭州瑞盟的MS8617M 電壓跟隨器和華芯微的HRF8138M差分放大器完成信號的緩沖和放大。
現(xiàn)場可編程門陣列(FPGA)是一種可編程的半定制電路,可通過編寫硬件邏輯語言完成數(shù)據(jù)信息存儲與處理。本系統(tǒng)選用復(fù)旦微電子FMK50 系列FPGA 的芯片,該芯片具有52 k 邏輯單元、120 個計算單元、250 個User I/O、4 個通用高速收發(fā)器,與市面上具有相同可編程邏輯資源的主流FPGA相對比,該芯片功耗更低,性價比更高。在數(shù)據(jù)存儲方面,為穩(wěn)定數(shù)據(jù)信號以及提高圖像質(zhì)量,F(xiàn)PGA核心板模塊設(shè)有西安紫光國芯半導(dǎo)體的DDR(double data rate)芯片HXI15H4G160AF-13K 用于圖像緩存,兆易創(chuàng)新的FLASH 芯片GD25S512MD 用于數(shù)據(jù)存儲。根據(jù)設(shè)計要求,本項目基于復(fù)旦微FMK50T4-FPGA 芯片完成核心板設(shè)計,該核心板上設(shè)有主、從FPGA,為保證兩片F(xiàn)PGA 芯片之間可進行高速無損數(shù)據(jù)通信,在PCB(printed circuit board)設(shè)計時,著重確保信號線等長、等間距。
視頻輸出模塊使用Cameralink 視頻輸出方式[10],采用85 MHz 時鐘頻率。Cameralink 芯片采用成都振芯科技的接口控制芯片GM8283,該芯片具有寬時鐘頻率范圍10 MHz~90 MHz,可將并行輸入的28 bits LVCMOS(low-voltage CMOS)數(shù)據(jù)和1 bit 時鐘信號轉(zhuǎn)為5 路串行通道輸出。電路中信號線多為差分信號,為解決輸出差分信號極性相反、差分阻抗不變且抑制共模干擾等問題,在PCB 設(shè)計中遵循等長、等間距的設(shè)計原則。硬件電路實物如圖4 所示。
圖4 關(guān)鍵硬件電路實物圖Fig.4 Physical drawing of key hardware circuits
FPGA 邏輯設(shè)計含CMOS 驅(qū)動模塊、AD 配置模塊、數(shù)據(jù)處理模塊、視頻輸出模塊。邏輯設(shè)計框圖如圖5 所示。
圖5 邏輯設(shè)計框圖Fig.5 Block diagram of logic design
CMOS 驅(qū)動模塊是整個邏輯設(shè)計中的起始端,該模塊使用Verilog 語言編寫傳感器9 路數(shù)字驅(qū)動信號的方式完成驅(qū)動,CMOS 輸出的差分?jǐn)?shù)據(jù)通過電壓跟隨器和差分運算放大器后進入AD 芯片進行模數(shù)轉(zhuǎn)換。在AD 配置模塊,信號在FPGA 內(nèi)部進行對齊測試訓(xùn)練后方可進入正常工作模式,AD 芯片將2 路差分模擬信號轉(zhuǎn)換成16 路并行數(shù)字信號,傳輸至FPGA 芯片進行數(shù)據(jù)處理。根據(jù)硬件電路設(shè)計和數(shù)據(jù)流的流向,主FPGA負(fù)責(zé)與前端CMOS 進行交互,從FPGA 負(fù)責(zé)后端顯示模塊的輸出,主、從FPGA 則通過握手機制完成信息交互。在數(shù)據(jù)處理模塊,數(shù)字信號先進入寫FIFO(first input first output)完成位寬轉(zhuǎn)換、跨時鐘域的操作,然后使用AXI4 總線協(xié)議配置MIG(memory interface generators) 核的方式,使數(shù)字信號在DDR 中完成緩存和圖像處理算法復(fù)現(xiàn)的讀寫操作。視頻輸出模塊,即Cameralink 顯示模塊,通過GM8283 芯片完成并串轉(zhuǎn)換操作,實現(xiàn)上位機與FPGA 之間的通信。
曝光程度是相機能否呈現(xiàn)清晰圖像的重要影響因素。曝光是由光圈大小、曝光時間、ISO 感光度三者共同決定,其中,光圈大小影響進光量,曝光時間是光到達的時間長度,ISO 感光度是增益大小[11]。自動曝光的宗旨是通過調(diào)整這三者以改變圖像亮度。圖像亮度Y組成如(1)式所示:
式中:k為常數(shù);E為環(huán)境照度;(D/f)2為相對孔徑,是光圈系數(shù)的倒數(shù);T為曝光時間;G為感光度。
在FPGA 硬件實現(xiàn)時,考慮到環(huán)境因素、相對孔徑、探測器內(nèi)信號增益大小等不宜使用FPGA實現(xiàn)控制,故設(shè)計了一種調(diào)整曝光時間T的自適應(yīng)曝光算法。結(jié)合EBAPS UV1280 的芯片手冊,有效曝光時間由9 路驅(qū)動信號中的VSYNC 信號的占空比設(shè)置,故探測器最大曝光時間為一幀圖像的時間。該算法以平均亮度算法為參考完成自動曝光操作,因系統(tǒng)輸出為黑白圖像,故圖像灰度和圖像亮度兩者數(shù)值相同,利用當(dāng)前幀的平均像素信息,并結(jié)合恒定步長搜索法以調(diào)節(jié)下一幀的曝光時間,經(jīng)過不斷優(yōu)化后使得最終輸出的圖像平均灰度處于最佳亮度范圍[Ymin,Ymax]。通過大量的實驗測試,得出本系統(tǒng)在低照度環(huán)境下的最佳亮度范圍為[24 000,25 600]。設(shè)置初始曝光時間為Tdefault,如果平均灰度數(shù)值正處于最佳亮度范圍,則曝光時間將保持初始值;如果平均灰度值超過最佳亮度,則曝光時間將自動減少標(biāo)準(zhǔn)步長;如果平均灰度值不足最佳亮度,則曝光時間將自動增加標(biāo)準(zhǔn)步長。曝光時間T的計算公式如下:
最大曝光時間Tmax的計算公式如下:
式中:s表示標(biāo)準(zhǔn)步長;m表 示橫向像素數(shù);n表示縱向像素數(shù);f表示像素時鐘頻率。像素時鐘頻率為40 MHz,標(biāo)準(zhǔn)步長為640 000 ns,根據(jù)計算,該系統(tǒng)的最大曝光時間Tmax為32 768 000 ns,最小曝光時間Tmin為1 000 000 ns,初始曝光時間Tdefault為16 384 000 ns。若增加步長后的曝光時間超出曝光范圍,最終的曝光時間將設(shè)為最大曝光時間;若減少步長后的曝光時間不足曝光范圍,最終的曝光時間將設(shè)為最小曝光時間。圖6、圖7 為自動曝光算法前后EBAPS 成像效果圖。
圖6 不足曝光時算法效果圖Fig.6 Algorithm effect diagram when underexposed
圖7 過度曝光時算法效果圖Fig.7 Algorithm effect diagram when overexposed
噪聲是影響圖像質(zhì)量水平的重要因素。CMOS圖像傳感器噪聲主要分為固定模式噪聲(fixed pattern noise,F(xiàn)PN)和隨機噪聲兩類[12-18]。固定模式噪聲是CMOS 傳感器自身結(jié)構(gòu)特點所產(chǎn)生的。CMOS 輸出圖像信息如(4)式:
式中:CMOS_OUT為采樣的真實圖樣信息;Ori_ph為不含噪聲的理想圖像信息;Temp_n為像素隨機噪聲;FPN_n為暗電流FPN[15-18]。
根據(jù)EBAPS 的成像特點提出幀間噪聲抑制算法,該算法主要是去除低照度環(huán)境下圖像的固定模式噪聲FPN_n,采用實時圖像與暗背景圖像線性相減的方式實現(xiàn)。本算法采用AXI4 總線協(xié)議控制MIG 核的方式,在DDR 中開辟了5 片大小為1 280×1 024×2 Bytes 地址空間,前4 片地址用于存放4 張連續(xù)的無光照環(huán)境下的暗背景圖像,最后1 片地址用于存放實時圖像,通過對“KEY=1”的判斷來進行寫入地址的選擇。將前4 片地址中的4 幀圖像進行對應(yīng)圖像位置的像素值求平均計算,得到最接近真實的暗背景圖像信息,實時圖像中固定模式噪聲的去除,采用前4 片平均像素值的暗背景圖像與第5 片地址的實時圖像之間進行線性相減的方式完成,由此可近似得到固定模式噪聲去除后的圖像。去噪算法邏輯設(shè)計框架如圖8所示。算法實現(xiàn)中的重點是對DDR 地址跳變的控制和數(shù)據(jù)對齊的把控。在DDR 地址控制方面,需先配置好讀寫文件中的地址與數(shù)據(jù)通道相關(guān)參數(shù)設(shè)定,控制好5 片地址的起始地址AXI4_AWADDR,以及每次數(shù)據(jù)傳輸?shù)耐话l(fā)長度。
圖8 去噪算法邏輯設(shè)計框架Fig.8 Logic design framework of denoising algorithm
在S2MM 寫操作時,數(shù)據(jù)在進入DDR 前,會先進入FIFO 進行跨時鐘域變換與位寬轉(zhuǎn)換,當(dāng)FIFO 的prog_empty 信號為拉低狀態(tài)時,即可繼續(xù)進行突發(fā)式寫操作,同時拉高地址通道的AXI4_AWVAILD 信號;等待MIG 核反饋的AXI4_AWREADY信號,如果該信號同時處于拉高狀態(tài),即可完成一次地址握手。每完成一次地址握手,地址位將增加一個BRUST 的長度,等待下一次地址握手。當(dāng)?shù)刂肺帐趾蛿?shù)據(jù)握手均完成時,即可完成一個地址的突發(fā)式數(shù)據(jù)寫入。以此類推,直至一幅圖完全寫入DDR 地址中。使用以上方式完成5 片地址的圖像寫入,其中通過判斷“KEY=1”真假選擇寫入的地址信息,“KEY=1”為真,則寫入前4 片地址;“KEY=1”為假,則寫入第5 片地址。式(5)為AXI4 總線中地址位的表達式:
式中:ADDR_BIAS為基地址;ADDR_offset為偏移地址,用以控制寫入不同圖像的起始地址;address_r表示一次BRUST 的長度。
在MM2S 讀操作時,數(shù)據(jù)需要通過FIFO 進行跨時鐘域與位寬轉(zhuǎn)換后進入顯示模塊。其中,將4 片地址上平均黑圖像素值black_data與圖像像素值normal_data作差之前,需要先通過設(shè)置相同的FIFO 讀出信號rd_en,使兩個像素值一一對應(yīng)。至此完成圖像算法的全部內(nèi)容,圖9 為幀間噪聲抑制算法前后EBAPS 成像對比圖。
圖9 算法前后EBAPS 成像對比結(jié)果Fig.9 Comparison results of EBAPS imaging before and after algorithm
基于上文所述硬件電路與邏輯電路設(shè)計,完成EBAPS 國產(chǎn)成像電路的設(shè)計與組建。為測試該成像電路的成像效果,組建了與之功能配套的成像檢測系統(tǒng),設(shè)計了EBAPS 高壓轟擊測試方案,圖10 給出了實驗測試設(shè)備系統(tǒng)實物圖,該系統(tǒng)包含光學(xué)鏡頭、成像電路、可調(diào)式恒流源、微弱光照度計、Cameralink 采集卡、專用上位機等。EBAPS是電子轟擊型有源像素傳感器,需在光陰極和APS 芯片之間加一個負(fù)高壓以實現(xiàn)電子倍增,測試系統(tǒng)為其準(zhǔn)備了專用高壓電源。實驗中的環(huán)境照度、轟擊電壓均可進行調(diào)節(jié)。在整機正常工作情況下,硬件電路功耗為4.8 W,邏輯設(shè)計電路片上功耗為1.261 W,其中,動態(tài)功耗1.185 W、靜態(tài)功耗0.076 W。
圖10 測試系統(tǒng)結(jié)構(gòu)組成實物圖Fig.10 Physical drawing of structure composition for test system
為進一步提高EBAPS 成像系統(tǒng)的成像效果,感光器件獲得合適的曝光量,使所攝物體呈現(xiàn)正常亮度,增設(shè)自動曝光算法,對不同高壓、環(huán)境照度條件下的圖像進行采集和對比。實驗采集0~1 500 V 范圍內(nèi)的EBAPS 成像圖,為方便結(jié)果對比,選取0 V、-500 V、-1 000 V、-1 500 V 作為代表性結(jié)果。圖11 所示圖像為自動曝光算法和幀間噪聲抑制算法綜合后的效果圖。
圖11 可變高壓下的EBAPS 成像圖Fig.11 EBAPS imaging images under variable high voltages
從圖11 中可以看出,除了因EBAPS 器件工藝原因形成的明顯橫條紋存在以外,在自動曝光算法和幀間噪聲抑制算法下,已可以呈現(xiàn)出較清晰的圖像。圖11 中橫向?qū)Ρ仁黔h(huán)境照度的變化,縱向?qū)Ρ仁歉邏悍档淖兓故玖嗽诓煌h(huán)境照度和高壓值時,國產(chǎn)EBAPS 成像電路的成像效果。其中,在不加高壓、3×10-1lx 照度下,圖像已基本無物體的輪廓特征。根據(jù)圖11 中第3、4 行前兩幅圖可看出:在相同高壓的情況下,自動曝光算法在調(diào)節(jié)不同環(huán)境照度下圖像亮度時,有一定成效;EBAPS 器件加以合適的高壓后,即使在低照度環(huán)境下仍可識別圖像,并且在轟擊電壓設(shè)為-1 500 V時,3×10-3lx 環(huán)境照度下仍可成像。根據(jù)實驗結(jié)果,可以得出,本系統(tǒng)已實現(xiàn)了EBAPS 的國產(chǎn)電路成像的基本功能。
為加快EBAPS 器件成像電路的國產(chǎn)化進程,本文設(shè)計了一套基于EBAPS 的國產(chǎn)成像電路評估板。首先,以國產(chǎn)復(fù)旦微FMK50t 系列的FPGA 芯片為核心,通過器件選型、外圍電路設(shè)計、PCB 繪制搭建了系統(tǒng)的硬件平臺;其次,通過邏輯設(shè)計完成探測器驅(qū)動、圖像緩存、Cameralink 顯示,初步完成EBAPS 圖像顯示功能;最后,設(shè)計了自適應(yīng)曝光算法、幀間噪聲抑制算法改善圖像質(zhì)量,實現(xiàn)了EBAPS 圖像傳感器在3×10-3lx 低照度環(huán)境下的實時顯示。實驗證明,該成像電路整機功耗4.8 W,可以有效去除固定模式噪聲,改善成像質(zhì)量。下一步工作將從低功耗、小型化角度對電路進行優(yōu)化。本文設(shè)計的EBAPS 國產(chǎn)成像系統(tǒng),可為EBAPS器件的國產(chǎn)成像電路設(shè)計提供參考。