摘要：從硬件結(jié)構(gòu)、曝光策略和模擬結(jié)果入手,在傳統(tǒng)滾筒式曝光基礎(chǔ)上,通過對用戶設(shè)定區(qū)域像素飽和值的統(tǒng)計(jì)和曝光時間選擇算法,提出了一種CMOS圖像傳感器大動態(tài)范圍自適應(yīng)曝光的設(shè)計(jì)。曝光時間可從1μs至65ms,探測光強(qiáng)范圍達(dá)到10-1～106lux,設(shè)計(jì)將充分發(fā)揮現(xiàn)有像素性能,實(shí)現(xiàn)快速實(shí)時的自適應(yīng)曝光需求。
　　關(guān)鍵詞：自適應(yīng)曝光;CMOS圖像傳感器(CIS);大動態(tài)范圍

　　引言　　 
　　CMOS圖像傳感器(CIS)具有集成度高、制做工藝通用、體積小、功耗低、無光暈等特點(diǎn),在非接觸無損測量及目標(biāo)監(jiān)控等方面,與較為成熟的CCD系統(tǒng)一樣,發(fā)揮著越來越重要的作用。但由于CIS普遍采用光電二極管線性有源像素,動態(tài)響應(yīng)范圍較小。當(dāng)前,提高其動態(tài)范圍和自適應(yīng)曝光調(diào)節(jié)成為關(guān)鍵問題。為提高CIS的動態(tài)范圍和高分辨率,多采用對數(shù)像素、多次曝光、多次采樣重構(gòu)、像素自調(diào)節(jié)多次曝光等技術(shù)。
　　
　　鑒于片上反饋系統(tǒng)對自適應(yīng)調(diào)節(jié)快速實(shí)時等特點(diǎn),針對實(shí)際視覺和工控測量應(yīng)用等要求,本文從CMOS圖傳感器像素陣列的數(shù)字控制和預(yù)處理電路出發(fā),以現(xiàn)有滾筒式曝光為背景,提出了一套通過自適應(yīng)調(diào)節(jié)曝光和用戶預(yù)設(shè)方式曝光的CMOS圖像傳感器系統(tǒng),曝光時間可從1μs至65ms,在光電響應(yīng)效率為1.0V/lux·s、可調(diào)增益為1和8bit模數(shù)轉(zhuǎn)換器(ADC)情況下,探測光強(qiáng)范圍可達(dá)到10-1～106lux,大幅提高現(xiàn)有CMOS圖像傳感器線性自適應(yīng)響應(yīng)能力。
 
　　2  自適應(yīng)曝光判決算法　　
 
　　采用幀間的自適應(yīng)曝光調(diào)節(jié)方式,即每幀內(nèi)的像素點(diǎn)曝光時間一致,光照響應(yīng)為線性曲線。根據(jù)幀內(nèi)最大非飽和像素電壓,以最小曝光時間T的倍數(shù)關(guān)系調(diào)節(jié)下一幀曝光時間,來適應(yīng)環(huán)境照度及最大分辨率。每幀的曝光時間將通過接口實(shí)時傳輸給測量分析電路。具體判決算法為:
 
　　CMOS圖像傳感器以T或用戶設(shè)定時間開始曝光。當(dāng)?shù)?幀有效圖像采集結(jié)束開始輸出時,曝光控制系統(tǒng)將統(tǒng)計(jì)幀內(nèi)指定區(qū)域的像素飽和數(shù),并記錄幀內(nèi)最大非飽和像素電壓,即當(dāng)前曝光條件下圖像傳感器的最大分辨率。當(dāng)幀內(nèi)像素飽和數(shù)超過統(tǒng)計(jì)閾值,表明曝光過長,將縮短下一幀曝光時間;相反,判斷最大非飽和像素電壓是超出ADC輸出量程1/2。當(dāng)未超過時,表明曝光不夠,由曝光調(diào)節(jié)表(表1)改變下幀曝光時間;否則按原有曝光時間繼續(xù)曝光,曝光判決流程如圖1所示。ADC輸出與光照關(guān)系為
　　　　V=As(λ)Et           (1)

 
　　其中:E為當(dāng)前光照度;S(λ)為像系相對光譜響應(yīng)率;t當(dāng)前曝光時間;A為可調(diào)放大器增益?！　?br> 
　　從表1可看出,當(dāng)光照度驟升或驟降時,只要ADC輸出仍在1/2LSB～255內(nèi),CMOS圖像傳感器可以在下一幀就調(diào)節(jié)到合適的曝光時間使輸出值達(dá)到ADC半量程之上,實(shí)現(xiàn)28E至E光照度變化的快速跟蹤自適應(yīng)。而在1/2LSB～1/256LSB內(nèi),自適應(yīng)系統(tǒng)將可在2frame內(nèi)達(dá)到跟蹤?！?br>　
　　當(dāng)光照度驟升到達(dá)像素飽和時,因無法判斷曝光時間縮減程度,自適應(yīng)系統(tǒng)將重新搜索從當(dāng)前曝光時間至最小曝光時間內(nèi)的最佳曝光時間,方案設(shè)計(jì)了3種搜索方式:曝光縮短為當(dāng)前曝光時間t的1/256;曝光縮短為t的t1/2取整;曝光縮短為t的1/2。當(dāng)調(diào)節(jié)曝光后的圖像仍不滿足要求時,將按照上述方式之一或曝光表1繼續(xù)調(diào)整曝光時間。以曝光時間224T至23T變化為例(100～106lux),介紹3種方式的搜索速度,方式1需4frame時間,方式2需3frame時間,方式3需21frame時間。由此可知,照度變化不大時,方式1較好;相反,方式2較好。因此針對不同應(yīng)用情況,曝光系統(tǒng)將根據(jù)不同方式進(jìn)行搜索。
 
　　3  自適應(yīng)曝光電路設(shè)計(jì)　　
　　 
　　自適應(yīng)曝光CMOS圖像傳感器系統(tǒng)在傳統(tǒng)三管有源像素結(jié)構(gòu)、滾筒式曝光和輸出模式背景下,根據(jù)幀內(nèi)最大非飽和像素電壓,動態(tài)調(diào)節(jié)幀間曝光時間,避免了像素自適應(yīng)曝光所需與像素陣列相當(dāng)?shù)腞AM存儲空間及多次曝光造成的響應(yīng)曲線壓縮,芯片控制復(fù)雜度和面積得到大幅降低。此外,該電路允許用戶對圖像曝光時間及飽和統(tǒng)計(jì)范圍進(jìn)行直接調(diào)整及控制。系統(tǒng)共包括6部分:像素陣列、8bitADC等模擬電路、飽和像素統(tǒng)計(jì)單元、像素掃描單元、曝光調(diào)節(jié)及時序控制單元,如圖2示。

　　
 
　　3.1　像素飽和統(tǒng)計(jì)單元
　　像素值超過255稱為飽和(數(shù)據(jù)采集為8bitADC),該部分主要完成對像素陣列內(nèi)指定區(qū)域飽和像素值的統(tǒng)計(jì)。由于在特定場合(如夜間監(jiān)視系統(tǒng)),零星燈光或反射光將造成圖像部分像素出現(xiàn)飽和,如圖3(a)區(qū)域a示。如果按照此飽和值調(diào)節(jié)曝光,將降低圖像整體分辨率。因此,設(shè)計(jì)采用允許用戶在圖像任意位置設(shè)定任意大小的飽和統(tǒng)計(jì)區(qū)域及閾值的方法來避免上述干擾,如圖3(a)中b為用戶統(tǒng)計(jì)區(qū)域,即關(guān)注區(qū)域。

 
　　該單元主要由寄存器組、飽和偵測及統(tǒng)計(jì)電路組成。寄存器組記錄用戶指定區(qū)域的大小、位置以及統(tǒng)計(jì)閾值,未指定時使用默認(rèn)值。飽和偵測電路采用模擬比較器結(jié)構(gòu),降低采用數(shù)字比較器時的大面積電路和計(jì)算延時,也避免了因反相器偵測飽和時的低精度。電路在每行像素數(shù)據(jù)輸出時判斷進(jìn)入統(tǒng)計(jì)區(qū)域的像素電壓,比較結(jié)果直接作為飽和統(tǒng)計(jì)計(jì)數(shù)器使能端驅(qū)動。當(dāng)統(tǒng)計(jì)計(jì)數(shù)超過閾值時,表明被測圖像光強(qiáng)已不滿足用戶要求,需縮短曝光時間。此時該統(tǒng)計(jì)單元將向曝光調(diào)整電路發(fā)出flag信號,開始曝光選擇,電路結(jié)構(gòu)見圖3(b)示。
 
　　3.2  像素掃描單元　　
　　由8bit輸出寄存器、臨時寄存器、比較器及暫存控制邏輯組成。主要完成1frame圖像中最大非飽和像素電壓的尋找及存儲。每行像素數(shù)據(jù)輸出時,掃描單元在scanphase階段實(shí)時完成像素點(diǎn)掃描判斷工作(見圖4示)。當(dāng)完成1frame圖像傳輸后,臨時寄存器中存儲的最大非飽和像素值將作為下一幀曝光時間選擇的參考值。

 
　　3.3  曝光選擇單元　　
　　由8bit最小曝光寄存器、24bit曝光倍數(shù)寄存器、掩碼電路和曝光判決電路組成,主要完成下一幀曝光時間的提取及選擇。最小曝光寄存器存儲CMOS圖像傳感器最小曝光時間,當(dāng)系統(tǒng)時鐘為20M時,最小曝光時間為1μs,寄存器值為14H;曝光倍數(shù)寄存器存儲當(dāng)前曝光時間與最小曝光時間的倍數(shù)值。在每幀Re2selectphase階段(見圖5),掩碼電路將先完成對掃描單元臨時寄存器值的分析及曝光時間提取工作,即根據(jù)非飽和電壓值最高位產(chǎn)生下一幀曝光時間與最小曝光時間的倍數(shù)值(見表1第2列),該值將存儲至曝光倍數(shù)寄存器中。隨后,曝光判決電路將根據(jù)飽和統(tǒng)計(jì)單元的flag信號決定是否更改下一幀曝光時間。由上可知,曝光時間實(shí)際為最小曝光時間的2次冪,雖然這將造成圖像分辨率的一定下降,但可避免為每個電壓值設(shè)置曝光時間所需的128×8bit空間,從而降低電路復(fù)雜度。
 
　　4   像素復(fù)位曝光控制邏輯設(shè)計(jì)及分析　　
 
　　由于圖像傳感器系統(tǒng)為數(shù)?；旌舷到y(tǒng),而模擬信號抗噪聲能力較弱,高速交變的數(shù)字信號將給模擬電路引入不必要的噪聲,直接影響圖像傳感器的采集精度,導(dǎo)致圖像質(zhì)量下降。所以設(shè)計(jì)在像素曝光、采集邏輯以及數(shù)模電路工作時序上做了一些改進(jìn):1)電路采用格雷編碼,兩相鄰狀態(tài)只有1bit不同,這將降低狀態(tài)轉(zhuǎn)換時信號跳變次數(shù),減少數(shù)字噪聲的引入。2)數(shù)字電路的工作時鐘(workcycle)分為idle和work2個階段,在像素采集階段不翻轉(zhuǎn),保證模擬、數(shù)字電路分時工作,如圖5所示。
 
　　4.1   像素曝光復(fù)位分析　　
　　曝光(積分)時間為相鄰復(fù)位信號與采樣信號的時間差。由于滾筒式曝光時序以行為單位,對像素陣列進(jìn)行信號采樣、處理和輸出。1行內(nèi)所有像素曝光處理為并行的,各行間像素曝光處理為串行的。因此,處理1行像素所需時間=曝光時間+數(shù)據(jù)處理時間+像素輸出時間。復(fù)位曝光邏輯如圖5所示,Vout為幀同步信號;Hout為行同步信號;Hrst為曝光復(fù)位信號;H(n)為第n行的行有效信號;Hrst(n)為第n行的曝光復(fù)位信號;Pout為輸出像素時鐘;P(n)為第n個像素有效信號。由圖可知,曝光復(fù)位信號Hrst為行同步信號Hout相關(guān)信號,延遲時間=幀時間-曝光時間,即圖5(a)中hold1或hold2部分。所以改變曝光時間是通過調(diào)節(jié)hold寬度來完成的,曝光寄存器實(shí)際存儲著與曝光時間相應(yīng)的hold值,1frame時間=曝光延遲時間(hold)+曝光時間(integrating)。

　　
　　曝光自適應(yīng)時序圖5(b)所示,第1行像素在完成第N+1幀曝光時間后(intergating1),將根據(jù)當(dāng)前曝光選擇單元的結(jié)果開始第N+2幀復(fù)位和新曝光長度(intergating2)的曝光,同時ADC將處理和輸出第1行的第N+1幀的數(shù)據(jù)。因此,在第N幀光強(qiáng)變化的圖像在第N+3幀才被記錄下。造成該延遲主要有兩種原因:1)曝光固有延時,曝光到采集數(shù)據(jù)最長需要1frame時間;2)幀間自適應(yīng)調(diào)節(jié)固有延時,由于采用搜索整幀圖像后確定曝光時間,當(dāng)圖像第n行采樣電壓時,第1行數(shù)據(jù)實(shí)際已按照原曝光時間開始采樣,需要再等1frame時間,第1行才能采用新曝光時間。所以當(dāng)t1時刻光強(qiáng)發(fā)生變化時,曝光電路在t2時刻才能選定新曝光時間,而以新曝光時間采集的圖像在t3時刻才能被記錄,即該系統(tǒng)將存在最大3frame時間的固有延遲。但隨著輸出幀頻的提高,該固有延時時間將能夠相應(yīng)減小。
 
　　4.2  像素復(fù)位曝光設(shè)計(jì)　　
　　上述曝光切換時序可看出,當(dāng)2frame曝光時間改變較大時,不同曝光時間將存在疊交。如圖5(b),第N+2幀第1行曝光復(fù)位發(fā)生在第N+1幀第n行曝光復(fù)位前(overlap段)。如利用1組復(fù)位曝光邏輯將引起控制混亂,因此設(shè)計(jì)采用2組曝光復(fù)位控制時序。當(dāng)曝光時間不變時,復(fù)位計(jì)數(shù)器1將在延遲行同步信號的hold1時間被使能,開始從第1行至第n行的曝光復(fù)位,當(dāng)完成1frame后,復(fù)位計(jì)數(shù)器1將停止工作,等待hold1時間后再次使能。當(dāng)曝光時間調(diào)節(jié)時,如復(fù)位計(jì)數(shù)器1還未計(jì)滿將繼續(xù)工作,直至計(jì)滿整幀。而此時hold寄存器將等待hold2時間后,開始使能復(fù)位計(jì)數(shù)器2。由于2組復(fù)位計(jì)數(shù)器不對同一行復(fù)位,因此前后2frame可在不同曝光時間下正常運(yùn)行。如圖4示,曝光調(diào)節(jié)信號(flag)將更新延遲值并使能另一組閑置曝光復(fù)位寄存器。
 
　　5  模擬仿真結(jié)果　　
 
　　根據(jù)上述原理,利用XILINX公司的ISE及Modelsim軟件,對曝光選擇控制電路進(jìn)行了數(shù)字電路設(shè)計(jì)及模擬。結(jié)合光電二極管光電響應(yīng)實(shí)際測試結(jié)果,進(jìn)行模數(shù)混合信號仿真,如圖6(a)所示,在幀頻為100frame/s時隨光強(qiáng)變化,CMOS圖像傳感器調(diào)節(jié)曝光時間及輸出信號值,其中調(diào)節(jié)延時約為3frame時間。圖6(b)為光強(qiáng)與輸出的相關(guān)曲線。像素電壓值隨著光強(qiáng)增加,曝光時間從65ms(216T)調(diào)節(jié)至4ms(212T),多幀響應(yīng)組合后輸出接近指數(shù)曲線。

　　6   結(jié)　論　　
 
　　設(shè)計(jì)通過用戶預(yù)設(shè)和幀間自適應(yīng)曝光調(diào)節(jié)方式,實(shí)現(xiàn)了CMOS圖像傳感器大動態(tài)范圍自適應(yīng)能力。相比傳統(tǒng)滾筒式積分復(fù)位邏輯,該控制結(jié)構(gòu)將能更充分發(fā)揮像素響應(yīng)特性,并達(dá)到光強(qiáng)自適應(yīng)曝光調(diào)節(jié)。由于該結(jié)構(gòu)邏輯簡單,不改變像素陣列,因而隨著像素陣列不斷增大,仍能在保證速度的前提下,對光強(qiáng)自適應(yīng)調(diào)節(jié),在對多幀圖像進(jìn)行數(shù)字重構(gòu)后處理時,也可進(jìn)一步提高成像質(zhì)量,具有很高可靠性和兼容性。