文/Gil Summy，James Mihaychuk

3D成像是安全、消費電子、汽車和許多其他行業(yè)中許多人機視覺應(yīng)用的重要組成部分；因為它被廣泛使用，所以減少硬件、尺寸和計算負荷都是有益的。本文概述了加拿大AIRY3D公司開發(fā)的一種3D計算機視覺方法DEPTHIQ，這是傳統(tǒng)3D成像技術(shù)的一種更簡單、更實惠的替代方法，可以實現(xiàn)更快、更便宜和更小巧的3D視覺系統(tǒng)。

DEPTHIQ技術(shù)將光學(xué)編碼透射衍射掩模（TDM）放置在標(biāo)準(zhǔn)CMOS圖像傳感器上，以生成高質(zhì)量的2D彩色圖像和本質(zhì)上相關(guān)的近場深度圖。

在大多數(shù)CMOS圖像傳感器的頂部添加兩層薄的透射材料（統(tǒng)稱為TDM），可以提供3D傳感功能，并且不會降低2D圖像質(zhì)量。這些層使用來自相位光柵的衍射過程，來實現(xiàn)用于3D圖像捕獲的緊湊、低成本、低計算量的解決方案。

圖1顯示了透明TDM如何應(yīng)用于常規(guī)CMOS圖像傳感器。簡單來說，透明材料在微透鏡陣列上形成衍射光柵。這對微透鏡和色彩濾波陣列（CFA）的性能影響都很小。通過在光到達有源硅中的像素光電二極管之前，對光進行折射和濾除，微透鏡和CFA強烈影響光譜響應(yīng)和色彩準(zhǔn)確性。TDM設(shè)計經(jīng)過優(yōu)化，可與原始2D CMOS圖像傳感器的這些必不可少的微光學(xué)結(jié)構(gòu)兼容。

圖1：透射衍射掩模（TDM），其垂直和水平光柵放置在標(biāo)準(zhǔn)CMOS圖像傳感器上。

TDM設(shè)計概述

TDM的物理基礎(chǔ)是相位光柵的衍射。因此，TDM是透明結(jié)構(gòu)而不是有損掩模，并且不依賴于不透明的光刻圖樣化特征。這樣可以通過少量的后處理步驟，將TDM添加到任何現(xiàn)有的圖像傳感器設(shè)計中。

由于TDM通常只有幾微米厚，因此通常可以將TDM添加到圖像傳感器中，而無需更改鏡頭或其他相機模塊組件。但是，與任何圖像傳感器一樣，就數(shù)值孔徑（NA）、主光線角（CRA）和對準(zhǔn)公差而言，選擇兼容的鏡頭仍然很重要。

通過衍射過程，TDM設(shè)計將相位/方位信息編碼為光強度分布。這種通常 “隱藏”的自由度，包含有關(guān)發(fā)光源深度的信息。TDM使用基于菲涅耳衍射的近場光學(xué)現(xiàn)象的過程提取方位信息。具體來講，由諸如衍射光柵的周期性結(jié)構(gòu)產(chǎn)生的光場，通過被稱為泰伯效應(yīng)的自成像現(xiàn)象來描述。這是光的相位和強度都在光柵附近形成分形衍射圖案的現(xiàn)象。

光學(xué)設(shè)計注意事項

TDM及其相機模塊的設(shè)計不僅取決于2D成像要求，還取決于3D規(guī)格，例如所需要的深度探測范圍和相對深度精度。深度精度通常表示為相對于到目標(biāo)物體的已知地面距離的百分比誤差。例如，眾所周知的市售立體相機要求其有效范圍為約20cm至幾米，并且絕對誤差不超過2％。

實際性能將取決于3D成像解決方案的預(yù)期用途，以及在照明和對比度方面的部署細節(jié)。不過，可以通過結(jié)合2D圖像捕獲規(guī)格以及所需的深度范圍和精度，來臨時指定3D成像系統(tǒng)，無論是基于TDM還是其他方式。

光學(xué)設(shè)計人員還必須展示在配置了TDM的情況下，從圖像傳感器輕松重建高質(zhì)量2D圖像的能力。要評估的圖像質(zhì)量關(guān)鍵指標(biāo)包括調(diào)制傳遞函數(shù)（MTF）、量子效率（QE）、色彩逼真度和光響應(yīng)不均勻性（PRNU，或與固定圖樣噪聲相對應(yīng)的“點亮”）。

數(shù)值孔徑

對于2D圖像傳感器，重要的設(shè)計參數(shù)包括NA、CRA和所需要的2D分辨率（像素數(shù)）。對于使用TDM擴展到3D成像的圖像傳感器，這些指標(biāo)同樣重要，盡管還必須評估這些光學(xué)指標(biāo)對深度分辨率和精度的影響。

NA大約是折射率和相機鏡頭所接受光的光錐邊緣光線的最大半角的乘積。也就是說，NA描述了系統(tǒng)入射光的角度范圍。

對于物鏡入射的光線落在邊緣光線所定義的圓錐內(nèi)，經(jīng)過適當(dāng)設(shè)計的TDM應(yīng)該能夠在光柵調(diào)制2D圖像中提供有用的方位信息，而不會對2D或3D圖像數(shù)據(jù)造成失真。

主光線角

主光線角（CRA）定義為像素陣列有源硅第一表面的法線，與穿過特定微透鏡中心的光線之間的角度。

CRA從像素陣列的中心到其邊角或邊緣變化。為了校正更靠近像素陣列邊緣的像素中的透鏡陰影（漸暈）效應(yīng)，每個微透鏡的中心都相對于有源硅中相應(yīng)光電二極管的中心進行了移位（見圖2）。在陣列中心附近，CRA為零，因此假定大多數(shù)光線作為近軸光線到達像素。對于具有非零CRA的傳感器，微透鏡陣列的CRA對于陣列中心的像素仍為零。然而，由于微透鏡相對于相應(yīng)像素光電二極管的有意移位，對于沿著從陣列的中心到邊角的線的像素，微透鏡CRA的大小通常將增加。

圖2：微透鏡從像素陣列中心附近的零度，到陣列極端外部邊緣附近的30°的CRA變化示意圖。

在圖2中，M1和M2表示不透明金屬層，Si表示像素光電二極管的有源硅。如圖2的右側(cè)所示，背照式像素結(jié)構(gòu)通常具有較薄的光學(xué)堆疊。為了使微透鏡陣列具有相似的光學(xué)特性，背照式像素的短光學(xué)堆疊與較大的CRA更兼容。

應(yīng)當(dāng)優(yōu)化TDM，以解決微透鏡移位以及透鏡與像素陣列之間的任何CRA不匹配問題。為此，設(shè)計人員可以根據(jù)將光學(xué)相移保持在TDM光柵周期的指定部分內(nèi)，來選擇開發(fā)特定的設(shè)計。

為了優(yōu)化基于TDM的3D傳感器設(shè)計，以確保在所需的深度范圍內(nèi)進行有用的操作，必須考慮宏觀和像素級光學(xué)設(shè)計參數(shù)的組合。角度靈敏度不僅與TDM特征有關(guān)，而且與透鏡的NA有關(guān)。

TDM光柵設(shè)計參數(shù)

可以定義許多主要的TDM幾何設(shè)計參數(shù)（見圖3）�？梢赃m當(dāng)改變這些幾何特征，以優(yōu)化深度精度和2D圖像質(zhì)量。

圖3：TDM設(shè)計參數(shù)。

光柵材料。TDM光柵材料在所需的波長范圍內(nèi)必須是透明的�；�座和光柵材料還必須與常規(guī)CMOS圖像傳感器的可靠晶圓級后處理兼容。除了與微透鏡陣列機械兼容之外，TDM還必須在基座（低折射率）和微透鏡（高折射率）之間具有足夠的折射率差異，以保持每個微透鏡的預(yù)期聚焦效果。

光柵周期。理想情況下，應(yīng)當(dāng)專門調(diào)諧TDM光柵周期（間距），以與特定像素結(jié)構(gòu)中存在的光學(xué)堆疊兼容。TDM光學(xué)設(shè)計應(yīng)當(dāng)在保持所需的角度響應(yīng)的同時，最大程度地減小像素間的串?dāng)_。光柵周期還影響用于確定物體深度的深度采樣率（填充比）。典型的光柵周期是像素間距的小倍數(shù)。

光柵臺階高度。TDM的光柵臺階高度調(diào)諧至與基座的高度一致。取決于基座高度和光學(xué)特性，臺階高度的范圍很廣。

光柵相移。TDM光柵相移由特定光柵臺階與相應(yīng)像素中光電二極管中心之間的橫向偏移定義。直接位于像素中心上方的光柵峰，沒有光柵相移。將像素光電二極管與其最鄰近的光電二極管分隔開的對稱假想線正上方的光柵峰，將具有90°的相移（見圖3）。

基座厚度。基座厚度是測量從微透鏡陣列的底部到TDM光柵臺階底部的距離。通過基座的光路影響調(diào)制深度和特定TDM設(shè)計的角度靈敏度。通常，基座為幾微米厚。正如已經(jīng)提到的，雖然可以讓較高折射率的基座更薄，但是如果要使微透鏡有效，則基座不能與微透鏡材料的折射率匹配。

光柵方向。TDM光柵方向是指光柵刻線相對于像素陣列的水平行或垂直列的方向。光柵的方向決定了行或列的方向，每當(dāng)在像素陣列的光電二極管中產(chǎn)生光電子時，衍射就會調(diào)制光產(chǎn)生的信號。由于衍射主要發(fā)生在光柵的短軸上，因此垂直或水平方向的刻劃光柵，只能在與自身方向相同的場景中的檢測深度。

基于材料、光學(xué)和幾何因素對TDM進行仔細的設(shè)計和優(yōu)化，有助于改善3D圖像采集功能。完整的模型將考慮相機鏡頭、單片集成的TDM光柵以及CMOS圖像傳感器像素的光學(xué)設(shè)計。TDM組分和光柵輪廓，相對于像素陣列的光柵相移以及基座厚度，都可以用于調(diào)諧用于深度計算的調(diào)制深度和角度靈敏度。

迄今為止，這些TDM設(shè)計方法已經(jīng)成功應(yīng)用于實施基于各種CMOS圖像傳感器的單傳感器3D成像解決方案。TDM方法已經(jīng)適用于智能手機的背照式移動傳感器，以及前照式全局快門機器視覺傳感器。這樣，TDM結(jié)構(gòu)已被整合到具有約1~3μm像素間距、以及具有200~2000萬像素的傳感器上。

AIRY3D公司正致力于通過有效的深度計算算法，以及與各種嵌入式視覺平臺的集成，來實現(xiàn)完整的3D系統(tǒng)�；�于DEPTHIQ TDM的單傳感器設(shè)計，顯示了快速集成到移動、安全、機器人和汽車系統(tǒng)中的單孔徑相機中的強大潛力。