德國IDS較新3D相機(jī)發(fā)布

時(shí)間：2013-08-02作者：深圳市英泰立誠電子有限公司瀏覽：43

1
IDS 3D 視覺立體相機(jī)
2
目錄：
1. 摘要 ................................................................................................. 3
2. 常用立體視覺配置 .................................................................... 3
3. 校準(zhǔn) ................................................................................................. 4
3.1深度知覺計(jì)算處理步驟 .................................................... 5
3.2 矯正 ......................................................................................... 5
3.3 立體匹配 ............................................................................... 7
3.4 投影變換 ............................................................................... 9
3.5 特定于應(yīng)用程序的處理 ............................................... 10
3.6 N10 立體相機(jī) .................................................................. 10
3.7 Nxlib 立體處理庫 ........................................................... 10
4. Ensenso N10立體相機(jī)信息 .............................................. 11
5. Ensenso N10立體相機(jī)特征 .............................................. 12
3
1. 摘要 本文主要深入分析使用立體相機(jī)的深度知覺主要處理步驟、常用立體視覺配置以及使用Nxlib立體處理庫的Ensenso N10 立體相機(jī)。（深度知覺是指人對(duì)物體遠(yuǎn)近距離即深度的知覺，它的準(zhǔn)確性是對(duì)于深度線索的敏感程度的綜合測定。）
2. 常用立體視覺配置
立體視覺的深度知覺是基于三角測量原理，我們并排放置兩個(gè)相機(jī)，利用投影光學(xué)系統(tǒng)可使兩個(gè)相機(jī)視野在所需求的物距發(fā)生重疊，通過每個(gè)相機(jī)拍攝的圖片，我們可以捕捉到不同視角的場景，如圖1所示：
圖（1）
4
對(duì)于兩個(gè)相機(jī)圖像中的每一個(gè)可見表面點(diǎn)，在3D空間有兩條光線連接使用每個(gè)相機(jī)投射中心的表面點(diǎn)，為了獲取捕捉場景的3D位置我們大體上需要完成以下兩個(gè)任務(wù)，**我們需要確定左邊相機(jī)圖像的表面點(diǎn)在右邊相機(jī)圖像的哪里顯示，其次**知道左右相機(jī)圖像的關(guān)聯(lián)像素交叉點(diǎn)，當(dāng)我們假定相機(jī)彼此之間相互關(guān)聯(lián)后，在校準(zhǔn)處理時(shí)幾何計(jì)算僅運(yùn)行一次。
3. 校準(zhǔn)
兩個(gè)相機(jī)系統(tǒng)的幾何形狀可通過立體校準(zhǔn)處理被預(yù)先計(jì)算出來，**我們需要一個(gè)校準(zhǔn)對(duì)象（一個(gè)使用已知大小圖像交錯(cuò)式或點(diǎn)模式的二維校準(zhǔn)板），然后我們捕捉立體像對(duì)（像對(duì)：從不同攝站攝取的具有重疊影像的一對(duì)像片?？梢岳昧Ⅲw像對(duì)進(jìn)行立體觀察判讀及測圖等工作），這樣即可展示不同位置圖案、兩個(gè)相機(jī)的距離及其定位，我們可以使用每個(gè)像對(duì)形成的圖案點(diǎn)的像素位置和它們?cè)谛?zhǔn)板上的已知位置用于計(jì)算所有觀察圖像的3D模型和立體相機(jī)的準(zhǔn)確模型，這個(gè)模型包含了每個(gè)相機(jī)的固有參數(shù)（比如焦距）、失真及外在參數(shù)，也就是在左右相機(jī)之間的三維空間里旋轉(zhuǎn)及變換，我們可以使用三角形校準(zhǔn)數(shù)據(jù)上的對(duì)應(yīng)點(diǎn)來鑒定兩個(gè)相機(jī)圖像和恢復(fù)關(guān)于相機(jī)三維坐標(biāo)度量標(biāo)準(zhǔn)。
5
3.1深度知覺計(jì)算處理步驟 該處理步驟可分為3個(gè)部分，且**計(jì)算出像對(duì)的每個(gè)像素的3D位置，這些步驟**實(shí)時(shí)執(zhí)行以讓每個(gè)捕獲的立體圖像能獲得3D點(diǎn)云（點(diǎn)云是在同一空間參考系下表達(dá)目標(biāo)空間分布和目標(biāo)表面特性的*點(diǎn)集合）或場景表面。
3.2 矯正
為了能夠三角定位成像點(diǎn)我們需要鑒定左右相機(jī)圖像的對(duì)應(yīng)影像部分，考慮到左邊圖像有一個(gè)小的圖像分塊，我們可以簡單的搜索右邊相機(jī)的整塊圖像來充分匹配，這將耗費(fèi)大量的時(shí)間以至任務(wù)無法即使完成，參照?qǐng)D3中的示例圖像，圓錐體**是在左邊圖像的較上方位置，直觀感覺似乎并不需要在右邊圖像的下半?yún)^(qū)搜索錐尖，事實(shí)上由于兩個(gè)投影相機(jī)的幾何形狀我們可以允許將搜索范圍限制在右邊圖像中的一堆線上，這些線我們稱之為核線。 圖2顯示了一些手繪的對(duì)應(yīng)點(diǎn)及它們的核線，在原始相機(jī)圖像上面核線會(huì)因?yàn)橄鄼C(jī)光學(xué)導(dǎo)致的扭曲而發(fā)生彎曲，沿著這些曲線對(duì)應(yīng)搜索將會(huì)非常緩慢和復(fù)雜，在校準(zhǔn)過程中我們可以去除圖像扭曲由此未失真的圖像可產(chǎn)生直的核線。
6
盡管產(chǎn)生了直的核線但由于其在不同的圖像區(qū)域有不同的方向，這就導(dǎo)致圖像平面（相機(jī)芯片）既不能*共面也不能擁有相同的方向，為了進(jìn)一步加快對(duì)應(yīng)搜索速度我們可以使用相機(jī)幾何校準(zhǔn)和對(duì)圖片應(yīng)用額外透射轉(zhuǎn)換，這樣核線可與掃描線2對(duì)齊，這一步驟我們稱之為“矯正”，圓錐體白色**區(qū)域搜索現(xiàn)在能通過尋找與右邊圖像相同的掃描線并找到較佳匹配的位置來實(shí)現(xiàn)，以后進(jìn)一步的處理均僅針對(duì)矯正過的圖片。
圖2
7
圖3
3.3 立體匹配
對(duì)于在左邊相機(jī)圖像的每個(gè)像素，我們現(xiàn)在可以搜索捕捉同樣對(duì)象點(diǎn)右邊圖像的相同掃描線上的像素，由于單個(gè)的像素值不足以區(qū)分并找到與之相對(duì)應(yīng)的像素，我們通常使用一個(gè)比較小的窗口（比如7x7pixels）進(jìn)行匹配以此來替代同一行的右邊圖像的所有窗口，一般來說我們不需要搜索整行，僅需搜索左邊圖像上的橫坐標(biāo)上的有限數(shù)量的像素點(diǎn)并與附近對(duì)象點(diǎn)略加對(duì)照，這樣既加快了匹配速度也限制了三角測量點(diǎn)的深度范圍，如果發(fā)現(xiàn)了一個(gè)足夠**的匹配對(duì)象，我們就可以通過右邊相應(yīng)的像素點(diǎn)關(guān)聯(lián)出左邊的像素點(diǎn)，這種關(guān)聯(lián)將被存儲(chǔ)在視差圖（橫坐標(biāo)像素之間位移）中。
上述匹配方式我們稱之為局部立體匹配，因其僅使用每個(gè)像素的局部信息，顯然這種匹配方式僅適用于同一掃描線上
8
的圖像部分能夠被充分區(qū)分的時(shí)候，所以局部匹配方式在圖像部分不明顯或很復(fù)雜的時(shí)候?qū)⒉辉龠m用，除了局部匹配這種方式外我們還有其他的方式-“全局立體匹配”，全局立體匹配也可利用鄰近像素信息，這種匹配方式不再只是尋找個(gè)別像素點(diǎn)來做匹配處理，而是嘗試能夠馬上分配左右相機(jī)圖像的所有像素點(diǎn)，全局立體匹配也考慮到了由于圖像表面平滑使得大多鄰近的像素往往具有類似的深度，對(duì)比局部立體匹配，全局立體匹配方式較加復(fù)雜并需要較強(qiáng)的處理能力，但是它需要很少的紋理數(shù)據(jù)并能給出較**的處理結(jié)果，尤其針對(duì)對(duì)象邊界處理這塊優(yōu)勢較為明顯。
圖4
9
3.4 投影變換
不管是使用哪一種匹配方式，較終均是左右相機(jī)圖像像素點(diǎn)的關(guān)聯(lián)，可通過視差圖中存儲(chǔ)的關(guān)聯(lián)值在右邊相機(jī)圖像中找到相對(duì)應(yīng)的位置，圖4說明了這一觀念，然后我們可以再次利用相機(jī)的幾何參數(shù)在校準(zhǔn)期間將像素值轉(zhuǎn)換為實(shí)際的X、Y、Z坐標(biāo)值，這種轉(zhuǎn)換我們稱之為“投影變換”，在圖1中，左右相機(jī)圖像交叉后每個(gè)關(guān)聯(lián)的像素的X、Y、Z軸的數(shù)據(jù)稱為“點(diǎn)云”，它通?？梢宰鳛槿S圖像來保存，也能保留圖像像素網(wǎng)格的鄰近像素點(diǎn)數(shù)據(jù)，一個(gè)可視化的點(diǎn)云如圖5所示：
圖5
10
3.5 特定于應(yīng)用程序的處理
以上三種處理步驟**在立體像對(duì)里被實(shí)現(xiàn)以獲得完整的3D點(diǎn)云場景，點(diǎn)云也需要做進(jìn)一步處理以達(dá)到一些特定的應(yīng)用處理，它可以靠著一個(gè)已知的對(duì)象（以前的點(diǎn)云或CAD模型）來匹配場景表面，假如這部分正好坐落于場景的表面位置，該對(duì)象的完整位置及轉(zhuǎn)動(dòng)均能夠被計(jì)算出來。
3.6 N10 立體相機(jī)
正如**所提到的，所有的立體匹配技術(shù)均需要一個(gè)特征顯著的對(duì)象以獲得左右相機(jī)圖像的對(duì)應(yīng)關(guān)系，Ensenso N10立體相機(jī)因此集成了一個(gè)額外的紋理投影裝置，在圖像捕獲期間紋理投影裝置會(huì)使用高度結(jié)構(gòu)化的圖案來剔除在立體匹配步驟中的模棱兩可的區(qū)塊以此來增加對(duì)象本身的紋理特征，投影儀可利用硬件觸發(fā)信號(hào)和相機(jī)同步以達(dá)到在捕捉運(yùn)動(dòng)對(duì)象的時(shí)候可確保一致的像對(duì)。
3.7 Nxlib 立體處理庫
NXlib庫與N10相機(jī)和全部立體處理途徑（包括校準(zhǔn)）相互聯(lián)系，它結(jié)合了使用全局匹配技術(shù)的紋理投影并提供密集、高質(zhì)量的點(diǎn)云，嚴(yán)謹(jǐn)?shù)娜制ヅ渌惴衫盟刑幚砥?*達(dá)到實(shí)時(shí)性能。
11
4. Ensenso N10立體相機(jī)信息
Ensenso N10工作原理依賴于一種新的方式—“投射紋理立體視覺”，該相機(jī)使用兩個(gè)全局快門方式的CMOS芯片和一個(gè)可在捕獲對(duì)象上投射隨機(jī)光電圖形的圖像投影儀，這種方式的**優(yōu)勢在于能夠在多個(gè)相機(jī)之間操作并可以**的捕獲非結(jié)構(gòu)化的對(duì)象表面。 Ensenso N10嚴(yán)格按照工業(yè)標(biāo)準(zhǔn)制造，相機(jī)內(nèi)用于3D表面匹配裝置使用了MVTec HALCON接口，這樣只需要花費(fèi)不到十分鐘的時(shí)間即可立即使用。 使用**提供的軟件接口可以輕松的創(chuàng)建相機(jī)應(yīng)用程序，當(dāng)操作多個(gè)相機(jī)的時(shí)候，軟件包也可讓你輸出一個(gè)包含相機(jī)數(shù)據(jù)的3D點(diǎn)云，同時(shí)使用多個(gè)相機(jī)可讓你捕獲到一個(gè)場景的多個(gè)面，從而減少陰影效果并擴(kuò)張視野。 Ensenso N10相機(jī)工作距離為280-1400mm，該款相機(jī)可捕獲靜態(tài)和動(dòng)態(tài)圖像，其幀率高達(dá)30幀/秒。
使用投射紋理立體視覺處理方式，投影儀可在場景上投射出一個(gè)靜態(tài)、高對(duì)比度的紋理，針對(duì)那些不明顯或很模糊的對(duì)象亦可相應(yīng)的增加其結(jié)構(gòu)特征，結(jié)合部分全局匹配圖像對(duì)比算
12
法Ensenso N10幾乎可以捕獲全部的視野表面，該系統(tǒng)需工作在脈沖紅外光線并對(duì)外部光線抗干擾能力很強(qiáng)的環(huán)境中。 Ensenso N10使用鋁合金外殼，體積為150x45x45mm，該款相機(jī)帶有可鎖定USB線的螺紋、一組GPIO可用做觸發(fā)輸入和輸出（12-24V），一個(gè)軟件包（支持MVTev HALCON接口，一個(gè)面對(duì)對(duì)象開發(fā)的API函數(shù)），可方便客戶較短時(shí)間完成其應(yīng)用程序設(shè)計(jì)。
5. Ensenso N10立體相機(jī)特征
? USB2.0接口
? 緊湊的鋁合金外殼：150x45x45mm
? 低功耗：2.5W
? 兩個(gè)全局快門CMOS芯片和圖形投影儀
? 相機(jī)/3D圖像分辨率：752*480 pixel
? Z軸分辨率：0,1 -1,2mm
? 滿分辨率下相機(jī)幀率可達(dá)30fps
? 工作距離：280-1400mm
? 如需要使用多鏡頭相機(jī)可輸出一個(gè)3D點(diǎn)云
? 使用投影紋理立體視覺可捕捉結(jié)構(gòu)不明顯的對(duì)象表面
? 可捕捉靜態(tài)及動(dòng)態(tài)圖像
13
? 軟件包（windows及l(fā)inux）
? HALCON接口和C++ Demo
? 重量：400g
深圳市英泰立誠電子有限公司專注于IDS工業(yè)相機(jī),IDS相機(jī),CCD,遠(yuǎn)心鏡頭,CMOS,FA鏡頭等

• 詞條

  詞條說明

• 德國IDS較新3D相機(jī)發(fā)布

  1 IDS 3D 視覺立體相機(jī) 2 目錄： 1. 摘要 ................................................................................................. 3 2. 常用立體視覺配置 ............................................................