技術(shù)領(lǐng)域
[0001] 本
發(fā)明涉及
三維重建技術(shù)領(lǐng)域，尤其涉及一種微納米量級的二元面結(jié)構(gòu)光檢測方法及系統(tǒng)。
背景技術(shù)
[0002] 迄今為止，眾多國內(nèi)外學(xué)者及公司對微
納米級測量進(jìn)行了研究并取得一些成功。常見的微納米測量技術(shù)根據(jù)其工作原理可分為觸發(fā)式和非
接觸式測量。1981年美國IBM公司研制成功的掃描隧道
顯微鏡(STM)，把人們帶入了微觀世界。STM具有極高的空間
分辨率，平行和垂直于表面的分辨率分別達(dá)到0.1nm和0.01nm，即可分辨出單個(gè)
原子，廣泛用于表面科學(xué)，材料科學(xué)和生命科學(xué)等研究領(lǐng)域。為了彌補(bǔ)STM只限于觀測導(dǎo)體和
半導(dǎo)體表面結(jié)構(gòu)的
缺陷，G.Binnig等人發(fā)明了原子
力顯微鏡(AFM),AFM利用微探針在樣品表面劃過時(shí)帶動(dòng)高敏感的微
懸臂梁隨表面起伏而上下運(yùn)動(dòng)，通過光學(xué)方法或隧道
電流檢測出
微懸臂梁的位移,實(shí)現(xiàn)探針尖段原子與表面原子間排斥力檢測，從而得到表面形貌信息，但AFM的缺點(diǎn)在于成像范圍太小，速度慢，受
探頭的影響太大。1988年中國科學(xué)院化學(xué)所研制成功國內(nèi)首臺具有原子分辨率的AFM。安裝有微型光纖傳導(dǎo)激光干涉三維測量系統(tǒng)，可自校準(zhǔn)和進(jìn)行絕對測量的計(jì)量型
原子力顯微鏡可使目前納米測量技術(shù)定量化。1989年R.C.Reddick等制成
光子掃描隧道顯微鏡PSTM，其機(jī)理與STM相似，分辨率優(yōu)于光波半
波長值。而且可以利用
光學(xué)顯微鏡成熟的多種成像機(jī)制和方法研究觀察大氣條件下的透明體等一般
電子顯微鏡和掃描隧道顯微鏡難以解決的課題。英國National?Physical?Laboratory(NPL)研制了以電容
傳感器構(gòu)建檢測系統(tǒng)、以鈹
青銅懸臂為主構(gòu)建靈敏杠桿機(jī)構(gòu)的微納米測頭系統(tǒng)，分辨力為
3nm，三維測量不確定度為50nm。德國聯(lián)邦物理技術(shù)研究所(physikalisch?technische?bundesantalt,PTB)研制的基于Werth的三坐標(biāo)測量機(jī)由一個(gè)光學(xué)測量系統(tǒng)和兩個(gè)接觸式三維微傳感系統(tǒng)組成，分辨力為10nm,該測頭可以實(shí)現(xiàn)寬30μm，深100μm的微槽內(nèi)尺寸測量。
[0003] 國內(nèi)的清華大學(xué)李達(dá)成等研制成功在線測量超光滑表面粗糙度的激光外差干涉儀，該儀器以穩(wěn)頻半導(dǎo)體
激光器作為
光源，共光路設(shè)計(jì)提高了抗外界環(huán)境干擾的能力，其縱向和橫向分辨率分別為0.39nm和0.73μm。中國計(jì)量科學(xué)研究院、清華大學(xué)等研制了用于大范圍納米測量的差拍法―珀干涉儀，其分辨率為0.3nm，測量范圍±1.1μm，總不確定度優(yōu)于3.5nm。臺灣大學(xué)和合肥工業(yè)大學(xué)的范光照教授等人研制出的接觸觸發(fā)式測頭，使用四只DVD光學(xué)讀取頭作為位移傳感器而開發(fā)的三維納米測頭，該探頭的接觸力為109μN(yùn),觸發(fā)重復(fù)性為10nm。
[0004] 盡管在國內(nèi)外很多研究機(jī)構(gòu)已經(jīng)在多種微納米級的測量上已經(jīng)突破了一些技術(shù)
瓶頸，基于三維納米測量(Nano-CMM)技術(shù)我國也已有國家課題支持。但總體上還是有一些缺陷：
[0005] (1)對于接觸式測量，橫向力影響圖像
質(zhì)量，橫向力與粘著力的合力導(dǎo)致
圖像空間分辨率降低，而且針尖刮擦樣品會(huì)損壞軟質(zhì)樣品。
[0006] (2)測速：對于接觸式測頭，為保證測量力，則要使測頭的
剛度減小，從而導(dǎo)致諧振
頻率低，動(dòng)態(tài)響應(yīng)慢。系統(tǒng)自身的抖動(dòng)也可能降低其測量質(zhì)量。
[0007] (3)對于目前已有的設(shè)備，大多數(shù)都為系統(tǒng)龐大、設(shè)備昂貴、不能移動(dòng)等因素，不利于各種靈活測量，且需要在特定的環(huán)境下完成測量。
發(fā)明內(nèi)容
[0008] 本發(fā)明提供了一種，包括如下步驟：
[0009] 第一步：對CCD攝像機(jī)及面結(jié)構(gòu)光投影儀進(jìn)行標(biāo)定；
[0010] 第二步：由
LED燈發(fā)出定向光源，經(jīng)過物方像方遠(yuǎn)心鏡組，將光源面積縮小后進(jìn)入光纖束，光源經(jīng)過光纖束投射至微小目標(biāo)物體所在場景，反射的光線通過高倍顯微鏡放大，CCD攝像機(jī)獲取放大后的圖像并將圖像傳送至視覺處理系統(tǒng)，由視覺處理系統(tǒng)的自適應(yīng)目標(biāo)輪廓識別模
塊匹配出與目標(biāo)物體近似的輪廓，得出待測物在平面的坐標(biāo)及復(fù)雜度信息，對目標(biāo)物體的
位置進(jìn)行粗略對準(zhǔn)；
[0011] 第三步：根據(jù)自適應(yīng)目標(biāo)識別輪廓模塊得出的輪廓信息，然后根據(jù)顯微透鏡參數(shù)計(jì)算出的原始未放大的圖像的相對面積，對結(jié)構(gòu)光進(jìn)行編碼，使面結(jié)構(gòu)光的
精度滿足目標(biāo)物體的復(fù)雜度及大小，面結(jié)構(gòu)光經(jīng)過物方像方遠(yuǎn)心鏡組，將面結(jié)構(gòu)光投影儀投射出的光縮小后進(jìn)入光纖束，經(jīng)光纖束傳輸，從光纖束末端投射出至第二步中粗對準(zhǔn)的微小目標(biāo)物體表面；
[0012] 第四步：CCD攝像機(jī)獲取經(jīng)由高倍顯微鏡放大后的結(jié)構(gòu)光調(diào)制圖像，然后對圖像進(jìn)行解碼，利用光學(xué)三
角法進(jìn)行三維坐標(biāo)變換，求解圖像的深度信息。
[0013] 作為本發(fā)明的進(jìn)一步改進(jìn)，該二元面結(jié)構(gòu)光檢測方法還包括：
[0014] 第五步：在放大后的調(diào)制圖像中進(jìn)行坐標(biāo)變換得到的結(jié)構(gòu)光三維點(diǎn)后，將結(jié)構(gòu)光特征點(diǎn)和LED光輪廓獲取的梯度信息、邊緣強(qiáng)度信息參量結(jié)合，將輪廓的多參量信息與三維點(diǎn)
云的分割信息結(jié)合，在
像素平面中，將鄰接的結(jié)構(gòu)光點(diǎn)生成網(wǎng)格線，在網(wǎng)格線和梯度信息的交叉處插入新的三維點(diǎn)，更新插入新三維點(diǎn)云后進(jìn)一步細(xì)化
三維網(wǎng)格，新插入三維點(diǎn)的深度信息由細(xì)分規(guī)則得出；進(jìn)行曲面擬合，得到最終的三維圖像。
[0015] 作為本發(fā)明的進(jìn)一步改進(jìn)，面結(jié)構(gòu)光投影儀采用現(xiàn)場標(biāo)定方法，步驟如下：
[0016] 第1步：獲取標(biāo)定棋盤及投影光源照片；
[0017] 第2步：平面的世界
坐標(biāo)系獲取，通過4組標(biāo)定板照片上的特征點(diǎn)照片，可以獲取4組標(biāo)定板所在平面的世界坐標(biāo)系；
[0018] 第3步：平面上各個(gè)角點(diǎn)世界坐標(biāo)的獲取，由于標(biāo)定板所在的平面世界坐標(biāo)系和網(wǎng)格結(jié)構(gòu)光所在的平面為同一平面，根據(jù)各網(wǎng)格的交點(diǎn)在圖像上的坐標(biāo)，可以獲得所有網(wǎng)格相交的角點(diǎn)所在的世界坐標(biāo)系上的空間位置，通過對網(wǎng)格照片的
閾值化，檢測亞像素級角點(diǎn)，獲取所有網(wǎng)格角點(diǎn)在圖像坐標(biāo)系中的位置；
[0019] 第4步：各網(wǎng)格角點(diǎn)標(biāo)定參數(shù)的獲取，令被測物體的世界坐標(biāo)系為{W}，攝像機(jī)坐標(biāo)系為{C}，結(jié)構(gòu)光坐標(biāo)系為{P}，角點(diǎn)Pp(Up,Vp)，照射到被測物上點(diǎn)Pw(Xw,Yw,Zw)，Pw在圖像平面上成像點(diǎn)位Pc(Uc,Vc),光平面上的結(jié)構(gòu)光點(diǎn)Pp(Up,Vp)，和在世界坐標(biāo)系上的坐標(biāo)值Pw(Xw,Yw,Zw)，可以推出其滿足以下關(guān)系：
[0020]
[0021] 式中:K是非零系數(shù)；AP是光信息編碼結(jié)構(gòu)光的內(nèi)約束參數(shù)矩陣，R與T分別表示結(jié)構(gòu)光坐標(biāo)系關(guān)于靶標(biāo)所在世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量，即需要通過標(biāo)定，求得AP，R與T的值，得到網(wǎng)格角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式，根據(jù)4組各角點(diǎn)所在的世界坐標(biāo)系上的位置，代入角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式(1)，可以求得AP，R與T的值，即得到角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式。
[0022] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述第1步中，包括如下步驟：
[0023] 第(1)步：在
工作臺上，放置一四角高低可調(diào)平面板，在平面板上放置攝像機(jī)平面標(biāo)圖案，該標(biāo)定板的設(shè)計(jì)采用2*2像素為一格，總數(shù)為11*15格的黑白微小棋盤板，通過微調(diào)節(jié)
螺母改變標(biāo)定板的
姿態(tài)，CCD攝像機(jī)拍攝一張經(jīng)由顯微透鏡組放大后的標(biāo)定板圖像；
[0024] 第(2)步：拿走標(biāo)定板，保持可調(diào)平面板不動(dòng)，打開結(jié)構(gòu)光源后再由CCD攝像機(jī)拍攝一張照片；
[0025] 第(3)步：移動(dòng)平面物件的姿態(tài)和位置，重復(fù)第(1)步和第(2)步，共計(jì)獲取4組照片，其中標(biāo)定板畫面照片4張，結(jié)構(gòu)光畫面圖片4張。
[0026] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述CCD攝像機(jī)標(biāo)定的方法包括如下步驟：
[0027] A.在工作臺上，放置一四角高低可調(diào)平面板，在平面板上放置制作好的微小標(biāo)定棋盤格，通過調(diào)節(jié)改變標(biāo)定板的姿態(tài)，由CCD攝像機(jī)拍攝多張經(jīng)由顯微透鏡組放大后的標(biāo)定板圖像；
[0028] B.檢測出各個(gè)放大后標(biāo)定板中的特征點(diǎn)；
[0029] C.根據(jù)特征點(diǎn)求出CCD攝像機(jī)的內(nèi)參數(shù)和外參數(shù)；
[0030] D.根據(jù)內(nèi)外參數(shù)求出畸變系數(shù)；
[0031] E.最后優(yōu)化參數(shù)，減少運(yùn)算量，保證校正精度；
[0032] 標(biāo)定
軟件提取每張不同姿態(tài)的圖片中標(biāo)定板上特征點(diǎn)的位置，標(biāo)定完成后，生成標(biāo)定參數(shù)文件，通過標(biāo)定后，利用標(biāo)定參數(shù)對圖像進(jìn)行校正，使畸變的圖像恢復(fù)正常。
[0033] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述第五步中，光電探測器獲取場景中的各個(gè)物體的輪廓反射光強(qiáng)信息，對場景輪廓與目標(biāo)物體本身輪廓進(jìn)行對比，確定與目標(biāo)物體相對應(yīng)的輪廓區(qū)域，并確定目標(biāo)物體與其所在區(qū)域的占比面積，通過對目標(biāo)區(qū)域的初步確定及面積大小的判斷，系統(tǒng)自適應(yīng)的給出一定波長的面結(jié)構(gòu)光光源進(jìn)行投影，該結(jié)構(gòu)光的參量如光點(diǎn)間隔依據(jù)物件的大體輪廓而定。用CCD攝像機(jī)采集經(jīng)物體表面調(diào)制
變形的結(jié)構(gòu)光圖像，通過對變形結(jié)構(gòu)光圖像的分析，建立投影到物體表面上一點(diǎn)的結(jié)構(gòu)光投影點(diǎn)和其在變形結(jié)構(gòu)光圖像中成像點(diǎn)之間的對應(yīng)關(guān)系，然后根據(jù)三角測量原理計(jì)算出物體表面結(jié)構(gòu)光點(diǎn)出的深度。
[0034] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述第五步中，包括如下步驟：
[0035] a.利用LED光反射輻照度信息，進(jìn)行不同光波長過濾后通道提取和利用Sobel算子，分別得到RGB三通道在銳利邊緣處的梯度信息；
[0036] b.利用輻照度變化的關(guān)系消除因面結(jié)構(gòu)光衍射部分帶來的誤差；
[0037] c.由穩(wěn)定光源LED定向光確定的微小物體的輪廓，在輪廓處由步驟a得到的梯度信息，光強(qiáng)信息，結(jié)合結(jié)構(gòu)光相鄰點(diǎn)云的梯度信息進(jìn)一步細(xì)化目標(biāo)物體的曲面程度；
[0038] d.將結(jié)構(gòu)光點(diǎn)和梯度信息結(jié)合，在像素平面中，將鄰接的結(jié)構(gòu)光點(diǎn)連線，在連線和梯度信息的交叉處插入新的三維點(diǎn)，新插入三維點(diǎn)的深度信息由細(xì)分規(guī)則得出。
[0039] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述步驟c中，如場景中的物體是方形體或梯形體，得到相應(yīng)的規(guī)則約束，從而可以選擇平面細(xì)分規(guī)則；如果場景中的物體是曲面體，則選擇曲面細(xì)分規(guī)則。
[0040] 作為本發(fā)明的進(jìn)一步改進(jìn)，LED光的光輻照度標(biāo)定方法包括如下步驟：
[0041] 1)對目標(biāo)物體的自然光反射輻照度進(jìn)行檢測，得到目標(biāo)物體的初始光輻照度分布圖；
[0042] 2)將LED光經(jīng)由光纖束發(fā)射，投影至純白色標(biāo)定板，并進(jìn)行不同距離與角度投射測試；
[0043] 3)對光纖束探頭發(fā)射出的光進(jìn)行不同距離的光反射輻照度檢測，得到反射光輻照度I與距離D的關(guān)系，在此處用多項(xiàng)式函數(shù) 擬合，在多項(xiàng)式中,ak為系數(shù)，過高的階數(shù)并不適合光輻照變化曲線特性，符合特征的函數(shù)k以2至4階多項(xiàng)式為宜；
[0044] 4)將LED光投影至微納米器件上，LED反射光進(jìn)入光纖束中，經(jīng)過環(huán)形器進(jìn)入光電探測器，對反射光的各個(gè)RGB通道分別計(jì)算反射光各點(diǎn)的相對值，相對值為反射后的光輻照度減去初始光輻照度，去除背景噪聲之后得到目標(biāo)物體各部分的相對深度；三維重建模塊獲取相對光強(qiáng)值，以X,Y軸為平面信息，相對光輻照值為Z軸深度信息，將得到的深度信息與面結(jié)構(gòu)光計(jì)算得出的三維深度進(jìn)行融合，最后對精確細(xì)化后的點(diǎn)云實(shí)現(xiàn)網(wǎng)格化和曲面擬合，得到三維圖像。
[0045] 本發(fā)明還提供了一種微納米量級的二元面結(jié)構(gòu)光檢測系統(tǒng)，包括：
存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上的
計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為由所述處理器調(diào)用時(shí)實(shí)現(xiàn)本發(fā)明所述的方法的步驟。
[0046] 本發(fā)明的有益效果是：本發(fā)明基于面結(jié)構(gòu)光的三維點(diǎn)云和由曲面深度變化引起的光輻照度變化獲得的三維信息，光強(qiáng)變化的信息可以生成另外一組三維數(shù)據(jù)，利用兩種不同特性參量的點(diǎn)云數(shù)據(jù)，將點(diǎn)云數(shù)據(jù)融合，增強(qiáng)系統(tǒng)結(jié)構(gòu)光測量的精度。
附圖說明
[0047] 圖1是本發(fā)明的原理圖。
具體實(shí)施方式
[0048] 隨著集成光學(xué)的發(fā)展，每平方毫米單元上混合集成著大量的納米及微納米的光學(xué)器件，用人工去完成裝備和檢測及其困難。為解決其微納米級器件三維尺寸檢測及裝備困難問題，本發(fā)明在傳統(tǒng)面結(jié)構(gòu)光三維測量
基礎(chǔ)上，設(shè)計(jì)了一種微納米級的二元面結(jié)構(gòu)光三維檢測和引導(dǎo)技術(shù)。采用編碼面結(jié)構(gòu)光與LED光經(jīng)過光纖束組合投影的方法，設(shè)計(jì)的組合光稱之為二元面結(jié)構(gòu)光。采用LED光照射后采集的反射光強(qiáng)信息和圖像確定目標(biāo)物體的輪廓信息，再由計(jì)算機(jī)控制微操控機(jī)械手臂位移一定的距離坐標(biāo)至目標(biāo)大概位置，達(dá)到目標(biāo)粗對準(zhǔn)效果，之后由光纖束傳輸投射編碼面結(jié)構(gòu)光，采集放大后的調(diào)制光信息圖像進(jìn)行三維重建獲取微小目標(biāo)的三維信息，最終引導(dǎo)
機(jī)器人獲得微納米器件的精準(zhǔn)位置及結(jié)構(gòu)狀態(tài)，使機(jī)器人能夠?qū)崿F(xiàn)微納米器件的檢測及組裝功能。
[0049] 本發(fā)明公開了一種微納米量級的二元面結(jié)構(gòu)光檢測方法，包括如下步驟：
[0050] 第一步：對CCD攝像機(jī)及面結(jié)構(gòu)光投影儀進(jìn)行標(biāo)定。
[0051] 第二步：由LED燈發(fā)出定向光源，經(jīng)過物方像方遠(yuǎn)心鏡組，將光源面積縮小后進(jìn)入光纖束，此處光纖束由幾萬根光纖芯組合而成，此組合的光纖束可以傳送大面積縮小后的光源，光源經(jīng)過光纖束投射至微小目標(biāo)物體所在場景，反射的光線通過高倍顯微鏡放大，可以使目標(biāo)場景放大至毫米或厘米級，CCD攝像機(jī)處于目鏡之上，CCD攝像機(jī)獲取放大后的圖像并將圖像傳送至視覺處理系統(tǒng)，由視覺處理系統(tǒng)的自適應(yīng)目標(biāo)輪廓識別模
塊匹配出與目標(biāo)物體近似的輪廓，得出待測物在平面的坐標(biāo)及復(fù)雜度信息；
機(jī)械臂按照圖像坐標(biāo)轉(zhuǎn)換后所對應(yīng)的空間坐標(biāo)，移動(dòng)至目標(biāo)物體所在的大致位置，達(dá)到粗對準(zhǔn)的目的，從而完成對目標(biāo)物體的位置進(jìn)行粗略對準(zhǔn)。
[0052] 第三步：根據(jù)自適應(yīng)目標(biāo)識別輪廓模塊得出的輪廓信息，輪廓信息包含輪廓的形狀，大小，輪廓質(zhì)心及所在的圖像坐標(biāo)，輪廓面積，形狀的凸包，輪廓邊緣的梯度信息，輪廓邊緣光強(qiáng)度信息等。然后根據(jù)顯微透鏡參數(shù)計(jì)算出的原始未放大的圖像的相對面積，對結(jié)構(gòu)光進(jìn)行編碼，使面結(jié)構(gòu)光的精度滿足目標(biāo)物體的復(fù)雜度及大小。面結(jié)構(gòu)光經(jīng)過物方像方遠(yuǎn)心鏡組，將投影儀投射出的光縮小后進(jìn)入光纖束，經(jīng)光纖束傳輸，從光纖束末端投射出至第2步中粗對準(zhǔn)的微小目標(biāo)物體表面。
[0053] 第四步：CCD攝像機(jī)獲取經(jīng)由高倍顯微鏡放大后的結(jié)構(gòu)光調(diào)制圖像，然后對圖像進(jìn)行解碼，利用光學(xué)三角法進(jìn)行三維坐標(biāo)變換，求解圖像的深度信息；由于是微小面結(jié)構(gòu)光，采集的圖像難免會(huì)由于光的衍射導(dǎo)致光條紋邊界模糊，此處可采用對圖像進(jìn)行曲波變換方法消除邊緣模糊。
[0054] 第五步：在放大后的調(diào)制圖像中進(jìn)行坐標(biāo)變換得到的結(jié)構(gòu)光三維點(diǎn)后，將結(jié)構(gòu)光特征點(diǎn)和LED光輪廓獲取的梯度信息、邊緣強(qiáng)度信息參量結(jié)合，將輪廓的多參量信息與三維點(diǎn)云的分割信息結(jié)合，在像素平面中，將鄰接的結(jié)構(gòu)光點(diǎn)生成網(wǎng)格線，在網(wǎng)格線和梯度信息的交叉處插入新的三維點(diǎn)，更新插入新三維點(diǎn)云后進(jìn)一步細(xì)化三維網(wǎng)格，新插入三維點(diǎn)的深度信息由細(xì)分規(guī)則得出；進(jìn)行曲面擬合，得到最終的三維圖像。通過梯度信息與結(jié)構(gòu)光的結(jié)合，得到比傳統(tǒng)結(jié)構(gòu)光更多的曲面梯度變化信息，使重建后的曲面更加精細(xì)，在微小目標(biāo)物體邊緣處的三維信息也將更精確。
[0055] 面結(jié)構(gòu)光投影儀采用現(xiàn)場標(biāo)定方法，步驟如下：
[0056] 第1步：獲取標(biāo)定棋盤及投影光源照片；
[0057] 第2步：平面的世界坐標(biāo)系獲取，通過4組標(biāo)定板照片上的特征點(diǎn)照片，可以獲取4組標(biāo)定板所在平面的世界坐標(biāo)系；
[0058] 第3步：平面上各個(gè)角點(diǎn)世界坐標(biāo)的獲取，由于標(biāo)定板所在的平面世界坐標(biāo)系和網(wǎng)格結(jié)構(gòu)光所在的平面為同一平面，根據(jù)各網(wǎng)格的交點(diǎn)在圖像上的坐標(biāo)，可以獲得所有網(wǎng)格相交的角點(diǎn)所在的世界坐標(biāo)系上的空間位置，通過對網(wǎng)格照片的閾值化，檢測亞像素級角點(diǎn)，獲取所有網(wǎng)格角點(diǎn)在圖像坐標(biāo)系中的位置；
[0059] 第4步：各網(wǎng)格角點(diǎn)標(biāo)定參數(shù)的獲取，令被測物體的世界坐標(biāo)系為{W}，攝像機(jī)坐標(biāo)系為{C}，結(jié)構(gòu)光坐標(biāo)系為{P}，角點(diǎn)Pp(Up,Vp)，照射到被測物上點(diǎn)Pw(Xw,Yw,Zw)，Pw在圖像平面上成像點(diǎn)位Pc(Uc,Vc),光平面上的結(jié)構(gòu)光點(diǎn)Pp(Up,Vp)，和在世界坐標(biāo)系上的坐標(biāo)值Pw(Xw,Yw,Zw)，可以推出其滿足以下關(guān)系：
[0060]
[0061] 式中:K是非零系數(shù)；AP是光信息編碼結(jié)構(gòu)光的內(nèi)約束參數(shù)矩陣，R與T分別表示結(jié)構(gòu)光坐標(biāo)系關(guān)于靶標(biāo)所在世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量，即需要通過標(biāo)定，求得AP，R與T的值，得到網(wǎng)格角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式，根據(jù)4組各角點(diǎn)所在的世界坐標(biāo)系上的位置，代入角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式(1)，可以求得AP，R與T的值，即得到角點(diǎn)在光平面和世界坐標(biāo)系上的轉(zhuǎn)換公式。
[0062] 在所述第1步中，包括如下步驟：
[0063] 第(1)步：在工作臺上，放置一四角高低可調(diào)平面板，四個(gè)角的高低由螺母旋轉(zhuǎn)調(diào)節(jié)，在平面板上放置攝像機(jī)平面標(biāo)圖案，該標(biāo)定板的設(shè)計(jì)采用2*2像素為一格，總數(shù)為11*15格的黑白微小棋盤板，通過微調(diào)節(jié)螺母改變標(biāo)定板的姿態(tài)，CCD攝像機(jī)拍攝一張經(jīng)由顯微透鏡組放大后的標(biāo)定板圖像；
[0064] 第(2)步：拿走標(biāo)定板，保持可調(diào)平面板不動(dòng)，打開結(jié)構(gòu)光源后再由CCD攝像機(jī)拍攝一張照片；
[0065] 第(3)步：移動(dòng)平面物件的姿態(tài)和位置，重復(fù)第(1)步和第(2)步，共計(jì)獲取4組照片，其中標(biāo)定板畫面照片4張，結(jié)構(gòu)光畫面圖片4張。
[0066] CCD攝像機(jī)標(biāo)定的方法包括如下步驟：
[0067] A.在工作臺上，放置一四角高低可調(diào)平面板，在平面板上放置制作好的微小標(biāo)定棋盤格，四個(gè)角的高低由螺母旋轉(zhuǎn)調(diào)節(jié)。通過調(diào)節(jié)螺母改變標(biāo)定板的姿態(tài)，由CCD攝像機(jī)拍攝多張經(jīng)由顯微透鏡組放大后的標(biāo)定板圖像；
[0068] B.檢測出各個(gè)放大后標(biāo)定板中的特征點(diǎn)；
[0069] C.根據(jù)特征點(diǎn)求出CCD攝像機(jī)的內(nèi)參數(shù)和外參數(shù)；
[0070] D.根據(jù)內(nèi)外參數(shù)求出畸變系數(shù)；
[0071] E.最后優(yōu)化參數(shù)，減少運(yùn)算量，保證校正精度；
[0072] 標(biāo)定板放置時(shí)，要求能夠
覆蓋到攝像機(jī)的所有
視野范圍，以便得到最精確的標(biāo)定參數(shù)。標(biāo)定軟件提取每張不同姿態(tài)的圖片中標(biāo)定板上特征點(diǎn)的位置，標(biāo)定完成后，生成標(biāo)定參數(shù)文件，通過標(biāo)定后，利用標(biāo)定參數(shù)對圖像進(jìn)行校正，使畸變的圖像恢復(fù)正常。此處目標(biāo)物體由顯微透鏡組放大后的實(shí)像與虛像的位置可由透鏡成像公式計(jì)算得出，即標(biāo)定板的實(shí)際位置與放大后的虛擬位置之間有固定的變換。由于標(biāo)定板所在位置與待測目標(biāo)物的處于同一工作平臺，所以由CCD攝像機(jī)拍攝的經(jīng)過顯微透鏡放大后標(biāo)定板的像計(jì)算出的旋轉(zhuǎn)矩陣、平移矩陣、內(nèi)外參數(shù)已經(jīng)包含了由實(shí)際物體到顯微放大透鏡組的成像轉(zhuǎn)換。故可以適用于實(shí)際目標(biāo)物體的坐標(biāo)變換。
[0073] LED輪廓信息與面結(jié)構(gòu)光圖像結(jié)合：
[0074] 采用光強(qiáng)均勻分布的面陣LED光源，將LED光源經(jīng)由光纖束對場景中的微小目標(biāo)物進(jìn)行光照投射，根據(jù)CCD攝像機(jī)獲取的圖像信息，其中包括輪廓的形狀，輪廓面積，目標(biāo)區(qū)域占比，輪廓質(zhì)心及所在的圖像坐標(biāo)，形狀的凸包，邊緣梯度信息，復(fù)雜度等。光電探測器獲取場景中的各個(gè)物體的輪廓反射光強(qiáng)信息，如輪廓邊緣光強(qiáng)度信息，各區(qū)域反射光強(qiáng)度。對場景輪廓與目標(biāo)物體本身輪廓進(jìn)行對比，通過
模式識別，
機(jī)器學(xué)習(xí)識別，輪廓匹配等方法，確定與目標(biāo)物體相對應(yīng)的輪廓區(qū)域，并確定目標(biāo)物體與其所在區(qū)域的占比面積。通過對目標(biāo)區(qū)域的初步確定及面積大小的判斷，系統(tǒng)自適應(yīng)的給出一定波長的面結(jié)構(gòu)光光源進(jìn)行投影，該結(jié)構(gòu)光的參量如光點(diǎn)間隔依據(jù)物件的大體輪廓而定。用攝像機(jī)采集經(jīng)物體表面調(diào)制變形的結(jié)構(gòu)光圖像，通過對變形結(jié)構(gòu)光圖像的分析，建立投影到物體表面上一點(diǎn)的結(jié)構(gòu)光投影點(diǎn)和其在變形結(jié)構(gòu)光圖像中成像點(diǎn)之間的對應(yīng)關(guān)系，然后根據(jù)三角測量原理計(jì)算出物體表面結(jié)構(gòu)光點(diǎn)出的深度。在微納米結(jié)構(gòu)中，由于結(jié)構(gòu)光所投影面積太小和
光學(xué)透鏡的分辨率極限原因，并不能無限放大其拍攝的圖像。為提高模型精度，在此處提出的解決方法步驟為：
[0075] a.利用LED光反射輻照度信息，進(jìn)行不同光波長過濾后通道提取和利用Sobel算子，分別得到RGB三通道在銳利邊緣處的梯度信息；
[0076] b.在相對平坦面的光反射輻照度幾乎不變，在銳利變化和曲面變化的地方輻照度因反射光的方向發(fā)散，所測得的反射輻照度將會(huì)產(chǎn)生變化。利用輻照度變化的關(guān)系消除因面結(jié)構(gòu)光衍射部分帶來的誤差。
[0077] c.由穩(wěn)定光源LED定向光確定的微小物體的輪廓，在輪廓處由步驟a得到的梯度信息，光強(qiáng)信息，結(jié)合結(jié)構(gòu)光相鄰點(diǎn)云的梯度信息進(jìn)一步細(xì)化目標(biāo)物體的曲面程度；如場景中的物體是方形體或梯形體，得到相應(yīng)的規(guī)則約束，從而可以選擇平面細(xì)分規(guī)則。如果場景中的物體是曲面體，則選擇曲面細(xì)分規(guī)則。
[0078] d.將結(jié)構(gòu)光點(diǎn)和梯度信息結(jié)合，在像素平面中，將鄰接的結(jié)構(gòu)光點(diǎn)連線，在連線和梯度信息的交叉處插入新的三維點(diǎn)，新插入三維點(diǎn)的深度信息由細(xì)分規(guī)則得出，通過梯度信息的結(jié)合，得到更高的三維模型精度。
[0079] 應(yīng)用二元面結(jié)構(gòu)光在微納米量級的三維重建：
[0080] 在微納米量級的場景中，如圖1，首先通過光纖探頭向微場景發(fā)出特殊的LED定向光源，光電探測器獲取整塊LED投影反射光，經(jīng)由采集卡反饋的光強(qiáng)，反射輻照度等信息到視覺主機(jī)處理器。經(jīng)CCD攝像機(jī)第一次采集的LED光照圖像，由計(jì)算機(jī)處理后產(chǎn)生全局圖像輪廓。通過計(jì)算機(jī)輪廓匹配識別模塊處理全局圖像輪廓與采集卡反饋光強(qiáng)信息后，獲得場景內(nèi)目標(biāo)物平面輪廓和大體位置及輪廓邊緣光強(qiáng)梯度信息，得出待測物在平臺的坐標(biāo)。再引導(dǎo)的具有微操控機(jī)械手臂接近微納米器件。然后向目標(biāo)物體發(fā)出多參量的光信息編碼的面結(jié)構(gòu)光，該結(jié)構(gòu)光的參量如結(jié)構(gòu)圖案間隔、大小等依據(jù)物件的大體輪廓而定，反射光過通過顯微透鏡組，CCD檢測獲得面結(jié)構(gòu)光調(diào)制變形后的圖像。在獲得面結(jié)構(gòu)光圖像后要對其進(jìn)行背景去噪處理，只留下面結(jié)構(gòu)光所覆蓋區(qū)域。調(diào)制變形后的編碼結(jié)構(gòu)光圖像經(jīng)過解碼，就能和投射圖案一一對應(yīng)，進(jìn)行符號識別，提取相應(yīng)的特征點(diǎn)，進(jìn)行三維信息的測量。
[0081] 在此處用光纖束和光電檢測器檢測得到反射LED光輪廓信息和邊緣強(qiáng)度信息之前，由于外部光線干擾，需要先對LED光的光輻照度進(jìn)行標(biāo)定，標(biāo)定方法如下：
[0082] 1)對目標(biāo)物體的自然光反射輻照度進(jìn)行檢測，得到目標(biāo)物體的初始光輻照度分布圖。
[0083] 2)將LED光經(jīng)由光纖束發(fā)射，投影至純白色標(biāo)定板，并進(jìn)行不同距離與角度投射測試。
[0084] 3)對光纖束探頭發(fā)射出的光進(jìn)行不同距離的光反射輻照度檢測，得到反射光輻照度I與距離D的關(guān)系，在此處用多項(xiàng)式函數(shù) 擬合，在多項(xiàng)式中,ak為系數(shù)，過高的階數(shù)并不適合光輻照變化曲線特性，符合特征的函數(shù)k以2至4階多項(xiàng)式為宜。
[0085] 4)將LED光投影至微納米器件上，LED反射光進(jìn)入光纖束中，經(jīng)過環(huán)形器進(jìn)入光電探測器。對反射光的各個(gè)RGB通道分別計(jì)算反射光各點(diǎn)的相對值，相對值為反射后的光輻照度減去初始光輻照度，去除背景噪聲之后得到目標(biāo)物體各部分的相對深度。三維重建模塊獲取相對光強(qiáng)值，以X,Y軸為平面信息，相對光輻照值為Z軸深度信息，將得到的深度信息與面結(jié)構(gòu)光計(jì)算得出的三維深度進(jìn)行融合，按照步驟(3)中所述的提高模型的精度。最后對精確細(xì)化后的點(diǎn)云實(shí)現(xiàn)網(wǎng)格化和曲面擬合，得到三維圖像。對于在微納米量級三維重建中的網(wǎng)格化三維細(xì)分，關(guān)鍵也通過編碼面結(jié)構(gòu)光與輪廓光強(qiáng)、梯度信息相結(jié)合確定更加精密的梯度和深度信息。
[0086] 本發(fā)明具有如下有益效果：
[0087] 1.本方法基于面結(jié)構(gòu)光的三維點(diǎn)云和由曲面深度變化引起的光輻照度變化獲得的三維信息，光強(qiáng)變化的信息可以生成另外一組三維數(shù)據(jù)。利用兩種不同特性參量的點(diǎn)云數(shù)據(jù)，將點(diǎn)云數(shù)據(jù)融合，增強(qiáng)系統(tǒng)結(jié)構(gòu)光測量的精度。
[0088] 2.針對微納米級的目標(biāo)，使用光反射變化測量深度信息。采用類似空間光通信中ATP伺服系統(tǒng)原理，引導(dǎo)視覺機(jī)器人實(shí)現(xiàn)先粗對準(zhǔn)后精對準(zhǔn)的重建方法。實(shí)現(xiàn)微納米三維測量的引導(dǎo)技術(shù)，可以有效提高
工業(yè)機(jī)器人在微納米器件裝配上的精準(zhǔn)度。
[0089] 3.本系統(tǒng)使用光纖束作為光傳導(dǎo)介質(zhì)，利用光纖束的
自由度大，光路可以跟隨機(jī)械臂靈活運(yùn)動(dòng)，可以靈活的進(jìn)行不同環(huán)境的三維檢測和引導(dǎo)。
[0090] 以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
