技術(shù)領(lǐng)域
[0001] 本
發(fā)明涉及激光
光源、全方位視覺(jué)傳感器以及
計(jì)算機(jī)視覺(jué)技術(shù)在
立體視覺(jué)測(cè)量方面的應(yīng)用，尤其是一種基于主動(dòng)立體全景視覺(jué)傳感器的全方位三維模型重建技術(shù)，主要應(yīng)用于
機(jī)器人導(dǎo)航和三維立體重構(gòu)。
背景技術(shù)
[0002] 基于計(jì)算機(jī)視覺(jué)的雙目立體視覺(jué)三維測(cè)量與立體重構(gòu)技術(shù)，是一
門(mén)新興的、極具發(fā)展?jié)?a href='/zhuanli/list-23072-1.html' target='_blank'>力和實(shí)用價(jià)值的應(yīng)用技術(shù)，可被廣泛應(yīng)用于工業(yè)檢測(cè)、地理勘測(cè)、醫(yī)學(xué)整容、骨科矯形、文物復(fù)制、刑偵取證、保安識(shí)別、
機(jī)器人視覺(jué)、模具快速成型、禮品、
虛擬現(xiàn)實(shí)、動(dòng)畫(huà)電影、游戲等許多應(yīng)用領(lǐng)域。針對(duì)具有高
精度的幾何信息和真實(shí)感的
顏色信息的三維模型的重建，一直是計(jì)算機(jī)視覺(jué)、
人工智能、
模式識(shí)別、
計(jì)算機(jī)圖形學(xué)和
地理信息系統(tǒng)等領(lǐng)域的研究熱點(diǎn)。
[0003] 三維模型的重建技術(shù)主要涉及到以下三個(gè)方面的內(nèi)容：1）幾何的準(zhǔn)確性；2）真實(shí)感；3）重建過(guò)程的自動(dòng)化。三維模型的重建所需要的數(shù)據(jù)主要包括激光掃描的
深度圖像數(shù)據(jù)和圖像傳感器采集的圖像數(shù)據(jù)兩個(gè)方面。
[0004] 通常立體圖像獲取是通過(guò)采用由圖像傳感器構(gòu)成的雙目立體視覺(jué)進(jìn)行場(chǎng)景
圖像采集，即同時(shí)從不同視點(diǎn)采集兩幅同一場(chǎng)景的圖像。但由于普通的圖像傳感器的視場(chǎng)
角較小，只能獲取有限視場(chǎng)內(nèi)的局部圖像。為了獲取大視場(chǎng)場(chǎng)景圖像，只能通過(guò)單個(gè)圖像傳感器旋轉(zhuǎn)或者多個(gè)圖像傳感器組合得到全景圖像，為此產(chǎn)生了系統(tǒng)設(shè)計(jì)復(fù)雜、運(yùn)行實(shí)時(shí)性差等問(wèn)題。全方位視覺(jué)傳感器（ODVS）通過(guò)鏡面折反射原理得到360°范圍的環(huán)境圖像信息，對(duì)于建立室內(nèi)環(huán)境三維模型有著巨大優(yōu)勢(shì)。由于二次曲面的折反射使得獲得的全景圖像
水平方向畸變很大，往往需要將全景圖像進(jìn)行展開(kāi)，根據(jù)不同的需要全景圖像可以展開(kāi)成360°矩形展開(kāi)圖像、局部透視展開(kāi)圖像和Bird-View變換圖像。
[0005] 中國(guó)發(fā)明
專(zhuān)利申請(qǐng)號(hào)為200810062128.5公開(kāi)了一種基于雙目全方位視覺(jué)傳感器的立體視覺(jué)測(cè)量裝置，該專(zhuān)利中組成立體視覺(jué)測(cè)量裝置的兩個(gè)全方位視覺(jué)傳感器采用了平均角
分辨率設(shè)計(jì)，采集圖像的兩個(gè)攝像機(jī)的參數(shù)完全一致，具有極好的對(duì)稱(chēng)性，能實(shí)現(xiàn)快速的點(diǎn)與點(diǎn)的匹配，從而達(dá)到立體視覺(jué)測(cè)量的目的。該發(fā)明利用全景圖像具有大視場(chǎng)的優(yōu)點(diǎn)，對(duì)兩幅全景圖像進(jìn)行立體匹配獲得場(chǎng)景深度圖，并經(jīng)過(guò)相關(guān)
圖像處理方式建立環(huán)境三維模型；但是從完成點(diǎn)對(duì)點(diǎn)匹配到立體測(cè)量仍需要較大的計(jì)算資源，要實(shí)現(xiàn)實(shí)時(shí)在線的立體測(cè)量以及三維立體重構(gòu)仍然存在著一些“病態(tài)”計(jì)算問(wèn)題。
[0006] 基于激光掃描所建立的三維模型只能得到精確的空間三維
幾何模型，而缺少場(chǎng)景的紋理信息；而基于圖像立體匹配建立的室內(nèi)環(huán)境三維模型雖然具有紋理信息，但模型精度很低，按目前的圖像傳感器的分辨率還難以達(dá)到真正有效地實(shí)用。因此，通過(guò)激光掃描得到準(zhǔn)確的三維幾何模型，通過(guò)數(shù)據(jù)關(guān)聯(lián)與分割，在三維點(diǎn)
云模型中構(gòu)建環(huán)境表面，然后將圖像中相應(yīng)部分映射到模型表面，使得重構(gòu)后的三維模型同時(shí)具有較高的精度和較好的紋理信息。
[0007] 但是上述方法最大的問(wèn)題是無(wú)法滿足實(shí)時(shí)處理的要求，尤其難以滿足
移動(dòng)機(jī)器人這樣的實(shí)時(shí)導(dǎo)航
定位的任務(wù)需求。
發(fā)明內(nèi)容
[0008] 為了克服已有的被動(dòng)式全景立體視覺(jué)測(cè)量裝置的計(jì)算機(jī)資源消耗大、實(shí)時(shí)性能差、實(shí)用性不強(qiáng)、魯棒性不高等不足，以及全彩色全景LED光源的主動(dòng)三維立體全景視覺(jué)測(cè)量裝置容易受到環(huán)境光的干擾等不足，本發(fā)明提供一種通過(guò)直接獲取空間三維點(diǎn)的
位置幾何信息以及顏色信息，能夠減少計(jì)算機(jī)資源消耗、快速完成測(cè)量、實(shí)時(shí)性好、實(shí)用性強(qiáng)、魯棒性高的基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)。
[0009] 要實(shí)現(xiàn)上述發(fā)明內(nèi)容，必須要解決三個(gè)核心問(wèn)題：（1）實(shí)現(xiàn)一種移動(dòng)面激光光源；（2）實(shí)現(xiàn)一種能快速獲得實(shí)際物體深度信息的主動(dòng)式全景視覺(jué)傳感器；（3）將激光掃描空間數(shù)據(jù)點(diǎn)與全景圖像中相應(yīng)
像素點(diǎn)進(jìn)行快速融合的方法；（4）一種基于全方位視覺(jué)Bird-View變換的
三維重建方法。
[0010] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0011] 一種基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)，所述全方位三維建模系統(tǒng)包括全方位視覺(jué)傳感器、用于產(chǎn)生三維體結(jié)構(gòu)投射光源的移動(dòng)面激光光源以及用于對(duì)全方位圖像進(jìn)行3D全景重構(gòu)的
微處理器，所述的全方位視覺(jué)傳感器的中心與所述移動(dòng)面激光光源的中心配置在同一根軸心線上；
[0012] 所述全方位視覺(jué)傳感器包括雙曲面鏡面、上蓋、透明半圓形外罩、下固定座、攝像單元固定座、攝像單元、連接單元和上罩；所述的雙曲面鏡面固定在所述的上蓋上，所述的連接單元將所述的下固定座和透明半圓形外罩連接成一體，所述的透明半圓形外罩與所述的上蓋以及所述的上罩固定在一起，所述的攝像單元固定在所述的攝像單元固定座上，所述的攝像單元固定座固定在所述的下固定座上，所述的全方位視覺(jué)傳感器中的所述的攝像單元的輸出與所述微處理器連接；
[0013] 所述的移動(dòng)面激光光源包括綠光線激光發(fā)生單元、線激光發(fā)生組合單元、直線
電機(jī)組件、導(dǎo)向
支撐桿、直線電機(jī)固定
支架、底盤(pán)和紅光線激光發(fā)生單元；所述的綠光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過(guò)這樣組合后的線激光能形成一個(gè)發(fā)出綠光的全方位面激光光源；所述的紅光線激光發(fā)生單元固定在所述的線激光發(fā)生組合單元的孔中，經(jīng)過(guò)這樣組合后的線激光能形成一個(gè)發(fā)出紅光的全方位面激光光源；組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分分別固定在所述的直線電機(jī)組件中
齒條的兩端；所述的導(dǎo)向支撐桿垂直固定在所述的底盤(pán)上，所述的直線電機(jī)固定支架垂直固定在所述的底盤(pán)上；
[0014] 所述的全方位視覺(jué)傳感器通過(guò)連接板安裝在所述的移動(dòng)面激光光源中的所述的導(dǎo)向支撐桿上，構(gòu)成一個(gè)主動(dòng)式全方位視覺(jué)傳感器；
[0015] 所述微處理器包括：
[0016] 視頻圖像讀取模
塊，用于讀取全方位視覺(jué)傳感器的視頻圖像，并保存在所述的存儲(chǔ)單元中，其輸出與所述的全方位視覺(jué)傳感器標(biāo)定模塊、Bird-View變換模塊和全方位面激光信息解析模塊連接；
[0017] 全方位視覺(jué)傳感器標(biāo)定模塊，用于確定三維空間點(diǎn)和攝像機(jī)成像平面上的二維圖像點(diǎn)之間映射關(guān)系的參數(shù)，標(biāo)定后的參數(shù)存放在所述的存儲(chǔ)單元中；
[0018] Bird-View變換模塊，用于讀取存放在所述的存儲(chǔ)單元中的全方位視覺(jué)傳感器的標(biāo)定參數(shù)值，通過(guò)Bird-View變換來(lái)修正全方位視覺(jué)成像后嚴(yán)重扭曲
變形，將全方位圖像變換為Bird-View視圖，Bird-View視圖類(lèi)似于
鳥(niǎo)類(lèi)俯瞰著這個(gè)地面上所形成的圖像，變換后得到的Bird-View視圖存放在所述的存儲(chǔ)單元中，以便后續(xù)處理中調(diào)用；
[0019] 全方位面激光信息解析模塊，用于在全景圖像上解析出激光投影信息，產(chǎn)生點(diǎn)云信息；
[0020] 聯(lián)合標(biāo)定模塊，用于對(duì)所述的主動(dòng)式全方位視覺(jué)傳感器進(jìn)行標(biāo)定；由于所述的全方位視覺(jué)傳感器和所述的移動(dòng)面激光光源在裝配過(guò)程中不可避免的存在著各種裝配誤差，通過(guò)聯(lián)合標(biāo)定將這些誤差減少到最低限度；
[0021] 移動(dòng)面激光光源的直線電機(jī)的位置估計(jì)模塊，用于估算所述的移動(dòng)面激光光源的當(dāng)前位置，為所述的移動(dòng)面的點(diǎn)云幾何信息的計(jì)算模塊提供數(shù)據(jù)；
[0022] 移動(dòng)面的點(diǎn)云幾何信息的計(jì)算模塊，用于對(duì)所述的移動(dòng)面激光光源的直線電機(jī)的位置的估計(jì)值以及在全景圖像上解析出激光投影信息的相關(guān)像素坐標(biāo)值計(jì)算移動(dòng)面的點(diǎn)云幾何信息；
[0023] 點(diǎn)云的幾何信息和顏色信息的融合模塊，對(duì)每個(gè)點(diǎn)云用(R,α,β，r,g,b)來(lái)表達(dá)其幾何信息和顏色信息，其中，R為點(diǎn)云到全方位視覺(jué)傳感器單視點(diǎn)Om的距離，α為點(diǎn)云到全方位視覺(jué)傳感器單視點(diǎn)Om的入射角，β為點(diǎn)云到全方位視覺(jué)傳感器單視點(diǎn)Om的方位角，r為點(diǎn)云的
RGB顏色空間的R顏色分量，g為點(diǎn)云的RGB顏色空間的G顏色分量，b為點(diǎn)云的RGB顏色空間的B顏色分量；
[0024] 以移動(dòng)面的位置信息構(gòu)建全景3D模型構(gòu)建模塊，用于逐步構(gòu)建全景3D模型；所述的移動(dòng)面激光光源完成一次垂直方向的掃描過(guò)程，即從一個(gè)極限位置到另一個(gè)極限位置就完成了全景3D模型的構(gòu)建，掃描過(guò)程中每一移動(dòng)步長(zhǎng)都會(huì)產(chǎn)生在某一個(gè)高度情況下的切片點(diǎn)云數(shù)據(jù)，將這些數(shù)據(jù)以所述的移動(dòng)面激光光源的高度值作為保存索引，這樣就能按切片點(diǎn)云數(shù)據(jù)產(chǎn)生順序進(jìn)行累加，為最后構(gòu)建帶有幾何信息和顏色信息的全景3D模型；從上極限位置到下極限位置重構(gòu)過(guò)程為向下全景3D重構(gòu)模式，從下極限位置到上極限位置重構(gòu)過(guò)程為向上全景3D重構(gòu)兩種不同模式；
[0025] 3D全景模型生成模塊，用于輸出重構(gòu)結(jié)果并為下一次重構(gòu)做準(zhǔn)備。
[0026] 進(jìn)一步，所述的全方位視覺(jué)傳感器標(biāo)定模塊中，建立一個(gè)成像平面的像點(diǎn)與入射光線之間的聯(lián)系，即與入射角之間的對(duì)應(yīng)關(guān)系，用公式（6）表示；
[0027]
[0028] 式中，α表示點(diǎn)云的入射角，||u″||為傳感器平面點(diǎn)到該平面中心點(diǎn)的距離，a0、a1、a2、aN為標(biāo)定的全方位視覺(jué)傳感器的內(nèi)外參數(shù)，通過(guò)公式（6）建立一張成像平面任一像素點(diǎn)與入射角之間的對(duì)應(yīng)關(guān)系表，表1為本發(fā)明中使用的一種單視點(diǎn)全方位視覺(jué)傳感器的標(biāo)定結(jié)果，
[0029]
[0030] 表1 ODVS的標(biāo)定結(jié)果
[0031] 對(duì)于采用的全方位視覺(jué)傳感器進(jìn)行標(biāo)定后，成像平面上的點(diǎn)||u″||與點(diǎn)云的入射角α關(guān)系可以用下面等式來(lái)表示；
[0032]
[0033] 更進(jìn)一步，所述的Bird-View變換模塊中，Bird-View變換看成全方位視覺(jué)傳感器成像過(guò)程的一種逆變換，因此利用公式（6）標(biāo)定的結(jié)果進(jìn)行Bird-View變換，通過(guò)該標(biāo)定結(jié)果將全方位圖像轉(zhuǎn)換成Bird-View圖像，其中點(diǎn)云P到觀測(cè)點(diǎn)Om在水平地面上的投影點(diǎn)之間的距離R用公式（7）進(jìn)行計(jì)算，
[0034]
[0035]
[0036] 式中，R為點(diǎn)云P到觀測(cè)點(diǎn)Om在水平地面上的投影點(diǎn)之間的距離，h為點(diǎn)云P到觀測(cè)點(diǎn)Om在垂直面上的投影點(diǎn)之間的距離，α為點(diǎn)云P到觀測(cè)點(diǎn)Om的入射角，β為點(diǎn)云P到觀測(cè)點(diǎn)Om的方位角。
[0037] 所述的全方位面激光信息解析模塊中，解析在全景圖上綠色激光和紅色激光投射點(diǎn)的方法是根據(jù)綠色激光和紅色激光投射點(diǎn)的像素的
亮度要大于成像平面上的平均亮度，首先是將全景圖的RGB顏色空間轉(zhuǎn)
化成HIS顏色空間，然后將成像平面上的平均亮度的1.2倍作為提取綠色激光和紅色激光投射點(diǎn)的
閾值，在提取出綠色激光和紅色激光投射點(diǎn)后需要進(jìn)一步區(qū)分綠色激光和紅色激光投射點(diǎn)，根據(jù)HIS顏色空間中的
色調(diào)值H進(jìn)行判斷，如果色調(diào)值H在（0，30）之間就判斷為紅色激光投射點(diǎn)，如果色調(diào)值H在（105，135）之間就判斷為綠色激光投射點(diǎn)，其余像素點(diǎn)就判斷為干擾；采用高斯近似方法來(lái)
抽取出激光投射線的中心位置，具體實(shí)現(xiàn)
算法是：
[0038] Step1：設(shè)置初始方位角β＝0；
[0039] Step2：在全景圖像上以方位角β從全景圖像的中心點(diǎn)開(kāi)始檢索紅色和綠色激光投射點(diǎn)，對(duì)于方位角β上存在著若干個(gè)連續(xù)的紅色激光投射的像素，選擇HIS顏色空間中的I分量，即亮度值接近最高值的三個(gè)連續(xù)像素通過(guò)高斯近似方法來(lái)估算激光投射線的中心位置；具體計(jì)算方法由公式（8）給出，
[0040]
[0041] 式中，f(i-1)、f(i)和f(i+1)分別為三個(gè)相鄰像素接近最高亮度值的亮度值，d為修正值，i表示從圖像中心點(diǎn)開(kāi)始的第i個(gè)像素點(diǎn)；因此估算得到的紅色激光投射線的中心位置為(i+d)，該值對(duì)應(yīng)于公式（6）和公式（7）中的||u″||，即||u″||(β)red＝i+d；對(duì)于綠色激光投射點(diǎn)的估算方法類(lèi)同，得到||u″||(β)green；
[0042] Step3：改變方位角繼續(xù)檢索激光投射點(diǎn)，即β=β+Δβ，Δβ=0.36；
[0043] Step4：判斷方位角β=360，如果成立，檢索結(jié)束；反之轉(zhuǎn)到Step2。
[0044] 所述以移動(dòng)面的位置信息構(gòu)建全景3D模型構(gòu)建模塊中，三維重構(gòu)的處理流程是：
[0045] StepA：通過(guò)視頻圖像讀取模塊讀取全景視頻圖像:；
[0046] StepB：根據(jù)直線電機(jī)的移動(dòng)速度以及到達(dá)兩個(gè)極限點(diǎn)的時(shí)間估計(jì)移動(dòng)面激光光源的直線電機(jī)的位置；
[0047] StepC：在全景圖像上解析出全方位面激光信息，計(jì)算移動(dòng)面點(diǎn)云幾何信息；
[0048] StepD：從內(nèi)存中讀取無(wú)激光投射情況下的全景視頻圖像，根據(jù)StepC中處理結(jié)果將移動(dòng)面幾何信息和顏色信息進(jìn)行融合；
[0049] StepE：逐步構(gòu)建全景3D模型；
[0050] StepF：判斷是否已經(jīng)到達(dá)極限點(diǎn)位置，如果是的話轉(zhuǎn)到StepG，不成立的話轉(zhuǎn)到StepA；
[0051] StepG：設(shè)置所述的移動(dòng)面激光光源為OFF，讀取無(wú)激光投射情況下的全景視頻圖像，并將其保存在內(nèi)存單元中，輸出3D全景模型并保存到存儲(chǔ)單元，設(shè)置所述的移動(dòng)面激光光源為ON，轉(zhuǎn)到StepA。
[0052] 所述的移動(dòng)面激光光源的直線電機(jī)的位置估計(jì)模塊中，規(guī)定在重構(gòu)開(kāi)始時(shí)將移動(dòng)面激光光源的初始位置定在上極限位置hup lim it，初始步長(zhǎng)控制值z(mì)move(j)=0，相鄰兩
幀時(shí)間移動(dòng)面激光光源的移動(dòng)步長(zhǎng)為Δz，即存在著以下關(guān)系，
[0053] zmove(j+1)=zmove(j)+Δz （9）
[0054] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，zmove(j+1)為第j+1幀時(shí)步長(zhǎng)控制值，Δz為移動(dòng)面激光光源的移動(dòng)步長(zhǎng)，這里規(guī)定從上極限位置hup lim it向下方向移動(dòng)時(shí)，Δz=1mm；從下極限位置hdown lim it向上方向移動(dòng)時(shí)，Δz=-1mm；程序?qū)崿F(xiàn)時(shí)通過(guò)以下關(guān)系式進(jìn)行判斷，[0055]
[0056] 根據(jù)設(shè)計(jì)紅色全方位面激光和綠色全方位面激光之間距離滿足以下關(guān)系，
[0057] hredlazer(zmove(j))=500+hgreenlazer(zmove(j)) （11）
[0058] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，在紅色全方位面激光處于上極限位置hup lim it時(shí)，zmove(j)=0；當(dāng)綠色全方位面激光處于下極限位置hdown lim it時(shí)，zmove(j)＝hLaserMD；上下極限位置存在著以下關(guān)系，
[0059] hdown lim it=500+hLaserMD+hup lim it （12）
[0060] 所述的移動(dòng)面的點(diǎn)云幾何信息的計(jì)算模塊中，點(diǎn)云的空間位置信息用高斯
坐標(biāo)系來(lái)表示，每一個(gè)點(diǎn)云的空間坐標(biāo)相對(duì)于全方位視覺(jué)傳感器的單視點(diǎn)Om為高斯坐標(biāo)原點(diǎn)的高斯坐標(biāo)用3個(gè)值來(lái)確定，即(R,α,β)，R為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離，α為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，β為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角，對(duì)于點(diǎn)云 點(diǎn)，其計(jì)算方法由公式（13）給出，[0061]
[0062]
[0063] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，||u″||(β)red為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hredlaer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，αb(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，Rb(zmove(j))為點(diǎn)云 到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離；
[0064] 對(duì)于點(diǎn)云 點(diǎn)，其計(jì)算方法由公式（15）給出，
[0065]
[0066]
[0067] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，||u″||(β)green為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hgreenlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，αa為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，Ra為點(diǎn)云 到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離。
[0068] 所述的點(diǎn)云的幾何信息和顏色信息的融合模塊中，為融合過(guò)程如下，
[0069] Step①：設(shè)置初始方位角β=0；
[0070] Step②：根據(jù)方位角β和在傳感器平面上與點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的||u″||(β)red和||u″||(β)green兩個(gè)點(diǎn)的信息，讀取無(wú)激光投射情況下的全景視頻圖上的相關(guān)像素點(diǎn)的(r,g,b)
顏色數(shù)據(jù)，與從所述的StepC中處理加工得到的相對(duì)應(yīng)的(R,α,β)進(jìn)行融合，得到相對(duì)應(yīng)的點(diǎn)云幾何信息和顏色信息(R,α,β，r,g,b)；
[0071] Step③：β←β+Δβ，Δβ=0.36，判斷β=360是否成立，如果成立結(jié)束計(jì)算，將計(jì)算結(jié)果保存在存儲(chǔ)單元中；否則轉(zhuǎn)到Step②；
[0072] 所述的移動(dòng)面的點(diǎn)云幾何信息的計(jì)算模塊中，點(diǎn)云 點(diǎn)空間位置信息用笛卡爾坐標(biāo)系 來(lái)表示，其計(jì)算方法由公式（14）給出，
[0073]
[0074]
[0075] zb(zmove(j))=-hredlazer(zmove(j))
[0076] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，||u″||(β)red為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hredlaer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，β為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角；
[0077] 點(diǎn)云 點(diǎn)空間位置信息用笛卡爾坐標(biāo)系 來(lái)表示，其計(jì)算方法由公式（16）給出，
[0078]
[0079]
[0080] za(zmove(j))=-hgreenlazer(zmove(j))
[0081] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，||u″||(β)green為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hgreenlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，β為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角。
[0082] 在所述的StepC計(jì)算過(guò)程中遍歷了全方位360°的紅色和綠色全方位面激光投射所產(chǎn)生的點(diǎn)云數(shù)據(jù)；這里采用計(jì)算步長(zhǎng)為Δβ=0.36來(lái)遍歷整個(gè)360°的方位角，遍歷算法如下，
[0083] Step Ⅰ：設(shè)置初始方位角β=0；
[0084] Step Ⅱ：采用所述的全方位面激光信息解析模塊，沿射線方向檢索點(diǎn)云 和點(diǎn)云 得到在傳感器平面上與點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的||u″||(β)red和||u″||(β)green兩個(gè)點(diǎn)，用公式（13）計(jì)算點(diǎn)云 的距離值Rb和入射角αb，用公式（15）計(jì)算點(diǎn)云 的距離值Ra和入射角αa；或者用公式（14）和公式（16）得到 和 將上述的計(jì)算數(shù)據(jù)保存在內(nèi)存單元中；
[0085] StepⅢ：β←β+Δβ，Δβ=0.36，判斷β=360是否成立，如果成立結(jié)束計(jì)算，否則轉(zhuǎn)到StepⅡ。
[0086] 本發(fā)明的有益效果主要表現(xiàn)在：
[0087] 1）提供了一種全新的立體視覺(jué)獲取方法，利用全方位激光掃描和全方位視覺(jué)的特性使得重構(gòu)后的三維模型同時(shí)具有較高的精度和較好的紋理信息；
[0088] 2）能有效地減少計(jì)算機(jī)資源消耗，具有實(shí)時(shí)性好、實(shí)用性強(qiáng)、魯棒性高、自動(dòng)化程度高等優(yōu)點(diǎn)，整個(gè)3D重構(gòu)不需要人工介入；
[0089] 3）利用全方位激光檢測(cè)保證了幾何的準(zhǔn)確性，采用高分辨率的全景圖像采集技術(shù)使得在全景圖像上的每個(gè)像素同時(shí)擁有幾何信息和顏色信息，從而保證了3D重構(gòu)的真實(shí)感，整個(gè)過(guò)程自動(dòng)掃描、自動(dòng)解析和計(jì)算，不存在著三維重構(gòu)的病態(tài)計(jì)算問(wèn)題，實(shí)現(xiàn)了三維重建過(guò)程的自動(dòng)化；實(shí)現(xiàn)了3D全景模型重構(gòu)的幾何準(zhǔn)確性、真實(shí)感和重建過(guò)程自動(dòng)化的完美統(tǒng)一。
附圖說(shuō)明
[0090] 圖1為一種全方位視覺(jué)傳感器的結(jié)構(gòu)圖；
[0091] 圖2為單視點(diǎn)折反射全方位視覺(jué)傳感器成像模型，圖2（a）透視成像過(guò)程，圖2（b）傳感器平面，圖2（c）圖像平面；
[0092] 圖3為移動(dòng)面激光光源結(jié)構(gòu)簡(jiǎn)圖；
[0093] 圖4為主動(dòng)全景視覺(jué)傳感器的標(biāo)定說(shuō)明圖；
[0094] 圖5為求激光中心點(diǎn)的說(shuō)明示意圖；
[0095] 圖6為全方位激光發(fā)生器部件的結(jié)構(gòu)圖，圖6(a)為全方位激光發(fā)生器部件正視圖，圖(b)為全方位激光發(fā)生器部件俯視圖；
[0096] 圖7為全方位視覺(jué)傳感器的成像原理圖；
[0097] 圖8為基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)的
硬件結(jié)構(gòu)圖；
[0098] 圖9為基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)的
軟件架構(gòu)圖；
[0099] 圖10為單視點(diǎn)的全方位視覺(jué)傳感器標(biāo)定結(jié)果三維立體圖；
[0100] 圖11為基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)中的點(diǎn)云空間幾何信息計(jì)算的說(shuō)明圖；
[0101] 圖12為在全景圖像上解析點(diǎn)云空間幾何信息計(jì)算的過(guò)程說(shuō)明圖。
具體實(shí)施方式
[0102] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
[0104] 參照?qǐng)D1～12，一種基于主動(dòng)全景視覺(jué)傳感器的全方位三維建模系統(tǒng)，包括全方位視覺(jué)傳感器、移動(dòng)面激光光源以及用于對(duì)全方位圖像進(jìn)行3D全景重構(gòu)的微處理器，所述的全方位視覺(jué)傳感器的中心與所述移動(dòng)面激光光源的中心配置在同一根軸心線上；所述全方位視覺(jué)傳感器包括雙曲面鏡面2、上蓋1、透明半圓形外罩3、下固定座4、攝像單元固定座5、攝像單元6、連接單元7、上罩8，如附圖1所示；所述的雙曲面鏡面2固定在所述的上蓋
1上，所述的連接單元7將所述的下固定座4和透明半圓形外罩3連接成一體，所述的透明半圓形外罩3與所述的上蓋1以及所述的上罩8通過(guò)螺釘固定在一起，所述的攝像單元6
用螺釘固定在所述的攝像單元固定座5上，所述的攝像單元固定座5用螺釘固定在所述的下固定座4上，所述的全方位視覺(jué)傳感器中的所述的攝像單元6的輸出與所述微處理器連接；
[0105] 所述的移動(dòng)面激光光源用于產(chǎn)生三維體結(jié)構(gòu)投射光源，包括，綠光線激光發(fā)生單元2-1、線激光發(fā)生組合單元2-2、直線電機(jī)組件2-3、導(dǎo)向支撐桿2-4、直線電機(jī)固定支架2-5、底盤(pán)2-6、紅光線激光發(fā)生單元2-7，如附圖2所示；所述的綠光線激光發(fā)生單元2-1固定在所述的線激光發(fā)生組合單元2-2的孔中，如附圖4所示，經(jīng)過(guò)這樣組合后的線激光能形成一個(gè)發(fā)出綠光的全方位面激光光源；所述的紅光線激光發(fā)生單元2-7固定在所述的線激光發(fā)生組合單元2-2的孔中，經(jīng)過(guò)這樣組合后的線激光能形成一個(gè)發(fā)出紅光的全方位面激光光源；組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分分別用螺釘固定在所述的直線電機(jī)組件2-3中齒條的兩端；這時(shí)組合后的綠光的全方位面激光光源部分、組合后的紅光的全方位面激光光源部分和所述直線電機(jī)組件2-3構(gòu)成了一個(gè)所述的移動(dòng)面激光光源的核心組件；所述的導(dǎo)向支撐桿2-4垂直固定在所述的底盤(pán)2-6上，所述的直線電機(jī)固定支架2-5垂直固定在所述的底盤(pán)2-6上；然后將所述的移動(dòng)面激光光源的核心組件中的兩個(gè)所述的線激光發(fā)生組合單元2-2對(duì)準(zhǔn)所述的導(dǎo)向支撐桿2-4插入，將所述的移動(dòng)面激光光源的核心組件中的所述的直線電機(jī)組件2-3中的電機(jī)
基座固定在所述的直線電機(jī)固定支架2-5上；經(jīng)過(guò)上述裝配，所述的直線電機(jī)組件2-3中的齒條上下運(yùn)動(dòng)會(huì)帶動(dòng)組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分上下運(yùn)動(dòng)，以此產(chǎn)生掃描式的面激光光源；由于每次在全景成像過(guò)程中只有兩種類(lèi)型的激光，因此在全景視頻圖像上能方便地區(qū)分紅色激光和綠色激光；將組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分分別固定在齒條的兩端有利于增加激光掃描的垂直范圍；所述的直線電機(jī)組件2-3為微型交流直線往復(fù)式減速
電動(dòng)機(jī)，其往復(fù)運(yùn)動(dòng)范圍為500mm，型號(hào)為4IK25GNCMZ15S500，直線往復(fù)移動(dòng)速度為15mm/s，最大移動(dòng)推力為625N；
[0106] 所述的全方位視覺(jué)傳感器通過(guò)連接板安裝在所述的移動(dòng)面激光光源中的所述的導(dǎo)向支撐桿2-4上，構(gòu)成一個(gè)主動(dòng)式全方位視覺(jué)傳感器，如附圖3所示；所述的全方位視覺(jué)傳感器通過(guò)USB
接口與所述的微處理器相連接；
[0107] 所述的微處理器的
應(yīng)用軟件中主要由標(biāo)定和三維重構(gòu)兩個(gè)部分組成，標(biāo)定部分主要包括：視頻圖像讀取模塊、全方位視覺(jué)傳感器標(biāo)定模塊、Bird-View變換模塊、全方位面激光信息解析模塊、聯(lián)合標(biāo)定模塊；重構(gòu)部分主要包括：視頻圖像讀取模塊、移動(dòng)面激光光源的直線電機(jī)的位置估計(jì)模塊、全方位面激光信息解析模塊、移動(dòng)面的點(diǎn)云幾何信息的計(jì)算模塊，點(diǎn)云的幾何信息和顏色信息的融合模塊，以移動(dòng)面的位置信息構(gòu)建全景3D模型構(gòu)建模塊，3D全景模型生成模塊和存儲(chǔ)單元；
[0108] 所述的視頻圖像讀取模塊，用于讀取全方位視覺(jué)傳感器的視頻圖像，并保存在所述的存儲(chǔ)單元中，其輸出與所述的全方位視覺(jué)傳感器標(biāo)定模塊、Bird-View變換模塊和全方位面激光信息解析模塊連接；
[0109] 所述的全方位視覺(jué)傳感器標(biāo)定模塊，用于確定三維空間點(diǎn)和攝像機(jī)成像平面上的二維圖像點(diǎn)之間映射關(guān)系的參數(shù)，本發(fā)明中采用了單視點(diǎn)的全方位視覺(jué)傳感器，由雙曲面折反射鏡面成像原理構(gòu)成的全方位視覺(jué)傳感器具有單視點(diǎn)成像特性；其成像原理如圖5所示；為了建立三維空間點(diǎn)與成像平面圖像點(diǎn)上的映射關(guān)系，這里采用Micusík的透視投影成像模型，如圖10所示，在該成像模型中，考慮兩個(gè)不同的參考平面，圖像平面(u′,v′)和傳感器平面(u″,v″)，圖像平面和攝像機(jī)的CCD相關(guān)，用像素坐標(biāo)系來(lái)表示。傳感器平面是一個(gè)假設(shè)的和鏡面光軸
正交的平面，其中心原點(diǎn)是光軸和該平面的交點(diǎn)；以雙曲面鏡T面的焦點(diǎn)，即單視點(diǎn)Om為原點(diǎn)建立坐標(biāo)系，z″軸和鏡面光軸對(duì)齊；設(shè)X=[X,Y,Z] 為空間中T T
一點(diǎn)，u″=[u″,v″] 是X在傳感器平面的投影，u′＝[u′,v′] 是其對(duì)應(yīng)的圖像平
面的像素點(diǎn)；空間坐標(biāo)點(diǎn)X先通過(guò)射影變換矩陣投射到鏡面上A點(diǎn)處，A點(diǎn)由
鏡面反射聚焦T
于攝像機(jī)光學(xué)中心點(diǎn)C，并交傳感器平面上u″=[u″,v″] 點(diǎn)，u″點(diǎn)通過(guò)仿射變換到圖T
像平面上點(diǎn)u′＝[u′,v′] ；整個(gè)單視點(diǎn)折反射攝像機(jī)成像模型描述的是由空間點(diǎn)到折反射鏡面點(diǎn)，折反射鏡面點(diǎn)到成像平面上的點(diǎn)，成像平面上的點(diǎn)再到圖像平面點(diǎn)形成圖像中的像素點(diǎn)的過(guò)程；
[0110] 折反射鏡面到傳感器平面之間的轉(zhuǎn)換用公式（1）表示；
[0111] λ>0（1）4 3×4 3×3
[0112] 式中，X∈R 表示空間點(diǎn)X的次坐標(biāo)，P=[R|T]∈R 為射影變換矩陣，R∈R3×1
為空間點(diǎn)到折反射鏡面點(diǎn)的旋轉(zhuǎn)矩陣，T∈R 為空間點(diǎn)到折反射鏡面點(diǎn)的平移矩陣；
[0113] 由傳感器平面到圖像平面之間的轉(zhuǎn)換用公式（2）表示：
[0114] u″=Au′+t （2）2×2 2×1
[0115] 式中，A∈R ，t∈R 。
[0116] Scaramuzza在Micusik透視投影模型的
基礎(chǔ)上，用一個(gè)函數(shù)f＝g／h來(lái)代替公式（1）中的函數(shù)g，h，即用函數(shù)f來(lái)表征三維空間點(diǎn)和二維平面點(diǎn)之間的關(guān)系，得到公式（3）,[0117] λ＞0（3）
[0118] 由于雙曲面的
旋轉(zhuǎn)對(duì)稱(chēng)性，Scaramuzza用Taylor展開(kāi)多項(xiàng)式來(lái)描述函數(shù)f，用公式（4）表示：
[0119] f(||u″||)=a0+a1||u″||+a2||u″||2+…+an||u″||N （4）
[0120] 式中，||u″||為成像平面上的點(diǎn)到該平面中心點(diǎn)的距離；
[0121] Scaramuzza和Micusik的模型的前提都是理想折反射攝像機(jī)模型，由于在實(shí)際加工組裝全方位視覺(jué)傳感器時(shí)會(huì)引入一些誤差；這里假設(shè)標(biāo)定的全方位視覺(jué)傳感器滿足理想模型，將存在一定的誤差的非理想模型代入Scaramuzza提出的簡(jiǎn)化模型轉(zhuǎn)換公式，得到公式（5）；
[0122] λ>0 （5）
[0123] 具體標(biāo)定過(guò)程是將標(biāo)定板繞全方位視覺(jué)傳感器一周，拍攝若干組全景圖像，建立空間點(diǎn)和成像平面中像素點(diǎn)的若干等式，使用最
優(yōu)化算法求出最優(yōu)解，計(jì)算結(jié)果如表1所示，即為本發(fā)明中使用的全方位視覺(jué)傳感器的標(biāo)定參數(shù)；
[0124] 表1 ODVS的標(biāo)定結(jié)果
[0125]
[0126] 標(biāo)定出全方位視覺(jué)傳感器的內(nèi)外參數(shù)后，就能建立一個(gè)成像平面的像點(diǎn)與入射光線，即入射角之間的對(duì)應(yīng)關(guān)系，如公式（6）表示；
[0127]
[0128] 式中，α表示點(diǎn)云的入射角，||u″||為成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，a0、a1、a2、aN為標(biāo)定的全方位視覺(jué)傳感器的內(nèi)外參數(shù)，通過(guò)公式（6）建立一張成像平面任一像素點(diǎn)與入射角之間的對(duì)應(yīng)關(guān)系表；關(guān)于標(biāo)定公式的具體推導(dǎo)和實(shí)現(xiàn)方法見(jiàn)參考文獻(xiàn)，Yi-ping Tang,QingWang,Ming-li Zong,Jun Jiang,and Yi-hua Zhu，Design of Vertically Aligned Binocular Omnistereo Vision Sensor，EURASIP Journal on Image and Video Processing，2010，P1~24；標(biāo)定后的結(jié)果可以建立圖像坐標(biāo)和地面位置之間的映射關(guān)系，如圖11所示；
[0129] 所述的Bird-View變換模塊，用于修正全方位視覺(jué)成像后嚴(yán)重扭曲變形，將全方位圖像變換為Bird-View視圖，Bird-View視圖類(lèi)似于鳥(niǎo)類(lèi)俯瞰著這個(gè)地面上所形成的圖像，通過(guò)這種變換將全景視頻圖像還原成水平面方向上無(wú)形變?nèi)耙曨l圖像，通過(guò)兩個(gè)電機(jī)的極限位置的激光掃描以及Bird-View變換可以得到接近地面的場(chǎng)景二維地圖和在一定高度的場(chǎng)景二維地圖；
[0130] Bird-View變換可以看成全方位視覺(jué)傳感器成像過(guò)程的一種逆變換，因此可以利用公式（6）標(biāo)定的結(jié)果進(jìn)行Bird-View變換，通過(guò)該標(biāo)定結(jié)果將全方位圖像轉(zhuǎn)換成Bird-View圖像，其中點(diǎn)云P到單視點(diǎn)Om在水平地面上的投影點(diǎn)之間的距離R用公式（7）進(jìn)行計(jì)算，
[0131]
[0132]
[0133] 式中，R為點(diǎn)云P到單視點(diǎn)Om在水平面上的投影點(diǎn)之間的距離，h為點(diǎn)云P到單視點(diǎn)Om在垂直面上的投影點(diǎn)之間的距離，α為點(diǎn)云P到單視點(diǎn)Om的入射角，β為點(diǎn)云P到單視點(diǎn)Om的方位角；
[0134] 在Bird-View變換圖上點(diǎn)云的方位角β與全方位圖像上的方位角β一致；這樣一幅全方位圖像可以在不同的水平面上構(gòu)建出若干不同高度的二維全局地圖；圖8(a)為全方位圖像，圖8(b)為Bird-View變換圖像，從Bird-View變換圖像來(lái)看，其不但具有以單視點(diǎn)Om為中心的全局視覺(jué)，同時(shí)也具有在不同高度水平面上的深度信息；
[0135] 本發(fā)明中兩個(gè)極限位置是由所述移動(dòng)面激光光源中的所述的直線電機(jī)組件最大行程以及組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分之間的垂直距離所決定的，這里選擇所述的直線電機(jī)組件最大行程為hLaserMD=500mm，設(shè)計(jì)組合后的綠光的全方位面激光光源部分和組合后的紅光的全方位面激光光源部分之間的垂直距離為500mm，即滿足以下關(guān)系hredlazer(z)=500+hgreenlazer(z)，上極限位置為單視點(diǎn)Om到組合后的紅光的全方位面激光光源部分發(fā)射的紅色面激光的垂直距離，如附圖4中的hup lim it，下極限位置為單視點(diǎn)Om到組合后的綠光的全方位面激光光源部分發(fā)射的綠色面激光的垂直距離，如附圖4中的hdown lim it，根據(jù)本發(fā)明的設(shè)計(jì)，hdown lim it=500+hLaserMD+hup lim it；這里規(guī)定全方位視覺(jué)傳感器的采集圖像速率為15Flame/s，由于所述的移動(dòng)面激光光源的垂直方向上的直線往復(fù)移動(dòng)速度為15mm/s，兩個(gè)幀間之間所述的移動(dòng)面激光光源的垂直方向上的直線移動(dòng)距離為1mm，兩個(gè)極限位置之間距離為1000mm，因此完成一次垂直方向上掃描時(shí)間為30s，共會(huì)產(chǎn)生1000個(gè)全景切片圖像；在一次垂直掃描過(guò)程中要處理500幀圖像，在1幀圖像中存在著紅色激光線和綠色激光線的兩條投影線，其中第1幀和第500幀圖像就是兩個(gè)極限位置的掃描全景切片圖像，解析第1幀和第500幀圖像上的紅色激光線和綠色激光線的兩條投影線，以得到投影線的空間位置信息；
[0136] 所述的全方位面激光信息解析模塊，用于在全景圖像上解析出激光投影信息；解析在全景圖上綠色激光和紅色激光投射點(diǎn)的方法是根據(jù)綠色激光和紅色激光投射點(diǎn)的像素的亮度要大于成像平面上的平均亮度，首先是將全景圖的RGB顏色空間轉(zhuǎn)化成HIS顏色空間，然后將成像平面上的平均亮度的1.2倍作為提取綠色激光和紅色激光投射點(diǎn)的閾值，在提取出綠色激光和紅色激光投射點(diǎn)后需要進(jìn)一步區(qū)分綠色激光和紅色激光投射點(diǎn)，本發(fā)明中根據(jù)HIS顏色空間中的色調(diào)值H進(jìn)行判斷，如果色調(diào)值H在（0，30）之間就判斷為紅色激光投射點(diǎn)，如果色調(diào)值H在（105，135）之間就判斷為綠色激光投射點(diǎn)，其余像素點(diǎn)就判斷為干擾；為了得到激光投射線的準(zhǔn)確位置，本發(fā)明采用高斯近似方法來(lái)抽取出激光投射線的中心位置，具體實(shí)現(xiàn)算法是：
[0137] Step1：設(shè)置初始方位角β=0；
[0138] Step2：在全景圖像上以方位角β從全景圖像的中心點(diǎn)開(kāi)始檢索紅色和綠色激光投射點(diǎn)，對(duì)于方位角β上存在著若干個(gè)連續(xù)的紅色激光投射的像素，其分布如附圖5，這里選擇HIS顏色空間中的I分量，即亮度值接近最高值的三個(gè)連續(xù)像素通過(guò)高斯近似方法來(lái)估算激光投射線的中心位置；具體計(jì)算方法由公式（8）給出，
[0139]
[0140] 式中，f(i-1)、f(i)和f(i+1)分別為三個(gè)相鄰像素接近最高亮度值的亮度值，d為修正值；因此估算得到的紅色激光投射線的中心位置為(i+d)，該值對(duì)應(yīng)于公式（6）和公式（7）中的||u″||，即||u″||(β)red=i+d；對(duì)于綠色激光投射點(diǎn)的估算方法類(lèi)同，得到u″||(β)green；
[0141] Step3：改變方位角繼續(xù)檢索激光投射點(diǎn)，即β=β+Δβ，Δβ=0.36；
[0142] Step4：判斷方位角β=360，如果成立，檢索結(jié)束；反之轉(zhuǎn)到Step2；
[0143] 所述的聯(lián)合標(biāo)定，用于對(duì)所述的主動(dòng)式全方位視覺(jué)傳感器進(jìn)行標(biāo)定；由于所述的全方位視覺(jué)傳感器和所述的移動(dòng)面激光光源在裝配過(guò)程中不可避免的存在著各種裝配誤差，通過(guò)聯(lián)合標(biāo)定將這些誤差減少到最低限度；具體做法是：首先，將所述的主動(dòng)式全方位視覺(jué)傳感器放置在一個(gè)直徑為1000mm的空心圓柱體內(nèi)，并將所述的主動(dòng)式全方位視覺(jué)傳感器的軸心線與空心圓柱體內(nèi)的軸心線重合，如附圖4所示；接著，使得所述的移動(dòng)面激光光源ON，發(fā)射紅色和綠色激光，將所述的移動(dòng)面激光光源調(diào)整到上極限位置hup lim it，并采集全景圖像，觀察在全景圖像上的紅色
光圈和綠色光圈的圓心是否與全景圖像上的中心一致，檢測(cè)在全景圖像上的紅色光圈和綠色光圈的圓度，如果出現(xiàn)中心不一致或者圓度不滿足要求情況需要調(diào)整所述的全方位視覺(jué)傳感器和所述的移動(dòng)面激光光源之間的連接；進(jìn)一步，將所述的移動(dòng)面激光光源調(diào)整到下極限位置hdown lim it，并采集全景圖像，觀察在全景圖像上的紅色光圈和綠色光圈的圓心是否與全景圖像上的中心一致，檢測(cè)在全景圖像上的紅色光圈和綠色光圈的圓度，如果出現(xiàn)中心不一致或者圓度不滿足要求情況需要調(diào)整所述的全方位視覺(jué)傳感器和所述的移動(dòng)面激光光源之間的連接；最后，將上極限位置hup lim it、下極限位置hdown lim it、移動(dòng)面激光光源的最大移動(dòng)距離hLaserMD、全方位視覺(jué)傳感器的標(biāo)定參數(shù)以及Bird-View變換對(duì)應(yīng)表等信息存放在聯(lián)合標(biāo)定
數(shù)據(jù)庫(kù)中，以便在三維重構(gòu)時(shí)調(diào)用；
[0144] 本發(fā)明中在所述的全方位視覺(jué)傳感器中采用高清成像芯片，具有4096x2160分辨率；所述的移動(dòng)面激光光源的移動(dòng)步長(zhǎng)為1mm，垂直掃描范圍1000mm，因此由所述的移動(dòng)面激光光源產(chǎn)生的切片全景圖像的分辨率為1000，這樣完成一次垂直掃描就能完成全景圖像上的每一個(gè)像素點(diǎn)幾何信息和顏色信息的
采樣、融合直至三維重構(gòu)，如附圖13所示；
[0145] 對(duì)于三維重構(gòu)部分，其處理流程是：
[0146] StepA：通過(guò)視頻圖像讀取模塊讀取全景視頻圖像:；
[0147] StepB：根據(jù)直線電機(jī)的移動(dòng)速度以及到達(dá)兩個(gè)極限點(diǎn)的時(shí)間估計(jì)移動(dòng)面激光光源的直線電機(jī)的位置；
[0148] StepC：在全景圖像上解析出全方位面激光信息，計(jì)算移動(dòng)面點(diǎn)云幾何信息；
[0149] StepD：從內(nèi)存中讀取無(wú)激光投射情況下的全景視頻圖像，根據(jù)StepC中處理結(jié)果將移動(dòng)面幾何信息和顏色信息進(jìn)行融合；
[0150] StepE：逐步構(gòu)建全景3D模型；
[0151] StepF：判斷是否已經(jīng)到達(dá)極限點(diǎn)位置，如果是的話轉(zhuǎn)到StepG，不成立的話轉(zhuǎn)到StepA；
[0152] StepG：設(shè)置所述的移動(dòng)面激光光源為OFF，讀取無(wú)激光投射情況下的全景視頻圖像，并將其保存在內(nèi)存單元中，輸出3D全景模型并保存到存儲(chǔ)單元，設(shè)置所述的移動(dòng)面激光光源為ON，轉(zhuǎn)到StepA；
[0153] 下面對(duì)三維重構(gòu)的處理流程作詳細(xì)說(shuō)明，在StepA中專(zhuān)門(mén)采用一個(gè)線程讀取全景視頻圖像，視頻圖像的讀取速率是15Flame/s，采集后的全景圖像保存在一個(gè)內(nèi)存單元內(nèi)，以便后續(xù)的處理調(diào)用；
[0154] 在StepB中，主要用于估算所述的移動(dòng)面激光光源的當(dāng)前位置；規(guī)定在重構(gòu)開(kāi)始時(shí)將移動(dòng)面激光光源的初始位置定在上極限位置hup lim it，初始步長(zhǎng)控制值z(mì)move(j)=0，相鄰兩幀時(shí)間移動(dòng)面激光光源的移動(dòng)步長(zhǎng)為Δz，即存在著以下關(guān)系，
[0155] zmove(j+1)=zmove(j)+Δz （9）
[0156] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，zmove(j+1)為第j+1幀時(shí)步長(zhǎng)控制值，Δz為移動(dòng)面激光光源的移動(dòng)步長(zhǎng)，這里規(guī)定從上極限位置hup lim it向下方向移動(dòng)時(shí)，Δz=1mm；從下極限位置hdown lim it向上方向移動(dòng)時(shí)，Δz=-1mm；程序?qū)崿F(xiàn)時(shí)通過(guò)以下關(guān)系式進(jìn)行判斷，[0157]
[0158] 根據(jù)設(shè)計(jì)紅色全方位面激光和綠色全方位面激光之間距離滿足以下關(guān)系，
[0159] hredlazer(zmove(j))=500+hgreenlazer(zmove(j)) （11）
[0160] 式中，zmove(j)為第j幀時(shí)步長(zhǎng)控制值，在紅色全方位面激光處于上極限位置hup lim it時(shí)，zmove(j)=0；當(dāng)綠色全方位面激光處于下極限位置hdown lim it時(shí)，zmove(j)=hLaserMD；上下極限位置存在著以下關(guān)系，
[0161] hdown lim it=500+hLaserMD+hup lim it （12）
[0162] 在StepC中，讀取內(nèi)存單元中的全景圖像并采用所述的全方位面激光信息解析模塊從全景圖像上解析出全方位面激光信息，接著計(jì)算移動(dòng)面點(diǎn)云幾何信息；
[0163] 點(diǎn)云的空間位置信息用高斯坐標(biāo)系來(lái)表示的話，每一個(gè)點(diǎn)云的空間坐標(biāo)相對(duì)于全方位視覺(jué)傳感器的單視點(diǎn)Om為高斯坐標(biāo)原點(diǎn)的高斯坐標(biāo)用3個(gè)值來(lái)確定，即(R,α,β)，R為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離，α為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，β為某一個(gè)點(diǎn)云到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角，對(duì)于附圖12中的點(diǎn)云 點(diǎn)，其計(jì)算方法由公式（13）給出，
[0164]
[0165]
[0166] 式中，||u″||(β)red為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hredlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，αb(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，Rb(zmove(j))為點(diǎn)云 到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離；
[0167] 對(duì)于附圖12中的點(diǎn)云 點(diǎn)，其計(jì)算方法由公式（15）給出，
[0168]
[0169]
[0170] 式中，||u″||(β)green為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hgreenlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，αa為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的入射角，Ra為點(diǎn)云 到全方位視覺(jué)傳感器的單視點(diǎn)Om的距離；
[0171] 在StepC計(jì)算過(guò)程中遍歷了全方位360°的紅色和綠色全方位面激光投射所產(chǎn)生的點(diǎn)云數(shù)據(jù)；由于本發(fā)明中采用高清成像芯片，為了與垂直掃描精度取得一致，這里采用計(jì)算步長(zhǎng)為Δβ=0.36來(lái)遍歷整個(gè)360°的方位角，附圖13為所述的移動(dòng)面激光光源
在某一個(gè)高度位置上掃描結(jié)果全景圖，在全景圖上紅色長(zhǎng)虛線為紅色全方位面激光投射所產(chǎn)生的點(diǎn)云數(shù)據(jù) 綠色短虛線為綠色全方位面激光投射所產(chǎn)生的點(diǎn)云數(shù)據(jù)
下面具體說(shuō)明遍歷方法，
[0172] Step Ⅰ：設(shè)置初始方位角β=0；
[0173] Step Ⅱ：采用所述的全方位面激光信息解析模塊，沿射線方向檢索點(diǎn)云 和點(diǎn)云 得到在傳感器平面上與點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的||u″||(β)red和||u″||(β)green兩個(gè)點(diǎn)，用公式（13）計(jì)算點(diǎn)云 的距離值Rb和入射角αb，用公式（15）計(jì)算點(diǎn)云 的距離值Ra和入射角αa；或者用公式（14）和公式（16）得到 和 將上述的計(jì)算數(shù)據(jù)保存在內(nèi)存單元中；
[0174] StepⅢ：β←β+Δβ，Δβ＝0.36，判斷β=360是否成立，如果成立結(jié)束計(jì)算，否則轉(zhuǎn)到Step Ⅱ；
[0175] 在StepD中，首先從內(nèi)存中讀取無(wú)激光投射情況下的全景視頻圖像，根據(jù)StepC中處理結(jié)果將點(diǎn)云的幾何信息和顏色信息進(jìn)行融合；融合后的點(diǎn)云數(shù)據(jù)將包括該點(diǎn)云的幾何信息和顏色信息，即用(R,α,β，r,g,b)來(lái)表達(dá)某一個(gè)點(diǎn)云的幾何信息和顏色信息，下面具體說(shuō)明融合算法，
[0176] Step①：設(shè)置初始方位角β=0；
[0177] Step②：根據(jù)方位角β和在傳感器平面上與點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的||u″||(β)red和||u″||(β)green兩個(gè)點(diǎn)的信息，讀取無(wú)激光投射情況下的全景視頻圖上的相關(guān)像素點(diǎn)的(r,g,b)顏色數(shù)據(jù)，與從StepC中處理加工得到的相對(duì)應(yīng)的(R,α,β)進(jìn)行融合，得到相對(duì)應(yīng)的點(diǎn)云幾何信息和顏色信息(R,α,β，r,g,b)；
[0178] Step③：β←β+Δβ，Δβ＝0.36，判斷β=360是否成立，如果成立結(jié)束計(jì)算，將計(jì)算結(jié)果保存在存儲(chǔ)單元中；否則轉(zhuǎn)到Step②；
[0179] 在StepE中根據(jù)StepD的計(jì)算結(jié)果逐步構(gòu)建全景3D模型，在本發(fā)明中，所述的移動(dòng)面激光光源完成一次垂直方向的掃描過(guò)程，即從一個(gè)極限位置到另一個(gè)極限位置就完成了全景3D模型的構(gòu)建，掃描過(guò)程中每一移動(dòng)步長(zhǎng)都會(huì)產(chǎn)生在某一個(gè)高度情況下的切片點(diǎn)云數(shù)據(jù)，將這些數(shù)據(jù)以所述的移動(dòng)面激光光源的高度值作為保存索引，這樣就能按切片點(diǎn)云數(shù)據(jù)產(chǎn)生順序進(jìn)行累加，為最后構(gòu)建帶有幾何信息和顏色信息的全景3D模型；根據(jù)上述的描述，本發(fā)明有向下全景3D重構(gòu)和向上全景3D重構(gòu)兩種不同模式；
[0180] 在StepF中判斷所述的移動(dòng)面激光光源是否達(dá)到極限位置，即判斷zmove(j)=0或者zmove(j)=hLaserMD是否成立，如果成立的話轉(zhuǎn)到StepG，不成立的話轉(zhuǎn)到StepA；
[0181] 在StepG中，主要工作是輸出重構(gòu)結(jié)果并為下一次重構(gòu)做一些準(zhǔn)備；具體做法是：首先設(shè)置所述的移動(dòng)面激光光源為OFF，讀取無(wú)激光投射情況下的全景視頻圖像，并將其保存在內(nèi)存單元中；然后輸出3D重構(gòu)全景模型并保存到存儲(chǔ)單元，由于本發(fā)明中無(wú)論是在切片點(diǎn)云數(shù)據(jù)產(chǎn)生方面還是在某一個(gè)切片上的全方位點(diǎn)云數(shù)據(jù)產(chǎn)生方面均采用了高分辨率的采集手段，在成像平面上的每個(gè)像素都具備了與實(shí)際點(diǎn)云相對(duì)應(yīng)的幾何信息和顏色信息，因此也就有效地回避了在三維重構(gòu)中的對(duì)應(yīng)點(diǎn)問(wèn)題、平鋪問(wèn)題和分支問(wèn)題；最后設(shè)置所述的移動(dòng)面激光光源為ON，轉(zhuǎn)到StepA，進(jìn)行新的3D全景模型的重構(gòu)。
[0182] 全方位視覺(jué)傳感器的工作原理是：進(jìn)入雙曲面鏡的中心的光，根據(jù)雙曲面的鏡面特性向著其虛焦點(diǎn)折射。實(shí)物圖像經(jīng)雙曲面鏡反射到聚光透鏡中成像，在該成像平面上的一個(gè)點(diǎn)P(x,y)對(duì)應(yīng)著實(shí)物在空間上的一個(gè)點(diǎn)的坐標(biāo)A(X,Y，Z)；
[0183] 圖7中的2－雙曲線面鏡，12－入射光線，13－雙曲面鏡的實(shí)焦點(diǎn)Om(0,0,c)，14－雙曲面鏡的虛焦點(diǎn)，即攝像單元6的中心Oc(0,0,-c)，15－反射光線，16－成像平面，
17－實(shí)物圖像的空間坐標(biāo)A(X,Y，Z)，18－入射到雙曲面鏡面上的圖像的空間坐標(biāo)，19－反射在成像平面上的點(diǎn)P(x,y)。
[0184] 圖7中所示的雙曲面鏡構(gòu)成的光學(xué)系統(tǒng)可以由下面5個(gè)等式表示；
[0185] ((X2+Y2)/a2)-((Z-c)2/b2)=-1 當(dāng)Z>0時(shí) (17)
[0186]
[0187] β＝tan-1(Y/X) (19)
[0188] α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (20)
[0189]
[0190] 式中X、Y、Z表示空間坐標(biāo)，c表示雙曲面鏡的焦點(diǎn)，2c表示兩個(gè)焦點(diǎn)之間的距離，a,b分別是雙曲面鏡的實(shí)軸和虛軸的長(zhǎng)度，β表示入射光線在XY投影平面上與X軸的夾角，即方位角，α表示入射光線在XZ投影平面上與X軸的夾角，這里將α稱(chēng)為入射角，α大于或等于0時(shí)稱(chēng)為俯角，將α小于0時(shí)稱(chēng)為仰角，f表示成像平面到雙曲面鏡的虛焦點(diǎn)的距離，γ表示折反射光線與Z軸的夾角；x,y表示在成像平面上的一個(gè)點(diǎn)。
[0191] 實(shí)施例2
[0192] 參照?qǐng)D1~圖12，本實(shí)施例中，將點(diǎn)云 點(diǎn)用笛卡爾坐標(biāo)系 來(lái)表示，其計(jì)算方法由公式（14）給出，
[0193]
[0194]
[0195] zb(zmove(j))=-hredlazer(zmove(j))
[0196] 式中，||u″||(β)red為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hredlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，β為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角；
[0197] 將點(diǎn)云 點(diǎn)用笛卡爾坐標(biāo)系 來(lái)表示，其計(jì)算方法由公式（16）給出，
[0198]
[0199]
[0200] za(zmove(j))=-hgreenlazer(zmove(j))
[0201] 式中，||u″||(β)green為點(diǎn)云 點(diǎn)對(duì)應(yīng)于成像平面上的點(diǎn)到該平面中心點(diǎn)的距離，hgreenlazer(zmove(j))為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om之間在Z軸的投影距離，由公式（11）計(jì)算得到，β為點(diǎn)云 點(diǎn)到全方位視覺(jué)傳感器的單視點(diǎn)Om的方位角；
[0202] 本實(shí)施例的其他結(jié)構(gòu)和工作過(guò)程與實(shí)施例1相同。
