一種多光譜多視角環(huán)境感知方法 技術(shù)領(lǐng)域 [0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域。具體涉及到一種多光譜多視角環(huán)境感知方法。 背景技術(shù) [0002] 多光譜多傳感器環(huán)境感知是提升環(huán)境感知任務(wù)魯棒性的重要途徑，以往的多光譜多傳感器環(huán)境感知方案采用多個傳感器采集不同波段的圖像，為了更好的融合多個傳感器拍攝的圖像，傳感器之間的基線往往設(shè)計(jì)的較小，以規(guī)避兩種波段圖像之間的視差，方便下游任務(wù)的處理。視差會導(dǎo)致不同圖像之間存在偏移，對于同時利用不同波段圖像進(jìn)行環(huán)境感知的方案而言，不同波段的圖像存在的偏移會對環(huán)境感知的結(jié)果造成干擾。太短的基線雖然能夠減小圖像之間的視差，避免了圖像配準(zhǔn)的流程。但也損失了環(huán)境感知的一種潛在的線索，深度信息。深度信息和視差信息存在一一對應(yīng)的關(guān)系，在不存在坐標(biāo)系旋轉(zhuǎn)的情況下視差和深度成反比，和基線長度成正比。不同波段圖像的視差如果能夠準(zhǔn)確解算，則可以利用視差對圖像進(jìn)行配準(zhǔn)。并根據(jù)解算出來的視差計(jì)算深度信息。進(jìn)而可以利用深度線索，融合多光譜圖像序列，進(jìn)一步提高環(huán)境感知的準(zhǔn)確性。 發(fā)明內(nèi)容 [0003] 本發(fā)明的目的在于提供一種減小視差的多光譜多視角環(huán)境感知方法。 [0004] 本發(fā)明針對多光譜多傳感器數(shù)據(jù)采集，設(shè)計(jì)合理的基線長度可以獲取明顯的視差信息，利用視差信息，可以提高環(huán)境感知的準(zhǔn)確性。 [0005] 本發(fā)明技術(shù)方案為：一種多光譜多視角環(huán)境感知方法，其特征在于，包括以下步驟： [0006] S1、根據(jù)探測器探測范圍，設(shè)計(jì)基線長度 ，將不同光譜的攝像機(jī)放置在同一個基線長度為 的兩端；基線長度 /f，其中，表示探測器焦距，表示視差，表示深度；工作距離 需要符合下式（1）： [0007] ?????????????????????????????????????????(1) [0008] 其中，P表示根據(jù)實(shí)際需要設(shè)定的閾值；對遮擋的要求：限定遮擋的區(qū)域?qū)?yīng)的圓心角小于 ，則： [0009] ???????????????????????????????????????????(2) [0010] 根據(jù)式(1)(2)，在確定 ， ，的要求下，求得 的范圍；同時由深度和視差的偏微分為： [0011] ?????????????????????????????????????????(3) [0012] 為了讓深度估計(jì)更加準(zhǔn)確，在容許的范圍內(nèi) 取最小， 取最大值，為最優(yōu)的； [0013] S2、為消除安裝偏差，攝像機(jī)需要提前標(biāo)定，確定好其坐標(biāo)旋轉(zhuǎn)矩陣R和基線長度； [0014] S3、利用部署在基線兩端的不同光譜的攝像機(jī)采集到不同視角的畫面對 ； 分別表示兩端攝像機(jī)采集的畫面； [0015] S4、利用視差計(jì)算模型計(jì)算多光譜多視角相機(jī)之間的視差 ，并得到深度 ； [0016] 視差計(jì)算網(wǎng)絡(luò)將 作為固定圖像，將 作為匹配圖像，和 數(shù)據(jù)進(jìn)行視差計(jì)算；配準(zhǔn)網(wǎng)絡(luò)采用編碼器解碼器結(jié)構(gòu)生成視差 ；和 采用獨(dú)立的解碼器 ，和 ，使用Tiny配置下的MSCAN模塊作為基礎(chǔ)解碼器，該解碼器包括4個階段，每個階段分辨率分別為原先的1/4, 1/8,1/16,1/32,對應(yīng)的通道數(shù)為32，64，160，256； [0017] 編碼器直接對原始圖像進(jìn)行處理，得到 特征R和 特征T： [0018] ????????????????????????????????（4） [0019] R和T由不同尺度的特征組成 其中下標(biāo)為編 碼器階段，不同階段輸出的特征其尺度不同；R和T內(nèi)各元素表示提取到的對應(yīng)特征； [0020] 相同尺度的特征通道相等，初步的特征融合模塊，使用加權(quán)相加和相乘來對模態(tài)特征R和T做初步的融合處理； [0021] 具體過程如式（5）所示： [0022] ??????????????????????????????????????????(5) [0023] 其中，為初步融合后的特征， 為學(xué)習(xí)的參數(shù)；利用式(6)(7)進(jìn)行參數(shù)的更新： [0024] ?????????????????????(6) [0025] ?????????????????????????????(7) [0026] 其中， 表示更新后的學(xué)習(xí)參數(shù)， 表示線性整流函數(shù)， 的 尺度不同，將 上采樣為 的大小，為用于防止分母為零導(dǎo)致計(jì)算溢出的小數(shù)，然后將上采樣之后的特征進(jìn)行通道合并得到 : [0027] ?????????????????????????????(8) [0028] 其中 表示將 進(jìn)行二次線性插值到 大小， 的分辨率為原始輸入分辨率的1/4，通道數(shù)為512； [0029] 將 依次通過 卷積層、組數(shù)為32的組歸一化層和RELU非線性層，將通道數(shù)變更為256，得到M，將M進(jìn)行矩陣分解,?然后依次利用卷積層、組數(shù)為32的組歸一化層和激活函數(shù) ，對矩陣分解的得到的V進(jìn)行進(jìn)一步處理，得到K具體計(jì)算過程如下：

1.一種多光譜多視角環(huán)境感知方法，其特征在于，包括以下步驟： S1、根據(jù)探測器探測范圍，設(shè)計(jì)基線長度 ，將不同光譜的攝像機(jī)放置在同一個基線長度為 的兩端；基線長度 /f，其中，表示探測器焦距，表示視差，表示深度；工作距離 需要符合下式（1）： ????(1) 其中，P表示根據(jù)實(shí)際需要設(shè)定的閾值，對遮擋的要求：限定遮擋的區(qū)域?qū)?yīng)的圓心角小于 ，則： ?????????(2) 根據(jù)式(1)(2)，在確定 ， ，的要求下，求得 的范圍；同時由深度和視差的偏微分為： ??????(3) 為了讓深度估計(jì)更加準(zhǔn)確，在容許的范圍內(nèi) 取最小， 取最大值，為最優(yōu)的 ； S2、為消除安裝偏差，攝像機(jī)需要提前標(biāo)定，確定好其坐標(biāo)旋轉(zhuǎn)矩陣和基線長度 ； S3、利用部署在基線兩端的不同光譜的攝像機(jī)采集到不同視角的畫面對 ； 分別表示兩端攝像機(jī)采集的畫面； S4、利用視差計(jì)算模型計(jì)算多光譜多視角相機(jī)之間的視差 ，并得到深度 ； 視差計(jì)算網(wǎng)絡(luò)將 作為固定圖像，將 作為匹配圖像，和 數(shù)據(jù)進(jìn)行視差計(jì)算；配準(zhǔn)網(wǎng)絡(luò)采用編碼器解碼器結(jié)構(gòu)生成視差 ；和 采用獨(dú)立的解碼器 ，和 ，使用Tiny配置下的MSCAN模塊作為基礎(chǔ)解碼器，該解碼器包括4個階段，每個階段分辨率分別為原先的1/4,1/ 8,1/16,1/32,對應(yīng)的通道數(shù)為32，64，160，256； 編碼器直接對原始圖像進(jìn)行處理，得到 特征R和 特征T： ?????（4） R和T由不同尺度的特征組成 其中下標(biāo)為編碼器 階段，不同階段輸出的特征其尺度不同；R和T內(nèi)各元素表示提取到的對應(yīng)特征； 相同尺度的特征通道相等，初步的特征融合模塊，使用加權(quán)相加和相乘來對模態(tài)特征R和T做初步的融合處理； 具體過程如式（5）所示： ??????(5) 其中 為初步融合后的特征， 為學(xué)習(xí)參數(shù)；利用式(6)進(jìn)行參數(shù) 的更新： ???(6) 其中， 表示更新后的學(xué)習(xí)參數(shù)， 表示線性整流函數(shù)， 的尺度 不同，將 上采樣為 的大小，為用于防止分母為零導(dǎo)致計(jì)算溢出的小數(shù)，然后將上采樣之后的特征進(jìn)行通道合并得到 : ???????(7) 其中 表示將 進(jìn)行二次線性插值到 大小， 的分辨率為原始輸入分辨率的1/ 4，通道數(shù)為512；