[0030] ??????????????????????????????????(9) [0031] ???????????????????????????????????????????????(10) [0032] ???????????????????????(11) [0033] 其中， 表示組歸一化， 表示卷積， 表示對(duì) 進(jìn)行矩陣分解； [0034] 最后依次利用卷積層、批歸一化、Tanh非線性層，將K轉(zhuǎn)化為我們需要視差數(shù)據(jù) ； 使用Tanh非線性層的一個(gè)考慮是需要將視差數(shù)據(jù)限制在有效范圍[?1,1]之內(nèi)： [0035] ??????????????????????????????????????(12) [0036] 其中，K表示公式（11）的計(jì)算結(jié)果； [0037] S5、利用視差 對(duì) ?進(jìn)行配準(zhǔn)得到 ； [0038] S6、將深度 和多光譜圖像 一起輸入到多模態(tài)融合的環(huán)境感知模型中，執(zhí)行感知任務(wù)。 [0039] 本發(fā)明的多光譜多視角環(huán)境感知方法，利用在多模態(tài)數(shù)據(jù)融合中經(jīng)常被規(guī)避和忽略的視差信息，推算深度信息，為了產(chǎn)生顯著的視差信息，針對(duì)性的設(shè)計(jì)長基線安裝方案，利用深度信息和多光譜信息融合進(jìn)行環(huán)境感知，有效的提高環(huán)境感知的準(zhǔn)確性。 附圖說明 [0040] 圖1為整個(gè)方法的流程示意圖； [0041] 圖2為兩部相機(jī)的遮擋模型示意圖； [0042] 圖3為計(jì)算多光譜多視角相機(jī)之間的視差 中的解碼器示意圖；圖中，1.初步特征融合，2.上采樣，3.合并，4.卷積，5.組歸一化，6.線性整流圖中，1.初步特征融合，2.上采樣，3.合并，4.卷積，5.組歸一化，6.線性整流，7.矩陣分解，8.泄露線性整流，9.批歸一化， 10.雙曲正切，7.矩陣分解，8.泄露線性整流，9.批歸一化，10.雙曲正切； [0043] 圖4為計(jì)算多光譜多視角相機(jī)之間的視差 中初步的特征融合模塊示意圖。 實(shí)施方式 [0044] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明，本發(fā)明的示意性實(shí)施方式及其說明僅用于解釋本發(fā)明，并不作為對(duì)本發(fā)明的限定。 [0045] 如圖1所示，不同于傳統(tǒng)的多光譜多傳感器需要設(shè)計(jì)較短的基線以消除視差的影響，本方案通過視差生成模型生成視差信息，并利用視差信息解算深度信息，將深度線索和多光譜線索融合進(jìn)行環(huán)境感知，直接將被視為干擾的視差利用，多傳感器之間的基線可以根據(jù)探測器探測范圍進(jìn)行合理調(diào)整，具體步驟為： [0046] 步驟1、根據(jù)探測器探測范圍，設(shè)計(jì)基線長度 ，將不同光譜的攝像機(jī)放置在同一個(gè)基線長度為 的兩端。在不考慮旋轉(zhuǎn)矩陣的情況下，視差和深度的關(guān)系： [0047] [0048] 如圖2所示，同時(shí)要求遮擋盡可能的小，使用簡化的模型評(píng)估遮擋，左右相機(jī)的均能夠看到球的一半；考慮5m到50m探測范圍內(nèi)需要產(chǎn)生顯著性的視差（大于4個(gè)像素，設(shè)像素大小為12u），對(duì)于焦距 的成像系統(tǒng)，基線長度B0=SD/f=4*12e?6*50/0.012=20cm。 [0049] 步驟2、根據(jù)步驟1提出的設(shè)計(jì)指標(biāo)，將多光譜相機(jī)距離20cm安裝。安裝之后利用雙目立體標(biāo)定，設(shè)計(jì)針對(duì)不同波段的標(biāo)定靶標(biāo)，采集同一靶標(biāo)在不同相機(jī)下的多張成像畫面。 進(jìn)行標(biāo)定。確定好其坐標(biāo)旋轉(zhuǎn)矩陣R和基線長度 ；(標(biāo)定方法，參考張正友標(biāo)定法)。 [0050] 步驟3、利用部署在基線兩端的不同光譜的攝像機(jī)采集到不同視角的畫面對(duì)； [0051] 步驟4、如圖3所示本發(fā)明設(shè)計(jì)了對(duì)應(yīng)的解碼器，利用視差計(jì)算模型 計(jì)算多光譜多視角相機(jī)之間的視差 ，并得到深度 ，一種視差計(jì)算模型使用編碼器解碼器網(wǎng)絡(luò)對(duì)輸入的 進(jìn)行隱式的特征提取與匹配，得到視差 ，并根據(jù)視差和深度的關(guān)系，計(jì)算深度 ； [0052] 如圖4所示為本發(fā)明的初步特征融合模塊，該初步特征融合模塊的具體過程如式（5）所示： [0053] ??????????????????????????????????????????(5) [0054] 其中 為初步融合后的特征， 為學(xué)習(xí)的參數(shù)；利用式(6)(7)進(jìn)行參數(shù)的更新： [0055] ???????????????????????(6) [0056] ?????????????????????????????(7) [0057] 的尺度不同，將 上采樣為 的大小，為用于防止分母為零導(dǎo)致 計(jì)算溢出的小數(shù)，然后將上采樣之后的特征進(jìn)行通道合并得到 : [0058] ??????????????????????????(8) [0059] 其中 ，表示將 進(jìn)行二次線性插值到 大小， 的分辨率為原始輸入分辨率的1/4，通道數(shù)為512；

將 依次通過 卷積層、組數(shù)為32的組歸一化層和RELU非線性層，將通道數(shù)變更為256，得到M，將M進(jìn)行矩陣分解,?然后依次利用卷積層、組數(shù)為32的組歸一化層和激活函數(shù) ，對(duì)矩陣分解的得到的V進(jìn)行進(jìn)一步處理，得到K具體計(jì)算過程如下： ????(8) ???????????(9) ???(10) 其中， 表示組歸一化， 表示卷積， 表示對(duì) 進(jìn)行矩陣分解； 最后依次利用卷積層、批歸一化、Tanh非線性層，將K轉(zhuǎn)化為我們需要視差數(shù)據(jù) ；使用Tanh非線性層的一個(gè)考慮是需要將視差數(shù)據(jù)限制在有效范圍[?1,1]之內(nèi)： ??????????(11) 其中，K表示公式（11）的計(jì)算結(jié)果； S5、利用視差 對(duì) ?進(jìn)行配準(zhǔn)得到 ， 表示標(biāo)準(zhǔn)化函數(shù)， 表示非線性變換函數(shù)； S6、將深度 和多光譜圖像 一起輸入到多模態(tài)融合的環(huán)境感知模型中，執(zhí)行感知任務(wù)。