[0052] 在一種實(shí)施例中,所述車載攝像裝置為設(shè)置于巡檢車車頂上的攝像裝置,在巡檢車的道路巡檢過程中通過車載攝像裝置可實(shí)時(shí)采集道路信息圖像形成視頻,對(duì)視頻進(jìn)行抽幀以逐幀得到所有待識(shí)別幀。目的是,通過巡檢車的道路巡檢過程,使車載攝像裝置可以輕松實(shí)現(xiàn)對(duì)全區(qū)域的覆蓋,減少人力成本的浪費(fèi),提高道路標(biāo)線檢測的效率。
[0053] 具體的,在道路巡檢過程中,考慮近大遠(yuǎn)小原則,選擇在間隔5米范圍實(shí)時(shí)采集路面圖像形成視頻文件,其中,每個(gè)視頻文件包含200幀圖像,從視頻中抽幀以得到待識(shí)別幀,其分辨率為1920*1200。
[0054] 在一種實(shí)施例中,所述標(biāo)線識(shí)別模型為卷積神經(jīng)網(wǎng)絡(luò)YOLOP模型,該卷積神經(jīng)網(wǎng)絡(luò)YOLOP模型是通過改進(jìn)并訓(xùn)練得到的模型,所述標(biāo)線識(shí)別模型主要用于輸出標(biāo)線幾何位置。
[0055] 由于,YOLOP是一種單階段網(wǎng)絡(luò),包含一個(gè)共享的編碼器和三個(gè)用于特定任務(wù)的解碼器,其中,編碼器包含Backbone(圖像特征提取模塊)和Neck(網(wǎng)絡(luò)),Backbone用于提取輸入圖像的特征;解碼器包括Detect?head(目標(biāo)頭檢測模塊)、Drivable?area?segment?head(可行駛區(qū)域分割模塊)、Lane?line?segment?head(車道線分割模塊)。
[0056] 為了更好的在下采樣的過程中提取圖像特征,如圖2所示,首先在Backbone中引入SpatialAttention(注意力機(jī)制模塊),基本思想是通過將輸入特征圖分別進(jìn)行全局的平均池化和全局最大值池化后,將生成的特征向量拼接后通過1*1的小卷積生成一個(gè)注意力特征圖,將注意力特征圖與輸入特征圖相乘,從而,使得重要區(qū)域的特征得到增強(qiáng),以便于提升光照、陰影和標(biāo)線磨損等條件下模型的性能和精度,具體包括以下步驟:
[0057] (1)輸入特征圖為 ,其中,C是通道數(shù),H?*?W是空間中的尺寸;
[0058] (2)對(duì)輸入特征圖F進(jìn)行全局最大池化和全局平均池化,生成兩個(gè)特征圖[0059] 最大池化公式為: ;
[0060] 其中, 表示特征圖(i,j)位置的k個(gè)通道的最大值;
[0061] 平均池化公式為: ;
[0062] 其中, 表示特征圖(i,j)位置的k個(gè)通道的平均值;
[0063] 結(jié)果是兩個(gè)大小為H*W的特征圖 和 ;其中,H
為特征圖高度,W為特征圖寬度;
[0064] (3)將兩個(gè)特征圖按照通道的維度拼接在一起,形成新的特征圖,其公式為:
;
[0065] (4)對(duì)拼接后的特征圖施加一個(gè)?1x1卷積,生成空間注意力圖,其公式為:
,其中,σ是?Sigmoid?函數(shù),用于將輸出映射到?[0,1]之間;
[0066] (5)將空間注意力圖與原始的輸入圖按位相乘,生成注意力增強(qiáng)后的圖,突出重要的區(qū)域,其公式為: ,其中, 為增強(qiáng)后組合特征
圖, 為權(quán)重因子, 為原始組合特征。
[0067] 并且,去掉原有的Drivable?area?segment?head,只保留Lane?line?segment?head,以提升卷積神經(jīng)網(wǎng)絡(luò)YOLOP模型的性能,具體的更改步驟為:
[0068] (1)調(diào)整模型的輸出層:只保留與標(biāo)線檢測相關(guān)的輸出層,即Lane?line?segment?head,目的是通過該卷積神經(jīng)網(wǎng)絡(luò)YOLOP模型得到待識(shí)別幀中標(biāo)線的標(biāo)線幾何位置;
[0069] (2)調(diào)整損傷函數(shù):基于YOLOP的損失函數(shù),只保留了車道線分割模塊的損失函數(shù),交叉熵?fù)p失函數(shù)并沒有區(qū)分簡單還是困難樣本,當(dāng)容易區(qū)分的負(fù)樣本占比較大時(shí),訓(xùn)練過程容易被負(fù)樣本影響從而淹沒正樣本,造成較大的損失,車道線像素占整圖的比例較小,屬于困難樣本,所以,將交叉熵?fù)p失函數(shù)調(diào)整為FocalLoss損失函數(shù),而加入FocalLoss可以有效的處理樣本不平衡,讓模型專注于困難樣本的學(xué)習(xí),從而提高檢測精度;
[0070] 具體的,F(xiàn)ocalLoss損失函數(shù)的公式如下:
[0071] ;其中, 為權(quán)重因子; 的取值范圍為0
~
1,是模型預(yù)測屬于前景的概率; 為權(quán)重調(diào)節(jié)超參數(shù), 為引入的調(diào)制因子,用來降低易分樣本的損失占比,從而增加難分樣本的損失占比,當(dāng) 趨向于1時(shí),說明該樣本是易分樣本,此時(shí), 的值趨向于0,降低了易分樣本的損失比例,當(dāng) 趨向于0,也就是出現(xiàn)誤檢的情況,此時(shí) 的值趨向于1,對(duì)總體損失的影響也不是很大。