對應的特征圖，將這兩個特征圖連接；同時利用第三個多層卷積神經網(wǎng)絡對距離?速度信號 生成特征圖，將其與第一、第二個多層卷積神經層的連接結果進行注意力融合；最后將融合 后的特征圖輸入到第四個多層卷積層后，再通過全連接層，生成毫米波雷達的特征表達。 [0026] 進一步地，S6中，構建的損失函數(shù)為： [0027] ， [0028] 其中， 指訓練集中第yi個類別， ； 表示第 類訓練樣本的語義屬性，N表 示第 類的訓練樣本數(shù)， 表示交叉熵損失； 表示第i個毫米波雷達信號的特 征表達； 表示投影誤差，將雷達特征映射到視覺語義屬性； 表示從雷 達特征預測活動類型的交叉熵損失；表示投影損失和預測損失之間的權衡參數(shù)。 [0029] 進一步地，S7具體為：基于測試集數(shù)據(jù)獲取基于毫米波雷達信號的距離?速度、距 離?水平角、距離?俯仰角，將其輸入到訓練好的三通道卷積神經網(wǎng)絡中，得到基于測試集的毫米波雷達的特征表達；然后利用余弦相似度計算毫米波雷達特征和屬性之間的相似度， 通過逐個比較的方法，選擇出最接近的某個屬性，并將該屬性對應的類別視為毫米波雷達 數(shù)據(jù)的動作類別。 [0030] 本發(fā)明所述的有益效果為：本發(fā)明所述方法，利用豐富的視覺樣本生成各種不同 類別動作的屬性，設計新型的三通道卷積神經網(wǎng)絡提取有強辨識力的毫米波雷達特征，并 構建屬性和毫米波雷達的關系，實現(xiàn)基于毫米波雷達的零樣本學習任務。本發(fā)明中通過三 通道卷積神經網(wǎng)絡能夠整合不同維度的數(shù)據(jù)，提升感知精度，在不采集新類別的毫米波雷 達信號進行訓練的前提下，實現(xiàn)該類別的感知，能夠降低數(shù)據(jù)采集和訓練成本、同時拓寬毫 米波雷達的應用領域。 附圖說明 [0031] 圖1是本發(fā)明實施例基于視覺輔助的毫米波雷達零樣本行為感知方法的流程示意 圖； [0032] 圖2是實施例中新型三通道的卷積神經網(wǎng)絡的結構示意圖； [0033] 圖3是本發(fā)明所述方法與現(xiàn)有技術方法的效果對比圖。 具體實施方式 [0034] 為了使本發(fā)明的內容更容易被清楚地理解，下面根據(jù)具體實施例并結合附圖，對 本發(fā)明作進一步詳細的說明。 [0035] 實施例提供一種基于視覺輔助的毫米波雷達零樣本行為感知方法，如圖1，包括以 下步驟： [0036] S1、同時收集包含各種不同動作類別的視頻數(shù)據(jù)和毫米波雷達數(shù)據(jù)，分別構建視 頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集；視頻數(shù)據(jù)集用于生成各種不同動作的屬性；將毫米波雷達 數(shù)據(jù)集分為訓練集和測試集，其中訓練集和測試集的類別不重合。 [0037] S1中，規(guī)定u種動作類別，同時采集包含這些動作的視頻和毫米波雷達數(shù)據(jù)，分別 表示為 和 ；視頻數(shù)據(jù)集用于生成u個動作屬性，進而輔助毫米波雷達進行零樣本學習。 對于毫米波雷達數(shù)據(jù)而言，v（v