[0050] S5、構(gòu)建三通道卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示，用于提取毫米波雷達(dá)信號中強(qiáng)辨識力 的特征表達(dá)。 [0051] 從原始的毫米波雷達(dá)信號中獲取距離?速度、距離?水平角、距離?俯仰角特征圖，并對這些特征圖進(jìn)行去噪等預(yù)處理操作；然后，將其輸入到三通道卷積神經(jīng)網(wǎng)絡(luò)中提取毫 米波雷達(dá)特征。具體地，假設(shè)預(yù)處理好距離?速度、距離?水平角、距離?俯仰角特征圖分別表示為 ，其中a、b、T分別表示為數(shù)據(jù)的高度、寬度以及時序長度。由于角 度維度的分辨率低，對 、 沿著時間維度，分別采用下采樣的方式降維，生成 （ ），指降維后的時序長度；然后，設(shè)計多層卷積神經(jīng)網(wǎng)絡(luò) 作用 于 、 提取角度特征Fangle： [0052] ， [0053] 其中，代表連接符；同理，可以得到速度特征： [0054] ， [0055] 最后，融合 和 的特征，生成毫米波雷達(dá)信號的特征表達(dá)F。 [0056] S6、訓(xùn)練過程中，基于訓(xùn)練集獲取基于毫米波雷達(dá)信號的距離?速度、距離?水平 角、距離?俯仰角，將其輸入三通道卷積神經(jīng)網(wǎng)絡(luò)，得到基于訓(xùn)練集的毫米波雷達(dá)的特征表 達(dá)；利用該毫米波雷達(dá)的特征表達(dá)和對應(yīng)類別的屬性構(gòu)建損失函數(shù)，構(gòu)建兩者之間的投影 關(guān)系，訓(xùn)練三通道卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。 [0057] 利用預(yù)先定義好的v個已知類別的數(shù)據(jù)訓(xùn)練模型，將毫米波雷達(dá)的特征投影到對 應(yīng)的屬性中，構(gòu)建損失函數(shù)L： [0058] ， [0059] 其中， 指訓(xùn)練集中第yi個類別， ； 表示第 類訓(xùn)練樣本的語義屬性，N表 示第 類的訓(xùn)練樣本數(shù)， 表示交叉熵?fù)p失； 表示第i個毫米波雷達(dá)信號的特 征表達(dá)；第一項表示投影誤差，將雷達(dá)特征映射到視覺語義屬性；第二項表示從雷達(dá)特征預(yù) 測活動類型的交叉熵?fù)p失；表示投影損失和預(yù)測損失之間的權(quán)衡參數(shù)。 [0060] S7、測試過程中，基于測試集獲取基于毫米波雷達(dá)信號的距離?速度、距離?水平 角、距離?俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波 雷達(dá)的特征表達(dá)，并將該毫米波雷達(dá)的特征表達(dá)和各個不同類別屬性比較，將距離最近的 類別視為該毫米波雷達(dá)信號的類別。 [0061] 實施例的該種基于元學(xué)習(xí)訓(xùn)練機(jī)制的跨域無線行為感知方法進(jìn)行實驗驗證如下： [0062] 在實驗室場景采集27類人體活動樣本，將其中的21類作為已知類別，用于模型訓(xùn) 練，剩余6類作為未知類別，用于性能測試。將實施例的該種基于視覺輔助的毫米波雷達(dá)零 樣本行為感知方法和現(xiàn)有技術(shù)中常用的兩種方法對比，實驗結(jié)果如圖3所示。由圖3結(jié)果可 以看出，當(dāng)語義屬性采用詞向量的方法、或者采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)?長短時間記憶模型 （CNN?LSTM）從距離?速度圖信息（RV）中提取毫米波雷達(dá)特征的方法，其性能均低于實施例方法。 [0063] 本發(fā)明所述方法，利用現(xiàn)有的豐富的視覺信號刻畫不同類別的屬性特性，并用于 構(gòu)建毫米波雷達(dá)信號和類別之間的關(guān)聯(lián)性，創(chuàng)新性地提出屬性構(gòu)建方案和三通道毫米波雷 達(dá)特征提取方案，實現(xiàn)可靠的零樣本毫米波雷達(dá)感知算法。該框架能夠在不采集新類別的 毫米波雷達(dá)信號進(jìn)行訓(xùn)練的前提下，實現(xiàn)該類別的感知，能夠降低數(shù)據(jù)采集和訓(xùn)練成本、同 時拓寬毫米波雷達(dá)的應(yīng)用領(lǐng)域、推進(jìn)毫米波雷達(dá)感知從理論到實際的應(yīng)用。 [0064] 以上所述僅為本發(fā)明的優(yōu)選方案，并非作為對本發(fā)明的進(jìn)一步限定，凡是利用本 發(fā)明說明書及附圖內(nèi)容所作的各種等效變化均在本發(fā)明的保護(hù)范圍之內(nèi)。

7.根據(jù)權(quán)利要求6所述的一種基于視覺輔助的毫米波雷達(dá)零樣本行為感知方法，其特征在于，S7具體為： 基于測試集數(shù)據(jù)獲取基于毫米波雷達(dá)信號的距離?速度、距離?水平角、距離?俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波雷達(dá)的特征表達(dá)； 然后利用余弦相似度計算毫米波雷達(dá)特征和屬性之間的相似度，通過逐個比較的方法，選擇出最接近的某個屬性，并將該屬性對應(yīng)的類別視為毫米波雷達(dá)數(shù)據(jù)的動作類別。