一種基于視覺輔助的毫米波雷達零樣本行為感知方法 技術(shù)領(lǐng)域 [0001] 本發(fā)明屬于零樣本無線信號行為感知技術(shù)領(lǐng)域，具體是涉及一種基于視覺輔助的 毫米波雷達零樣本行為感知方法。 背景技術(shù) [0002] 目前，基于毫米波雷達信號的行為識別方法大多采用語義屬性采用詞向量的方 法、或者采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)?長短時間記憶模型（CNN?LSTM）從距離?速度圖信息（RV）中提取毫米波雷達特征；然而，由于現(xiàn)有方法的測試集的樣本類別必須在訓(xùn)練集中出現(xiàn)過， 當遇到未見過的測試類別，已有的方法將失效。對于該問題，現(xiàn)有技術(shù)中的解決方案是采集 更多的動作類別，訓(xùn)練模型；但是該方法數(shù)據(jù)采集、模型訓(xùn)練成本高。不同于毫米波雷達信 號，視覺信號可來源日常生活的照片、視頻、Yutube網(wǎng)站、以及很多大型的公開數(shù)據(jù)集等，因此其包含豐富的動作類別，如何利用現(xiàn)有的視覺信號輔助毫米波雷達感知具有重要的研究 價值，為基于視覺輔助的毫米波雷達零樣本行為感知提供了可能。 發(fā)明內(nèi)容 [0003] 為解決上述技術(shù)問題，本發(fā)明提供了一種基于視覺輔助的毫米波雷達零樣本行為 感知方法，解決現(xiàn)有技術(shù)中存在無法感知未見類別毫米波雷達信號的問題，旨在實現(xiàn)零樣 本毫米波雷達感知任務(wù)。 [0004] 本發(fā)明所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，包括以下步 驟： [0005] S1、同時收集包含各種不同動作類別的視頻數(shù)據(jù)和毫米波雷達數(shù)據(jù)，分別構(gòu)建視 頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集，將毫米波雷達數(shù)據(jù)集分為訓(xùn)練集和測試集，其中訓(xùn)練集和 測試集的類別不重合； [0006] S2、利用視頻數(shù)據(jù)集在預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)進行微調(diào)，并從C3D網(wǎng)絡(luò)中提取最后一 個全連接層特征，將同一類別的特征取平均值，作為視覺相關(guān)的全局屬性； [0007] S3、將視頻數(shù)據(jù)集的數(shù)據(jù)轉(zhuǎn)換成骨骼點的時序序列，描述人體關(guān)鍵不同位置處隨 時間的坐標，根據(jù)坐標求取身體連接部分的夾角時序變化，刻畫各個不同類別的信號特性， 作為視覺相關(guān)的局部屬性； [0008] S4、將S2和S3得到的視覺相關(guān)的屬性融合，得到最終各類別的屬性； [0009] S5、構(gòu)建三通道卷積神經(jīng)網(wǎng)絡(luò)，用于提取毫米波雷達信號中強辨識力的特征表達； [0010] S6、基于訓(xùn)練集獲取基于毫米波雷達信號的距離?速度、距離?水平角、距離?俯仰角，將其輸入三通道卷積神經(jīng)網(wǎng)絡(luò)，得到基于訓(xùn)練集的毫米波雷達的特征表達；利用該毫米 波雷達的特征和對應(yīng)類別的屬性構(gòu)建損失函數(shù)，得到兩者之間的投影關(guān)系，訓(xùn)練三通道卷 積神經(jīng)網(wǎng)絡(luò)的參數(shù)； [0011] S7、基于測試集獲取基于毫米波雷達信號的距離?速度、距離?水平角、距離?俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波雷達的特征表 達，并將該毫米波雷達的特征和各個不同類別屬性比較，將距離最近的類別視為該毫米波 雷達信號的類別。 [0012] 進一步地，S1中，規(guī)定有u種動作類別，每個動作類別包含若干個樣本，同時采集包 含這些動作的視頻和毫米波雷達數(shù)據(jù)，構(gòu)建視頻數(shù)據(jù)集 和毫米波雷達數(shù)據(jù)集 ；其中，視 頻數(shù)據(jù)集用于生成u個動作屬性，進而輔助毫米波雷達進行零樣本學(xué)習；對毫米波雷達數(shù)據(jù) 集進行劃分，v個類別的毫米波雷達數(shù)據(jù)構(gòu)成訓(xùn)練集 ，其中v