一種基于視覺輔助的毫米波雷達(dá)零樣本行為感知方法 技術(shù)領(lǐng)域 [0001] 本發(fā)明屬于零樣本無線信號(hào)行為感知技術(shù)領(lǐng)域，具體是涉及一種基于視覺輔助的 毫米波雷達(dá)零樣本行為感知方法。 背景技術(shù) [0002] 目前，基于毫米波雷達(dá)信號(hào)的行為識(shí)別方法大多采用語義屬性采用詞向量的方 法、或者采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)?長短時(shí)間記憶模型（CNN?LSTM）從距離?速度圖信息（RV）中提取毫米波雷達(dá)特征；然而，由于現(xiàn)有方法的測試集的樣本類別必須在訓(xùn)練集中出現(xiàn)過， 當(dāng)遇到未見過的測試類別，已有的方法將失效。對(duì)于該問題，現(xiàn)有技術(shù)中的解決方案是采集 更多的動(dòng)作類別，訓(xùn)練模型；但是該方法數(shù)據(jù)采集、模型訓(xùn)練成本高。不同于毫米波雷達(dá)信 號(hào)，視覺信號(hào)可來源日常生活的照片、視頻、Yutube網(wǎng)站、以及很多大型的公開數(shù)據(jù)集等，因此其包含豐富的動(dòng)作類別，如何利用現(xiàn)有的視覺信號(hào)輔助毫米波雷達(dá)感知具有重要的研究 價(jià)值，為基于視覺輔助的毫米波雷達(dá)零樣本行為感知提供了可能。 發(fā)明內(nèi)容 [0003] 為解決上述技術(shù)問題，本發(fā)明提供了一種基于視覺輔助的毫米波雷達(dá)零樣本行為 感知方法，解決現(xiàn)有技術(shù)中存在無法感知未見類別毫米波雷達(dá)信號(hào)的問題，旨在實(shí)現(xiàn)零樣 本毫米波雷達(dá)感知任務(wù)。 [0004] 本發(fā)明所述的一種基于視覺輔助的毫米波雷達(dá)零樣本行為感知方法，包括以下步 驟： [0005] S1、同時(shí)收集包含各種不同動(dòng)作類別的視頻數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)，分別構(gòu)建視 頻數(shù)據(jù)集和毫米波雷達(dá)數(shù)據(jù)集，將毫米波雷達(dá)數(shù)據(jù)集分為訓(xùn)練集和測試集，其中訓(xùn)練集和 測試集的類別不重合； [0006] S2、利用視頻數(shù)據(jù)集在預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)進(jìn)行微調(diào)，并從C3D網(wǎng)絡(luò)中提取最后一 個(gè)全連接層特征，將同一類別的特征取平均值，作為視覺相關(guān)的全局屬性； [0007] S3、將視頻數(shù)據(jù)集的數(shù)據(jù)轉(zhuǎn)換成骨骼點(diǎn)的時(shí)序序列，描述人體關(guān)鍵不同位置處隨 時(shí)間的坐標(biāo)，根據(jù)坐標(biāo)求取身體連接部分的夾角時(shí)序變化，刻畫各個(gè)不同類別的信號(hào)特性， 作為視覺相關(guān)的局部屬性； [0008] S4、將S2和S3得到的視覺相關(guān)的屬性融合，得到最終各類別的屬性； [0009] S5、構(gòu)建三通道卷積神經(jīng)網(wǎng)絡(luò)，用于提取毫米波雷達(dá)信號(hào)中強(qiáng)辨識(shí)力的特征表達(dá)； [0010] S6、基于訓(xùn)練集獲取基于毫米波雷達(dá)信號(hào)的距離?速度、距離?水平角、距離?俯仰角，將其輸入三通道卷積神經(jīng)網(wǎng)絡(luò)，得到基于訓(xùn)練集的毫米波雷達(dá)的特征表達(dá)；利用該毫米 波雷達(dá)的特征和對(duì)應(yīng)類別的屬性構(gòu)建損失函數(shù)，得到兩者之間的投影關(guān)系，訓(xùn)練三通道卷 積神經(jīng)網(wǎng)絡(luò)的參數(shù)； [0011] S7、基于測試集獲取基于毫米波雷達(dá)信號(hào)的距離?速度、距離?水平角、距離?俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波雷達(dá)的特征表 達(dá)，并將該毫米波雷達(dá)的特征和各個(gè)不同類別屬性比較，將距離最近的類別視為該毫米波 雷達(dá)信號(hào)的類別。 [0012] 進(jìn)一步地，S1中，規(guī)定有u種動(dòng)作類別，每個(gè)動(dòng)作類別包含若干個(gè)樣本，同時(shí)采集包 含這些動(dòng)作的視頻和毫米波雷達(dá)數(shù)據(jù)，構(gòu)建視頻數(shù)據(jù)集 和毫米波雷達(dá)數(shù)據(jù)集 ；其中，視 頻數(shù)據(jù)集用于生成u個(gè)動(dòng)作屬性，進(jìn)而輔助毫米波雷達(dá)進(jìn)行零樣本學(xué)習(xí)；對(duì)毫米波雷達(dá)數(shù)據(jù) 集進(jìn)行劃分，v個(gè)類別的毫米波雷達(dá)數(shù)據(jù)構(gòu)成訓(xùn)練集 ，其中v