[0031] 定義通信策略行動(dòng)向量 ，包括通信批準(zhǔn) ，表示是否批準(zhǔn)第 次通信請(qǐng)求，取值為0或1；時(shí)隙分配 ，表示為第 次通信分配的時(shí)隙資源數(shù)量；帶寬分配 ，表示為第 次通信分配的帶寬資源數(shù)量；行動(dòng)向量 表示為 ； [0032] 構(gòu)建狀態(tài)?通信數(shù)據(jù)集 ，其中， 為狀態(tài)?通 信數(shù)據(jù)集的數(shù)據(jù)量，每個(gè)樣本 表示在狀態(tài) 下采取行動(dòng) ，并產(chǎn)生通信特征 ；定義獎(jiǎng)賞函數(shù) ，用于評(píng)估在狀態(tài) 下采取行動(dòng) 的優(yōu)劣，權(quán)衡通信性能和能耗： ，其中， 表示通信效用， 表示能耗代價(jià)， 和 是權(quán)衡因子； [0033] 使用強(qiáng)化學(xué)習(xí)算法DQN神經(jīng)網(wǎng)絡(luò)，基于狀態(tài)?通信數(shù)據(jù)集 訓(xùn)練通信策略計(jì)算模型 ； [0034] 模型的輸入為狀態(tài) ，輸出為各個(gè)行動(dòng) 的 值 ，表示在狀態(tài) 下采取行動(dòng) 的長(zhǎng)期累積獎(jiǎng)勵(lì)期望； [0035] 訓(xùn)練過程中，使用 策略進(jìn)行探索，以概率 隨機(jī)選擇行動(dòng)；同時(shí)，使用 經(jīng)驗(yàn)回放機(jī)制，將每一步的轉(zhuǎn)移樣本 存入回放緩沖區(qū)中，并從中隨機(jī)抽取部分 樣本進(jìn)行訓(xùn)練，以降低樣本之間的相關(guān)性； [0036] 訓(xùn)練完成后，得到最優(yōu)通信策略 ，對(duì)于任意狀態(tài) ，選擇Q值最大的行動(dòng)作為最優(yōu)決策： [0037] [0038] [0039] 其中， 是動(dòng)作空間， 是下一步行動(dòng)， 是下一步狀態(tài)， 是折扣因子, 是數(shù)學(xué)期望的符號(hào)表示， 表示在給定狀態(tài) 下采取行動(dòng) 后，獲得的期望未來(lái)累積獎(jiǎng)勵(lì)； [0040] 得到最優(yōu)通信策略 ，其中， 是狀態(tài)空間，對(duì)于任意狀態(tài) ，選擇行動(dòng) 使得 最大。 [0041] 優(yōu)選的，在物聯(lián)網(wǎng)設(shè)備中構(gòu)建數(shù)據(jù)緩存區(qū)，臨時(shí)存儲(chǔ)物聯(lián)網(wǎng)設(shè)備收集的數(shù)據(jù)，并制定數(shù)據(jù)傳輸策略； [0042] 根據(jù)物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集頻率調(diào)度模型的輸出結(jié)果，動(dòng)態(tài)調(diào)整物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)采集頻率 ； [0043] 在物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集過程中，監(jiān)測(cè)緩存區(qū)的占用率 ，占用率 表示緩存區(qū)已用空間占總空間的比例； [0044] 從物聯(lián)網(wǎng)設(shè)備的最優(yōu)通信策略 中提取數(shù)據(jù)傳輸間隔時(shí)長(zhǎng) 作為最優(yōu)數(shù)據(jù)上傳間隔，根據(jù)數(shù)據(jù)傳輸間隔時(shí)長(zhǎng) 設(shè)定物聯(lián)網(wǎng)設(shè)備上傳數(shù)據(jù)定時(shí)器； [0045] 當(dāng)?shù)竭_(dá)物聯(lián)網(wǎng)設(shè)備上傳數(shù)據(jù)定時(shí)器預(yù)定時(shí)間時(shí)，讀取物聯(lián)網(wǎng)設(shè)備當(dāng)前緩存區(qū)的存儲(chǔ)狀態(tài)，計(jì)算當(dāng)前緩存區(qū)的占用率 ，設(shè)定緩存區(qū)的上傳閾值 ； [0046] 當(dāng)?shù)竭_(dá)預(yù)定時(shí)間時(shí)，若計(jì)算出緩存區(qū)的占用率 大于或等于緩存區(qū)的上傳閾值時(shí)，將物聯(lián)網(wǎng)設(shè)備的緩存區(qū)數(shù)據(jù)上傳到上級(jí)邊緣節(jié)點(diǎn)；若計(jì)算出緩存區(qū)的占用率 小于緩存區(qū)的上傳閾值 時(shí)，不將物聯(lián)網(wǎng)設(shè)備的緩存區(qū)數(shù)據(jù)上傳到上級(jí)邊緣節(jié)點(diǎn)。 [0047] 優(yōu)選的，在物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集過程中，監(jiān)測(cè)緩存區(qū)的占用率 ，以小于數(shù)據(jù)傳輸間隔時(shí)長(zhǎng) 的周期，計(jì)算緩存區(qū)的占用率 ； [0048] 設(shè)定緩存區(qū)占用率的上閾值 和下閾值 ，在物聯(lián)網(wǎng)設(shè)備向上級(jí)邊緣節(jié)點(diǎn) 上傳數(shù)據(jù)的間隙中檢測(cè)緩存區(qū)占用率，當(dāng)占用率大于上閾值 時(shí)，觸發(fā)緩存區(qū)數(shù)據(jù)上傳，當(dāng)占用率小于下閾值 時(shí)，觸發(fā)緩存區(qū)擴(kuò)容； [0049] 當(dāng)緩存區(qū)的占用率 大于上閾值 時(shí)，物聯(lián)網(wǎng)設(shè)備向邊緣節(jié)點(diǎn)發(fā)送數(shù)據(jù)傳輸指令，將緩存區(qū)內(nèi)的所有數(shù)據(jù)上傳至邊緣節(jié)點(diǎn)，同時(shí)對(duì)緩存區(qū)進(jìn)行擴(kuò)容，擴(kuò)容的緩存區(qū)大小計(jì)算公式為： [0050] [0051] 其中， 為擴(kuò)容前的緩存區(qū)大小， 為擴(kuò)容系數(shù)，控制擴(kuò)容幅度； [0052] 當(dāng)緩存區(qū)占用率 小于下閾值 時(shí)，對(duì)緩存區(qū)進(jìn)行縮容，減小緩存區(qū)的存儲(chǔ)空間；縮容的緩存區(qū)大小 的計(jì)算公式為： [0053] [0054] 其中，為縮容系數(shù)，控制縮容幅度。 [0055] 優(yōu)選的，對(duì)物聯(lián)網(wǎng)設(shè)備采集的數(shù)據(jù)進(jìn)行加密上傳，將物聯(lián)網(wǎng)設(shè)備采集的數(shù)據(jù)加密上傳到上級(jí)邊緣節(jié)點(diǎn)； [0056] 設(shè)物聯(lián)網(wǎng)設(shè)備采集的數(shù)據(jù)為原始明文數(shù)據(jù) ，加密后的數(shù)據(jù)為密文 ，密鑰為 ； 加密過程表示為： ；其中， 為加密函數(shù)，接收明文數(shù)據(jù) 和密鑰 作為輸 入，生成密文 作為輸出； [0057] 設(shè)計(jì)基于異或運(yùn)算和置換操作的加密算法，流程如下： [0058] 將明文數(shù)據(jù) 按字節(jié)劃分為明文塊，每個(gè)明文塊長(zhǎng)度為 個(gè)字節(jié)，不足 個(gè)字節(jié)的部分用0填充；設(shè)劃分后的明文塊為 ； [0059] 對(duì)于每一個(gè)明文塊 ， ，為明文塊總數(shù),執(zhí)行以下步驟： [0060] 步驟a：將 與密鑰 進(jìn)行按位異或運(yùn)算，得到中間結(jié)果 ： ；其 中， 表示按位異或運(yùn)算； [0061] 步驟b：對(duì) 進(jìn)行置換操作，得到置換結(jié)果 ： ；其中， 為置換函 數(shù)，將 的字節(jié)順序按照預(yù)定義的規(guī)則進(jìn)行重新排列； [0062] 步驟c：?將置換結(jié)果 作為當(dāng)前明文塊的加密結(jié)果，即密文塊 ： ； [0063] 步驟d：將所有密文塊 拼接起來(lái)，得到最終的密文 ： ；其中，表示拼接操作； [0064] 在數(shù)據(jù)上傳前，物聯(lián)網(wǎng)設(shè)備使用加密算法對(duì)明文數(shù)據(jù) 進(jìn)行加密，得到密文 。 [0065] 優(yōu)選的，對(duì)加密后的密文數(shù)據(jù)進(jìn)行壓縮，設(shè)加密后的密文數(shù)據(jù)為 ，壓縮后的數(shù)據(jù)為 ，壓縮算法為 ；壓縮過程表示為： ；其中， 為壓縮函數(shù)，接收密文 作 為輸入，生成壓縮后的數(shù)據(jù) 作為輸出；

定義物聯(lián)網(wǎng)設(shè)備的狀態(tài)特征向量 ，包括CPU利用率 ，表示第 時(shí)刻物聯(lián)網(wǎng)設(shè)備CPU的使用率；內(nèi)存利用率 ，表示第 時(shí)刻物聯(lián)網(wǎng)設(shè)備內(nèi)存的使用率；電池電量 ，表示第 時(shí)刻物聯(lián)網(wǎng)設(shè)備電池的剩余電量；信號(hào)強(qiáng)度 ，表示第 時(shí)刻物聯(lián)網(wǎng)設(shè)備接收到的無(wú)線信號(hào)強(qiáng)度；狀態(tài)特征向量 表示為： ； 定義物聯(lián)網(wǎng)設(shè)備的通信特征向量 ，包括通信時(shí)刻 ，表示第 次通信傳輸?shù)臅r(shí)間戳； 數(shù)據(jù)量 ，表示第 次通信傳輸?shù)臄?shù)據(jù)量大?。还β?，表示第 次通信傳輸使用的發(fā)射功率；通信特征向量 表示為： ； 定義通信策略行動(dòng)向量 ，包括通信批準(zhǔn) ，表示是否批準(zhǔn)第 次通信請(qǐng)求，取值為0或1；時(shí)隙分配 ，表示為第 次通信分配的時(shí)隙資源數(shù)量；帶寬分配 ，表示為第次通信分配的帶寬資源數(shù)量；行動(dòng)向量 表示為 ； 構(gòu)建狀態(tài)?通信數(shù)據(jù)集 ，其中， 為狀態(tài)?通信數(shù) 據(jù)集的數(shù)據(jù)量,每個(gè)樣本 表示在狀態(tài) 下采取行動(dòng) ，并產(chǎn)生通信特征 ；定義獎(jiǎng)賞函數(shù) ，用于評(píng)估在狀態(tài) 下采取行動(dòng) 的優(yōu)劣，權(quán)衡通信性能和能耗： ，其中， 表示通信效用， 表示能耗代價(jià)， 和 是權(quán)衡因子； 使用強(qiáng)化學(xué)習(xí)算法DQN神經(jīng)網(wǎng)絡(luò)，基于狀態(tài)?通信數(shù)據(jù)集 訓(xùn)練通信策略計(jì)算模型； 模型的輸入為狀態(tài) ，輸出為各個(gè)行動(dòng) 的 值 ，表示在狀態(tài) 下采取行動(dòng) 的長(zhǎng)期累積獎(jiǎng)勵(lì)期望； 訓(xùn)練過程中，使用 策略進(jìn)行探索，以概率 隨機(jī)選擇行動(dòng)；同時(shí)，使用經(jīng)驗(yàn)回放機(jī)制，將每一步的轉(zhuǎn)移樣本 存入回放緩沖區(qū)中，并從中隨機(jī)抽取部分樣本進(jìn)行訓(xùn)練，以降低樣本之間的相關(guān)性； 訓(xùn)練完成后，得到最優(yōu)通信策略 ，對(duì)于任意狀態(tài) ，選擇Q值最大的行動(dòng)作為最優(yōu)決策： ； 其中， 是動(dòng)作空間， 是下一步行動(dòng)， 是下一步狀態(tài)， 是折扣因子, 是數(shù)學(xué)期望的符號(hào)表示， 表示在給定狀態(tài) 下采取行動(dòng) 后，獲得的期望未來(lái)累積獎(jiǎng)勵(lì)； 得到最優(yōu)通信策略 ，其中，是狀態(tài)空間，對(duì)于任意狀態(tài) ，選 擇行動(dòng) 使得 最大。 4.根據(jù)權(quán)利要求3所述的一種5.5G物聯(lián)網(wǎng)設(shè)備的節(jié)能通信方法，其特征在于，在物聯(lián)網(wǎng)設(shè)備中構(gòu)建數(shù)據(jù)緩存區(qū)，臨時(shí)存儲(chǔ)物聯(lián)網(wǎng)設(shè)備收集的數(shù)據(jù)，并制定數(shù)據(jù)傳輸策略； 根據(jù)物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集頻率調(diào)度模型的輸出結(jié)果，動(dòng)態(tài)調(diào)整物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)采集頻率 ； 在物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)采集過程中，監(jiān)測(cè)緩存區(qū)的占用率 ，占用率 表示緩存區(qū)已用空間占總空間的比例； 從物聯(lián)網(wǎng)設(shè)備的最優(yōu)通信策略 中提取數(shù)據(jù)傳輸間隔時(shí)長(zhǎng) 作為最優(yōu)數(shù)據(jù)上傳間隔，根據(jù)數(shù)據(jù)傳輸間隔時(shí)長(zhǎng) 設(shè)定物聯(lián)網(wǎng)設(shè)備上傳數(shù)據(jù)定時(shí)器；