白丝美女被狂躁免费视频网站,500av导航大全精品,yw.193.cnc爆乳尤物未满,97se亚洲综合色区,аⅴ天堂中文在线网官网

基于雙模感知的YARN集群節(jié)點資源動態(tài)調(diào)整方法

專利號
CN119629247B
公開日期
2025-04-22
申請人
北京科杰科技有限公司(北京市海淀區(qū)東升科技園北街6號院10號樓11層101)
發(fā)明人
高海玲; 高經(jīng)郡; 李棟
IPC分類
H04L67/62; H04L67/61; H04L67/1042; H04L67/1001; H04L67/12; G06F9/50
技術(shù)領(lǐng)域
資源,擴容,利用率,節(jié)點,資源分配,計算,分配,負(fù)載,利用,指標(biāo)
地域: 北京市 北京市海淀區(qū)

摘要

本發(fā)明提供基于雙模感知的YARN集群節(jié)點資源動態(tài)調(diào)整方法及系統(tǒng),涉及數(shù)據(jù)處理技術(shù)領(lǐng)域,包括通過采集系統(tǒng)指標(biāo)數(shù)據(jù)和應(yīng)用程序指標(biāo)數(shù)據(jù),分別構(gòu)建兩個深度神經(jīng)網(wǎng)絡(luò)模型進行融合評估,計算資源動態(tài)調(diào)整系數(shù),采用滑動時間窗口機制實時更新節(jié)點資源,并利用遺傳算法構(gòu)建多維度資源分配優(yōu)化模型實現(xiàn)最優(yōu)資源分配。本發(fā)明可以提高集群資源利用率,降低資源競爭,實現(xiàn)節(jié)點資源的智能化動態(tài)調(diào)整。

說明書

1 2 3 4 5 6 7 8 9 10 11
[0106] 采用指數(shù)分布函數(shù)計算每個擴容步驟的擴容量,所述指數(shù)分布函數(shù)的輸入?yún)?shù)包括擴容步驟序號、所述預(yù)測擴容量、所述最優(yōu)擴容步數(shù);基于資源壓力得分計算擴容基礎(chǔ)時間間隔;根據(jù)擴容步驟序號對所述擴容基礎(chǔ)時間間隔進行動態(tài)調(diào)整得到每個擴容步驟的執(zhí)行時間間隔; [0107] 對預(yù)設(shè)評估時間窗口內(nèi)的負(fù)載變化幅度進行指數(shù)衰減加權(quán)計算得到穩(wěn)定性評分; 當(dāng)所述穩(wěn)定性評分滿足預(yù)設(shè)閾值條件時,基于所述預(yù)測擴容量計算資源預(yù)留量;根據(jù)所述擴容量和所述執(zhí)行時間間隔執(zhí)行分步擴容操作; [0108] 采集目標(biāo)資源利用率和實際資源利用率,計算所述目標(biāo)資源利用率和所述實際資源利用率的均方差得到擴容效果評分;根據(jù)所述擴容效果評分與預(yù)設(shè)效果閾值的差值,對擴容控制參數(shù)進行自適應(yīng)調(diào)整;所述自適應(yīng)調(diào)整后的擴容控制參數(shù)用于指導(dǎo)下一輪擴容操作的執(zhí)行。 [0109] 資源擴容系統(tǒng)首先采集系統(tǒng)負(fù)載的時序數(shù)據(jù),通過對比相鄰時刻的負(fù)載值計算負(fù)載增長率。以每5分鐘采集一次負(fù)載數(shù)據(jù)為例,若當(dāng)前時刻負(fù)載為85%,前一時刻負(fù)載為80%,則負(fù)載增長率為1.0625。對采集到的負(fù)載時序數(shù)據(jù)進行周期性分析,識別出負(fù)載變化的周期特征。比如某業(yè)務(wù)系統(tǒng)在每天的9點到11點期間負(fù)載明顯上升,可提取出振幅系數(shù)1.2和相位偏移2小時等周期參數(shù)。 [0110] 對歷史負(fù)載增長率采用指數(shù)衰減方式進行加權(quán)計算,近期數(shù)據(jù)的權(quán)重較大,遠(yuǎn)期數(shù)據(jù)權(quán)重較小。假設(shè)最近一小時的負(fù)載增長率權(quán)重為0.6,前一小時權(quán)重為0.3,再前一小時權(quán)重為0.1,加權(quán)計算得到負(fù)載趨勢值。同時計算負(fù)載變化速率的變化情況,即二階導(dǎo)數(shù)值,用于判斷負(fù)載增長是在加速還是減速。 [0111] 基于負(fù)載趨勢值和二階導(dǎo)數(shù)值計算修正因子。當(dāng)負(fù)載呈現(xiàn)加速增長趨勢時,修正因子大于1,比如1.2;當(dāng)負(fù)載增長趨勢放緩時,修正因子小于1,比如0.8。將修正因子與基礎(chǔ)擴容量相乘得到預(yù)測擴容量。假設(shè)基礎(chǔ)擴容量為10個資源單位,修正因子為1.2,則預(yù)測擴容量為12個資源單位。 [0112] 根據(jù)當(dāng)前資源總量計算相對擴容上限,一般不超過當(dāng)前資源量的50%。同時考慮絕對擴容上限,如單次最多擴容20個資源單位,取兩者較小值作為最大單步擴容量?;陬A(yù)測擴容量、最大單步擴容量以及負(fù)載趨勢值,計算最優(yōu)擴容步數(shù)。當(dāng)負(fù)載增長較快時,適當(dāng)減少擴容步數(shù),如設(shè)置為3步;當(dāng)負(fù)載增長平緩時,可以增加擴容步數(shù),如設(shè)置為5步。 [0113] 采用指數(shù)分布方式計算每個擴容步驟的具體擴容量。在擴容初期分配較大的擴容量,后期分配較小的擴容量。例如總擴容量為12個資源單位,分3步擴容,則第一步擴容6個單位,第二步擴容4個單位,第三步擴容2個單位?;谙到y(tǒng)當(dāng)前的資源壓力得分計算擴容基礎(chǔ)時間間隔,壓力越大間隔越短。再根據(jù)擴容步驟序號動態(tài)調(diào)整時間間隔,后續(xù)步驟的間隔相應(yīng)延長。 [0114] 對預(yù)設(shè)時間窗口內(nèi)的負(fù)載變化情況進行分析,計算穩(wěn)定性評分。當(dāng)穩(wěn)定性評分高于預(yù)設(shè)閾值時,額外計算一定比例的資源預(yù)留量。然后按照確定的擴容量和時間間隔執(zhí)行分步擴容操作。 [0115] 在擴容過程中持續(xù)采集目標(biāo)資源利用率和實際資源利用率數(shù)據(jù),計算兩者的均方差得到擴容效果評分。將擴容效果評分與預(yù)設(shè)的效果閾值進行比較,根據(jù)差值對擴容控制參數(shù)進行動態(tài)調(diào)整,用于優(yōu)化下一輪擴容操作。 [0116] 本申請能夠?qū)崿F(xiàn): [0117] 通過對負(fù)載數(shù)據(jù)進行多維度分析,包括增長趨勢、周期特征和穩(wěn)定性等,能夠準(zhǔn)確預(yù)測系統(tǒng)的資源需求,提高擴容的精確性,避免資源浪費。 [0118] 采用分步擴容策略并動態(tài)調(diào)整擴容參數(shù),既保證了擴容的及時性,又避免了擴容操作對系統(tǒng)造成沖擊,提高了擴容過程的平滑性和系統(tǒng)穩(wěn)定性。 [0119] 引入擴容效果評估和參數(shù)自適應(yīng)調(diào)整機制,通過閉環(huán)反饋不斷優(yōu)化擴容策略,提高了擴容過程的智能化水平,增強了系統(tǒng)應(yīng)對各種負(fù)載場景的適應(yīng)能力。 [0120] 在一種可選的實施方式中,當(dāng)節(jié)點資源利用率低于預(yù)設(shè)利用率閾值時,觸發(fā)資源回收操作,通過資源回收算法釋放空閑資源包括: [0121] 當(dāng)所述綜合資源利用率小于所述資源利用率下閾值時,根據(jù)所述綜合資源利用率與所述資源利用率下閾值的差值計算基礎(chǔ)回收量;基于最小資源保障量和安全裕度對所述基礎(chǔ)回收量進行約束得到安全回收量;將所述安全回收量劃分為多個回收階段,計算每個所述回收階段的回收步長;基于回收階段序號計算每個所述回收階段的時間延遲;根據(jù)所述回收步長和所述時間延遲執(zhí)行資源回收操作; [0122] 基于資源利用率變化幅度計算操作冷卻時間;計算新舊資源狀態(tài)的狀態(tài)遷移概率;基于資源壓力、成本節(jié)省、操作風(fēng)險計算操作優(yōu)先級;根據(jù)所述操作冷卻時間、所述狀態(tài)遷移概率、所述操作優(yōu)先級對所述資源擴容操作和所述資源回收操作進行協(xié)調(diào)控制。

權(quán)利要求

1 2 3 4 5 6
微信群二維碼
意見反饋