[0011] 設(shè)備狀態(tài)監(jiān)測(cè)網(wǎng)絡(luò)主要由x個(gè)嵌入分支網(wǎng)絡(luò)和y個(gè)狀態(tài)映射分支網(wǎng)絡(luò)組成,其中x>1,y>2。每個(gè)嵌入分支網(wǎng)絡(luò)都包含依次連接的歸一化組件和分支組件。歸一化組件在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中具有重要意義。例如,在數(shù)據(jù)處理中,歸一化組件可能采用批歸一化(Batch?Normalization)技術(shù)。假設(shè)有一組設(shè)備監(jiān)測(cè)參數(shù)序列中的某一參數(shù)值,如蒸發(fā)冷卻設(shè)備的進(jìn)水溫度監(jiān)測(cè)值,其原始數(shù)值范圍可能較大且不穩(wěn)定。批歸一化通過(guò)以下公式進(jìn)行處理:
,其中x是原始輸入值(進(jìn)水溫度監(jiān)測(cè)值),μ是在一個(gè)批次數(shù)據(jù)中的均值,σ是標(biāo)?8
準(zhǔn)差, 是一個(gè)很小的數(shù)(例如為10 ), 是歸一化后的結(jié)果。這種歸一化操作有助于將數(shù)據(jù)映射到一個(gè)更穩(wěn)定的范圍,便于后續(xù)分支組件的處理。
[0012] 分支組件則可以是不同類(lèi)型的網(wǎng)絡(luò)結(jié)構(gòu)或算法。以并行權(quán)重聚焦組件(如Multi?Head?Self?Attention?Network)為例,在處理嵌入分支網(wǎng)絡(luò)中的隱式表示抽取時(shí),它能夠聚焦于設(shè)備監(jiān)測(cè)參數(shù)序列中的不同部分權(quán)重。假設(shè)設(shè)備監(jiān)測(cè)參數(shù)序列包含多個(gè)參數(shù),如進(jìn)水溫度、出水溫度、空氣流速等,并行權(quán)重聚焦組件可以根據(jù)這些參數(shù)在設(shè)備運(yùn)行狀態(tài)評(píng)估中的重要性分配不同的權(quán)重。如果在某個(gè)時(shí)刻,出水溫度對(duì)于判斷設(shè)備運(yùn)行狀態(tài)更為關(guān)鍵,那么它會(huì)給予出水溫度這個(gè)參數(shù)更高的權(quán)重,以便更準(zhǔn)確地抽取隱式表示。
[0013] 在嵌入分支網(wǎng)絡(luò)中進(jìn)行隱式表示抽取時(shí),是逐一基于歸一化組件和分支組件來(lái)進(jìn)行的。例如,對(duì)于第一個(gè)嵌入分支網(wǎng)絡(luò),首先將設(shè)備監(jiān)測(cè)參數(shù)序列輸入到歸一化組件進(jìn)行數(shù)據(jù)歸一化,然后將歸一化后的數(shù)據(jù)輸入到分支組件(如并行權(quán)重聚焦組件或多層感知機(jī)組件)進(jìn)行處理,得到初步的隱式表示結(jié)果。
[0014] 同時(shí),利用歸一化組件的進(jìn)入節(jié)點(diǎn)和離開(kāi)節(jié)點(diǎn)的跳躍連接來(lái)處理隱式表示抽取結(jié)果。假設(shè)在一個(gè)包含三個(gè)節(jié)點(diǎn)的嵌入分支網(wǎng)絡(luò)簡(jiǎn)單示例中,節(jié)點(diǎn)1為輸入節(jié)點(diǎn)(進(jìn)入歸一化組件前),節(jié)點(diǎn)2為歸一化組件輸出節(jié)點(diǎn),節(jié)點(diǎn)3為分支組件輸出節(jié)點(diǎn)。跳躍連接就是從節(jié)點(diǎn)1直接連接到節(jié)點(diǎn)3,當(dāng)計(jì)算最終的隱式表示時(shí),會(huì)綜合考慮從節(jié)點(diǎn)1到節(jié)點(diǎn)3的直接路徑和經(jīng)過(guò)節(jié)點(diǎn)2的常規(guī)路徑的結(jié)果。這種跳躍連接機(jī)制確保了梯度能夠穩(wěn)定地在深層網(wǎng)絡(luò)中傳遞。
例如,在反向傳播算法計(jì)算梯度時(shí),梯度可以通過(guò)跳躍連接直接從節(jié)點(diǎn)3回傳到節(jié)點(diǎn)1,避免了在深層網(wǎng)絡(luò)中梯度消失或梯度爆炸的問(wèn)題,使得網(wǎng)絡(luò)在調(diào)試過(guò)程中更容易收斂,并且隨著網(wǎng)絡(luò)層數(shù)的增加,網(wǎng)絡(luò)依然能夠保持穩(wěn)定。
[0015] 當(dāng)存在x個(gè)嵌入分支網(wǎng)絡(luò)時(shí)(x>1),它們依次連接。例如,第一個(gè)嵌入分支網(wǎng)絡(luò)的輸出隱式表示作為第二個(gè)嵌入分支網(wǎng)絡(luò)的輸入,以此類(lèi)推。這種級(jí)聯(lián)的方式可以逐步深入地對(duì)設(shè)備監(jiān)測(cè)參數(shù)序列進(jìn)行隱式表示抽取。每個(gè)嵌入分支網(wǎng)絡(luò)都在前面網(wǎng)絡(luò)抽取結(jié)果的基礎(chǔ)上進(jìn)一步細(xì)化和優(yōu)化隱式表示,就像一個(gè)多層的信息提煉過(guò)程。比如,第一個(gè)嵌入分支網(wǎng)絡(luò)可能初步提取了設(shè)備運(yùn)行狀態(tài)中關(guān)于溫度相關(guān)參數(shù)的隱式表示,第二個(gè)嵌入分支網(wǎng)絡(luò)則在此基礎(chǔ)上進(jìn)一步結(jié)合流量相關(guān)參數(shù)進(jìn)行更全面的隱式表示抽取。
[0016] 與嵌入分支網(wǎng)絡(luò)類(lèi)似,每個(gè)狀態(tài)映射分支網(wǎng)絡(luò)也包括依次連接的歸一化組件和分支組件。歸一化組件同樣起到穩(wěn)定數(shù)據(jù)范圍的作用,為分支組件的處理提供更有利的條件。
分支組件可以根據(jù)不同的設(shè)計(jì)需求采用不同的結(jié)構(gòu),例如在某些狀態(tài)映射分支網(wǎng)絡(luò)中,分支組件可以是并行權(quán)重聚焦組件或者多層感知機(jī)組件等。
[0017] 以多層感知機(jī)組件為例,在處理狀態(tài)映射分支網(wǎng)絡(luò)中的隱式表示抽取時(shí),它通過(guò)多個(gè)神經(jīng)元層對(duì)輸入的隱式表示進(jìn)行非線(xiàn)性變換。假設(shè)輸入的隱式表示是一個(gè)向量,包含了之前嵌入分支網(wǎng)絡(luò)抽取的關(guān)于設(shè)備運(yùn)行狀態(tài)的各種特征信息,多層感知機(jī)組件通過(guò)一系列的權(quán)重矩陣和激活函數(shù)(如ReLU函數(shù):y=max(0,x))對(duì)這個(gè)向量進(jìn)行處理,逐步將其映射到更符合目標(biāo)狀態(tài)映射的表示空間。
[0018] 在狀態(tài)映射分支網(wǎng)絡(luò)中進(jìn)行隱式表示抽取也是逐一基于歸一化組件和分支組件進(jìn)行的。對(duì)于每一個(gè)狀態(tài)映射分支網(wǎng)絡(luò),先將輸入的嵌入隱式表示(來(lái)自嵌入分支網(wǎng)絡(luò)的輸出)進(jìn)行歸一化,然后再由分支組件進(jìn)行處理得到初步的狀態(tài)映射隱式表示結(jié)果。同樣,利用跳躍連接對(duì)狀態(tài)映射分支網(wǎng)絡(luò)的隱式表示抽取結(jié)果進(jìn)行處理。例如,假設(shè)一個(gè)簡(jiǎn)單的狀態(tài)映射分支網(wǎng)絡(luò)結(jié)構(gòu),輸入為I,經(jīng)過(guò)歸一化組件后變?yōu)镹,再經(jīng)過(guò)分支組件變?yōu)镺。跳躍連接允許從I直接到O的信息傳遞路徑存在。在計(jì)算最終的狀態(tài)映射隱式表示時(shí),會(huì)綜合考慮這兩條路徑的影響。這種跳躍連接機(jī)制在狀態(tài)映射分支網(wǎng)絡(luò)中也確保了梯度的穩(wěn)定傳遞,使得網(wǎng)絡(luò)在處理復(fù)雜的設(shè)備狀態(tài)映射關(guān)系時(shí)能夠更有效地進(jìn)行調(diào)試和收斂。