[0008] 在一個(gè)示范性實(shí)施例中,所述根據(jù)所述第i層的圖像編碼特征、所述第i層的問句編碼特征、所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征、文本修復(fù)篩選特征和答案文本空間特征,包括:將所述第i層的圖像編碼特征和所述第i層的問句編碼特征輸入第i層的第一跨注意力編碼模塊,得到第i層的第一跨注意力特征,其中,所述第i層的第一跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問句編碼特征,確定所述第i層的問句編碼特征對應(yīng)的權(quán)重值,并根據(jù)所述第i層的問句編碼特征對應(yīng)的權(quán)重值以及所述第i層的問句編碼特征,確定所述第i層的第一跨注意力特征;將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入第i層的第二跨注意力編碼模塊,得到第i層的第二跨注意力特征,其中,所述第i層的第二跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問句編碼特征,確定所述第i層的圖像編碼特征對應(yīng)的權(quán)重值,并根據(jù)所述第i層的圖像編碼特征對應(yīng)的權(quán)重值以及所述第i層的圖像編碼特征,確定所述第i層的第二跨注意力特征;將所述第i層的第一跨注意力特征和所述第i層的第二跨注意力特征進(jìn)行拼接,得到第i層的目標(biāo)拼接特征;將所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征輸入第i層的第三跨注意力編碼模塊,得到第i層的第三跨注意力特征,其中,所述第i層的第三跨注意力編碼模塊用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征,確定所述第i層的目標(biāo)拼接特征對應(yīng)的權(quán)重值,并根據(jù)所述第i層的目標(biāo)拼接特征對應(yīng)的權(quán)重值以及所述第i層的目標(biāo)拼接特征,確定所述第i層的第三跨注意力特征;根據(jù)所述第i層的第三跨注意力特征和所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征和文本修復(fù)篩選特征,并將所述第i層的答案編碼特征確定為所述第i層抗噪注意力模塊輸出的答案文本空間特征。
[0009] 在一個(gè)示范性實(shí)施例中,所述將所述第i層的圖像編碼特征和所述第i層的問句編碼特征輸入第i層的第一跨注意力編碼模塊,得到第i層的第一跨注意力特征,包括:將所述第i層的圖像編碼特征和所述第i層的問句編碼特征輸入到所述第i層的第一跨注意力編碼模塊中的第一跨注意力單元,得到第i層的第一候選跨注意力特征,其中,所述第一跨注意力單元用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問句編碼特征,確定所述第i層的問句編碼特征對應(yīng)的權(quán)重值,并根據(jù)所述第i層的問句編碼特征對應(yīng)的權(quán)重值以及所述第i層的問句編碼特征,確定所述第i層的第一候選跨注意力特征;將所述第i層的第一候選跨注意力特征輸入所述第i層的第一跨注意力編碼模塊中的第一隨機(jī)擦除單元,得到第i層的第一擦除注意力特征,其中,所述第一隨機(jī)擦除單元用于對所述第i層的第一候選跨注意力特征中的部分特征值進(jìn)行置0,得到所述第i層的第一擦除注意力特征;將所述第i層的第一擦除注意力特征輸入所述第i層的第一跨注意力編碼模塊中的第一歸一化單元,得到所述第i層的第一歸一化特征,其中,所述第一歸一化單元用于對所述第i層的第一擦除注意力特征中的特征值進(jìn)行歸一化處理,得到所述第i層的第一歸一化特征;將所述第i層的圖像編碼特征和所述第i層的第一歸一化特征進(jìn)行疊加,得到所述第i層的第一跨注意力特征。
[0010] 在一個(gè)示范性實(shí)施例中,所述將所述第i層的圖像編碼特征和所述第i層的問句編碼特征輸入到所述第i層的第一跨注意力編碼模塊中的第一跨注意力單元,得到第i層的第一候選跨注意力特征,包括:通過以下公式確定所述第i層的第一候選跨注意力特征:
[0011]
[0012] 其中, 表示所述第i層的第一候選跨注意力特征, 表示所述第i層
的圖像編碼特征, 表示所述第i層的問句編碼特征, 表示預(yù)先確定的轉(zhuǎn)
移矩陣, 表示所述第i層的問句編碼特征對應(yīng)的權(quán)重值。