[0013] 在一個示范性實施例中,所述將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入第i層的第二跨注意力編碼模塊,得到第i層的第二跨注意力特征,包括:將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入到所述第i層的第二跨注意力編碼模塊中的第二跨注意力單元,得到第i層的第二候選跨注意力特征,其中,所述第二跨注意力單元用于根據所述第i層的問句編碼特征和所述第i層的圖像編碼特征,確定所述第i層的圖像編碼特征對應的權重值,并根據所述第i層的圖像編碼特征對應的權重值以及所述第i層的圖像編碼特征,確定所述第i層的第二候選跨注意力特征;將所述第i層的第二候選跨注意力特征輸入所述第i層的第二跨注意力編碼模塊中的第二隨機擦除單元,得到第i層的第二擦除注意力特征,其中,所述第二隨機擦除單元用于對所述第i層的第二候選跨注意力特征中的部分特征值進行置0,得到所述第i層的第二擦除注意力特征;將所述第i層的第二擦除注意力特征輸入所述第i層的第二跨注意力編碼模塊中的第二歸一化單元,得到所述第i層的第二歸一化特征,其中,所述第二歸一化單元用于對所述第i層的第二擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第二歸一化特征;將所述第i層的問句編碼特征和所述第i層的第二歸一化特征進行疊加,得到所述第i層的第二跨注意力特征。
[0014] 在一個示范性實施例中,所述將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入到所述第i層的第二跨注意力編碼模塊中的第二跨注意力單元,得到第i層的第二候選跨注意力特征,包括:通過以下公式確定所述第i層的第二候選跨注意力特征:
[0015]
[0016] 其中, 表示所述第i層的第二候選跨注意力特征, 表示所述第i
層的圖像編碼特征, 表示所述第i層的問句編碼特征, 表示預先確
定的轉移矩陣, 表示所述第i層的圖像編碼特征對應的權重值。
[0017] 在一個示范性實施例中,所述將所述第i層的目標拼接特征和所述第i層的答案編碼特征輸入第i層的第三跨注意力編碼模塊,得到第i層的第三跨注意力特征,包括:將所述第i層的目標拼接特征和所述第i層的答案編碼特征輸入到所述第i層的第三跨注意力編碼模塊中的第三跨注意力單元,得到第i層的第三候選跨注意力特征,其中,所述第三跨注意力單元用于根據所述第i層的目標拼接特征和所述第i層的答案編碼特征,確定所述第i層的目標拼接特征對應的權重值,并根據所述第i層的目標拼接特征對應的權重值以及所述第i層的目標拼接特征,確定所述第i層的第三候選跨注意力特征;將所述第i層的第三候選跨注意力特征輸入所述第i層的第三跨注意力編碼模塊中的第三隨機擦除單元,得到第i層的第三擦除注意力特征,其中,所述第三隨機擦除單元用于對所述第i層的第三候選跨注意力特征中的部分特征值進行置0,得到所述第i層的第三擦除注意力特征;將所述第i層的第三擦除注意力特征輸入所述第i層的第三跨注意力編碼模塊中的第三歸一化單元,得到所述第i層的第三歸一化特征,其中,所述第三歸一化單元用于對所述第i層的第三擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第三歸一化特征;將所述第i層的目標拼接特征和所述第i層的第三歸一化特征進行疊加,得到所述第i層的第三跨注意力特征。
[0018] 在一個示范性實施例中,所述將所述第i層的目標拼接特征和所述第i層的答案編碼特征輸入到所述第i層的第三跨注意力編碼模塊中的第三跨注意力單元,得到第i層的第三候選跨注意力特征,包括:通過以下公式確定所述第i層的第三候選跨注意力特征:
[0019]
[0020] 其中, 表示所述第i層的第三候選跨注意力特征, 表示所述
第i層的目標拼接特征, 表示所述第i層的答案編碼特征, 表示預先確定
的轉移矩陣, 表示所述第i層的目標拼接特征對應的權重值。
[0021] 在一個示范性實施例中,所述根據所述第i層的第三跨注意力特征和所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征和文本修復篩選特征,包括:將所述第i層的第三跨注意力特征拆分成所述第i層抗噪注意力模塊輸出的圖像注意力特征和第i層的文本修復特征;根據所述第i層的文本修復特征和所述第i層的答案編碼特征,確定所述第i層的文本修復特征對應的權重值;根據所述第i層的文本修復特征對應的權重值與所述第i層的文本修復特征,確定所述第i層抗噪注意力模塊輸出的文本修復篩選特征。