將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入到所述第i層的第二跨注意力編碼模塊中的第二跨注意力單元,得到第i層的第二候選跨注意力特征,其中,所述第二跨注意力單元用于根據(jù)所述第i層的問句編碼特征和所述第i層的圖像編碼特征,確定所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的圖像編碼特征,確定所述第i層的第二候選跨注意力特征;
將所述第i層的第二候選跨注意力特征輸入所述第i層的第二跨注意力編碼模塊中的第二隨機(jī)擦除單元,得到第i層的第二擦除注意力特征,其中,所述第二隨機(jī)擦除單元用于對(duì)所述第i層的第二候選跨注意力特征中的部分特征值進(jìn)行置0,得到所述第i層的第二擦除注意力特征;
將所述第i層的第二擦除注意力特征輸入所述第i層的第二跨注意力編碼模塊中的第二歸一化單元,得到所述第i層的第二歸一化特征,其中,所述第二歸一化單元用于對(duì)所述第i層的第二擦除注意力特征中的特征值進(jìn)行歸一化處理,得到所述第i層的第二歸一化特征;
將所述第i層的問句編碼特征和所述第i層的第二歸一化特征進(jìn)行疊加,得到所述第i層的第二跨注意力特征。
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述將所述第i層的問句編碼特征和所述第i層的圖像編碼特征輸入到所述第i層的第二跨注意力編碼模塊中的第二跨注意力單元,得到第i層的第二候選跨注意力特征,包括:
通過以下公式確定所述第i層的第二候選跨注意力特征:
,
其中, 表示所述第i層的第二候選跨注意力特征, 表示所述第i層
的圖像編碼特征, 表示所述第i層的問句編碼特征, 表示預(yù)先確定的
轉(zhuǎn)移矩陣, 表示所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值。
7.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述將所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征輸入第i層的第三跨注意力編碼模塊,得到第i層的第三跨注意力特征,包括:
將所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征輸入到所述第i層的第三跨注意力編碼模塊中的第三跨注意力單元,得到第i層的第三候選跨注意力特征,其中,所述第三跨注意力單元用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征,確定所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值以及所述第i層的目標(biāo)拼接特征,確定所述第i層的第三候選跨注意力特征;