[0182] 第二隨機(jī)擦除單元，用于根據(jù)所述第i層的第二候選跨注意力特征，確定第i層的第二擦除注意力特征，其中，所述第二隨機(jī)擦除單元用于對(duì)所述第i層的第二候選跨注意力特征中的部分特征值進(jìn)行置0，得到所述第i層的第二擦除注意力特征； [0183] 第二歸一化單元，用于根據(jù)所述第i層的第二擦除注意力特征，確定所述第i層的第二歸一化特征，其中，所述第二歸一化單元用于對(duì)所述第i層的第二擦除注意力特征中的特征值進(jìn)行歸一化處理，得到所述第i層的第二歸一化特征； [0184] 第二疊加單元，用于將所述第i層的問(wèn)句編碼特征和所述第i層的第二歸一化特征進(jìn)行疊加，得到所述第i層的第二跨注意力特征。 [0185] 在一個(gè)示范性實(shí)施例中，所述第二跨注意力單元，用于： [0186] 通過(guò)以下公式確定所述第i層的第二候選跨注意力特征： [0187] [0188] 其中， 表示所述第i層的第二候選跨注意力特征， 表示所述第i 層的圖像編碼特征， 表示所述第i層的問(wèn)句編碼特征， 表示預(yù)先確 定的轉(zhuǎn)移矩陣， 表示所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值。 [0189] 在一個(gè)示范性實(shí)施例中，所述第i層的第三跨注意力編碼模塊，包括： [0190] 第三跨注意力單元，用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征，確定第i層的第三候選跨注意力特征，其中，所述第三跨注意力單元用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征，確定所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值，并根據(jù)所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值以及所述第i層的目標(biāo)拼接特征，確定所述第i層的第三候選跨注意力特征； [0191] 第三隨機(jī)擦除單元，用于根據(jù)所述第i層的第三候選跨注意力特征，確定第i層的第三擦除注意力特征，其中，所述第三隨機(jī)擦除單元用于對(duì)所述第i層的第三候選跨注意力特征中的部分特征值進(jìn)行置0，得到所述第i層的第三擦除注意力特征； [0192] 第三歸一化單元，用于根據(jù)所述第i層的第三擦除注意力特征，確定所述第i層的第三歸一化特征，其中，所述第三歸一化單元用于對(duì)所述第i層的第三擦除注意力特征中的特征值進(jìn)行歸一化處理，得到所述第i層的第三歸一化特征； [0193] 第三疊加單元，用于將所述第i層的目標(biāo)拼接特征和所述第i層的第三歸一化特征進(jìn)行疊加，得到所述第i層的第三跨注意力特征。 [0194] 在一個(gè)示范性實(shí)施例中，所述第三跨注意力單元，用于： [0195] 通過(guò)以下公式確定所述第i層的第三候選跨注意力特征： [0196] [0197] 其中， 表示所述第i層的第三候選跨注意力特征， 表示所述 第i層的目標(biāo)拼接特征， 表示所述第i層的答案編碼特征， 表示預(yù)先確定 的轉(zhuǎn)移矩陣， 表示所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值。 [0198] 在一個(gè)示范性實(shí)施例中，所述第i層的確定模塊，包括： [0199] 拆分單元，用于將所述第i層的第三跨注意力特征拆分成所述第i層抗噪注意力模塊輸出的圖像注意力特征和第i層的文本修復(fù)特征； [0200] 第一確定單元，用于根據(jù)所述第i層的文本修復(fù)特征和所述第i層的答案編碼特征，確定所述第i層的文本修復(fù)特征對(duì)應(yīng)的權(quán)重值； [0201] 第二確定單元，用于根據(jù)所述第i層的文本修復(fù)特征對(duì)應(yīng)的權(quán)重值與所述第i層的文本修復(fù)特征，確定所述第i層抗噪注意力模塊輸出的文本修復(fù)篩選特征。 [0202] 在一個(gè)示范性實(shí)施例中，所述拆分單元，用于： [0203] 按照所述第i層的第一跨注意力特征和所述第i層的第二跨注意力特征之間的特征數(shù)量的第一比值，將所述第三跨注意力特征拆分成所述第i層抗噪注意力模塊輸出的圖像注意力特征和第i層的文本修復(fù)特征，其中，所述第i層抗噪注意力模塊輸出的圖像注意力特征和第i層的文本修復(fù)特征之間的特征數(shù)量的第二比值等于所述第一比值。 [0204] 在一個(gè)示范性實(shí)施例中，所述第一確定單元，包括： [0205] 第一確定子單元，用于在所述第i層的文本修復(fù)特征包括維度為M×K的特征、所述第i層的答案編碼特征包括維度為H×K的特征的情況下，分別確定所述維度為M×K的特征中的各個(gè)維度為1×K的特征與所述維度為H×K的特征中的各個(gè)維度為1×K的特征之間的相似度，得到維度為M×H的相似度，其中，M、H、K均為大于或等于2的正整數(shù)； [0206] 第二確定子單元，用于根據(jù)維度為M×H的相似度，確定與維度為M×K的特征對(duì)應(yīng)的維度為M×1的權(quán)重值，其中，所述第i層的文本修復(fù)特征對(duì)應(yīng)的權(quán)重值包括所述維度為M×1的權(quán)重值。 [0207] 在一個(gè)示范性實(shí)施例中，所述第一確定子單元，用于： [0208] 在維度為M×H的相似度中的各個(gè)維度為1×H的相似度中選擇取值最大的相似度，得到維度為M×1的相似度； [0209] 在所述M×1的相似度中查找取值大于或等于預(yù)設(shè)閾值的相似度；