將輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征輸入到所述第i層的第二自注意力編碼模塊中的第二自注意力單元,得到第i層的第二候選自注意力特征,其中,所述第二自注意力單元用于根據(jù)輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征,確定輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征對應(yīng)的權(quán)重值,并根據(jù)所述輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征對應(yīng)的權(quán)重值以及輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征,確定所述第i層的第二候選自注意力特征;將所述第i層的第二候選自注意力特征輸入所述第i層的第二自注意力編碼模塊中的第五隨機擦除單元,得到第i層的第五擦除注意力特征,其中,所述第五隨機擦除單元用于對所述第i層的第二候選自注意力特征中的部分特征值進行置0,得到所述第i層的第五擦除注意力特征;將所述第i層的第五擦除注意力特征輸入所述第i層的第二自注意力編碼模塊中的第五歸一化單元,得到所述第i層的第五歸一化特征,其中,所述第五歸一化單元用于對所述第i層的第五擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第五歸一化特征;將所述輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征和所述第i層的第五歸一化特征進行疊加,得到第i層的問句編碼特征。
[0129] 可選的,在本實施例中,可以但不限于通過以下方式得到第i層的答案編碼特征:
將輸入所述第i層抗噪注意力模塊的答案文本空間特征輸入到所述第i層的第三自注意力編碼模塊中的第三自注意力單元,得到第i層的第三候選自注意力特征,其中,所述第三自注意力單元用于根據(jù)輸入所述第i層抗噪注意力模塊的答案文本空間特征,確定輸入所述第i層抗噪注意力模塊的答案文本空間特征對應(yīng)的權(quán)重值,并根據(jù)所述輸入所述第i層抗噪注意力模塊的答案文本空間特征對應(yīng)的權(quán)重值以及輸入所述第i層抗噪注意力模塊的答案文本空間特征,確定所述第i層的第三候選自注意力特征;將所述第i層的第三候選自注意力特征輸入所述第i層的第三自注意力編碼模塊中的第六隨機擦除單元,得到第i層的第六擦除注意力特征,其中,所述第六隨機擦除單元用于對所述第i層的第三候選自注意力特征中的部分特征值進行置0,得到所述第i層的第六擦除注意力特征;將所述第i層的第六擦除注意力特征輸入所述第i層的第三自注意力編碼模塊中的第六歸一化單元,得到所述第i層的第六歸一化特征,其中,所述第六歸一化單元用于對所述第i層的第六擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第六歸一化特征;將所述輸入所述第i層抗噪注意力模塊的答案文本空間特征和所述第i層的第六歸一化特征進行疊加,得到第i層的答案編碼特征。
[0130] 在一個示范性實施例中,可以但不限于通過以下公式確定所述第i層的第一候選自注意力特征:
[0131]
[0132] 其中, 表示所述第i層的第一候選自注意力特征,表示所述輸入所述第i層抗噪注意力模塊的圖像注意力特征, 、 、 表示預(yù)先確定的轉(zhuǎn)移矩陣,
[0133] 表示所述輸入所述第i層抗噪注意力模塊的圖像注意
力特征對應(yīng)的權(quán)重值。
[0134] 在上述步驟S608提供的技術(shù)方案中,將問句文本特征和N層抗噪注意力模塊輸出的文本修復(fù)篩選特征進行疊加,可以在問句文本中標記出噪聲詞語,實現(xiàn)了對問句文本中存在的與候選答案不相關(guān)的噪聲詞語進行降噪,大大提升了問句文本與答案文本之間的相關(guān)性。
[0135] 在上述步驟S610提供的技術(shù)方案中,通過N層抗噪注意力模塊對問句文本中存在的與答案文本不相關(guān)的噪聲詞語進行修復(fù)。在根據(jù)圖像注意力特征、文本降噪特征和答案文本空間特征,確定推理結(jié)果的時候,可以大大減少對噪聲詞語的關(guān)注,進而提升了推理結(jié)果的準確性。
[0136] 在一個示范性實施例中,可以但不限于通過以下方式確定目標推理結(jié)果:根據(jù)所述圖像注意力特征、所述文本降噪特征以及答案文本空間特征,確定第一推理概率,其中,所述第一推理概率用于表示所述第一候選答案是所述目標問句的答案的概率;根據(jù)所述第一推理概率,在候選答案集合中確定所述第一候選答案是否是滿足第一預(yù)設(shè)條件的候選答案,其中,所述第一預(yù)設(shè)條件是指所述第一推理概率是所述候選答案集合中的各個候選答案對應(yīng)的推理概率中最大的概率,所述各個候選答案對應(yīng)的推理概率用于表示所述各個候選答案是所述目標問句的答案的概率;在所述第一候選答案是滿足所述第一預(yù)設(shè)條件的候選答案的情況下,將所述目標推理結(jié)果確定為用于表示所述第一候選答案是所述目標問句的答案。
[0137] 可選的,在本實施例中,在第一候選答案不是滿足第一預(yù)設(shè)條件的候選答案的情況下,將目標推理結(jié)果確定為用于表示第一候選答案不是目標問句的答案。