白丝美女被狂躁免费视频网站,500av导航大全精品,yw.193.cnc爆乳尤物未满,97se亚洲综合色区,аⅴ天堂中文在线网官网

視覺常識推理方法和裝置、存儲介質(zhì)及電子設(shè)備

專利號
CN115761273B
公開日期
2023-04-25
申請人
蘇州浪潮智能科技有限公司(江蘇省蘇州市吳中經(jīng)濟開發(fā)區(qū)郭巷街道官浦路1號9幢)
發(fā)明人
李曉川; 李仁剛; 郭振華; 趙雅倩; 范寶余
IPC分類
G06V10/70; G06V10/82; G06V10/80; G06N5/04; G06N3/0464
技術(shù)領(lǐng)域
注意力,答案,注意,問句,文本,編碼,候選,圖像,修復(fù),權(quán)重值
地域: 江蘇省 江蘇省蘇州市

摘要

本申請實施例提供了一種視覺常識推理方法和裝置、存儲介質(zhì)及電子設(shè)備,涉及計算機領(lǐng)域,其中,該方法包括:獲取目標圖像的圖像檢測特征、目標問句的問句文本特征、第一候選答案的第一答案文本特征;將圖像檢測特征、問句文本特征和第一答案文本特征輸入到N層抗噪注意力模塊,得到目標圖像的圖像注意力特征、目標問句的文本修復(fù)篩選特征、第一候選答案的答案文本空間特征;將問句文本特征和文本修復(fù)篩選特征進行疊加,得到目標問句的文本降噪特征;根據(jù)圖像注意力特征、文本降噪特征以及答案文本空間特征,確定目標推理結(jié)果。

說明書

將輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征輸入到所述第i層的第二自注意力編碼模塊中的第二自注意力單元,得到第i層的第二候選自注意力特征,其中,所述第二自注意力單元用于根據(jù)輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征,確定輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征對應(yīng)的權(quán)重值,并根據(jù)所述輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征對應(yīng)的權(quán)重值以及輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征,確定所述第i層的第二候選自注意力特征;將所述第i層的第二候選自注意力特征輸入所述第i層的第二自注意力編碼模塊中的第五隨機擦除單元,得到第i層的第五擦除注意力特征,其中,所述第五隨機擦除單元用于對所述第i層的第二候選自注意力特征中的部分特征值進行置0,得到所述第i層的第五擦除注意力特征;將所述第i層的第五擦除注意力特征輸入所述第i層的第二自注意力編碼模塊中的第五歸一化單元,得到所述第i層的第五歸一化特征,其中,所述第五歸一化單元用于對所述第i層的第五擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第五歸一化特征;將所述輸入所述第i層抗噪注意力模塊的文本修復(fù)篩選特征和所述第i層的第五歸一化特征進行疊加,得到第i層的問句編碼特征。 [0129] 可選的,在本實施例中,可以但不限于通過以下方式得到第i層的答案編碼特征: 將輸入所述第i層抗噪注意力模塊的答案文本空間特征輸入到所述第i層的第三自注意力編碼模塊中的第三自注意力單元,得到第i層的第三候選自注意力特征,其中,所述第三自注意力單元用于根據(jù)輸入所述第i層抗噪注意力模塊的答案文本空間特征,確定輸入所述第i層抗噪注意力模塊的答案文本空間特征對應(yīng)的權(quán)重值,并根據(jù)所述輸入所述第i層抗噪注意力模塊的答案文本空間特征對應(yīng)的權(quán)重值以及輸入所述第i層抗噪注意力模塊的答案文本空間特征,確定所述第i層的第三候選自注意力特征;將所述第i層的第三候選自注意力特征輸入所述第i層的第三自注意力編碼模塊中的第六隨機擦除單元,得到第i層的第六擦除注意力特征,其中,所述第六隨機擦除單元用于對所述第i層的第三候選自注意力特征中的部分特征值進行置0,得到所述第i層的第六擦除注意力特征;將所述第i層的第六擦除注意力特征輸入所述第i層的第三自注意力編碼模塊中的第六歸一化單元,得到所述第i層的第六歸一化特征,其中,所述第六歸一化單元用于對所述第i層的第六擦除注意力特征中的特征值進行歸一化處理,得到所述第i層的第六歸一化特征;將所述輸入所述第i層抗噪注意力模塊的答案文本空間特征和所述第i層的第六歸一化特征進行疊加,得到第i層的答案編碼特征。 [0130] 在一個示范性實施例中,可以但不限于通過以下公式確定所述第i層的第一候選自注意力特征: [0131] [0132] 其中, 表示所述第i層的第一候選自注意力特征,表示所述輸入所述第i層抗噪注意力模塊的圖像注意力特征, 、 、 表示預(yù)先確定的轉(zhuǎn)移矩陣, [0133] 表示所述輸入所述第i層抗噪注意力模塊的圖像注意 力特征對應(yīng)的權(quán)重值。 [0134] 在上述步驟S608提供的技術(shù)方案中,將問句文本特征和N層抗噪注意力模塊輸出的文本修復(fù)篩選特征進行疊加,可以在問句文本中標記出噪聲詞語,實現(xiàn)了對問句文本中存在的與候選答案不相關(guān)的噪聲詞語進行降噪,大大提升了問句文本與答案文本之間的相關(guān)性。 [0135] 在上述步驟S610提供的技術(shù)方案中,通過N層抗噪注意力模塊對問句文本中存在的與答案文本不相關(guān)的噪聲詞語進行修復(fù)。在根據(jù)圖像注意力特征、文本降噪特征和答案文本空間特征,確定推理結(jié)果的時候,可以大大減少對噪聲詞語的關(guān)注,進而提升了推理結(jié)果的準確性。 [0136] 在一個示范性實施例中,可以但不限于通過以下方式確定目標推理結(jié)果:根據(jù)所述圖像注意力特征、所述文本降噪特征以及答案文本空間特征,確定第一推理概率,其中,所述第一推理概率用于表示所述第一候選答案是所述目標問句的答案的概率;根據(jù)所述第一推理概率,在候選答案集合中確定所述第一候選答案是否是滿足第一預(yù)設(shè)條件的候選答案,其中,所述第一預(yù)設(shè)條件是指所述第一推理概率是所述候選答案集合中的各個候選答案對應(yīng)的推理概率中最大的概率,所述各個候選答案對應(yīng)的推理概率用于表示所述各個候選答案是所述目標問句的答案的概率;在所述第一候選答案是滿足所述第一預(yù)設(shè)條件的候選答案的情況下,將所述目標推理結(jié)果確定為用于表示所述第一候選答案是所述目標問句的答案。 [0137] 可選的,在本實施例中,在第一候選答案不是滿足第一預(yù)設(shè)條件的候選答案的情況下,將目標推理結(jié)果確定為用于表示第一候選答案不是目標問句的答案。

權(quán)利要求

1 2 3 4 5 6 7 8 9 10
微信群二維碼
意見反饋