白丝美女被狂躁免费视频网站,500av导航大全精品,yw.193.cnc爆乳尤物未满,97se亚洲综合色区,аⅴ天堂中文在线网官网

視覺常識(shí)推理方法和裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

專利號(hào)
CN115761273B
公開日期
2023-04-25
申請(qǐng)人
蘇州浪潮智能科技有限公司(江蘇省蘇州市吳中經(jīng)濟(jì)開發(fā)區(qū)郭巷街道官浦路1號(hào)9幢)
發(fā)明人
李曉川; 李仁剛; 郭振華; 趙雅倩; 范寶余
IPC分類
G06V10/70; G06V10/82; G06V10/80; G06N5/04; G06N3/0464
技術(shù)領(lǐng)域
注意力,答案,注意,問(wèn)句,文本,編碼,候選,圖像,修復(fù),權(quán)重值
地域: 江蘇省 江蘇省蘇州市

摘要

本申請(qǐng)實(shí)施例提供了一種視覺常識(shí)推理方法和裝置、存儲(chǔ)介質(zhì)及電子設(shè)備,涉及計(jì)算機(jī)領(lǐng)域,其中,該方法包括:獲取目標(biāo)圖像的圖像檢測(cè)特征、目標(biāo)問(wèn)句的問(wèn)句文本特征、第一候選答案的第一答案文本特征;將圖像檢測(cè)特征、問(wèn)句文本特征和第一答案文本特征輸入到N層抗噪注意力模塊,得到目標(biāo)圖像的圖像注意力特征、目標(biāo)問(wèn)句的文本修復(fù)篩選特征、第一候選答案的答案文本空間特征;將問(wèn)句文本特征和文本修復(fù)篩選特征進(jìn)行疊加,得到目標(biāo)問(wèn)句的文本降噪特征;根據(jù)圖像注意力特征、文本降噪特征以及答案文本空間特征,確定目標(biāo)推理結(jié)果。

說(shuō)明書

[0008] 在一個(gè)示范性實(shí)施例中,所述根據(jù)所述第i層的圖像編碼特征、所述第i層的問(wèn)句編碼特征、所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征、文本修復(fù)篩選特征和答案文本空間特征,包括:將所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征輸入第i層的第一跨注意力編碼模塊,得到第i層的第一跨注意力特征,其中,所述第i層的第一跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征,確定所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的問(wèn)句編碼特征,確定所述第i層的第一跨注意力特征;將所述第i層的問(wèn)句編碼特征和所述第i層的圖像編碼特征輸入第i層的第二跨注意力編碼模塊,得到第i層的第二跨注意力特征,其中,所述第i層的第二跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征,確定所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的圖像編碼特征,確定所述第i層的第二跨注意力特征;將所述第i層的第一跨注意力特征和所述第i層的第二跨注意力特征進(jìn)行拼接,得到第i層的目標(biāo)拼接特征;將所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征輸入第i層的第三跨注意力編碼模塊,得到第i層的第三跨注意力特征,其中,所述第i層的第三跨注意力編碼模塊用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征,確定所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值以及所述第i層的目標(biāo)拼接特征,確定所述第i層的第三跨注意力特征;根據(jù)所述第i層的第三跨注意力特征和所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征和文本修復(fù)篩選特征,并將所述第i層的答案編碼特征確定為所述第i層抗噪注意力模塊輸出的答案文本空間特征。 [0009] 在一個(gè)示范性實(shí)施例中,所述將所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征輸入第i層的第一跨注意力編碼模塊,得到第i層的第一跨注意力特征,包括:將所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征輸入到所述第i層的第一跨注意力編碼模塊中的第一跨注意力單元,得到第i層的第一候選跨注意力特征,其中,所述第一跨注意力單元用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征,確定所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的問(wèn)句編碼特征,確定所述第i層的第一候選跨注意力特征;將所述第i層的第一候選跨注意力特征輸入所述第i層的第一跨注意力編碼模塊中的第一隨機(jī)擦除單元,得到第i層的第一擦除注意力特征,其中,所述第一隨機(jī)擦除單元用于對(duì)所述第i層的第一候選跨注意力特征中的部分特征值進(jìn)行置0,得到所述第i層的第一擦除注意力特征;將所述第i層的第一擦除注意力特征輸入所述第i層的第一跨注意力編碼模塊中的第一歸一化單元,得到所述第i層的第一歸一化特征,其中,所述第一歸一化單元用于對(duì)所述第i層的第一擦除注意力特征中的特征值進(jìn)行歸一化處理,得到所述第i層的第一歸一化特征;將所述第i層的圖像編碼特征和所述第i層的第一歸一化特征進(jìn)行疊加,得到所述第i層的第一跨注意力特征。 [0010] 在一個(gè)示范性實(shí)施例中,所述將所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征輸入到所述第i層的第一跨注意力編碼模塊中的第一跨注意力單元,得到第i層的第一候選跨注意力特征,包括:通過(guò)以下公式確定所述第i層的第一候選跨注意力特征: [0011] [0012] 其中, 表示所述第i層的第一候選跨注意力特征, 表示所述第i層 的圖像編碼特征, 表示所述第i層的問(wèn)句編碼特征, 表示預(yù)先確定的轉(zhuǎn) 移矩陣, 表示所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值。

權(quán)利要求

1 2 3 4 5 6 7 8 9 10
其中,當(dāng)i等于N時(shí),所述目標(biāo)圖像的圖像注意力特征是所述第i層抗噪注意力模塊輸出的圖像注意力特征,所述目標(biāo)問(wèn)句的文本修復(fù)篩選特征是所述第i層抗噪注意力模塊輸出的文本修復(fù)篩選特征,所述第一候選答案的答案文本空間特征是所述第i層抗噪注意力模塊輸出的答案文本空間特征。 2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述第i層的圖像編碼特征、所述第i層的問(wèn)句編碼特征、所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征、文本修復(fù)篩選特征和答案文本空間特征,包括: 將所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征輸入第i層的第一跨注意力編碼模塊,得到第i層的第一跨注意力特征,其中,所述第i層的第一跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征,確定所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的問(wèn)句編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的問(wèn)句編碼特征,確定所述第i層的第一跨注意力特征; 將所述第i層的問(wèn)句編碼特征和所述第i層的圖像編碼特征輸入第i層的第二跨注意力編碼模塊,得到第i層的第二跨注意力特征,其中,所述第i層的第二跨注意力編碼模塊用于根據(jù)所述第i層的圖像編碼特征和所述第i層的問(wèn)句編碼特征,確定所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的圖像編碼特征對(duì)應(yīng)的權(quán)重值以及所述第i層的圖像編碼特征,確定所述第i層的第二跨注意力特征; 將所述第i層的第一跨注意力特征和所述第i層的第二跨注意力特征進(jìn)行拼接,得到第i層的目標(biāo)拼接特征; 將所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征輸入第i層的第三跨注意力編碼模塊,得到第i層的第三跨注意力特征,其中,所述第i層的第三跨注意力編碼模塊用于根據(jù)所述第i層的目標(biāo)拼接特征和所述第i層的答案編碼特征,確定所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值,并根據(jù)所述第i層的目標(biāo)拼接特征對(duì)應(yīng)的權(quán)重值以及所述第i層的目標(biāo)拼接特征,確定所述第i層的第三跨注意力特征; 根據(jù)所述第i層的第三跨注意力特征和所述第i層的答案編碼特征,確定所述第i層抗噪注意力模塊輸出的圖像注意力特征和文本修復(fù)篩選特征,并將所述第i層的答案編碼特征確定為所述第i層抗噪注意力模塊輸出的答案文本空間特征。
微信群二維碼
意見反饋