內(nèi)窺鏡圖像質(zhì)量信息生成方法及裝置 技術(shù)領(lǐng)域 [0001] 本發(fā)明涉及人工智能技術(shù)領(lǐng)域，更具體地，涉及一種內(nèi)窺鏡圖像質(zhì)量信息生成方法及裝置。 背景技術(shù) [0002] 隨著外科手術(shù)技術(shù)的進步，微創(chuàng)手術(shù)變得越來越普及。內(nèi)窺鏡作為微創(chuàng)手術(shù)中常用的醫(yī)療器械，在微創(chuàng)手術(shù)中發(fā)揮著重要作用。在微創(chuàng)手術(shù)過程中，內(nèi)窺鏡所拍攝的圖像能夠為醫(yī)生提供清晰的內(nèi)部視野，從而幫助他們進行精確的診斷和治療。因此，高質(zhì)量的內(nèi)窺鏡圖像對于微創(chuàng)手術(shù)的成功至關(guān)重要。如何評估內(nèi)窺鏡圖像的質(zhì)量成為至關(guān)重要的一環(huán)。 [0003] 然而，現(xiàn)有的圖像或視頻質(zhì)量評估方法主要集中在圖像的峰值信噪比、邊緣結(jié)構(gòu)和模糊度等技術(shù)指標上。這些方法雖然能夠評估圖像的一些基本質(zhì)量，但由于內(nèi)窺鏡圖像有其特殊性和專業(yè)要求，導(dǎo)致這些方法并不完全適用于內(nèi)窺鏡圖像的質(zhì)量評估。因此，亟需一種專門針對內(nèi)窺鏡圖像質(zhì)量進行評估的方法。 發(fā)明內(nèi)容 [0004] 有鑒于此，本發(fā)明提供了一種內(nèi)窺鏡圖像質(zhì)量信息生成方法及裝置。 [0005] 本發(fā)明的一個方面提供了一種內(nèi)窺鏡圖像質(zhì)量信息生成方法，包括：利用知識嵌入模塊對多個目標類別文本嵌入分別進行特征轉(zhuǎn)換，得到多個第一類別感知提示向量，其中，上述多個目標類別文本嵌入是與多個預(yù)設(shè)文本提示詞一一對應(yīng)的文本特征，上述多個預(yù)設(shè)文本提示詞是與內(nèi)窺鏡圖像質(zhì)量相關(guān)的且具有相反意義的提示詞；利用圖像編碼器對目標內(nèi)窺鏡圖像進行編碼，得到目標圖像特征向量；利用共享網(wǎng)絡(luò)對上述目標圖像特征向量進行特征提取，得到目標圖像提示向量；將上述多個第一類別感知提示向量中的每個第一類別感知提示向量均與上述目標圖像提示向量、自動學(xué)習提示向量進行融合，得到多個目標融合提示向量，其中，上述共享網(wǎng)絡(luò)、上述自動學(xué)習提示向量和上述知識嵌入模塊均是根據(jù)多個內(nèi)窺鏡圖像樣本和與上述多個內(nèi)窺鏡圖像樣本對應(yīng)的多組反映圖像質(zhì)量且具有相反意義的文本提示詞訓(xùn)練得到的；利用第一文本編碼器對上述多個目標融合提示向量分別進行編碼，得到多個目標類別提示向量；計算上述多個目標類別提示向量分別與上述目標圖像特征向量之間的相似度，得到多個目標圖像類別相似度；根據(jù)上述多個目標圖像類別相似度，生成圖像質(zhì)量評價結(jié)果。 [0006] 本發(fā)明的另一個方面提供了一種內(nèi)窺鏡圖像質(zhì)量信息生成裝置，包括：特征轉(zhuǎn)換單元、第一編碼單元、特征提取單元、提示向量融合單元、第二編碼單元、計算單元和生成單元。 [0007] 特征轉(zhuǎn)換單元，用于利用知識嵌入模塊對多個目標類別文本嵌入分別進行特征轉(zhuǎn)換，得到多個第一類別感知提示向量，其中，上述多個目標類別文本嵌入是與多個預(yù)設(shè)文本提示詞一一對應(yīng)的文本特征，上述多個預(yù)設(shè)文本提示詞是與內(nèi)窺鏡圖像質(zhì)量相關(guān)的且具有相反意義的提示詞。 [0008] 第一編碼單元，用于利用圖像編碼器對目標內(nèi)窺鏡圖像進行編碼，得到目標圖像特征向量。 [0009] 特征提取單元，用于利用共享網(wǎng)絡(luò)對上述目標圖像特征向量進行特征提取，得到目標圖像提示向量。 [0010] 提示向量融合單元，用于將上述多個第一類別感知提示向量中的每個第一類別感知提示向量均與上述目標圖像提示向量、自動學(xué)習提示向量進行融合，得到多個目標融合提示向量，其中，上述共享網(wǎng)絡(luò)、上述自動學(xué)習提示向量和上述知識嵌入模塊均是根據(jù)多個內(nèi)窺鏡圖像樣本和與上述多個內(nèi)窺鏡圖像樣本對應(yīng)的多組反映圖像質(zhì)量且具有相反意義的文本提示詞訓(xùn)練得到的。 [0011] 第二編碼單元，用于利用第一文本編碼器對上述多個目標融合提示向量分別進行編碼，得到多個目標類別提示向量。 [0012] 計算單元，用于計算上述多個目標類別提示向量分別與上述目標圖像特征向量之間的相似度，得到多個目標圖像類別相似度。 [0013] 生成單元，用于根據(jù)上述多個目標圖像類別相似度，生成圖像質(zhì)量評價結(jié)果。

1.一種內(nèi)窺鏡圖像質(zhì)量信息生成方法，其特征在于，包括： 利用知識嵌入模塊對多個目標類別文本嵌入分別進行特征轉(zhuǎn)換，得到多個第一類別感知提示向量，其中，所述多個目標類別文本嵌入是與多個預(yù)設(shè)文本提示詞一一對應(yīng)的文本特征，所述多個預(yù)設(shè)文本提示詞是與內(nèi)窺鏡圖像質(zhì)量相關(guān)的且具有相反意義的提示詞； 利用圖像編碼器對目標內(nèi)窺鏡圖像進行編碼，得到目標圖像特征向量； 利用共享網(wǎng)絡(luò)對所述目標圖像特征向量進行特征提取，得到目標圖像提示向量； 將所述多個第一類別感知提示向量中的每個第一類別感知提示向量均與所述目標圖像提示向量、自動學(xué)習提示向量進行融合，得到多個目標融合提示向量，其中，所述共享網(wǎng)絡(luò)、所述自動學(xué)習提示向量和所述知識嵌入模塊均是根據(jù)多個內(nèi)窺鏡圖像樣本和與所述多個內(nèi)窺鏡圖像樣本對應(yīng)的多組反映圖像質(zhì)量且具有相反意義的文本提示詞訓(xùn)練得到的； 利用第一文本編碼器對所述多個目標融合提示向量分別進行編碼，得到多個目標類別提示向量； 計算所述多個目標類別提示向量分別與所述目標圖像特征向量之間的相似度，得到多個目標圖像類別相似度； 根據(jù)所述多個目標圖像類別相似度，生成圖像質(zhì)量評價結(jié)果。 2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用圖像編碼器對目標內(nèi)窺鏡圖像進行編碼，得到目標圖像特征向量包括： 對所述目標內(nèi)窺鏡圖像進行圖像分割，得到多個分割圖像； 利用多個所述圖像編碼器對所述多個分割圖像進行并行編碼，得到多個分割圖像特征； 對所述多個分割圖像特征進行特征融合，得到所述目標圖像特征向量。 3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在利用知識嵌入模塊對多個目標類別文本嵌入分別進行特征轉(zhuǎn)換，得到多個第一類別感知提示向量之前，還包括： 利用第二文本編碼器對所述多個預(yù)設(shè)文本提示詞分別進行編碼，得到所述多個目標類別文本嵌入。 4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述共享網(wǎng)絡(luò)、所述自動學(xué)習提示向量和所述知識嵌入模塊均是根據(jù)如下操作訓(xùn)練得到的： 針對多個內(nèi)窺鏡圖像樣本中的每個內(nèi)窺鏡圖像樣本，利用當前訓(xùn)練的知識嵌入模塊對與所述內(nèi)窺鏡圖像樣本對應(yīng)的多個樣本類別文本嵌入，分別進行特征轉(zhuǎn)換，得到多個第二類別感知提示向量，其中，所述多個樣本類別文本嵌入是與用于所述內(nèi)窺鏡圖像樣本的多個文本提示詞一一對應(yīng)的文本特征； 利用所述圖像編碼器對所述內(nèi)窺鏡圖像樣本進行編碼，得到樣本圖像特征向量；