[0076] 對(duì)數(shù)據(jù)集中圖像數(shù)據(jù)進(jìn)行預(yù)處理,對(duì)采集的圖像進(jìn)行剪裁、縮放和歸一化操作,使數(shù)據(jù)集中圖像具有統(tǒng)一的尺寸和格式;
[0077] 最后按比例將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。
[0078] S2具體如下:
[0079] 將訓(xùn)練集中的數(shù)據(jù)輸入至換衣行人重識(shí)別模型,將圖像的文本描述輸入至文本特征提取單元得到文本特征,將圖像輸入至圖像特征提取單元得到圖像特征,然后將文本特征和圖像特征輸入至特征融合單元,得到強(qiáng)化后的圖像特征,具體過(guò)程如下:
[0080] S2.1、文本特征提取單元:
[0081] 引入特定ID的可學(xué)習(xí)文本標(biāo)記來(lái)學(xué)習(xí)不明確的文本描述,每個(gè)ID都是獨(dú)立的,文本提取單元包括圖像編碼器和文本編碼器,將圖像的文本表述輸入至文本編輯器,得到如下表述“一張 人的照片”,其中, 表示第 個(gè)可學(xué)習(xí)文本標(biāo)記,
表示可學(xué)習(xí)文本標(biāo)記的個(gè)數(shù), ;
[0082] 凍結(jié)圖像編碼器和文本編碼器的參數(shù),通過(guò)圖像到文本和文本到圖像的對(duì)比損失對(duì)可學(xué)習(xí)文本標(biāo)記 進(jìn)行優(yōu)化,計(jì)算公式如下:
[0083] ,
[0084] ,
[0085] ,
[0086] ,
[0087] 其中, 表示輸入的訓(xùn)練集中任意一張圖像, 表示輸入的訓(xùn)練集中任意一張圖像對(duì)應(yīng)的文本表述, 表示將圖像線性投影嵌入到跨模態(tài)嵌入空間的操作,表示 操作后得到的圖像特征, 表示將文本表述線性投影嵌入到跨模態(tài)嵌入空間,表示 操作后得到的文本特征, 表示圖像和文本特征在特征空間中的相似度; 表示身份標(biāo)簽為 的圖像特征, 表示身份標(biāo)簽為 的文本特征, 表示身份標(biāo)簽為的圖像特征和文本特征在特征空間中的相似度,表示批量大小,表示批量索引,表示身份標(biāo)簽為 的圖像到文本的對(duì)比損失, 表示 個(gè)批量中第 個(gè)圖像特征, 表示個(gè)批量中第 個(gè)文本特征, , , 表示 個(gè)批量中第 個(gè)圖像特征和文
本特征在特征空間中的相似度; 表示身份標(biāo)簽為 的文本到圖像的對(duì)比損失,表示在 個(gè)批量中與目標(biāo)文本特征 匹配的所有正樣本集合,表示集合 中的元素,表示匹配的元素的圖像特征, 表示 和 在特征空間中的相似度,
表示 和 在特征空間中的相似度; 表示文本特征損失函數(shù)。
[0088] S2.2、圖像特征提取單元:
[0089] S2.2.1、定位上衣中心區(qū)域擴(kuò)展衣服布料內(nèi)容:
[0090] 從輸入的訓(xùn)練集中的圖像中獲取衣服樣式的信息,通過(guò)輔助工具HRNet人體姿態(tài)估計(jì)網(wǎng)絡(luò)提取人體中多個(gè)關(guān)鍵點(diǎn),從提取的關(guān)鍵點(diǎn)中選擇左肩和右跨處兩個(gè)關(guān)鍵點(diǎn),將兩個(gè)關(guān)鍵點(diǎn)連線的中點(diǎn)作為衣服的中心點(diǎn)以同等尺寸進(jìn)行布料截取,尺寸大小設(shè)置為寬為32像素,高為64像素,然后對(duì)截取后的布料圖像進(jìn)行像素復(fù)制擴(kuò)展,進(jìn)而保留衣服原有紋理信息,得到純衣服布料的圖像集;
[0091] S2.2.2、隨機(jī)抽樣衣服對(duì)行人上衣部分進(jìn)行填充:
[0092] 使用SCHP人體解析網(wǎng)絡(luò)對(duì)輸入的數(shù)據(jù)集中的圖像進(jìn)行分解,生成屬于不同屬性的偽標(biāo)簽,設(shè)置上衣標(biāo)簽,并將純衣服布料的圖像集中布料內(nèi)容隨機(jī)采樣填充到上衣標(biāo)簽區(qū)域,進(jìn)而實(shí)現(xiàn)輸入圖像中行人間衣服的交換,得到換衣處理后的圖像;
[0093] S2.2.3、骨干網(wǎng)絡(luò)Vision?Transformer特征提?。?
[0094] 對(duì)輸入的數(shù)據(jù)集中的圖像和經(jīng)過(guò)換衣處理后的圖像使用預(yù)訓(xùn)練的Vision?Transformer視覺(jué)轉(zhuǎn)化器進(jìn)行特征提取,分別提取到的原始特征 和換衣特征 ,將提取到的兩特征分別與文本特征提取單元提取到的文本特征 進(jìn)行圖像到文本的交叉熵?fù)p失函數(shù)計(jì)算來(lái)約束原始特征和換衣特征接近相應(yīng)的文本特征,計(jì)算公式如下:
[0095] ,
[0096] ,
[0097] ,
[0098] 其中,表示身份類別數(shù),表示身份類別數(shù)的第一層索引,表示身份類別數(shù)的第二層索引, 表示第 個(gè)身份類別的目標(biāo)分布值, 表示第 個(gè)身份類別的文本特征, 表示第 個(gè)身份類別的文本特征, 表示 和 在特征空間中的相似度, 表
示 和 在特征空間中的相似度, 表示原始特征 圖像的到文本的交叉熵?fù)p
失, 表示換衣特征 圖像的到文本的交叉熵?fù)p失, 表示 和 在特征
空間中的相似度, 表示 和 在特征空間中的相似度,表示批量大小,表示批量索引, 表示一致性損失, 表示第 個(gè)批次原始特征, 表示第 個(gè)批次的換衣特征。
[0099] S2.3、特征融合單元: