白丝美女被狂躁免费视频网站,500av导航大全精品,yw.193.cnc爆乳尤物未满,97se亚洲综合色区,аⅴ天堂中文在线网官网

一種數(shù)據(jù)分析方法、系統(tǒng)以及存儲(chǔ)介質(zhì)

專利號(hào)
CN119557424B
公開日期
2025-04-25
申請(qǐng)人
中電科大數(shù)據(jù)研究院有限公司(貴州省貴陽市貴陽國家高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)金陽科技產(chǎn)業(yè)園黎陽大廈)
發(fā)明人
周維; 謝紅韜; 胡建; 袁公萍; 舒玨淋; 龔昱鳴
IPC分類
G06F16/334; G06F16/34; G06F40/284; G06F40/30; G06F40/205; G06N3/042; G06N3/0464; G06N3/09
技術(shù)領(lǐng)域
查詢,語義,語句,數(shù)據(jù),語言,修正,模型,自然,規(guī)則,數(shù)據(jù)庫
地域: 貴州省 貴州省貴陽市

摘要

本申請(qǐng)公開了一種數(shù)據(jù)分析方法、系統(tǒng)以及存儲(chǔ)介質(zhì),用于自然語言處理領(lǐng)域。本申請(qǐng)方法包括:獲取用戶輸入的自然語言;構(gòu)建一個(gè)將所述自然語言轉(zhuǎn)換為語義查詢語句的語義數(shù)據(jù)模型;將所述語義數(shù)據(jù)模型結(jié)合自定義規(guī)則構(gòu)建語義解析器;將所述自然語言輸入所述語義解析器進(jìn)行解析,以獲取語義查詢語句;將所述語義查詢語句輸入語義修正器進(jìn)行修正,以獲取目標(biāo)語義查詢語句;通過語義翻譯器將所述目標(biāo)語義查詢語句轉(zhuǎn)換為結(jié)構(gòu)化查詢語句;將所述結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢結(jié)果。

說明書

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
[0040] 判斷所述語義查詢語句中的查詢條件是否超過三條; [0041] 若是,則將所述語義查詢語句進(jìn)行分解,以獲取單個(gè)查詢條件語句; [0042] 根據(jù)所述修正建議對(duì)所述單個(gè)查詢條件語句進(jìn)行語義校正,以獲取修正后的查詢語句; [0043] 評(píng)估所述查詢語句,獲取評(píng)估效果; [0044] 根據(jù)所述評(píng)估效果對(duì)所述預(yù)配置的機(jī)器學(xué)習(xí)模型和所述修正規(guī)則進(jìn)行改進(jìn),以獲取目標(biāo)語義修正器; [0045] 將所述語義查詢語句輸入所述目標(biāo)語義修正器進(jìn)行修正,以獲取目標(biāo)語義查詢語句。 [0046] 可選的,在通過語義翻譯器將所述目標(biāo)語義查詢語句轉(zhuǎn)換為結(jié)構(gòu)化查詢語句之后,所述方法還包括: [0047] 根據(jù)規(guī)則引擎判斷所述結(jié)構(gòu)化查詢語句是否存在語句錯(cuò)誤; [0048] 若是,則將所述結(jié)構(gòu)化查詢語句輸入預(yù)配置的深度學(xué)習(xí)模型,以獲取語句錯(cuò)誤類型; [0049] 判斷所述語句錯(cuò)誤類型是否為字段名稱錯(cuò)誤; [0050] 若否,則向所述用戶發(fā)出提示選擇,以獲取選擇結(jié)果; [0051] 根據(jù)所述選擇結(jié)果對(duì)所述結(jié)構(gòu)化查詢語句進(jìn)行調(diào)整,以獲取目標(biāo)結(jié)構(gòu)化查詢語句。 [0052] 可選的,將所述結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢結(jié)果,包括: [0053] 將所述目標(biāo)結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢數(shù)據(jù); [0054] 根據(jù)所述查詢數(shù)據(jù)的數(shù)據(jù)類型選擇數(shù)據(jù)圖表; [0055] 將所述查詢數(shù)據(jù)和所述數(shù)據(jù)圖表進(jìn)行可視化展示,以獲取查詢結(jié)果。 [0056] 可選的,根據(jù)所述查詢數(shù)據(jù)的數(shù)據(jù)類型選擇數(shù)據(jù)圖表,包括: [0057] 提取所述查詢數(shù)據(jù)的統(tǒng)計(jì)學(xué)特征; [0058] 將所述統(tǒng)計(jì)學(xué)特征輸入預(yù)配置的識(shí)別模型,以獲取分布類型; [0059] 根據(jù)所述分布類型,生成數(shù)據(jù)圖表。 [0060] 本申請(qǐng)第二方面提供了一種數(shù)據(jù)分析系統(tǒng),所述系統(tǒng)包括: [0061] 獲取單元,用于獲取用戶輸入的自然語言; [0062] 第一構(gòu)建單元,用于構(gòu)建初始的數(shù)據(jù)模型; [0063] 第二構(gòu)建單元,用于根據(jù)預(yù)配置的行業(yè)知識(shí)庫和WordPiece分詞器對(duì)所述自然語言進(jìn)行分詞處理,以構(gòu)建prompt; [0064] 編碼單元,用于通過預(yù)訓(xùn)練模型將所述prompt進(jìn)行編碼,得到每個(gè)token的編碼向量; [0065] 第一處理單元,用于將所述預(yù)訓(xùn)練模型輸出的第一個(gè)分類標(biāo)記token的編碼向量作為整個(gè)句子表示; [0066] 第二處理單元,用于根據(jù)所述句子表示對(duì)所有所述編碼向量進(jìn)行處理,得到局部語義表示; [0067] 第三處理單元,用于通過識(shí)別所述自然語言中的實(shí)體和屬性,并將所述實(shí)體和所述屬性映射到數(shù)據(jù)庫的Schema元素,以獲取映射關(guān)系; [0068] 第三構(gòu)建單元,用于根據(jù)所述映射關(guān)系和所述局部語義表示,構(gòu)建語義數(shù)據(jù)模型; [0069] 第四構(gòu)建單元,用于將所述語義數(shù)據(jù)模型結(jié)合自定義規(guī)則構(gòu)建語義解析器; [0070] 第四處理單元,用于將所述自然語言輸入所述語義解析器進(jìn)行解析,以獲取語義查詢語句; [0071] 第五處理單元,用于將所述語義查詢語句輸入語義修正器進(jìn)行修正,以獲取目標(biāo)語義查詢語句; [0072] 第六處理單元,用于通過語義翻譯器將所述目標(biāo)語義查詢語句轉(zhuǎn)換為結(jié)構(gòu)化查詢語句; [0073] 查詢單元,用于將所述結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢結(jié)果; [0074] 第三構(gòu)建單元具體用于: [0075] 根據(jù)當(dāng)前輸入的自然語言查詢的上下文信息,對(duì)所述映射關(guān)系進(jìn)行初始化[0076] 根據(jù)所述上下文信息調(diào)整所述數(shù)據(jù)庫的Schema元素的權(quán)重; [0077] 構(gòu)建初始語義圖,所述初始語義圖包括實(shí)體節(jié)點(diǎn)、關(guān)系節(jié)點(diǎn)以及操作節(jié)點(diǎn)、實(shí)體關(guān)系邊、條件關(guān)系邊以及操作關(guān)系邊; [0078] 對(duì)于每個(gè)節(jié)點(diǎn),結(jié)合所述局部語義表示、數(shù)據(jù)庫的元數(shù)據(jù)信息、以及用戶歷史查詢行為,生成每個(gè)節(jié)點(diǎn)的綜合節(jié)點(diǎn)特征表示; [0079] 對(duì)所述初始語義圖中的各個(gè)邊進(jìn)行特征初始化,得到綜合邊特征表示; [0080] 將所述綜合節(jié)點(diǎn)特征表示以及所述綜合邊特征表示嵌入所述初始語義圖中,并基于實(shí)現(xiàn)連接器的sink算法動(dòng)態(tài)更新所述初始語義圖,得到輸入語義圖; [0081] 將所述輸入語義圖輸入至預(yù)先構(gòu)建的初始圖神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,通過所述初始圖神經(jīng)網(wǎng)絡(luò)中每一層的圖卷積操作聚合鄰居節(jié)點(diǎn)的信息,并結(jié)合各個(gè)節(jié)點(diǎn)的特征,對(duì)各個(gè)節(jié)點(diǎn)的狀態(tài)進(jìn)行更新; [0082] 使用Adam優(yōu)化器對(duì)所述初始圖神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化,得到收斂的語義數(shù)據(jù)模型。 [0083] 本申請(qǐng)第三方面提供了一種數(shù)據(jù)分析系統(tǒng),所述系統(tǒng)包括: [0084] 處理器、存儲(chǔ)器、輸入輸出單元以及總線; [0085] 所述處理器與所述存儲(chǔ)器、所述輸入輸出單元以及所述總線相連; [0086] 所述存儲(chǔ)器保存有程序,所述處理器調(diào)用所述程序以執(zhí)行第一方面以及第一方面中任一項(xiàng)可選的所述方法。

權(quán)利要求

1 2 3 4
將所述input_ids和所述attention_mask輸入至所述預(yù)訓(xùn)練模型,以獲取每個(gè)token的編碼向量。 3.根據(jù)權(quán)利要求1中所述的數(shù)據(jù)分析方法,其特征在于,通過識(shí)別所述自然語言中的實(shí)體和屬性,并將所述實(shí)體和所述屬性映射到數(shù)據(jù)庫的Schema元素,以獲取映射關(guān)系,包括: 提取所述自然語言中的關(guān)鍵實(shí)體; 查詢數(shù)據(jù)庫模式信息,獲取所述數(shù)據(jù)庫的Schema元素; 將所述關(guān)鍵實(shí)體與所述Schema元素進(jìn)行匹配,以獲取映射關(guān)系。 4.根據(jù)權(quán)利要求1中所述的數(shù)據(jù)分析方法,其特征在于,將所述語義查詢語句輸入語義修正器進(jìn)行修正,以獲取目標(biāo)語義查詢語句,包括: 構(gòu)建初始化語義修正器; 判斷所述語義查詢語句是否符合預(yù)配置的修正規(guī)則; 若否,則將所述語義查詢語句輸入預(yù)配置的機(jī)器學(xué)習(xí)模型,以獲取修正建議; 判斷所述語義查詢語句中的查詢條件是否超過三條; 若是,則將所述語義查詢語句進(jìn)行分解,以獲取單個(gè)查詢條件語句; 根據(jù)所述修正建議對(duì)所述單個(gè)查詢條件語句進(jìn)行語義校正,以獲取修正后的查詢語句; 評(píng)估所述查詢語句,獲取評(píng)估效果; 根據(jù)所述評(píng)估效果對(duì)所述預(yù)配置的機(jī)器學(xué)習(xí)模型和所述修正規(guī)則進(jìn)行改進(jìn),以獲取目標(biāo)語義修正器; 將所述語義查詢語句輸入所述目標(biāo)語義修正器進(jìn)行修正,以獲取目標(biāo)語義查詢語句。 5.根據(jù)權(quán)利要求1中所述的數(shù)據(jù)分析方法,其特征在于,在通過語義翻譯器將所述目標(biāo)語義查詢語句轉(zhuǎn)換為結(jié)構(gòu)化查詢語句之后,所述方法還包括: 根據(jù)規(guī)則引擎判斷所述結(jié)構(gòu)化查詢語句是否存在語句錯(cuò)誤; 若是,則將所述結(jié)構(gòu)化查詢語句輸入預(yù)配置的深度學(xué)習(xí)模型,以獲取語句錯(cuò)誤類型; 判斷所述語句錯(cuò)誤類型是否為字段名稱錯(cuò)誤; 若否,則向所述用戶發(fā)出提示選擇,以獲取選擇結(jié)果; 根據(jù)所述選擇結(jié)果對(duì)所述結(jié)構(gòu)化查詢語句進(jìn)行調(diào)整,以獲取目標(biāo)結(jié)構(gòu)化查詢語句。 6.根據(jù)權(quán)利要求5中所述的數(shù)據(jù)分析方法,其特征在于,將所述結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢結(jié)果,包括: 將所述目標(biāo)結(jié)構(gòu)化查詢語句輸入所述數(shù)據(jù)庫進(jìn)行查詢,以獲取查詢數(shù)據(jù); 根據(jù)所述查詢數(shù)據(jù)的數(shù)據(jù)類型選擇數(shù)據(jù)圖表; 將所述查詢數(shù)據(jù)和所述數(shù)據(jù)圖表進(jìn)行可視化展示,以獲取查詢結(jié)果。 7.根據(jù)權(quán)利要求6中所述的數(shù)據(jù)分析方法,其特征在于,根據(jù)所述查詢數(shù)據(jù)的數(shù)據(jù)類型選擇數(shù)據(jù)圖表,包括: 提取所述查詢數(shù)據(jù)的統(tǒng)計(jì)學(xué)特征; 將所述統(tǒng)計(jì)學(xué)特征輸入預(yù)配置的識(shí)別模型,以獲取分布類型; 根據(jù)所述分布類型,生成數(shù)據(jù)圖表。
微信群二維碼
意見反饋