一種多源數(shù)據(jù)融合的執(zhí)法記錄生成系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及數(shù)據(jù)融合技術(shù)領(lǐng)域,尤其涉及一種多源數(shù)據(jù)融合的執(zhí)法記錄生成系統(tǒng)
及方法。
背景技術(shù)
[0002] 數(shù)據(jù)融合技術(shù)領(lǐng)域涉及從多個數(shù)據(jù)源集成和分析數(shù)據(jù)的方法和系統(tǒng)。這些技術(shù)允
許將來自不同來源的數(shù)據(jù)組合成單一視圖,從而提高決策質(zhì)量和操作效率。數(shù)據(jù)融合技術(shù)
廣泛應(yīng)用于軍事、安全監(jiān)控、醫(yī)療、環(huán)境監(jiān)測以及商業(yè)智能等多個領(lǐng)域。在實施過程中,數(shù)據(jù)融合解決了數(shù)據(jù)冗余和不一致性問題,通過算法和模型對數(shù)據(jù)進(jìn)行清洗、整合和分析,以提供更準(zhǔn)確和全面的信息。
[0003] 其中,執(zhí)法記錄生成系統(tǒng)是指利用數(shù)據(jù)融合技術(shù)自動收集、整合和處理來自不同
執(zhí)法部門和信息系統(tǒng)的數(shù)據(jù),以生成執(zhí)法記錄。這種系統(tǒng)的主要用途是提高執(zhí)法效率和記
錄的準(zhǔn)確性,使得執(zhí)法機(jī)構(gòu)能夠快速響應(yīng)和處理事件,同時確保信息的完整性和安全性。執(zhí)法記錄生成系統(tǒng)特別適用于需要跨部門合作和信息共享的執(zhí)法活動,如交通違章處理、犯
罪調(diào)查等場合。
[0004] 現(xiàn)有技術(shù)在處理多源數(shù)據(jù)時常常面臨數(shù)據(jù)冗余和不一致性問題,缺乏有效的機(jī)制
來評估數(shù)據(jù)源的可靠性和一致性,導(dǎo)致執(zhí)法記錄可能存在誤差和延誤。由于未能實現(xiàn)對數(shù)
據(jù)源信任度的動態(tài)評估和權(quán)重調(diào)整,這限制了數(shù)據(jù)利用的效率和執(zhí)法記錄的準(zhǔn)確性。此外,現(xiàn)有系統(tǒng)在數(shù)據(jù)融合過程中往往未能徹底排除異常數(shù)據(jù),影響了決策的質(zhì)量和操作的效
率。這些不足導(dǎo)致了信息處理速度慢,以及在跨部門合作和信息共享方面的困難,降低了整體執(zhí)法效率和效果。
發(fā)明內(nèi)容
[0005] 本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn),而提出的一種多源數(shù)據(jù)融合的執(zhí)法
記錄生成系統(tǒng)及方法。
[0006] 為了實現(xiàn)上述目的,本發(fā)明采用了如下技術(shù)方案:一種多源數(shù)據(jù)融合的執(zhí)法記錄
生成系統(tǒng)包括:
[0007] 數(shù)據(jù)采集模塊從多個數(shù)據(jù)源獲取原始數(shù)據(jù),對原始數(shù)據(jù)進(jìn)行歸一化處理,將重復(fù)
記錄進(jìn)行比對后剔除,通過規(guī)則匹配并提取包括執(zhí)法人員信息、違法行為描述、時間地點(diǎn)、證據(jù)材料的關(guān)聯(lián)數(shù)據(jù)字段,生成整合原始記錄;
[0008] 異常檢測模塊對所述整合原始記錄執(zhí)行數(shù)據(jù)值范圍校驗,按照指定偏差范圍計算
每個數(shù)據(jù)字段的偏離值,對偏離值超出設(shè)定標(biāo)準(zhǔn)的條目進(jìn)行標(biāo)記后移除,對清理后的數(shù)據(jù)
重新構(gòu)建數(shù)據(jù)表,生成處理后數(shù)據(jù)集;
[0009] 信源評估模塊基于所述處理后數(shù)據(jù)集,對多數(shù)據(jù)源的數(shù)值分布、一致性以及證據(jù)
材料覆蓋范圍進(jìn)行量化評分,通過對評分集合執(zhí)行加權(quán)平均處理獲得整體評分結(jié)果,將整
體評分結(jié)果按數(shù)據(jù)源維度進(jìn)行匯總并存儲為獨(dú)立記錄,建立信源信任評分表;
[0010] 權(quán)重調(diào)整模塊根據(jù)所述信源信任評分表中評分?jǐn)?shù)據(jù),對多數(shù)據(jù)源的輸入權(quán)重分配
進(jìn)行動態(tài)調(diào)整,按照輸入數(shù)據(jù)當(dāng)前特性執(zhí)行比對,結(jié)合評分與數(shù)據(jù)分布情況分配多源的權(quán)
重參數(shù),獲取調(diào)整后的權(quán)重配置;
[0011] 數(shù)據(jù)融合與生成模塊基于所述調(diào)整后的權(quán)重配置對每個數(shù)據(jù)源的輸入數(shù)據(jù)執(zhí)行
加權(quán)融合,對融合結(jié)果進(jìn)行字段校驗,基于權(quán)重排除非關(guān)鍵數(shù)據(jù)字段對結(jié)果的干擾,將符合融合規(guī)則的字段輸出為協(xié)同執(zhí)法記錄。
[0012] 所述整合原始記錄包括歸一化數(shù)據(jù)、去重后的記錄、提取的關(guān)聯(lián)字段,所述處理后數(shù)據(jù)集包括校驗后的數(shù)據(jù)條目、移除異常項的清理數(shù)據(jù)、重構(gòu)的數(shù)據(jù)表,所述信源信任評分表包括信源評分、覆蓋范圍數(shù)據(jù)、一致性評分,所述調(diào)整后的權(quán)重配置包括信源權(quán)重參數(shù)、評分加權(quán)參數(shù)、分布權(quán)重參數(shù),所述協(xié)同執(zhí)法記錄包括加權(quán)融合數(shù)據(jù)、校驗后的有效字段、符合規(guī)則的輸出字段。
[0013] 作為本發(fā)明的進(jìn)一步方案,所述整合原始記錄的獲取步驟具體為:
[0014] 從多個數(shù)據(jù)源提取數(shù)據(jù)后,對數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理以消除量綱影響,生成標(biāo)準(zhǔn)化
數(shù)據(jù)集;
[0015] 對所述標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行唯一性校驗,通過散列函數(shù)進(jìn)行數(shù)據(jù)的比對,識別并刪
除重復(fù)條目,得到去重數(shù)據(jù)集;
[0016] 使用數(shù)據(jù)匹配技術(shù),在所述去重數(shù)據(jù)集中識別和提取關(guān)鍵字段,包括用戶ID和交
易日期,以字段為基礎(chǔ),構(gòu)建關(guān)聯(lián)字段數(shù)據(jù)集;
[0017] 在所述關(guān)聯(lián)字段數(shù)據(jù)集基礎(chǔ)上,進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析,應(yīng)用關(guān)聯(lián)度計算公式:
;
[0018] 計算并分析差異化數(shù)據(jù)字段之間的關(guān)聯(lián)度,生成整合原始記錄;
[0019] 其中, 代表第 個數(shù)據(jù)字段的數(shù)值,用于表示字段在數(shù)據(jù)集中的數(shù)值, 代表第
個數(shù)據(jù)字段的數(shù)值,用于表示另一個字段在數(shù)據(jù)集中的數(shù)值, 是第個字段的權(quán)重系數(shù),
調(diào)整第個字段在關(guān)聯(lián)度計算中的影響力, 是第個字段的權(quán)重系數(shù),調(diào)整第個字段在關(guān)
聯(lián)度計算中的影響力, 是在求 平方和時使用的權(quán)重系數(shù),用于調(diào)整 在分母中的貢
獻(xiàn), 表示第字段和第字段之間的關(guān)聯(lián)度指數(shù),用來量化兩個字段之間的關(guān)聯(lián)性強(qiáng)度。
[0020] 作為本發(fā)明的進(jìn)一步方案,所述處理后數(shù)據(jù)集的獲取步驟具體為:
[0021] 對所述整合原始記錄執(zhí)行數(shù)據(jù)值范圍校驗,基于每個字段的預(yù)設(shè)標(biāo)準(zhǔn),檢查每個
數(shù)據(jù)點(diǎn)的符合性,驗證數(shù)據(jù)的合規(guī)性,生成符合標(biāo)準(zhǔn)的數(shù)據(jù)集;