《電子技術應用》
您所在的位置:首頁 > 其他 > 设计应用 > 基于起源标注的数据中台原始库数据溯源研究
基于起源标注的数据中台原始库数据溯源研究
网络安全与数据治理
周学文,薛猛
中国人民解放军31306部队
摘要: 数据中台数据质量审验和问题诊断经常需要追溯指定数据的历史变化。着眼于追溯数据中台源信息系统元数据和数据记录变化,进行了数据表元数据起源标注和数据表数据记录起源标注设计,基于数据中台结构化数据在线抽取功能同步生成相应的数据起源标注,并针对数据表元数据版本变化历史追溯、数据表数据记录版本变化历史追溯和指定时间段树形表数据历史追溯等典型溯源需求给出了具体解决方案。本方案在某部数据中台系统中进行了具体实现,为数据中台数据生命周期溯源提供了重要支撑。
中圖分類號:TP391.3文獻標識碼:ADOI:10.19358/j.issn.2097-1788.2025.12.007引用格式:周學文,薛猛. 基于起源標注的數(shù)據(jù)中臺原始庫數(shù)據(jù)溯源研究[J].網(wǎng)絡安全與數(shù)據(jù)治理,2025,44(12):48-54.
Research on data traceability of the original library in data middle platform based on origin annotation
Zhou Xuewen,Xue Meng
Unit 31306 of PLA
Abstract: Data quality inspection and problem diagnosis often require tracing historical changes in specified data. This paper focuses on the changes of metadata and data records of data source information system, designs the origin annotations of data table metadata and data table data records, generates corresponding data origin annotation based on the structured data online extraction function, and provides specific solutions for the typical traceability requirements of data table metadata version change history, data table data record version change history and data history tracing of tree table data at the specified time. This scheme is specifically implemented in a certain data middle platform system, which provides an important support for the data life cycle traceability of the data middle platform.
Key words : data origin; origin annotation; data middle platform; data version; full extraction; hash alignment

引言

由機構編制體制調整帶來的機構樹變化、由新裝備入編或老裝備退編所導致的裝備分類樹變化等基礎數(shù)據(jù)調整是信息系統(tǒng)經(jīng)常需面對的情況,如何查詢歷史數(shù)據(jù)以及追溯數(shù)據(jù)變化是一個比較難解決的問題。目前大部分管理信息系統(tǒng)只能通過手工還原歷史數(shù)據(jù)庫版本來滿足歷史數(shù)據(jù)查詢要求,效率低下且難以滿足歷史數(shù)據(jù)自動追溯需求。數(shù)據(jù)中臺建設可對解決此問題提供比較理想的解決方案,通過結構化數(shù)據(jù)在線抽取功能,數(shù)據(jù)中臺支持對能夠訪問的本地關系型數(shù)據(jù)進行同構化抽取,并將數(shù)據(jù)存儲在原始庫。在數(shù)據(jù)抽取過程中,通過應用數(shù)據(jù)起源相關技術,可將所有曾經(jīng)抽取過的歷史數(shù)據(jù)存儲在歷史數(shù)據(jù)庫中,從而能有效滿足歷史快照查詢、樹形表演化歷史追蹤等數(shù)據(jù)溯源需求。本文著眼于追溯數(shù)據(jù)中臺源信息系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)記錄變化,分別進行了數(shù)據(jù)表元數(shù)據(jù)起源標注和數(shù)據(jù)表數(shù)據(jù)記錄起源標注設計,并針對數(shù)據(jù)表元數(shù)據(jù)版本變化歷史追溯、數(shù)據(jù)表數(shù)據(jù)記錄版本變化歷史追溯和指定時間段機構樹演化歷史追溯等典型溯源需求給出了具體解決方案。這種追溯類似于零部件拆卸所導致的裝備BOM(Bill of Materials)歷史變化溯源,文獻[1-2]針對裝備維修階段的裝備 BOM數(shù)據(jù)起源追蹤,進行了起源標注的設計和形式化描述,并給出了裝備 BOM數(shù)據(jù)起源追溯算法的形式化描述。文獻[1-2]中的裝備維修BOM類似于本文中的機構樹,但其追溯只考慮了數(shù)據(jù)表數(shù)據(jù)記錄變化,未考慮數(shù)據(jù)表元數(shù)據(jù)變化,且其主要針對起源標注設計和起源追溯進行了形式化表示,雖證明了基于起源標注的BOM數(shù)據(jù)起源追溯可行性,但基本未涉及工程實現(xiàn)細節(jié);本文則提出了基于全量哈希比對的起源標注生成和存儲機制,描述了具體工程實現(xiàn)。文獻[3]提出了一種數(shù)據(jù)起源形式化表示模型,其重點是基于形式化表示模型,從多個層面解釋全特性SQL和過程語言中的數(shù)據(jù)起源,主要適用于多表關聯(lián)聚合情況下數(shù)據(jù)表元數(shù)據(jù)的起源追溯;本文重點則在于數(shù)據(jù)中臺在線同構化抽取情況下單條數(shù)據(jù)表記錄和樹形表數(shù)據(jù)記錄的起源追溯。文獻[4]提出了一種基于時態(tài)關系的數(shù)據(jù)起源模型,利用時態(tài)表可以獲取關系表在特定時間戳下的歷史快照,由于快照會占用較多的存儲資源,該文提出了快照的最優(yōu)放置方案,即計算指定數(shù)量的時間戳,使得使用這些時間戳下的快照對查詢的優(yōu)化效果最好。其研究重點在于如何降低時態(tài)關系的數(shù)據(jù)冗余和提高歷史快照查詢效率,未涉及樹形表溯源問題。


本文詳細內容請下載:

http://m.tom3567.com/resource/share/2000006899


作者信息:

周學文,薛猛

(中國人民解放軍31306部隊,四川成都610036)


官方訂閱.jpg

此內容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。
主站蜘蛛池模板: 国产极品尤物在线| 日韩人妻精品一区二区三区| 久久久久人妻精品一区三寸| 国模精品娜娜一二三区| 91久久久在线| 热门国产精品亚洲第一区在线V| 国产精品999999| 91国产精品91| 国产精品久久77777| 宅男在线精品国产免费观看| 午夜精品久久久内射近拍高清| 久久久精品免费视频| 国产日韩欧美91| 国产欧美亚洲日本| 人人做人人澡人人爽欧美| 国产精品自产拍在线观看中文| 日本午夜精品电影| 亚洲国产精品www| 午夜精品视频在线观看一区二区 | 国产精品入口免费| 久久视频精品在线| 久久精品国亚洲| 免费av在线一区| 国产日本欧美一区二区三区在线| 国产亚洲精品自在久久| 国产极品精品在线观看| 国产精品一久久香蕉国产线看观看| 欧美日韩精品在线一区二区| 午夜精品美女久久久久av福利| 岛国视频一区| 91精品国产综合久久久久久蜜臀 | 国产美女精品视频| 久久免费观看视频| 欧美一区二区三区在线免费观看| 99在线影院| 自拍日韩亚洲一区在线| 久久久久久久香蕉| 欧美激情在线一区| 97精品国产97久久久久久| 欧美成人午夜剧场免费观看| 欧美乱妇高清无乱码|