数据质量高效校验方法研究
网络安全与数据治理
程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1
1.中国民航信息网络股份有限公司重庆分公司; 2.中国民航信息网络股份有限公司
摘要： 数据质量监控是数据处理领域的重要挑战。提出了一种创新方法，通过规则配置高效生成数据质量验证规则与告警策略，并在单一SQL查询中实现多指标并发校验，显著提升了校验效率。详细阐述了技术方案设计原理并做了性能对比实验：数据处理速度提升10~20倍,规则配置效率提升4~5倍，实际应用中的资源消耗指标(CPU、内存）与传统解决方案基本一致，准确率仍保持在99.99%，为大数据环境下的数据质量管理提供了可量化的参考实践。
中圖分類號：TP311.13;F562文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2025.10.012
引用格式：程勝,郜美華,冉瑛,等. 數據質量高效校驗方法研究［J］.網絡安全與數據治理，2025，44（10）：75-79.
引用格式：程勝,郜美華,冉瑛,等. 數據質量高效校驗方法研究［J］.網絡安全與數據治理，2025，44（10）：75-79.
Research on efficient data quality validation methods
Cheng Sheng1，Gao Meihua 2，Ran Ying1，Qiao Yujie2，Huang Peng1
1. Travelsky Technology Limited Chongqing Branch; 2. Travelsky Technology Limited
Abstract： Data quality monitoring is a critical challenge in data processing. This study proposed an innovative method that efficiently generates data quality validation rules and alert strategies through rule configuration, and implements multiindicator concurrent validation in a single SQL query, significantly improving validation efficiency. The design principle of the technical solution was elaborated in detail and performance comparison experiments were conducted. Experimental results demonstrated that the solution improves data processing speed by 10~20 times, rule configuration efficiency by 4~5 times, while maintaining resource consumption (CPU, memory) at levels comparable to traditional solutions, with an accuracy rate of 99.99%. This study provides a quantifiable reference practice for data quality management in big data environments.
Key words : big data; data governance; data quality; data cleaning; data quality monitoring
引言
民航局2022年印發《關于民航大數據建設發展的指導意見》［1］，明確要求加強數據質量管理。航信作為民航數據服務的主要提供商，其數據質量直接影響航空安全與運營效率。
根據國際數據治理協會統計［2］，數據質量問題導致企業平均每年損失15%~25%的營收。傳統數據質量工具(如Apache Griffin)存在配置復雜(平均每個規則需4~6步操作)、執行效率低(單指標獨立SQL查詢)等問題。本研究通過實證分析，提出了一種優化方案，經生產環境驗證，配置效率可提升5倍(從平均15 min/規則降至3 min/規則)，執行速度提升8~10倍(多指標合并查詢減少I/O開銷)。
本文詳細內容請下載：
http://m.tom3567.com/resource/share/2000006830
作者信息：
程勝1,郜美華2,冉瑛1,喬玉潔2,黃鵬1
(1.中國民航信息網絡股份有限公司重慶分公司,重慶401120;
2.中國民航信息網絡股份有限公司,北京101300)
此內容為AET網站原創，未經授權禁止轉載。