基于动态均衡技术的海量异构数据高并发可靠接入方法
网络安全与数据治理
赵勋，周成胜，靳文京，刘晓曼，王桂温
中国信息通信研究院安全研究所，北京100191
摘要： 随着大数据时代的到来，海量异构数据的高并发可靠接入成为了一个亟待解决的问题。提出了一种基于动态均衡技术的海量异构数据高并发可靠接入方法。该方法采用去中心化的任务分配机制实现海量数据源接入；针对各类异构数据源设计了基于HTTPS、SFTP、Kafka等多样化采集手段及相应的节点分配和回收机制；采用动态负载均衡策略对采集资源进行实时调整，以适应不断变化的数据负载，实现高并发处理。该研究为实现海量异构数据的高效、可靠接入提供了一种有效的解决方法。
中圖分類號：TP393.08文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2023.12.010
引用格式：趙勛，周成勝，靳文京，等.基于動態均衡技術的海量異構數據高并發可靠接入方法［J］.網絡安全與數據治理，2023，42（12）：60-66.
引用格式：趙勛，周成勝，靳文京，等.基于動態均衡技術的海量異構數據高并發可靠接入方法［J］.網絡安全與數據治理，2023，42（12）：60-66.
High concurrency and reliable access method for massive heterogeneous data based on dynamic balancing technology
Zhao Xun, Zhou Chengsheng, Jin Wenjing, Liu Xiaoman,Wang Guiwen
Institute of Security, China Academy of Information and Communications Technology, Beijing 100191, China
Abstract： With the arrival of the era of big data, the highly concurrent and reliable access of massive heterogeneous data has become an urgent problem. This paper proposes a high concurrent and reliable access method for massive heterogeneous data based on dynamic balance technology. The method adopts decentralized task allocation mechanism to access massive data sources. For various heterogeneous data sources, a variety of collection methods based on HTTPS, SFTP, Kafka, and corresponding node allocation and recovery mechanisms are designed. The dynamic load balancing strategy is used to adjust the collection resources in real time to adapt to the changing data load and achieve high concurrency processing. This research provides an effective solution for the efficient and reliable access of massive heterogeneous data.
Key words : massive heterogeneous data; high concurrency; dynamic load balancing strategy
引言
隨著計算機信息技術、互聯網與物聯網技術的快速發展，各類數據資源呈現爆發式增長，海量數據的產生和積累已成為一種不可避免的趨勢。這些數據往往具有多源異構、分布廣泛、動態增長等特點［1］，如傳感器數據、社交網絡數據、視頻數據等，稱其為海量異構數據。在眾多領域，海量異構數據并發接入已成為一個重要且具有挑戰性的問題［2-4］。為了更好地管理和處理這些數據，需要研究和設計高效的數據并發接入技術和策略，以實現數據的快速處理、分析和應用。在數據接入系統設計方面，已有研究人員在物聯網、車輛交通、電網調度等領域分別對于物聯網設備數據采集［5］、列車網絡設備實時數據采集［6］、電網智能調度數據采集［7］進行了系統設計，用來解決海量數據接入處理問題，但是這些系統設計均是針對特定的業務場景提出，缺少一定的通用性。在海量異構數據接入過程中，如何在高并發接入的場景下依然能夠確保接入系統穩定可靠運行是數據接入系統設計面臨的主要挑戰。在有限的集群資源前提下，當海量異構高并發數據產生接入任務時，只有將接入任務合理分配并且快速執行，才能保證數據的順利接入。
作者信息
趙勛，周成勝，靳文京，劉曉曼，王桂溫
（中國信息通信研究院安全研究所，北京100191）
文章下載地址：http://m.tom3567.com/resource/share/2000005878
此內容為AET網站原創，未經授權禁止轉載。