高性能高可用Redis客户端的设计与实现
2022年电子技术应用第1期
刘世超1，2，杨 斌1，2，刘卫国1，2
1.山东大学 软件学院，山东 济南250101；2.国家超级计算无锡中心，江苏 无锡214072
摘要： Redis是一个基于内存存储的非结构化数据库，以高I/O(Input/Output)性能和高响应速度著称，在数据缓冲、消息队列、Key-Value存储等场景都发挥着重要的作用。在其支持的众多客户端中，C/C++客户端Hiredis的应用尤为广泛。对Hiredis库做了深入分析，发现了其管道功能存在高开销、指令存储不当以及内存混淆问题。基于此，在32逻辑核的X86架构处理器以及64 GB内存的Linux服务器上，设计并实现了一个面向C/C++的高性能高可用Redis客户端，通过内存预分配以及内存隔离的方法提高了大量指令批处理时的性能并解决了复杂场景下的内存混淆问题。经测试，新客户端提高了3～7倍的指令执行效率，同时也保证了复杂场景下的内存安全以及数据准确性。
中圖分類號： TP391
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.212432
中文引用格式： 劉世超，楊斌，劉衛國. 高性能高可用Redis客戶端的設計與實現[J].電子技術應用，2022，48(1)：46-52，58.
英文引用格式： Liu Shichao，Yang Bin，Liu Weiguo. Design and implementation of high-performance and high-availability redis client[J]. Application of Electronic Technique，2022，48(1)：46-52，58.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.212432
中文引用格式： 劉世超，楊斌，劉衛國. 高性能高可用Redis客戶端的設計與實現[J].電子技術應用，2022，48(1)：46-52，58.
英文引用格式： Liu Shichao，Yang Bin，Liu Weiguo. Design and implementation of high-performance and high-availability redis client[J]. Application of Electronic Technique，2022，48(1)：46-52，58.
Design and implementation of high-performance and high-availability redis client
Liu Shichao1，2，Yang Bin1，2，Liu Weiguo1，2
1.School of Software，Shandong University，Jinan 250101，China；2.National Supercomputing Center in Wuxi，Wuxi 214072，China
Abstract： Redis is an unstructured database based on memory storage. It is known for high I/O(Input/Output) performance and high response speed. It plays an important role in data buffering, message queues, key-value storage and other scenarios. Among the many clients it supports, the C/C++ client Hiredis is particularly widely used. This article did an in-depth analysis of the Hiredis library and found that its pipeline function has high overhead, improper instruction storage, and memory confusion problems. Based on this, this article designs and implements a C/C++-oriented high-performance and high-availability Redis client on a 32-core X86 architecture processor and a 64 GB memory Linux server. It improves the performance of processing a large number of instructions and solves the problem of memory confusion in complex scenarios through memory pre-allocation and memory isolation. After testing, the new client has improved instruction execution efficiency by 3～7 times, while also ensuring memory safety and accuracy in complex scenarios.
Key words : Redis；pipeline；Hiredis；memory confusion；performance optimization
0 引言
隨著互聯網飛速發展以及大規模應用的不斷涌現，目前已經步入了大數據時代。非結構化數據逐漸替代了傳統結構化數據并迅速占據了主導地位，為了管理形式多樣的非結構化數據，涌現了諸如MongoDB[1]、InfluxDB[2]、Elasticsearch[3]等十分有代表性的數據庫。這些數據庫雖然針對非結構化數據的存取做了很多優化，但是受限于硬盤(Hard Disk Drive，HDD)等底層存儲介質，往往無法滿足高性能場景的需求。
為了提高性能，以Redis為代表的內存數據庫應運而生。Redis是一個非結構化數據庫，支持使用非結構化語言(Not-only Structured Query Language，NoSQL)查詢。同時，Redis通過I/O(Input/Output)多路復用和DRAM(Dynamic Random Access Memory)提供了高吞吐、高并發和低時延的服務，在數據緩沖、消息隊列、Key-Value存儲等場景都發揮了重要的作用。
但是隨著大規模計算集群的算力逐漸增大，應用的數據規模也隨之變大，計算和I/O之間的“存儲墻”也變得愈發明顯?，F有的Redis也遇到一些網絡和存儲方面的問題。因此如何改進Redis也受到了廣泛的重視，隨之出現了很多Redis優化的相關工作，它們從各種角度對Redis服務端或客戶端做了改進。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000003907。
作者信息：
劉世超1，2，楊 斌1，2，劉衛國1，2
(1.山東大學 軟件學院，山東 濟南250101；2.國家超級計算無錫中心，江蘇 無錫214072)
此內容為AET網站原創，未經授權禁止轉載。