网易开源分布式存储系统曲线


科技巨头网易最近宣布了一个名为Curve的高性能分布式存储系统的开放源码 , 网易声称该系统的性能可达Ceph的1.84倍 。
根据网易的说法 , Curve定位于提供高性能 , 低延迟的存储扩展坞 , 用户可以在此基础上为不同的应用场景构建存储系统 , 包括块存储 , 对象存储和云原生数据库 。
根据项目文档 , Curve具有三个主要功能:高性能 , 高可用性和自治性 。
高性能:Curve团队引用了一些业界最高效的开源存储系统 , 设计了一种新架构来实现高性能和低延迟 。
它使用brpc来确保网络流量的高性能和低延迟 , 并使用基于Braft的麸来实现多副本一致性下的高性能和低延迟 。
【网易开源分布式存储系统曲线】在磁盘IO端 , Curve通过更细粒度的地址空间哈希来减少IO冲突 。增加IO并发性 , 并使用chunkfilepool减小IO放大倍数以最大化限制硬件的性能 。
Net已发布了比较Curve和Ceph L版本的测试数据 。在单卷方案中 , Curve的4K随机读取IOPS性能是Ceph的1.84倍 , 是Ceph的写性能的1.58倍 。Curve的4K随机读取IOPS性能是Ceph的1.84倍 , 其写入性能是Ceph的1.58倍 。
网易开源分布式存储系统Curve-cnTechPost
高可用性:Curve设计为具有所有核心组件 , 它们可以全部容忍部分实例故障 , 而不会影响整个集群的可用性 。
根据网易 , Curve的客户端IO不受单个存储故障或系统蔓延的影响 。
除了硬盘对接和服务进程中断等常见例外 , IO抖动也非常低 。
当然 , 故障恢复过程不会对上层IO产生重大影响 。
自治:只需单击即可部署和升级Curve , 而在操作和维护方面的人工干预最少 。
它基于开源项目(如bvar , Promethues和Grafana)构建全面的指标和警报系统 。
目前 , 基于Curve的高性能块存储系统已应用于网易的一些核心业务 。
它支持快照克隆和恢复 , 支持QEMU虚拟机和物理机NBD设备两种挂载方式 。
网易介绍说 , 该系统已经在线超过400天 , 没有出现数据不一致或数据丢失的情况 , 但主要故障却具有相当的可靠性和成熟度 。

    推荐阅读