AWS云计算核心架构师推出百万存储节点全新产品

猿团 | 2016-01-04 11:56:45

AWS架构中心为您在AWS云中构建高扩展性和高可靠性的应用程序提供了必要的指南和应用架构最佳实践。这些资源有助于您了解AWS平台及其服务和功能,并为您设计和实施在 AWS 基础设施上运行的系统提供了架构指南。

拥有7年AWS云计算核心架构师工作经历的陈靓,历时3年推出了ZettaStor分布式块设备存储(DBS)产品。该产品基于软件定义,运用分布式计算技 术把大量标准x86服务器的存储介质进行聚合,将这些存储资源整合成为既具备传统SAN/NAS的企业级功能和特性,又具有高弹性、高扩展性、高可靠性的 存储系统,形成全新的Server SAN产品类型。ZettaStor DBS在AWS云上搭建的测试环境中,通过了由1020个存储节点组成的集群长时间、稳定运行能力验证,这是国内首次公布如此大规模的测试。按照设 计,ZettaStor DBS能支持百万存储节点,是目前业内Server SAN商用产品中支持存储节点数最多的。除支持超大规模存储容量外,99.999%的数据可靠性也为业内领先的指标。ZettaStor 的核心部件全部为自主研发,如没有像其他的产品那样利用Linux的通用文件系统存储数据,而是研发了自己的文件系统存储数据,网络传输上也是如此,鹏云 网络研发了自己的异步组播(Multicast)传输层,用于数据传输和通讯。因此,可以把x86构架的服务器性能发挥到极致。

在享用云 带给我们便利的同时,业务连续性、安全性是系统架构的重中之重。优秀的云架构如同人的神经系统,所有节点(神经元)具备相近的特性,无需单体强大但执行高 效,单个节点故障不会影响整体系统运行,业务和数据可快速无缝地转移到邻近节点上继续运行,这一切改变对用户透明。节点调度是这项工作的核心环节,这是基 于软件定义的系统的优势所在,每次调度与重新定义系统无异,包括增加和减少节点数量。管理和调度的效率是软件定义系统性能的关键环节,不同云解决方案的差 别集中体现于此。目前,在为数不多实现盈利的云系统中,亚马逊的AWS最具代表性,它就采用了这样的系统设计原理,它的成功也为众多新进入这个领域的企业 指明了方向。截止到2013年,AWS的节点数量已超过百万,以最低错误概率计算,每秒也有成百上千个硬件故障发生,如果没有完善的系统、高效的处理预 案,如此庞大的系统是无法持续运行的。如今,AWS技术已经成为了可借鉴的成功经验,推动着云存储技术的高速发展和快速普及。

ZettaStor DBS通过在存储节点上部署轻量级的管理软件,把各个节点上的各类存储介质进行聚合,形成可统一管理的存储池,并为各种应用提供高速的块设备接口,通过 iSCSI协议,这些应用可以像访问本地硬盘一样访问存储系统提供的存储资源。采用开放架构的它,可运行在任何版本Linux系统下,并支持 Hadoop、OpenStack、VMWARE等多种平台和多种类型虚拟机平台,适用范围很广。

通过对不同位置数据的读写统一调配,数 据被ZettaStor DBS并发分派到不同的数据节点上,整个分布式构架中,系统的所有存储节点都参加I/O操作,形成大规模并行的I/O处理方式,从而几何级数提高I/O处 理能力,减少了系统的I/O瓶颈。随着存储节点及存储介质的增加,IOPS和吞吐能力的增长近乎线性。

 除了硬件基于x86平台结构相 同,ZettaStor DBS的单层构架是简化管理和降低扩展复杂度的关键因素。在计算和存储融合的应用场景下,ZettaStor DBS可从传统的SAN的3层构架转换为同时提供计算能力和存储能力的单层架构,这种弹性是传统云设计思路可望不可即的。

 考虑到可靠性 问题,ZettaStor DBS可根据用户对可靠性的需求,设定副本数量。这些副本被分别存放在不同存储节点上,其中任一份丢失,新的副本随即自动生成。除了系统本 身,ZettaStor DBS的数据存储还具有智能自愈特性,系统可以在秒级时间单位内自动发现故障存储单元,并完成故障单元数据的迁移和故障单元的剔除。

 随着Server SAN模式在下一代数据库架构中的胜出,其颠覆传统SAN存储的灵活性、性能和超融合优势将被更多的用户所认识,预计未来将被广泛运用于云计算、数据库及 虚拟化领域。ZettaStor DBS则让用户今天就可以体验到未来的速度,目前长达180天的无限制免费下载试用让这一切零距离。

  • 城市合伙人