存储管理四大功能(高端存储稳若磐石)
高端存储,稳若磐石
作为高端存储的首席忽悠官,西瓜哥很长时间没有写高端存储了。虽然软件定义存储(SDS)是颠覆企业存储的最大技术,但高端存储由于其历史悠久,单机可靠性高,加上全闪的性能加持,目前依然在各行各业的关键业务场景起着至关重要的作用。
根据IDC的数据,2021年,中国的高端存储同比增长了26.4%,远远高于TESS(传统企业存储系统)15.3%的整体增长率。
2021年,中国高端存储的TOP5厂商是华为、H3C、Dell、浪潮和宏杉科技,其中宏杉科技是唯一的独立的专业存储厂商。
从数据看,2021年,宏杉科技的高端存储增长了约90%,远远高于高端存储TOP3厂商的增长。是什么原因,让宏杉科技能够从这些综合厂商的激烈竞争中脱颖而出呢?
四控耦合,独领风骚
高端存储,由于其原生的多控制器架构设计而闻名,这也是高端存储区别中端存储的最主要区别。
了解高端存储历史的朋友都知道,2009年以前,EMC/HDS高端存储的多控架构一直是多控紧耦合的架构。这种架构可靠性虽然高,但系统复杂,成本高昂,扩展性也不够,一般最大支持8个控制器。
直到2009年,EMC推出了VMAX,除CPU从Power切换为Intel外,多控架构也从8控紧耦合的架构切换到16控松耦合架构。松耦合架构的基本单元是2控紧耦合的节点,类似一个典型的中端存储,但是这些基本单元通过低延时交换机(VMAX原来用RapidIO,后来到PowerMax切换到InfiniBand)连接成一套高端存储系统。松耦合架构的节点可以和中端存储共平台,成本大幅下降。采用交换机互联的方式,也让扩展更加容易,轻松扩展到16控以上。
由于多控松耦合架构的复杂度比紧耦合要低不少,国内的存储厂商迅速跟进,华为在2012年推出了自研的高端存储OceanStor 18000 V1,采用的类似VMAX一样的松耦合架构,只是低延迟交换机采用的是PCIe交换机。
但是,多控松耦合架构的可靠性相比紧耦合架构是有所下降的。由于基本单元是2控紧耦合,如果这两个控制器同时故障,就会造成后端的磁盘无法访问,造成系统故障。因此,这也是被最多人诟病的问题。如果一个16控的高端存储,不能支持同时坏任意两个控制器,这样的可靠性,从感觉上看,觉得没有比中端存储高太多。
因此华为在2015年发布OceanStor 18000 V3的时候,把多控松耦合架构的基本单元换成4控紧耦合,任意一个控制器的写缓存同时镜像到另外2个控制器上,完美解决了同时坏任意两个控制器的问题。
华为的多控架构在持续演进,现在最新的高端存储Dorado 18000 V6,控制器互联层,引擎内控制器之间通过RDMA互联,通过缓存三副本技术及持续镜像技术,可以实现特定情况下的8控坏7控系统正常运行。
而宏杉科技作为国内专业的存储厂商,后发制人,也走出了一条适合国情和自己的高端存储架构演变之路。
2014年,宏杉科技发布第一代高端存储阵列是MS7000,在业界首创双矩阵高端存储架构,即控制器引擎互联交换矩阵和硬盘网络交换矩阵。控制器引擎为双控冗余控制器,双控直接通过PCIe背板总线互联,控制器引擎之间通过40GE高速网络互联;硬盘网络交换矩阵采用高性能存储交换单元SSU设计,实现任意控制器引擎可访问任意硬盘柜及任意硬盘,每个SSU接入控制引擎带宽为192Gb,保证高速磁盘访问。第一代MS7000最大支持32控扩展,在当时处于业界领先位置。
MS7000实现了高端多控架构,为提高用户对于多控存储更高可靠性的要求,在研发第二代MS7000时,宏杉科技在业界又创新性地实现了控制器引擎双交换平面的设计,即在多个双控引擎之间构建两种高速互联协议:40GE RDMA和PCIe。双交换平面的设计实现将多控存储架构的可靠性提高了120%。可靠性的提升也将最大控制器扩展能力提高到32控。
2016年,宏杉科技发布了MS7000-V4,它是宏杉科技在MS7000研发经验的基础上,创新开发出领先的4控紧耦合架构—V4引擎,在业界率先实现四控全局缓存实时镜像,对写缓存数据的保护实现了业界最高水平。同时,硬盘网络交换矩阵SSU的设计也在MS7000-V4中采用。
由于当时存储控制器的硬件工艺的限制,V4引擎在设计上采用了双控引擎配置PCIe接口卡通过光纤直连方式实现,存在接口卡和光纤的潜在故障点风险。
为了进一步提高MS7000-V4的可靠性,宏杉科技对硬件架构进行了重新设计,终于实现了四控通过背板PCIe总线互联,集成度和系统可靠性大为增强。新的MS7000-V4就是2021年发布的MS9000G2。MS9000G2紧耦合四控存储通过控制器交换双平面技术最大可扩展到48控,在可靠性和扩展能力方面实现了业界领先。
宏杉科技的高端存储,由于缓存支持4个副本,因此支持同时坏任意3个控制器而数据不丢失。而华为的高端存储,采用的三副本缓存镜像的机制,因此,只能支持同时坏任意2个控制器而数据不丢失。而HPE/H3C的高端存储,虽然物理上有4控节点的控制框,但缓存只有2副本,因此,无法支持任意2个控制器同时故障而不丢失数据。
因此,从国内市场高端存储的TOP5厂商的产品架构来看,只有华为和宏杉科技采用的4控紧耦合架构支持同时坏任意2个控制器数据不丢失。
闪存优化,快如闪电
高端存储除了独特的可靠性架构外,还需要卓越的性能。目前,高端存储的出货形态主要是全闪存形态,因此,对闪存的优化成为性能提升的关键。
每个高端存储厂商都有自己独特的闪存优化技术,如华为叫FlashLink,而宏杉科技叫FlashHormone。华为FlashLink我以前介绍过很多了,大家也比较了解,因此,今天我重点来看看宏杉科技的FlashHormone。
作为国内自主研发存储产品及技术的领先者,2018年,宏杉科技针对SSD的读写特性,研发出适用于全闪存产品的性能优化技术FlashHormone。FlashHormone技术犹如其名,能够有效释放全闪存荷尔蒙,解决传统读写算法对SSD的性能制约,并且延长SSD使用寿命,实现全闪存阵列的高IOPS、低延迟。宏杉科技已经申请了FlashHormone专利保护。
从“写”入手智能合并数据写入
在传统RAID中,不同RAID级别有不同的写惩罚系数,还存在条带冲突限制,严重影响IO性能和延时。除此之外,全闪存时代SSD的寿命影响到系统的性能和稳定性,但传统RAID算法并不考虑这一点。
FlashHormone针对每次写入数据——无论是追加新写还是改写现有数据,都重新分配一个空间写入。无论什么类型的业务模型,所有的写数据都可以均匀分布到不同的硬盘上,并将业务数据合并为一个满条带后一次写入。
如下图追加写所示,L1和L2上已经写入数据A和B,当主机要在L4追加写入数据D时,系统新分配一个空间,写入数据D,再将数据D映射给L4,而不针对原有条带做写IO处理。
修改写过程如下图,L1、L2、L3和L4上已经写入数据A、B、C、D,当修改L1位置的数据为A″时,系统新分配一个空间,写入A″,将原数据A所在位置空间L1回收;同理,当修改L2位置的数据为B″时,系统新分配一个空间,写入B″,将原数据B所在位置空间L2回收。
随着数据的不断修改,碎片空间产生了,这时系统会启用一个后台进程进行非满条带空间整理,自动回收碎片空间,释放空闲条带,让数据可以一直合并成满条带写入。如下图所示,只有数据C、D、E、F是有效数据,A、B、G、H的空间已经被回收,产生了两个非满条带空间。这时,可以将C、D、E、F重新分配空间以满条带写入,从而得到一个可以被重新分配的满条带空间。
RAID写惩罚?完美规避
传统RAID读写算法中,IO写流程处理可能需要多次回读和校验写,写惩罚比较多。比如RAID5的写惩罚值为4。而使用FlashHormone技术后,写入的IO都是满条带写入在新的空白条带上,不再需要多次回读数据重新校验再写入,避免了RAID算法写惩罚。
RAID条带冲突?再也不见
多个IO命中同一个RAID条带时,这些IO需要串行处理,这在传统RAID算法上不可避免。RAID条带越大,IO条带冲突会更多,严重影响IO性能和延时。FlashHormone技术将每个写IO均写在新的条带上,而不针对之前的条带进行变动,避免了某些条带发生IO冲突,使得条带冲突为零。
负载均衡 就是现在
SSD的使用寿命会影响到全闪存系统的稳定性,因此全闪存系统中SSD磁盘需要保证磨损均衡,而传统读写算法并不考虑这一点。
FlashHormone技术不论是追加写还是修改写,数据实际写在了新的条带上,并且分布在不同的硬盘上,保证了分散数据存放,均衡SSD磨损,保证了全闪存的寿命和稳定性。
一招鲜提升性能增加稳定性
使用FlashHormone技术能有效规避传统RAID技术对SSD读写的制约,释放了SSD的潜在性能。
1、性能提升120%
宏杉科技全闪存产品在系统设计上已经最大程度发挥了硬件平台的处理能力,在使用了FlashHormone技术之后,系统的整体性能翻了一倍还多。根据实测数据,在数据块大小8KB、70%随机读、30%随机写的数据模型下,按照平均延迟小于0.5ms的要求,IOPS至少提升了120%。
2、RAID性能差异消失
FlashHormone满条带下刷的设计,使得传统RAID级别之间几乎不存在性能差异。传统RAID中的写惩罚全部被规避,宏杉科技CRAID2.0三重校验的性能表现与传统RAID5比起来几乎没有损耗。
3、延长全闪存设备的寿命
SSD的寿命影响到了全闪存系统的稳定性和寿命,FlashHormone技术能保证全闪存中SSD的负载均衡。因此,使用FlashHormone技术的全闪存产品,稳定性和寿命均能得到有效保障。
后生可畏,未来可期
高端存储,除了可靠性的架构和高速的性能外,影响用户选择的还有案例。大部分用户都希望选择案例比较多的产品。宏杉科技虽然推出高端存储比华为晚一些,但目前增长很快,前面我们也说过,虽然排名第五,但其增长率是远超高端存储的前三大厂商的。
据了解,宏杉科技的高端存储已批量应用于中国工商银行、中国银行、众多股份制银行和城商行的数据中心,同时还服务于中国国家铁路集团、中国石化的数据中心,保障多省国税、各研究院所的核心应用。
而作为高端存储TOP5里面唯一的独立存储厂商,宏杉科技的存储自研历史超过了10年,从国家知识产权局官网可以查到,宏杉科技目前已经申请了198项存储发明专利,其中108项存储发明专利已经获得授权(查询时间:2021年5月)。
除了坚持自研高端存储外,宏杉科技还针对高端存储推出了信创机型。据了解,华为的信创高端存储采用鲲鹏CPU,而宏杉科技的信创高端存储采用C86处理器。
高端存储是一个技术门槛非常高的领域,没有10年以上的存储自研积累,没有100项以上的存储发明专利加持,我认为很难做好高端存储。
而宏杉科技一直坚持的自研高端存储也终于迎来了回报,特别是现在各行各业对存储信创的要求越来越高,中低端存储信创化已经不能满足要求,很多企业开始采用信创的高端存储,特别是在国产数据库场景。
宏杉科技凭借业界独有的支持同时坏任意三个控制器的4控紧耦合可靠性设计,加上针对闪存优化的专利FlashHormone技术,让高端信创存储的可靠性和性能都有了一个质的提升,成为关键业务存储信创化的有力推动者。
对了,今年5月27日还是宏杉科技成立12周年的日子。在中国,十二是一个有特殊意义的数字,一年有十二个月,一天有十二时辰,十二年也被称为一轮,十二寓意着历经过往,迎来新生。
在这也预祝宏杉科技生日快乐,也祝愿国产高端存储乘风破浪,虎虎生威!
END
,
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com