dell服务器怎么在raid看硬盘好坏（DellEMCPowerStore详解）

参照下4年前我写的《EMC World：新统一存储Unity把硬件做到极致？》，PowerStore硬件是不是满满的EMC风格：）

目录

- PowerStore T/X系列：统一存储（文件）/ 内置VMware虚拟化

- NVRAM盘 BBU：写缓存和压缩重删原理

- Optane SSD（SCM）支持、SAS SSD扩展柜

- Scale-out和机器学习引擎

- 主机接口卡、25GbE/32Gb FC热插拔I/O Module

- 最适合SSD的宽条带化RAID、性能宣称

- 管理界面：PowerStore Manager、REST API和Cloud IQ

在昨天之前，我听说过PowerStore的名字，也听说Dell EMC拿下了商标，但我也不知道它具体哪一天发布。

等看到消息的时候，线上发布会已经在举行了，网站上一大堆介绍和技术资料也都上线了——看来许多准备工作早就在低调进行。

由于这次发布会的性质，没有太多时间讲技术细节，因此我在网页的留言区看到一些提问：比如有人问是不是类似超融合产品？和VMware vSAN有什么区别等。

经过一天的学习，我先来回答第一个问题：PowerStore既可以是全闪存阵列，也可以是“一体机”，至于算不算超融合嘛，我觉得只要理解它能实现什么功能，可以怎么用就好了。

注：我水平有限，如有理解有误之处还望不吝指正。谢谢

PowerStore T/X系列：统一存储（文件）/内置VMware虚拟化

图片点开后可放大，以下同。

首先Dell EMC PowerStore号称基于容器的存储系统，分为T和X两个系列，它们在硬件上都是2U双控制器机箱。第一点区别，就是PowerStore X内置了VMware ESXi HyperVisor（如上图）——Power Store OS阵列操作系统也是运行在上面的特殊虚拟机，同时还可以有若干别的应用虚拟机。

大家可以留意图中的双节点（PowerStore 2个物理控制器），以及2个运行存储服务的专用虚拟机。

这样做有什么好处呢？我理解：

1、可以充分利用控制器节点的CPU、内存计算资源；

2、由于基于双控99.9999%高可用性存储，传统使用外部共享存储的HA虚拟机架构只要一台2U设备就能实现，而不用像超融合那样需要至少3个节点、以及网络交换机的重度依赖。

同时PowerStoreX也能像T系列那样使用FC/iSCSI连接外部服务器，实现传统存储阵列的功能。

PowerStore T系列不像X那样集成虚拟化HyperVisor，却可以增加文件（NAS）功能，这一点上类似于之前的Unity统一存储家族。

PowerStore是为NVMe原生设计的全闪存阵列（后续计划软件更新支持端到端NVMeOF），同时支持连接SAS SSD扩展机箱。我理解它的定位介于Dell EMC中端的Unity和高端PowerMax阵列之间。

扩展阅读：《从VMAX到PowerMax：Dell EMC新一代NVMe高端阵列解析》

《DTW2019新品抢先看：Unity XT、VxFlex OS 3.0、PowerProtect X400》（去年发布时Unity XT可以支持8个NVMeSSD）

如上表，PowerStoreT系列的文件存储协议应该是新增了SMB 3.x，这样对微软Windows 2016 （含Hyper-V）环境的支持就更好了。

同时我还看到许多传统EMC存储上的名词：CloudIQ、SRM、RP4VM（RecoverPoint持续数据保护）、PowerPath多路径和VPLEX存储虚拟化等。

硬件规格表和内存配置

在硬件配置上，PowerStore T和X系列除了I/O模块之外基本一样，这部分后面我会详细讲。

先看上面的型号：PowerStore 1000、3000、5000、7000和9000对应着不同的CPU和内存配置。由于是双控制器，每个控制器节点主板上2颗Intel CPU，从8核到28核不等；384GB-2560GB内存也是指的整台设备，具体到每控制器就是一半的容量。

PowerStore使用的就是Xeon Scalable服务器上的ECC内存，上表连不同型号节点上具体的内存插法都写清楚了。

NVRAM盘 BBU：写缓存和压缩重删原理

下面讨论一个我感兴趣的地方，前面表格中有一项NVRAMdrives。其中PowerStore1000和3000型号是2个，而5000、7000和9000则是4个。这一点似乎和EMC VNX/Unity传统的设计不同？

如上图，PowerStore的2U基础控制器机箱支持25个全NVMe 2.5英寸（U.2）驱动器，其中左边的21个是为NVMe SSD设计的，而右边4个专门用于NVRAM（非易失性内存）盘。

这个是NVRAM盘的镜像关系，以及分别由哪个控制器节点的BBU备份电池来供电。

上面文字详细描述了无单点故障的设计。大家可以看到BBU电池体积很小，有朋友还记得当初CLARiiON和VNX控制器配套使用的SPS电池模块体积多大吗？（更换电池也是个麻烦事）如果从Xeon CPU的内存划一部分做写Cache，就要在断电时保证CPU和那几块磁盘的供电；而现在BBU只要给NVRAM盘供电，等数据写到里面的闪存上就保险了。

这张图以2个NVRAM写缓存盘的型号来做示例。数据写入控制器节点主内存之后，接着写入NVRAM镜像写缓存，第三步是从另一控制器节点获得Token（注意这里不用跨控制器做Cache镜像了），然后返回写ok。

从故障处理的角度，我是这样理解的：传统存储控制器的写缓存，无论在系统内存中、主板上有个专用DRAM插槽还是一个PCIe NVRAM卡，当控制器故障离线时也会一起离线，剩下的一个控制器只能临时禁用写缓存工作在影响性能的Write-Through模式。

而PowerStore的NVRAM Drive盘与控制器相对独立，甚至更换一个控制器时也不需要禁用写缓存？如果只是镜像对中的一个NVRAMDrive故障，可以快速热插拔更换。其维护时间比拆控制器 定位故障大为缩短，应该可以有效改善阵列的可用性。

同时，NVRAM写缓存还有另一个效用——作为重删/压缩处理前的缓冲区。PowerStore的压缩有专门的QAT硬件处理，当数据经过重复数据删除和压缩之后，会以2MB条带的方式来写入SSD数据盘。这个涉及到PowerStore OS底层数据结构对闪存的优化。

Optane SSD（SCM）支持、SAS SSD扩展柜

关于SCM（存储级内存），之前PowerMax上已经支持双端口的Intel Optane（傲腾）DC D4800X SSD，如今PowerStore应该也是可以用这款3D XPoint Memory介质的NVMe盘。

扩展阅读：《Intel Optane P4800X评测(1)：好钢如何用在刀刃上？》

《SPDK实战、QoS延时验证：Intel Optane P4800X评测(5)》

PowerStore的控制器机箱是全NVMe盘，另外可以Scale-up外接3个25盘位的SAS SSD扩展机箱（如上图），这样总共就是96个驱动器（21*NVMe 75*SAS）。

我认为SAS SSD扩展主要是针对闪存阵列应用中偏容量的需求，因为21个NVMe SSD的性能加上数据服务（总不能快照啥的都没有吧），已经基本上够控制器Xeon CPU和I/O总线忙活了。至于为什么不用PCIeFabric连接更多的NVMe SSD？首先是SAS后端拓扑技术相当成熟了，另外Dell EMC还有高端的全闪存PowerMax，其中8000型号发布时最多支持288个NVMe SSD。

Scale-out和机器学习引擎

EMC的中端存储发展到Unity XT都只有双控，如果要多控就是高端的VMAX和PowerMax，而之前属于Dell存储的SC家族就支持联邦形式的多控。

而今PowerStore除了Scale-up之外，也支持Scale-out横向扩展了。如下图，最多是4个控制机箱8个控制器节点。

PowerStore的Scale-out也被称为高级集群。

PowerStore的Scale-out集群需要用到每个控制器上的2个以太网口，后面我还会讲到这个位置可选25G光口/10G电口网卡。我理解如果组成集群的话，25G的效率应该会好一些。

大家还记得PowerMax支持机器学习引擎的自动分层存储吗？PowerStore把机器学习引擎用在了另一个地方，下面这段文字引用自《Dell EMC PowerStore Data Sheet》文档：

——“PowerStore包含内置的智能功能，可消除大量耗时的任务和决策点。PowerStore的板载机器学习(ML) 引擎通过对单个和群集一体机进行微调，实现了初始卷安置、迁移、负载均衡和问题解决等人工密集型流程的自动化，从而优化了性能并降低了成本，即使您的环境发展变幻莫测也能轻松应对。”

主机接口卡、25GbE/32GbFC热插拔I/O Module

2U机箱的上/下部分，各有一个控制器节点

PowerStore的主机接口分为2部分，一个是上图中的深色区域——不可热插拔的4-Port Card，在25GbE/10GbE光纤或者10G/1GBaseT铜缆网卡中必选一个；另一部分是浅蓝色的（每控制器2个）热插拔IO Module选件。

在Embedded module（拔出前需断电）的一侧，就是每个控制器必选的以太网子卡。

上图列出了热插拔I/Omodule可选的类型，其中通用的是4端口32Gb或16Gb FC光纤通道，而以太网模块只能用于支持NAS文件存储的PowerStore T系列。感觉纯块存储没有提供太多iSCSI接口的数量，理由我想也是充分的——都NVMe全闪了，iSCSI的性能还是算了吧。。

I/O接口模块示例

最适合SSD的宽条带化RAID、性能宣称

PowerStore的RAID保护级别只支持4 1和8 1这两种RAID 5，对于SSD来说是性能和利用率都比较好的选择。

从资料中的上面这段文字，我验证了宽条带化RAID的判断。没有专用的热备盘，当有SSD故障时可触发所有盘进行Rebuild。首先SSD本身性能要比HDD快许多倍，另外只要不超过设计写入寿命（DWPD）固态盘的常规故障率也是明显低于机械盘的。

扩展阅读（一篇老文）：《再谈RAID重建：宽条带化分布式热备盘》

《二、从“分布式热备盘”获得启发》

《三、Rebuild速度能超过单盘极限？有没有不足？》

在blocksandfiles.com网站上提到了一些PowerStore的性能数据，但我从官方文档上找到的只有上面的一句话“根据内部测试，IOPS比Unity XT提高了6倍且延迟降低了3倍…”。

Kubernetes和Ansible插件的提供，应该对容器等自动化部署环境有帮助。

管理界面：PowerStore Manager、REST API和Cloud IQ

最后挑3个GUI管理截图给大家看下吧，我就不过多解释了。

我想简单总结下Dell EMC PowerStore的几个新特点，不一定全面：

1、内置VMware HyperVisor（X系列），支持应用虚机一体化；

2、热插拔NVRAM盘 BBU：改进的写缓存设计；

3、NVMe全闪 可扩SAS SSD兼顾性能容量；

4、Scale-up Scale-out灵活扩展；

参考资料

https://www.delltechnologies.com/zh-cn/storage/powerstore-storage-appliance.htm#scroll=off&tab0=4

https://www.dell.com/support/article/zh-cn/sln320639/powerstore-technical-documents-and-videos?lang=en

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文。感谢您的阅读和支持！

,