戴尔SCv2000:入门级阵列硬件设计功力

戴尔易安信解决方案 2018-04-28

戴尔易安信解决方案

微信号 DellEMC_Enterprise
功能介绍 戴尔易安信解决方案专注于数字化转型中的前沿技术和解决方案,内容涵盖现代化基础架构、云计算、大数据、物联网及AI等,并通过对全球,特别是中国用户的成功实践案例分析和前沿技术解读,助力企业数字化转型,快人一步!
点击“戴尔企业级解决方案”快速订阅


导语
在上一篇《高密度盘柜难点:评戴尔SCv2080结构设计》中,我们介绍了5U 84盘位的高密度存储阵列,这次再来看看SCv2000。虽然在硬盘支持的结构上它没有“同门兄弟”那么多特点,但我们注意到控制器内部有很多亮点,其中就包括有特色的散热设计。
我们测试的样机——
2U 12个3.5英寸驱动器位的戴尔SCv2000

这台SCv2000里面满配了12块4TB 7.2K SAS硬盘,Constellation ES.3是来自希捷的企业级系列。

机箱后面的布局:两边是冗余电源和散热风扇模块,中间的2个控制器版本为“1G-iSCSI-4”。

小模块的大乾坤
可拆卸锂电池模块

关于SCv2000控制器面板上的布局,我们在《Flex Port:戴尔SCv2000隐藏的万兆iSCSI接口》一文中已经有过比较详细的介绍,这里就不再重复。接下来把左边标红圈位置的电池模块拔出来看看。

戴尔SCv2000控制器的电池模块,
SC系列定位中端的SCv4020设计与之类似。

点击放大图片,我们可以看到这块锂离子电池组的额定输出电压为11.1V,容量12Wh。它能够在异常断电时,维持控制器写缓存中的数据并写入到闪存永久保护。做成从面板上就可以抽出更换的形式,则能够在维护电池时无需将整个控制器离线拔出。

入门系列的豪华配置
导风罩优化气流

我们拆下了SCv2000控制器的金属盖,里面看到一个黑色塑料导风罩,以前在相同尺寸的2U SBB规范存储控制器中并不多见。它的作用比较明确,就是让大部分散热气流从位于中央的CPU散热器通过。

从上图的视角,我们还看到CPU散热器的顶部覆盖有一层浅色的“导热胶”,可以将热量扩散到大面积的金属顶盖辅助散热。这一点,笔者之前在《四路服务器进化:R930内存板瘦身、偏置CPU散热》一文中分析戴尔四路Xeon E7服务器时,借助整个底板来做内存板上的SMI-2缓冲芯片散热的情况类似,可见服务器和存储的散热设计还是有相通之处。

此外在红圈的位置,我们还观察到CPU散热器的主鳍片下面还有一排较小的鳍片。这几处加强,是否意味着SCv2000控制器的CPU功率较大以至于需要特殊设计?答案是否定的。在我们的测试环境中,2U 12盘位SCv2000在25℃左右室温下的噪声大小,只相当于一台声音略大的传统2U服务器;而配合测试的PowerEdge R630 1U服务器,轻载情况下的噪声则比塔式服务器大不了多少。这些相比5-10年前的产品应该说有明显进步,而在今天除了少数几个国际品牌的硬件,其他厂商特别是国内的整体散热设计,我觉得普遍还达不到这种水平。

两个红色箭头,标明了SCv2000控制器散热的进、出风方向。这里区别于SCv2080的是,由于结构不同,在2U机箱内,控制器的出风口位于两侧,而不是图中的顶部开孔。所以如果没有前面提到的导风罩,CPU散热器确实会被气流从两边“绕路而走”,现在的情况则可以兼顾到隔离区的各个元件。

这张照片就是SCv2000的一体化电源/散热风扇,红色箭头显示了它们怎样从控制器两侧吸风,然后将热量向后排出机箱。

这款电源的总输出功率不超过584W,包含+12V、+5V和+5Vsb三种直流电压。

控制器和一体化电源/风扇外壳上都有相应的开孔,机箱设计也要进行匹配。上图可以看到机箱内部隔板上的开孔,箭头标注了气流的方向。

点睛之笔
独特的CPU散热器

取下导风罩之后的SCv2000控制器,主板上关键的BGA芯片都可以看到了。标红圈的位置是主机接口子卡,这台阵列控制器配置的子卡为4端口1Gb(千兆)iSCSI,更多接口选择我们在前文中有过介绍。

最后,我们拆下了CPU散热器。从上图看它并不普通,在与CPU接触的一面是有一个凸起的薄型腔体,起到类似热管的作用。右边那一条增强散热排正是焊接在上面,而左边标红圈的部分,则进一步让我们联想到热管和里面流动的液体。

上面讲了这么多散热设计的东西,最终效果我们可以从戴尔SCv2000的管理界面有个大致的了解。这个截图中间我加了条红线来分隔2个控制器,每个控制器都有7个测温点,在另外一个机箱温度传感器界面中还有更多。这里给出的包括当前温度(与专业测温设备相比可能有3-5℃偏差)、正常最低/最高温度,以及警告下限/上限阈值参考。

在25℃左右环境温度和较低的风扇转速下,我们看到许多项目还是显示出了较大的温度裕量。以上图中相对接近上限的“PCIe区出口”——39/40℃为例,它对应的参考正常最高温度为51℃,而警告上限阈值是56℃。可以预测,如果环境温度上升至35-40℃,或者阵列的负载上升,自动适当提高风扇转速还是可以轻松胜任的。

测试环境
16Gb FC交换机和HBA卡
在接下来的戴尔SCv2000实际测试中,除了PowerEdge R630、R720服务器和以太网环境之外,由于后续会有FC主机接口的样机,我们还准备了FC SAN光纤通道存储网络设备。

Brocade 6505 SAN交换机

Brocade(博科)6505是一款12/24端口16Gbps FC交换机。它具备384 Gbps的端到端全双工总带宽,支持N_Port ID虚拟化(NPIV)端口模式。

与之对应的是,戴尔SCv2000前端主机连接的虚拟端口模式就需要SAN网络的NPIV支持。

虚拟端口模式——通过将多个活动端口连接到每个 Fibre Channel 或以太网交换机,提供端口和控制器冗余。在虚拟端口模式下,每个物理端口都有 WWN(全球名称),并且还分配有附加虚拟 WWN。服务器仅以虚拟 WWN 为目标。在正常情况下,所有端口均可处理 IO。如果一个端口或控制器出现故障,一个虚拟 WWN 可被移至同一容错域中的另一个物理 WWN。在排除故障和重新平衡端口后,此虚拟端口会回归至首选物理端口。

与传统模式相比,虚拟端口模式具备以下优势:
•更高的性能:由于所有端口都处于活动状态,因此可提供更多的前端带宽,而不牺牲冗余性。
•更大的冗余:端口可以单独实现故障转移,无需通过控制器实现故障转移。
•简化的 iSCSI 配置:每个故障域包含一个协调域中 iSCSI 端口查找的 iSCSI 控制端口。当服务器将该 iSCSI 端口的 IP 地址作为目标时,它会自动查找故障域中的所有端口。

由于Brocade在SAN交换机市场和技术方面长期处于领导者地位,包括戴尔在内的存储厂商都与他们建立了良好的OEM合作关系。

QLogic QLE2662 16Gbps Gen5 光纤通道适配卡

提到QLogic的16Gb FC HBA卡,大家可能首先想到的是单端口的QLE2670和双端口的QLE2672,上面这款QLE2662则是Dell OEM的型号。我们观察它们在板型、甚至散热器的形状和位置上几乎一样,同属于第5代产品,估计控制器也是同一颗——ISP8324。

QLogic QLE2662的主控芯片——ISP8324

QLogic目前在售的FC HBA应该都支持NPIV,并采用了PCI Express Gen3 x4、Gen2 x8(x8物理连接器)自适应总线接口。动态的电源管理,可确保 PCIe 主机总线链接使用最低数量的 PCIe 通道以满足所需的光纤通道带宽(不管服务器是否支持 PCIe Gen2 或 Gen3)。使用的 PCIe 通道数越低,意味着这些适配器需要的能源越少,然而同时继续保持最高级别的光纤通道性能。

上面的截图来自QLogic官方文档,其中提到Gen 5 16Gb FC HBA 2600系列的优势,包括最高120万IOPS,T10 PI传输完整性支持,高可用和端口隔离等,其中还有一项与Brocade Fabric高级特性的集成。我们知道Brocade已将自己的FC HBA卡业务并入QLogic,两家公司更加专注并达成战略合作,以达到更好的协作和产品互操作性。

上图所指的三个特性分别是:利用Brocade ClearLink (D_Port) 增强可用性和SAN诊断;自动化和简化SAN分配来实现更快的部署;改进的QoS和端到端SAN性能。

看了这张图,可以联想出前面说的120万IOPS应该是512byte块大小测得,而QLogic也公布了更为实在的数字——在经过FC交换机的情况下,QLE2672(QLE2662应该相同)4KB IOPS接近70万,8KB接近40万,相比上一代8Gb HBA卡有巨大的提升。

根据上述数字,即使在不更换存储网络基础设施的情况下,升级16Gb HBA卡仍连接到8Gb FC交换机,也能获得92%的IOPS提升。

QLE2662 HBA卡上标配的SFP+光纤收发器模块,850nm光源波长可支持多模光纤线缆。

本文写到这里先告一段落,后面我们打算分2篇来讲述戴尔SCv2000的配置和高级功能,敬请期待!