存储极客 | 瓜哥图解PCIE/NVMe

戴尔易安信解决方案 2018-04-27

戴尔易安信解决方案

微信号 DellEMC_Enterprise
功能介绍 戴尔易安信解决方案专注于数字化转型中的前沿技术和解决方案,内容涵盖现代化基础架构、云计算、大数据、物联网及AI等,并通过对全球,特别是中国用户的成功实践案例分析和前沿技术解读,助力企业数字化转型,快人一步!
点击"戴尔企业级解决方案"快速订阅


✎✎✎“存储极客”栏目再次与大家见面啦!在这里,只有一位大咖名叫“存储”,它的粉丝我们称为“存储极客”!
存储极客
这是一群存储偏执狂
为存储而生,跟存储死磕
各具独家秘笈
有观点,有碰撞,有干货
从2015年8月18起
做客存储极客栏目
与你分享存储里的那点事儿
上周瓜哥图解的那些知识,大家还记得吗?现在让我们小小的回顾一下:

在《瓜哥图解存储协议》中,瓜哥详尽的介绍了各类存储协议、接口及连接器等;
在《瓜哥图解RAS RAID》篇中,瓜哥图文并茂的讲解了存储系统控制器/HBA、RAID卡及其接入服务器的方式等。

今天,瓜哥又要图解什么呢?

七、NVMe固态盘、PCIE转接卡
及PCIE交换芯片的接入方式
NVMe固态盘、PCIE转接卡、PCIE交换芯片接入到服务器中的方式主要有以下三种:

1.全Combo形式。如下图,24个插槽均为SFF8639也就是U.2接口,这就意味着不管是插SATA/SAS还是NVMe SSD到任何一个槽位,混差,数量配比不限,系统都可以识别到对应的硬盘,也就是所谓三模式(Tri-mode)。所以,每个接口必须将对应的金手指触点真的连接到对应的控制芯片上,如下图,每个插槽均连接SAS信号到SAS HBA以及PCIE信号到PCIE Switch芯片。这样做的成本当然是非常高的。

2.只有固定槽位支持全Combo盘的形式。如下图,同样是这24个插槽,同样均为SFF8639也就是U.2接口,但是只有最后的4个槽位同时支持三模式Tri-mode,其余的20个槽位只支持SAS/SATA盘。

3.只有固定槽位支持NVMe盘的形式。为了进一步节省成本,服务器厂商还可以让少数几个槽位只支持NVMe固态盘而不支持SAS/SATA,虽然依然是U.2接口,上面依然有对应的SAS/SATA的金手指信号,但是这些信号是被空置在那里的,没有连接任何上游的芯片。只有PCIE对应的针脚会被连接到上游芯片。而由于只有比如2个、4个NVMe Only的槽位,按照每个NVMe固态盘使用x4 Lane的PCIE接口的话,4个盘共需要16个Lane,可以将这16个Lane对应的金手指信号直接连接到CPU,也就是连接到主板上的一个x16的槽位上。所以,需要一块连接器转接卡先插到主板的x16 PCIE插槽上,转接板下游再出4个x4的miniSAS或者HD miniSAS连接器,然后用线缆连接到该连接器,线缆另一端再与硬盘背板上对应的miniSAS或者HDminiSAS连接器相连,这样就是下图所示的拓扑了。

该服务器是一台戴尔服务器上的第一代 Express Flash PCIe SSD,以及PCIe 2.0的转接卡。散热片下面的是一块信号Repeter/Relay,其内部就是大量的三态缓冲门,为了增强信号质量,增强信号电流。

八、Dell R930服务器硬盘连接方式简析
Dell R930服务器是一台最大支持4路CPU,提供最大24盘位的高端服务器。在硬盘配置方面,其提供了3个不同的背板,4盘位SAS/SATA背板,24 SAS/SATA盘位背板,以及16 SAS/SATA盘位+8 NVMe固态盘位背板。下面我们就来说说最后这种SAS和NVMe混布的选择。

下图就是配置了该背板的服务器前视图。可以看到竖插的12块SAS/SATA盘和左右两边最下方的各两块横插的SAS/SATA盘;以及左右两边上方的各4块NVMe固态盘。

对于NVMe盘位,其采用了NVMe Only的方式而不是Combo方式,也就是说这8个NVMe插槽只有PCIE信号被接入了系统中,SAS信号空置。如下图所示,可以看到每一边的4个U.2插槽上的x4 PCIE Lane信号被分别连接到一个HDminiSAS连接器,两边各4个。再采用对应的线缆连接到分别连接到一块PCIE连接器转接卡上,插入到主板的x16插槽中。

下图中可以看到这两块PCIE连接器转接卡的样子,其插在了服务器的最后方。

可以看到散热片下面的信号中继芯片,以及右侧的对应的4个HDminiSAS连接器。


Dell R930服务器在前部还提供了一个特殊的托架,这个托架中可以安置两块子板,每个子板上有一片SAS Expander。由于戴尔R930配备的SAS HBA/RAID卡最大只能支持8盘直连,所以当配置的SAS硬盘数量大于8块时,必须增加SAS Expander。该Expander子板采用连接器的方式与背板相连,从而与硬盘信号对接,上游提供对应的HDminiSAS连接器,通过线缆连接到其PERC9 RAID卡上。该托架可放置两块Expander子板,这样就可以将所有SAS/SATA硬盘分两部分分别接入到其中一块Expander,提升SAS链路的并发度。同时,R930支持插两块PERC9 RAID卡,那就可以分别接一块Expander子卡,进一步提升存储系统性能了。


最后,还有一种利用PCIE Switch将存储部分接入系统的方案,比如,在Dell PowerEdge FX2平台上,就使用了支持Partition功能的双PCIE Switch,具体可以参考冬瓜哥的另一篇文章:《PCIE交换芯片及在戴尔PowerEdge FX2平台上的应用》。