【工程师笔记】第七期:Xeon Phi要自我互连,CPU靠边站

戴尔易安信解决方案 2018-04-27

戴尔易安信解决方案

微信号 DellEMC_Enterprise
功能介绍 戴尔易安信解决方案专注于数字化转型中的前沿技术和解决方案,内容涵盖现代化基础架构、云计算、大数据、物联网及AI等,并通过对全球,特别是中国用户的成功实践案例分析和前沿技术解读,助力企业数字化转型,快人一步!
点击"戴尔企业级解决方案"快速订阅
做技术的朋友可能有过类似这样的感觉——每天都会遇到新的问题,或者学到新的知识。然而一个人的时间和精力毕竟有限,不是所有的岗位都能做到总是亲力亲为,每人最擅长的领域也各不相同。为了使工程师自己踩过的坑、那些实用的心得体会也能给大家带来帮助,把经验记录和分享出来就显得尤为可贵,这就是我们开设《工程师笔记》专栏的目的。

Xeon Phi要自我互连,CPU靠边站
在《从260核异构申威看HPC Top500缩影》一文中,我给大家介绍过在最新的超算榜单上为国争光的“神威太湖之光”。而在同一次大会上,Intel也正式发布了代号为Knights Landing的新一代Xeon Phi Processor x200(注意:不再是coprocessor/协处理器了)。

两种Xeon Phi x200:
Omni-Path占用PCIe通道?
我们知道此前的Xeon Phi(至强融核)协处理器家族包括3100、5100和7100系列,都是像GPU那样通过PCIe x16插槽安装在x86服务器上。Xeon Phi x100有板载内存(类似于NVIDIA/AMD的显存),但访问系统主内存就要绕道CPU的内存控制器,从而影响到效率。

而在上图中间的服务器节点里,我们已经看不到传统的Xeon CPU,取而代之的就是“Bootable”(可独立运行)的Xeon Phi Processor。左右两边是两种不同的Xeon Phi x200,其中右边的多伸出一个金手指,整合了Intel Omni-Path Fabric(OPA,又称硅光互连)高速网络。

Xeon Phi 7200系列的核心数有64、68和72三种,主频1.3-1.5GHz,拥有16GB 高带宽MCDRAM片上高速内存(类似于HBM、HCM),并支持最大384GB DDR4内存。Xeon Phi 7200的基础功耗有215W和245W两种,如果是结尾带“F”支持Omni-Path的型号会增加15W Fabric功耗。

这个照片应该是Intel的参考平台,尺寸上大致符合2U 4节点的密度,在Xeon Phi Processor两侧有6个DDR4内存插槽。用红圈标出的部分应该就是将Omni-Path网络引出机箱的连接器件。

至本文截稿之时,官网上我还没找到关于Xeon Phi x200的详细资料,不过早在去年底翻译自国外的新闻中已经有过不错的介绍。

如上图,“Self Boot Socket”的Knights Landing除了DDR4内存控制器之外,还可以提供36个PCIe Gen3 lane,感觉是移植了Xeon CPU的uncore部分设计。不过,提供2个Omni-Path 100Gb/s网口的型号就少了2个PCIe x16,让我觉得这一代产品的片上OPA互连控制器走的还是PCIe?最右边的PCIe插卡形态,去掉了DDR内存通道,能不能不要那个PCH南桥呢?

72核暗藏4个?
回想当年的Atom/P54C集群
Xeon-phi-processor-block-diagram——来自Intel网站

上下两张图可以结合起来看。我数了一下红色Processing Tile的数量是38个,如此则该架构设计应该支持最多76个核心,目前限制在72个可能是为了保证良品率,或者功耗考虑?

根据右边的解释,每个“tile”中有2个Core共享1MB L2 Cache,每个Core支持4线程并包含2个AVX-512矢量单元(浮点计算应该就是靠它来进行的)。Intel还提到了这些Core是基于Atom处理器内核,记得之前还有一种说法是P54C。P54C即当年Intel Pentium 75-166的核心代号,1997年我自己的第一台电脑用的就是奔腾133。

在2011年春季北京IDF上,我曾经看到这套由微服务器厂商SeaMicro打造的高密度系统,展板上介绍在10U机箱内容纳了256个双核Atom,当时负责展台的朋友也提到了P54C。不知大家有没有觉得神威太湖之光的节点布局有点像这个?

我猜测这个系统很早就开始用于预研今天的Xeon Phi Processor,当然此时它还谈不上芯片集成度和成本效益。从照片中看每颗Atom旁边应该都有一颗南桥(当时还不是SoC),内存等可能在PCB背面,4颗印着SeaMicro的芯片估计是用于互连。

不同的AVX Boost频率与整数/浮点
单元配比
撰写上一篇《工程师笔记:一项Xeon E5-2600 v4测试数据的背后》的过程中,在Dell的Solutions Performance Analysis文档中我看到了以上规格表,其中有non-AVX和AVX单元不同的TurboBoost超频频率。让我们放大来看一下:

对于所有核心一起工作时的TurboBoost,non-AVX的频率比AVX要高,而最大(少数核心工作)TurboBoost频率有些型号的CPU也存在差别。

上图来自Intel资料,描述了Xeon E5v4(Broadwell)的一点改进。在此之前如果AVX和non-AVX负载在不同Core上混合运行,只能统一跑在两者中较低的TurboBoost频率上。而在Xeon E5v4上,则运行AVX的Core频率不会降低到其它Core的TurboBoost水平。

我有个理解不知是否准确:由于用途的原因,整数/浮点单元的设计偏重与配比是Xeon Phi Processor与Xeon CPU的重要区别。至于Intel为什么没有进一步像申威26010那样“将MPE(管理单元)减少到4个来搭配256个CPE(计算单元)”?我觉得是考虑到通用性,毕竟Xeon Phi仍属于x86指令集的一个扩展。

服务器平台——SuperMicro
目前正式发布支持Xeon Phi Processor x200服务器产品的公司还不多,其中包括SuperMicro的主板和准系统(就是加个塔式机箱),或许只是先出个通用平台还没有太多特点。

SuperMicro K1SPA/E (-T) 主板示意图,可以看到“巨大”的LGA-3647 CPU插座,据了解下一代Xeon E5可能也会用这个Socket。

上面是SuperMicro这款主板的结构图。涉及PCH 612的部分与传统Xeon服务器并没有明显的不同;除了内存通道之外,从处理器引出的PCIe x16 Gen3插槽也许不再支持拆分成x8或者x4,因为Xeon Phi的定位就是HPC,除了高速网络互连应该啥也不缺了。

Dell PowerEdge C6320p:
可选IB和Omni-Path
戴尔的这款PowerEdge C6320p,可以理解为是在2U 4节点机箱基础上将C6320 Xeon E5计算节点换成了Xeon Phi Processor节点。它比较接近前面我们列出的Intel参考平台,具备计算密度并适合大规模部署。

可能是由于初版资料,规格表中Xeon Phi Processor 72XX不支持的QPI还没来得及修改彻底。C6320p有几种硬盘/闪存支持选项,提供戴尔统一的iDRAC8服务器管理,听说可以直接安装Red Hat企业版Linux,具体注意事项有待后续确认。不过为了发挥AVX-512计算单元的能力,还是需要运行相应的编译好的程序。

关于集成单端口Mellanox ConnectX-4 100GbE网卡这个可选项,为什么不是InfiniBand EDR呢?其实该公司近几年对以太网的支持也不错,可以在同样的硬件上实现两种网络支持,比如EoIB这样的方式。

上图来自戴尔网站,可见这个100Gb网口应该是支持IB的。据了解PowerEdge C6320p也做好了支持Omni-Path的准备,除了现在可以使用Intel Omni-Path Host Fabric Adapter 100 Series PCIe网卡之外,等今年四季度Xeon Phi Processor 72xxF推出之后,像Intel参考平台中那样将Omni-Path引出机箱的连接器件也可以使用。

InfiniBand和Omni-Path谁会胜出?
自从Intel收购了QLogic IB业务和Cray的部分HPC互连技术之后,就开始酝酿着后续的战略。他们认为IB网络的成本在HPC系统中占比过高,在用户投资不变的情况下会影响到Intel CPU等的出货量。不过问题是,Intel到底是想卖CPU送网络呢,还是将CPU卖得更贵?

来自Mellanox的反击大概是这样说的:“Omni-Path缺乏像IB那样的硬件卸载能力,使网络对CPU的占用率提高,变相导致需要买更高端的CPU,而从用户TCO的角度来看反而不划算。”下面是他们给出的一些对比数字。

以上图表仅供参考,因为在Intel的宣传资料中您很可能会看到另外一些不同的测试数字。
True Scale就是当初QLogic的40Gb/s InfiniBand产品线,可以看出100Gb/s的Intel Omni-Path在端口延时、发包速率上的优势。既然是在IB技术上发展而来,Omni-Path可能需要一个成熟的过程,但我不认为有太大的困难。

Intel还列出了交换机方面的一些优势。比如Edge(边缘)交换机48口比IB的36口多,服务器节点可以不通过边缘交换机直连Director(导向器)等。

关于HPC网络方面的最终战局,我觉得要看Intel Omni-Path怎么个卖法。如果未来某一代CPU/Xeon Phi Processor无论你用不用全都集成的话……

不知您看完本文有什么感想,是否有帮助呢?如果您对《工程师笔记》栏目有任何的意见或者建议,都可以在文章下面留言,以便我们将来能够更好地为读者服务。