工作负载就绪 | Dell Fluid FS 集群NAS系统在4K非编环境的卓越表现

戴尔易安信解决方案2016-04-27

戴尔易安信解决方案

微信号DellEMC_Enterprise
功能介绍 戴尔易安信解决方案专注于数字化转型中的前沿技术和解决方案，内容涵盖现代化基础架构、云计算、大数据、物联网及AI等，并通过对全球，特别是中国用户的成功实践案例分析和前沿技术解读，助力企业数字化转型，快人一步！
点击“戴尔企业级解决方案”快速订阅


导语
2015年的中国电影市场，暑期档的国产动漫《西游记之大圣归来》，一举成为内地影史到目前为止票房最高的动漫。随着数字化时代的到来，非线性编辑成为快速编辑海量视频素材的主要方式， Dell Fluid FS存储系统在此领域的上佳表现，已为广电行业的众多客户带来了卓越的制作体验。
2015年的中国电影市场，国内动漫一支独秀，特别是暑期档的国产动漫《西游记之大圣归来》，上映62天，票房达到9.56亿，成为内地影史到目前为止票房最高的动漫。银幕上活灵活现的动画人物 ，流畅的场景呈现，都是由后端一系列数字技术来支撑的，其中最为关键的是非线性编辑技术，它将视频剪辑、复杂特效、字幕完美地融合到原始视频素材。

一个时长90分钟的动漫，多种多样的视频素材总容量可达到几十、上百TB，要对其进行快速编辑，当然需要一个高性能的数字平台；此外，要生成最后的可播放版本拷贝，还需要有安全的保护。从粗剪直到最后一个剪辑版本出来，会有多个版本共存，也必须有相当的空间来存放，因此，这个平台应有很好的容量扩展性。最后，这个数字支撑平台在制作项目结束之后，还要继续为下一个项目服务，所以对前一个项目需要有归档功能，这也关系到整个数字工厂的生命管理周期。

随着数字化时代的到来，可以基于素材的任意时间点实现剪切、复制、粘贴，甚至实现诸多特效处理等，因此，非线性编辑的便捷与高效使其成为视频编辑的主要方式。由此可见，选择一个合适的数字支撑平台满足非线性编辑业务的需求是至关重要的。

所以，接下来我们从几个方面来体验戴尔流动文件平台架构Fluid FS如何高效满足上述需求。
堪比金箍棒的高性能平台
对于非线性编辑来说，若一个制作项目能从原来十天的工作量缩减到五天，甚至一天，毫无疑问对于产品的上线排期，院线赶档期以及产品的变更都是非常实际的事情，也必将带来更多的收入；

就如同孙大圣的金箍棒需要应对不同的环境，有时变作绣花针，有时则要成为定海神针。对于非线性编辑技术来讲，一般要编辑的对象都是大文件，但有时候也会处理一些小文件，所以这个数字支撑平台需要对大文件和小文件实现同样的优化性能——这对于传统的NAS文件系统是难以实现的。而戴尔流动文件平台架构Fluid FS如同金箍棒一般，可伸可缩，能够自如对小如4K文件和大到数个TB的大文件分别进行优化。

相对于其他友商的NAS文件系统不区别地将所有的文件都按元数据inode和数据data分开管理，戴尔Fluid FS则将 小于4KB都存储在inodes中，无需另写入data数据空间中。而对于每个大文件，所有的数据都被分布到后端存储所有可用的LUN上 ,且以1MB chunks方式进行。新数据的写入是基于可用的空闲空间以及LUN的聚合性，以达到在可用的LUN之间平衡分布，从而实现优化性能。除此之外，戴尔Fluid FS还通过提供单独的智能读写cache调整对读写IO同时进行优化，从而达到性能的最大化。
性能与容量的线性扩展
戴尔流动文件平台架构Fulid FS提供了一种横向扩展的存储系统架构，并结合后端的流动存储实现灵活的横向和纵向扩展一体化的架构，从而实现一个真正原生的统一命名空间。

目前广电行业非线编系统的后端存储容量基本是PB级的，要求高效灵活的扩展性。Dell Fluid FS存储系统是基于横向扩展架构，通过前端Fluid FS控制节点与后端SAN存储系统的在线横向扩展支持高性能海量级存储要求。

从容量上讲好像也挺简单的，不就是一堆磁盘垒上去吗？那我们就需要提到＂命名空间＂的概念了，对于客户端来说，一个命名空间用起来就像是一个文件系统。简单举例，一般大家用PC遇到容量空间不够的情况，就直接买硬盘加上去，然后在系统中会看到多了个设备，然后格式化形成一个新的D盘。

对于传统的命名空间而言，当Dell Fluid FS发现存放在Ｃ盘的文件如果需要转放到Ｄ盘，需要剪切操作，意味着需要时间，需要磁盘与CPU的性能消耗——在这我们可以理解为Ｃ盘与Ｄ盘不是在同一个命名空间中，是两个独立的文件系统，尽管容量增加了，但实际上操作也复杂了。联想到非线编应用涉及众多素材文件，如果处于不同的文件系统或命名空间，编辑操作该是多麻烦的事啊！

Dell Fluid FS存储系统，基于存储资源池的概念，可真正实现文件系统在线横向扩展。

案例A
当用户无空闲存储空间时，
需要增加额外的存储空间
● 磁盘加入后仅对FS3起作用，扩展其容量，但无法使其它文件系统受益 
● 即使FS3仍有空闲空间情况下，FS1、FS2无法进行利用
● 当FS3容量受限于文件系统的最大容量，则无法解决

● 磁盘加入后，扩展整个存储资源池容量，真正实现文件系统在线扩展 
● Fluid FS可以智能地利用新加入的磁盘为整个文件系统提供性能提升

实例B
当用户需要将一个视频文件
移动到另一文件系统中
● 在命名空间内，”COPY”有可能会跨不同的文件系统，造成不可预期的情况，可能导致IO增加，性能严重下降等

● 在Fluid FS单一文件系统下，”COPY”是非常简单易操作的，无关乎文件大小，仅是指针重定向操作

非线编应用在编辑过程中需要进行大量的数据读写操作，所以必须要求存储系统能提供强大的性能支持，并且具有良好的性能提升空间。Dell Fluid FS 存储系统基于横向架构，能够有效、完满地达到非线编应用的要求。 

从以下两图可看到Dell Fluid FS 系统可以通过前端控制器和后端磁盘的增加，达到性能线性增长的效果：

数据生命周期管理
Ａ．数据智能化分层管理
非线编应用涉及海量级数据，视频制作出来后不仅仅作为成品，同样可能成为其它作品的素材，比如我们常常看到的影视改编作品或高清转码等，所以要求存储系统具有数据生命周期管理的特性。Dell Fluid FS存储系统的智能化数据分层管理，有效支持非线编系统的海量数据管理，有效提升热点数据的读写访问性能，并提供冷数据的低成本大容量存储。分层特性基于数据块级别，由存储系统自动化管理，无需人为干预，实现智能化。

Ｂ．持续性数据保护
非线编应用的海量数据特性注定了数据保护是必要的，编辑人员在非线编过程中所花费的时间和精力是无法估值的，可以想象一个误删除所带来的难以估量的成本。 Dell Fluid FS存储系统提供的快照功能可以有效地实现数据保护，其快照技术采用直接写方式，仅保存数据改变量，无性能影响。基于数据卷的快照功能，方便易用，可通过Open、Copy、Restore三种方式实现数据恢复：OPEN可以将快照数据以文件夹方式打开，可以选取需要恢复的文件进行数据恢复；COPY可以将快照中数据COPY到本地或其他目录中，不影响现有目录的数据；Restore是将快照中数据以完全覆盖的方式恢复到目录中。用户可以直接操作，不需要IT管理员干预，管理更为简单高效。

Dell Fluid FS存储系统支持NDMP协议，可与主流备份软件结合，实现数据直接备份到外部存储介质，达到数据离线保护的目的。

当然Dell Fluid FS存储系统还提供远程数据保护、用户认证、文件权限管理等，充分满足多个非线编项目组的并发工作需求。

客户案例
以上海广电行业知名企业为例，随着4K电视技术（16:9屏幕分辩率3840*2160）的发展，作为国内领先的IPTV新媒体视听业务运营商、服务商，客户需要发展对4K节目支持。相比通常的2K或高清节目，大家都知道一个1080高清的视频大概40GB，那么4K的视频就应该有150GB以上，上百兆的码流都是小意思，因此4K节目意味着需要更大的容量，更高性能的硬件平台支撑。

戴尔团队积极响应客户需求，以客户的非线编应用需求为基础，提供了相应测试方案及硬件测试平台。按4K非线编应用生产系统需求，要求后端存储系统需要至少支持1PB以上容量，平均1GB以上的稳定读写带宽。

基于Redhat和Windows平台，采用每个进程20GB测试数据，运行iozone测试命令模拟读写。测试结果如下，数据均完全满足客户的非线编应用需求。

Redhat平台

Windows平台

需要补充说明的是，这次测试的Dell Fluid FS系统为原旧有V3版本，现升级版本已到V5，单是系统缓存就已经达到96GB，是原有的两倍，性能显著提升，而且只需通过简单的在线升级即可实现，无需附加任何许可费用，更好地保护客户IT投资。

综上所述，Dell Fluid FS存储系统在非线编应用中有着上佳表现，在广电行业内，已有众多客户正在体验Dell Fluid FS存储系统所带来的卓越制作体验。