首页 最新资讯 English >

行业动态

当大数据遇上UCS,性能飙升2.6倍不是问题!

来源于: 思科联天下              日期:2016-9-9

近日,星环科技思科联手在最新款服务器 UCS C240 M4 和 Fabric Interconnect 交换机上进行大数据测试,得到了令人惊喜的最新测试结果:借助于思科性能优异的 UCS M4 服务器和低延迟,高吞吐的网络交换技术,相较于星环原有的系统在 1TB 测试数据集下性能提升了 2.6 倍领先以往所有的历史记录!

先让进行本次测试的星环科技做个自我介绍:

作为国内极少数掌握大数据核心技术的高科技公司,星环科技专注于企业级大数据核心平台数据库的研发与服务, 它的 Transwarp Data Hub (TDH)以其业界最完整的 SQL on Hadoop 支持;独特的对分布式 ACID 数据一致性支持;以及对 SSD 优化提高集群性价比等特点,比肩硅谷同行

 

思科 UCS 服务器大家就很熟悉啦:

思科 UCS 系统方案包含低延时无丢包万兆以太网统一交换网络阵列,以及机架和刀片式企业级 x86 架构服务器。它是一个集成的可扩展平台,在统一的管理域中管理所有资源并对管理域进行统一的资源调配和管理。统一计算系统专为大数据计算优化。

思科 UCS 系列产品和星环大数据解决方案的强强联合,真正做到了为客户带来 1+1>2 的卓越价值!

UCS 碰上大数据,当软件和硬件相遇,二者如何实现性能最大化?

首先试想一下,当你仅有的 4 个节点大数据平台突然间 3 台硬件都坏了,只有一个节点大数据平台还能提供持续服务吗?答案可想而知,这也是为何星环要采用思科 UCS 服务器的原因之一。

 

根据 Google 的统计,在服务器停摆的原因中,很多情况是服务器的一些小电器元件导致的,这种情况下最简单的办法是置换一下、恢复工作。但如果这些置换工作是更换硬件的主板,RAID 卡等元器件,往往会给软件带来影响。思科 UCS 服务器无状态计算功能很好的解决了这个问题,在硬件的维护和升级过程中实现无缝过渡,为集群的业务无间断维护提供支持。在本次测试中,星环科技配合思科联手在最新款服务器 UCS C240 M4 Fabric Interconnect 交换机上做了一个实践来规避这个技术难题,提升用户的可用性。

 

 

具体操作流程如下

 

当思科的 UCS 服务器出现硬件损坏,用户只要更换一台服务器(也可以更新其中受损的元器件),把原有的硬盘插拔下来插上新服务器,系统起来后用户会发现一切如常。之所以可以实现如此神奇的效果应归功于思科 UCS 服务器无状态特性的充分运用。

   

思科 UCS 基础架构拓扑

思科 USC 通过 Unified Fabric 实现服务器的无状态化,业务和应用对底层的硬件升级实现无感知化。这些关键信息存储在交换机上,通过软件设置可以把这些Linux需要认知的设置从一台服务器漂移到另一台服务器上,软件可以实现无感知!

如图所示,试验会把红框中的所有硬盘做对换。

 

                                  更换完硬盘后服务器 1 2 状态,如图正常启动

思科 UCS Manager 中的 service profile 漂移功能可以为用户提供服务或应用配置保持一致的功能,不但数据在硬件配置改变后完全可用,连操作系统也可以在硬件的变更后完全无感知。一切运行都正常如初。

 

为了提升整体性能测试时思科和星环科技又进行了哪些优化呢?

1.此次测试用的服务器集成了 12 块 SAS 7.2KRPM 2T 磁盘一块 1.6T SSD 的配置(2 块硬盘做了 RAID1 安装 OS,未作为数据存储)。SSD 高速闪存盘结合星环科技独有的 holodesk 技术,极大地减少了 hadoop 中 shuffle 时间,提升了性能;此外每个节点上的数据也利用星环优化的分布式算法,不但对节点间的数据做了分散存储,而且单节点各磁盘间也做了分散存储,最大程度上减少了磁盘突读写瓶颈的发生几率。

2.思科 VIC1227 网卡多队列助力:思科 VIC1227 作为一块 CNA 的网卡,在底层是通过虚拟化实现一卡多用、带宽动态隔离的效果,同时还支持多队列属性。思科 UCS 在保证硬件兼容性和宽容度的同时,又保证了池化资源配置的灵活性,并由此提供了卓越的表现。

通过这次实践我们发现:

·         思科 UCS 设备以其先进、灵活、高效、无状态化的特性在与以星环为代表的大数据一站式平台软件的合作实践中成绩优异。

·         与同类、同配置的服务器相比,思科 UCS 有更好的性能表现。

·         同时 UCS 方便的硬件资源池化管理理念,也很大程度上简化了用户维护庞大的分布式大数据集群复杂度,降低其运维成本和综合成本。

 

注:

性能测试结果可能仅体现在思科 UCS 和 x86 通用服务器上,其中使用的软件和工作负荷进行了相应的性能优化。不同的硬件系统和软件平台的任何更改可能导致不同的结果。

 

返回