案例分析：浪潮助力语音云分析能力

时间：2022-03-28 22:03:01 | 来源：行业动态

时间：2022-03-28 22:03:01 来源：行业动态

随着大数据的技术的逐渐成熟已经数据量的爆发，使得数据分析显得更为重要，互联网用户需要强大的计算性能。作为英特尔的重要战略合作伙伴，浪潮为用户针对互联网、IDC（Internet Data Center）、云计算、企业市场以及电信业务应用等需求，基于全新一代英特尔至强可扩展处理器设计了一款2U 2路机架服务器NF5280M5服务器。该产品满足更多业务对网络带宽、高计算性能、大内存容量的要求，同时对密度和计算性能有较高需求并对存储有一定要求的客户提供了很好的解决方案。

与全新一代英特尔至强可扩展处理器CascadeLake一同上市的英特尔傲腾数据中心级持久内存，可能会很好的解决这个问题，傲腾内存的单设备最大容量达到512GB ，远超DRAM内存的128GB，这使得其可以将系统内存最大扩展至6TB（不包括系统自身内存）。而且，傲腾内存的单位容量价格要远低于DRAM内存，这些特性支持企业在数据中心部署更大、更经济的数据集，在大型内存池中获得新的洞察。

为了解决语音云在Spark SQL数据分析过程中面临的痛点，该公司采用浪潮NF5280M5与傲腾内存，并辅以英特尔OAP软件优化分析包。OAP旨在为Spark SQL加速Ad-hoc查询。OAP定义了一种新的类Parquet文件列数据存储格式，可以在内存以及傲腾内存中以Fiber为单位提供细粒度的分层缓存机制。更重要的，OAP扩展了Spark SQL DDL，允许用户根据关系定义自定义索引。OAP通过将数据缓存到Executor的堆外内存（傲腾内存）中，加速Ad-hoc。

为了验证傲腾内存在该公司语音云数据分析中的使用效果，我们在实际的方案部署中，选用了浪潮5280M5与傲腾内存的强强组合，分别测试基于傲腾内存/DRAM内存两种配置下的性能对比。我们部署了5台浪潮NF5280M5服务器，其中1台用于Spark的Master节点，另外4台用于Spark的worker节点，每个worker节点部署4根128GB傲腾内存。部署架构如下：

TPC-DS是TPC（事务处理性能委员会）组织发布的一套决策支持系统的性能测试基准，这个基准用于评估服务器的性能。TPC-DS包含一套零售行业的数据模型，采用星型、雪花型等多维数据模型。包含7张事实表，17张维度表，以及99个标准SQL测试案例，每个测试案例几乎都有很高的IO负载或者CPU计算负载，是专门用于评测数据仓库、大数据分析等OLAP系统的基准测试工具之一。该测试集包含了针对大数据集的数据统计、报表生成、联机查询、数据挖掘等复杂的应用，测试数据与真实的商业数据高度相似，可以说TPC-DS是与真实场景非常接近的性能测试基准数据集。目前TPC-DS已经通过了最大100TB数据集规模的性能基准测试。

因此我们选用了TPC-DS大数据基准测试工具，采用了3.5TB的测试数据集，并精选了TPC-DS基准测试工具中与该公司业务场景类似的9个IO密集型SQL测试案例进行评测。测试中浪潮与Intel的工程师在硬件和软件层面进行了大量的优化工作，包括BIOS、操作系统内核、Spark参数的优化；同时Intel工程师针对该公司的实际需求，对OAP软件进行了进一步的优化，以提升Spark在大容量的Parquet文件上创建索引的效率。

从上图中我们看到有两组结果的对比，其实是在我们的测试中进行了两轮测试。第一轮测试模拟DRAM内存和傲腾内存没有缓存任何数据的情况。第二轮测试模拟傲腾内存已经缓存了全部的数据，而DRAM内存因为容量有限只缓存了部分数据的情况。第一轮测试中，因为傲腾内存提供了更大的缓存池，性能有了6倍的提升，在第二轮测试中性能提升更加明显，傲腾内存表现出了17.7X的性能提升（=3452.6/194.28）。
收益分析：

毫无疑问，在浪潮NF5280M5服务器和傲腾内存的共同作用下，内存分析技术无疑给企业和云服务厂商带来了一系列的优势。首先傲腾内存具有大容量、低成本、和持久性存储的特点，可以为企业和云服务厂商降低IT成本、简化基础设施、延长系统和应用的运行时间；同时傲腾内存更靠近CPU，可以与CPU通过内存通道直接进行数据交互，具有高达6.8GB/s的IO带宽和1us的延时。更重要的是傲腾内存具有超高的随机读写能力，使用傲腾内存用于缓存加速，可以为企业带来巨大的性能提升，帮助企业更快速地获得实时洞察，从而帮助企业创造新的机会，以推动和增强服务的交付能力。