英特尔® 傲腾™ 持久内存是一款革命性的持久内存产品,补齐了DRAM与磁盘之间的需求缺口,重构内存/存储层次架构,集大容量、经济性和持久性于一身,帮助用户优化数据中心基础设施,满足大数据分析、数据库、云与虚拟化、分布式存储等多种应用场景需求。为了帮助用户通过傲腾持久内存来实现应用创新优化,助力企业业务系统实现性能突破,浪潮发布了基于英特尔® 傲腾™ 持久内存的多种场景方案,本方案是基于英特尔® 傲腾™ 持久内存200系列的Alluxio应用方案。
Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件,主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。
随着数据的多样性和快速增长,数据分析变得越来越复杂并不断改变数据收集、存储、处理和分析的方式。许多企业正在开发新兴解决方案包括机器学习、深度学习、人工智能(AI)以及新的架构等,以便从巨大的数据空间中提取价值。在这些解决方案中,计算和存储分离的体系架构正变得越来越有吸引力,这使得企业能够独立扩展存储容量,以匹配计算的增长率,从而减少成本压力。
Alluxio位于开源的云计算数据编排层,提供各种异构数据源的存储和数据分析计算的应用程序之间的软件解决方案,使数据接近计算以提高关键工作负载的性能。
英特尔®傲腾™持久内存创新性解决方案新增内存扩展方式专为打破服务器内存容量限制而优化,补齐了DRAM内存与磁盘之间的需求缺口,打造高性能、大容量的持久内存层,有助于更加高效地挖掘数据的潜在价值。
图1:英特尔®傲腾™持久内存存储层
英特尔®傲腾™持久内存新一代产品200系列(Barlow Pass,即BPS)基于第三代英特尔®至强®可扩展处理器优化,容量有128GB、256GB和512GB三种。相对于上一代100系列产品,Ice Lake平台单颗CPU容量最大支持到4TB,内存频率提升至3200MT/Sec,单通道平均性能提升25%。
英特尔®傲腾™持久内存200系列具有两种工作模式:内存模式(MM)和App Direct 模式(AD)
内存模式,CPU内存控制器将所有英特尔®傲腾™持久内存视为易失性系统内存(无数据持久性),以更低的成本提供更大的内存容量,无需更改应用,并且性能接近 DRAM。
App Direct模式,能够实现较大内存容量和数据持久性,支持持久内存编程,软件和应用能够直接与英特尔®傲腾™持久内存通信,降低了堆栈的复杂性,并充分利用缓存一致性的字节可寻址特性,将持久内存的使用扩展到本地节点之外;App Direct模式提供一致的低延迟,同时支持更大的数据集。
图2:英特尔®傲腾™持久内存工作模式
本方案使用APP DIRECT /MM模式,利用BPS的数据持久化、高容量、高可用性特性来加速Spark数据经过Alluxio的读取速度,实现以更低的内存成本达到更高的性能。
本次使用DFSIO测试了Alluxio在DRAM和BPS平台下的性能
DRAM |
BPS |
||
测试配置 |
CPU |
2*Icelake 6348 28c 2.60GHz |
|
Memory |
1T(32*32G DDR4) |
256G(16*16G DDR4) |
|
Barlow Pass |
None |
1T(8*128G) App Direct/Memory |
|
Disk Drive |
1*1.8T NVMe SSD 8*1.8TB HDD |
表1:配置对比表
测试结果
图3:DRAM vs BPS DFSIO读测试吞吐量对比图
图4:DRAM/BPS DFSIO读测试耗时对比图
图3、图4是在DFSIO测试模型下,DRAM和BPS的memory/AD 的性能对比图。可以看到,BPS AD模式在高负载下表现出来的吞吐量达到DRAM的2倍,执行时间却只有DRAM的48%,随着负载的增加,BPS的性能显著提高。
在 Alluxio 应用中,使用BPS作为Alluxio cache,不仅性能大幅提升,而且相比于DRAM具有更高的性价比。BPS提供了大容量的内存,能够缓存更多的热点数据,提高读数据缓存命中率。