基于英特尔® 傲腾™ 持久内存100系列的Memcached方案实践—AD模式

　　英特尔® 傲腾™ 持久内存是Intel在2019年发布的一款革命性的产品，英特尔® 傲腾™ 持久内存是一种全新的内存类型，其架构设计旨在从数据中心中汲取更多价值，重构数据中心内存/存储层次结构。不同于传统的DRAM，英特尔® 傲腾™ 持久内存集大容量、经济性和持久性于一身，能够支持数据中心多个应用场景。浪潮基于英特尔® 傲腾™ 持久内存做了大量的应用场景解决方案，覆盖大数据分析、数据库、云与虚拟化、分布式存储等应用场景。为了帮助用户通过更加灵活的架构来实现创新型的应用，助力企业实现性能突破，浪潮发布了基于英特尔® 傲腾™ 持久内存技术的Memcached应用方案。

　　Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。它是一个内存key/value存储，用于存储来自数据库调用、API调用或页面渲染的任意小数据块（字符串，对象）。Memcached简单但功能强大。 其简单的设计可促进快速部署，易于开发，并解决了大型数据缓存面临的许多问题。 它的API适用于大多数流行语言。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。为了帮助企业化解因为数据快速增长所出现的 Memcached性能和容量瓶颈，浪潮进行了基于英特尔® 傲腾技术的 Memcached性能优化实践，通过将英特尔® 傲腾™持久内存作为Memcached缓存，相比于传统的 DRAM 内存方案，在保证了高性能的前提下，大幅增大了数据容量，实现了更高的成本效益。

　　Memcached是一种依靠DRAM来满足其性能保证的key/value高速缓存服务。虽然被广泛应用，但是性能很大程度上受限于DRAM容量。 对于TB级数据集，数据不能全部被DRAM缓存而产生数据驱逐，从而引起高I/O延迟，导致性能下降，同时由于缓存有限，Memcached会出现性能不稳定的情况。

　　由于Memcached应对的是超大规模数据集的存储需求，因此数据吞吐性能的重要性不言而喻。要提升 Memcached数据吞吐性能，可以从优化内存规划、参数调优等多个方面进行。但是，要想在控制总体拥有成本（TCO）的前提下，对Memcached集群内存进行最优规划并不是一件容易的事情。首先，Memcached集群需要的内存容量是海量且不断扩展的，而每一个存储节点的内存插槽数量、支持内存容量等条件却极大限制了其扩展性，在内存容量增长到一定程度后就会出现瓶颈。如果要进一步对于内存容量进行扩展，企业在传统上一般会采取两种方法，第一种是使用大容量的单条内存，第二种方法是扩展 Memcached存储节点。

　　但是，这两种方法都不具备良好的成本效益。对于前者来说，虽然很多 Memcached存储节点支持的单条内存容量理论上限是128GB，但是这种大容量的内存普遍处于验证阶段，可获得性不足，而且价格的提升远高于其容量的提升，会带来很高的成本压力；对于后者来说，扩展 Memcached节点固然能够提升内存池的容量，但是这些存储节点的采购、空间占用、运维、供电无疑也会显著抬升成本。

　　因此，如何打破现有存储架构的限制，寻找一种创新的线上 Memcached集群内存扩容方法，在显著提升 Memcached性能的同时有效控制成本，也就显得至关重要。

　　利用英特尔® 傲腾™ 持久内存技术优化内存结构

　　为了解决此问题，浪潮工程师团队对于 Memcached内存结构进行了分析。为了减轻内存资源的压力，持久性内存（PM）被称为存储类内存（SCM）在业界出现，非易失性存储器模块和持久性存储器有望成为数据中心计算的下一个重要事物。 凭借高存储密度和类似DRAM的性能，全新的算法和系统架构是可能的。 这对于Memcached非常重要。它不仅可以为 Memcached提供大容量缓存，摆脱单节点内存大小的限制，同时还能有效降低成本。

　　要将存储介质从内存更换为高性能固态盘，一个重要的条件就是固态盘在IOPS、时延方面与内存不能有太大的差距。在方案验证的过程中浪潮发现，英特尔® 傲腾™ 持久内存位于内存和存储介质之间（如图1），能够填补两者间的性能和时延差距，对存储层次模型进行重新划分和定义。因此，浪潮决定使用英特尔® 傲腾™ 持久内存作为 Memcached的缓存，并进行性能、成本等方面的验证。

　　

　　图1

　　英特尔® 傲腾™ 持久内存是一种全新的内存类型，不同于传统的DRAM，其集大容量、经济性和持久性于一身，读写带宽比NVME设备高数倍，并大幅降低延时问题。由于写入方式不同，英特尔® 傲腾™ 持久内存也比Flash NAND更耐用，并通过高达512GB的单模块容量，实现了远超传统 DRAM 的系统内存容量。其从根本上改变了数据中心的弹性，将内存数据库重启时间从以前的几天、几小时缩短到现在的几分钟甚至几秒钟，并提供经济实惠的内存空间，将系统内存容量扩展到前所未有的水平。

　　英特尔® 傲腾™ 持久内存拥有两种特殊的运行模式——App Direct 模式和内存模式。具体来看，采用App Direct 模式，经过专门调试的应用程序可以从产品固有的持久性中充分获取价值，同时获得更大的容量；在内存模式下，在受支持的操作系统或虚拟环境中运行的应用程序可将该产品用于易失性存储，在无需重写软件的情况下，有效利用高达512GB的内存模块带来的附加系统容量，在大型内存池中获得新的洞察。

　　在实际的方案部署中，浪潮使用了英特尔® 至强® 第二代可扩展处理器与英特尔® 傲腾™ 持久内存组成强强组合，代替Memcached中DRAM缓存（如图2），改善 Memcached集群内存规划，以支撑数据库、内存分析和内容分发网络等关键数据工作负载，加速动态Web应用程序等。

　　

　　图2

　　方案验证：英特尔® 傲腾™ 持久内存性能优势显著

　　为了测试英特尔® 傲腾™ 持久内存作为Memcached缓存的性能，浪潮决定分别测试基于英特尔® 傲腾™ 持久内存/ DRAM 内存两种配置下的性能对比。

　　在实际测试中，浪潮将英特尔® 傲腾™ 持久内存设置为 App Direct运行模式，并依据以下硬件配置来搭建了测试方案（如表1）。在至关重要的存储方面，英特尔® 傲腾™ 持久内存方案中每个数据节点使用192（12*16GB）的DRAM，并使用1.5TB(12*128GB)的英特尔® 傲腾™ 持久内存作为Memcached的缓存设备；DRAM方案中使用768GB(24*32GB)内存作为Memcached的缓存设备。

　　

　　表1

　　本次实验进行了多种读写比例测试，从测试结果可以看出（吞吐量结果如图3、平均延时结果如图4），英特尔® 傲腾™ 持久内存方案可以容纳远超于DRAM方案的数据容量，同时性能表现相当出色。在吞吐量方面两种方案性能相当，个别场景英特尔® 傲腾™ 持久内存方案甚至优于DRAM方案。在平均延时方面，两种方案都能保持在1ms之内，而且英特尔® 傲腾™ 持久内存方案延时明显优于DRAM方案。

　　

　　图3

　　

　　图4

　　效果：大幅改善Memcached性能与成本表现

　　从测试结果可以看出，通过将Memcached的缓存由传统的 DRAM 内存替换为英特尔® 傲腾™ 持久内存，可以在保证DRAM方案性能，甚至优于DRAM方案性能的情况下，成倍提升数据容量。之所以会有如此显著的提升效果，很大程度上是因为英特尔® 傲腾™ 持久内存支持的总容量远高于DRAM内存，能够缓存Memcached所有的工作集，而没有缓存驱逐。尤为重要的是，英特尔® 傲腾™ 持久内存方案比DRAM方案数据容量可以增加接近1倍，换言之，如果企业在需要保证性能的情况下想增大数据容量，那么使用英特尔® 傲腾™ 持久内存将带来极大的成本节约，降低TCO。