作为Intel的重要战略合作伙伴,在Intel推出基于Purley平台的新一代有着更强计算性能以及更好用户体验支持的至强®可扩展处理器后,浪潮同步推出基于Intel Purley平台的新一代服务器NF5280M5。为了证实双方产品的互操作性以及方案的先进性,浪潮和Intel共同开发了浪潮NF5280M5基于BigDL的英特尔® 精选解决方案。
英特尔® 精选解决方案是一系列经过验证的硬件与软件堆栈,针对特定的软件工作负载进行了计算、存储和网络方面的优化将工作负载优化提升至全新高度,可以充分利用英特尔®至强®可扩展处理器平台的新一代技术性能优势。这些解决方案的开发源于英特尔与包括浪潮在内的行业解决方案提供商的深入合作,以及与全球先进数据中心和服务提供商的广泛协作。
作为Intel的重要战略合作伙伴,在Intel推出基于Purley平台的新一代有着更强计算性能以及更好用户体验支持的至强®可扩展处理器后,浪潮同步推出基于Intel Purley平台的新一代服务器NF5280M5。为了证实双方产品的互操作性以及方案的先进性,浪潮和Intel共同开发了浪潮NF5280M5基于BigDL的英特尔® 精选解决方案。
BigDL是由Intel开源的一款面向Spark的分布式深度学习库,在现有的 Spark、Hadoop集群上直接运行。将深度学习应用编写为 Scala 或 Python 程序。
浪潮NF5280M5 服务器是浪潮为公司针对互联网、IDC(Internet Data Center)、云计算、企业市场以及电信业务应用等需求,基于全新一代Intel® 至强® 可扩展处理器设计的一款 2U 2 路机架服务器。该产品满足更多业务对高网络带宽、高计算性能、大内存容量的要求,同时对密度和计算性能有较高并对存储有一定要求的客户提供了很好的解决方案。
浪潮NF5280M5 基于BigDL的英特尔® 精选解决方案中,选择浪潮基于Intel® 至强® 可扩展处理器的新一代服务器NF5280M5,性能较优,同时提供一个稳定高效的硬件基础。
Inspur BigDL方案:
Inspur BigDL网络拓扑:
Inspur BigDL配置:
BigDL测试结果:
inception V1模型训练过程中平均吞吐量(448.9 images/sec)和Top5准确度(87.6%),两项性能指标均超过英特尔® 精选解决方案的认证指标375 images/sec、85%,通过了认证。
安装配置手册下载:
具有丰富的深度学习支持:BigDL模仿Torch,为深度学习提供综合支持,包括数值计算(借助Tensor)和高级神经网络;此外,用户可以将预训练Caffe或Torch模型加载至Spark框架,并使用 BigDL库在数据中运行推断应用。
具有高效的横向扩展:利用Spark,BigDL能够在 Spark 中高效地横向扩展,处理大数据规模的数据分析,高效实施随机梯度下降 (SGD),以及进行 all-reduce 通信。
具有极高的性能:为了实现较高的性能,BigDL在每个Spark任务中采用英特尔数学核心函数库(MKL)和多线程编程。因此,相比现成的开源 Caffe、Torch 或 TensorFlow,BigDL在单节点英特尔至强处理器上的运行速度高出多个数量级(与主流图形处理单元相当)。