英伟达软件消除了HPC瓶颈

新的Magnum IO软件为数据科学家和AI研究人员提供了20倍的加速

新的Magnum IO软件为数据科学家和AI研究人员提供了20倍的加速

英伟达新的Magnum IO软件套件可帮助数据科学家以及AI和HPC研究人员处理海量数据,速度比以前快20倍。 Magnum IO可以在任何支持NVIDIA的系统上运行,包括此处所示的DGX SuperPOD。图片由NVIDIA提供。


在上周’NVIDIA在SC19大会上宣布 英伟达 Magnum IO,这是一套软件,可帮助数据科学家,人工智能和高性能计算(HPC)研究人员在数分钟而不是数小时内处理大量数据。

Magnum IO经过优化以消除存储和输入/输出瓶颈,在与海量数据集一起执行复杂的财务分析,气候建模和其他HPC工作负载时,可为多服务器,多GPU计算节点提供高达20倍的数据处理速度。

英伟达与网络和存储领域的行业领导者密切合作开发了Magnum IO,其中包括DataDirect Networks,Excelero,IBM,Mellanox和WekaIO。

“处理大量收集或模拟的数据是AI等数据驱动型科学的核心,”NVIDIA创始人兼首席执行官黄仁勋表示。“随着数据规模和速度呈指数增长,处理数据已成为数据中心之一’巨大的挑战和成本。

“极限计算需要极限I / O。 Magnum IO通过将革命性的计算NVIDIA GPU加速引入I / O和存储来实现这一点。现在,人工智能研究人员和数据科学家可以停止等待数据,而专注于自己的生活’s work,” he added.

Magnum IO利用GPUDirect,GPUDirect为数据提供了一条绕过CPU并继续运行的路径“open highways”根据NVIDIA的说法,它由GPU,存储和网络设备提供。兼容各种通信互连和API—包括NVIDIA NVLink和NCCL,以及OpenMPI和UCX—GPUDirect由对等和RDMA元素组成。

它的最新元素是GPUDirect Storage,它使研究人员能够在访问存储时绕过CPU,并快速访问数据文件以进行仿真,分析或可视化。

英伟达 Magnum IO软件现已上市,GPUDirect Storage除外,GPUDirect Storage目前可供选择早期访问客户。该公司表示,计划在2020年上半年发布更广泛的GPUDirect Storage。

GPU加速的Arm服务器

英伟达还宣布了一个新的参考设计平台,该平台使公司能够快速构建GPU加速 基于Arm的服务器.

根据NVIDIA的说法,该平台—由硬件和软件构建块组成—这是对HPC社区不断增长的需求的回应,这些需求要求能够利用更广泛的CPU架构。它允许超级计算中心,超大规模云运营商和企业结合NVIDIA的优势’的加速计算平台和最新的基于Arm的服务器平台。

为了构建参考平台,NVIDIA与Arm及其生态系统合作伙伴合作—包括安培,富士通和Marvell—以确保NVIDIA GPU可以与基于Arm的处理器无缝协作。该参考平台还得益于与Hewlett Packard Enterprise公司的Cray和两家早期基于Arm的服务器提供商HPE的密切合作。此外,许多HPC软件公司已使用 英伟达 CUDA-X库 构建可在基于Arm的服务器上运行的,启用GPU的管理和监视工具。

“高性能计算正在复兴,” Huang said. “机器学习和AI的突破正在重新定义科学方法,并为新架构带来令人兴奋的机会。将NVIDIA GPU武装起来为创新者打开了闸门,为创建从超大规模云到百亿亿次超级计算等新应用的系统创建系统。”

与更广泛的HPC生态系统合作

除了使自己的软件与Arm兼容之外,NVIDIA还与其广泛的开发者生态系统紧密合作,将GPU加速带入ARM的HPC应用程序,例如GROMACS,LAMMPS,MILC,NAMD,Quantum Espresso和Relion。 NVIDIA及其HPC应用程序生态系统合作伙伴已编译了广泛的代码,以将GPU加速带入Arm平台上的应用程序。

为了实现Arm生态系统,NVIDIA与领先的Linux发行商Canonical,Red Hat,Inc.和SUSE以及整个行业合作’重要HPC工具的领先提供商。

领先的超级计算中心已经开始测试GPU加速的基于Arm的计算系统。其中包括美国的橡树岭和桑迪亚国家实验室;英国布里斯托大学;和日本的理研

英伟达的更多报道

Share This Article

订阅我们的免费杂志, 免费的电子邮件通讯或两者兼而有之!

加入超过90,000名工程专业人员的行列,他们将在新闻发布后立即获得最新的工程新闻。


About the Author

德编辑器的头像
德编辑

德’的编辑将新闻和新产品公告发布到 数字工程.
新闻稿可能通过以下方式发送给他们 [电子邮件 protected].

Follow DE
#23381