为小型工程团队创建计算机集群

一个小型工程房屋可以建立(并维护)一个有效的计算机集群吗?

一个小型工程房屋可以建立(并维护)一个有效的计算机集群吗?

由Peter Varhol.

大多数工程师都清楚地了解计算多种工程工作计算集群的性能优势。任何可以分为大量小的计算问题,但独立的计算都有可能被大多数集群上可用的许多处理器核心显着加速。这包括关于任何类型的模拟,以及标准分析,如计算流体动力学(CFD)和有限元分析(FEA)。

IBM.集群
计算群集,例如来自IBM的群集,具有革命性的设计
通过超速分析和模拟来工程。

相比之下,大多数设计实践本质上是连续的,并且只能一次使用一个核心。它 ’值得注意的是要注意这些应用程序的任何软件都必须专门编写,以使这些计算无关。若干领先的工程分析供应商,如ANSYS,为多核系统提供了他们的软件。

尽管有这些限制,但是对于大部分工程计算,集群已成为最先进的技术。几乎所有500强超级计算机采用某种形式的集群技术。但成本和复杂性仍然可以将技术放在小工程群体的范围之外。

比听起来更复杂

实际上利用群集’乍一看,S显着的好处比似乎更困难。从头开始构建,集群可以在技术上难以购买,配置和管理。处理器和处理器核心,缓存,系统内存和互连的组合高度依赖于彼此—并且实际的工作类型。

此外,管理群集涉及加载和管理作业,观看计算趋势,以适当地为特定类型的作业分配资源,并确保作业适当地排队,以便沿着群集进行打开。如果你弄错了,你最好’没有优化您对群集的使用。在最糟糕的情况下,这意味着在第一位置浪费大部分时间和获得群集的费用。

简单地接近该过程的工程组“buying multiple PCs”很可能低估了从群集中获得高度性能所需的规划和计算技能的量。可能是互连的最大误解。只需对处理器核心执行计算只是等式的一部分。因为必须在群集中的系统之间快速移动数据,所以传输速度可以制作或打破过程。

群集计算的道路

没有时间,资金和技能从头开始,有几种明显不同的方法。可能最简单的是由英特尔,惠普和虚拟化供应商平行等人的技术组合提供。使用Parallels.’极端工作站,工程师可以创建跨越多个工作站的虚拟机,打开可能大量的核心和存储器的存储量,以便投入群集。

这里聚集的关键是旁边,其分离处理器核心,内存和磁盘空间以供群集作业使用。对于高性能计算(HPC),极端工作站实现英特尔’S直接虚拟I / O(VT-D)技术,它提供了通过软件非常快速地访问工作站I / O的手段。由于群集计算的最大瓶颈通常是从一个位置移动代码和数据到群集中的另一个位置,所以I / O的改进是成功聚类操作的重要关键。

这种群集是用高端的单用户工作站构建的,该工作站划分交互式工程用户和群集作业之间的计算资源。分析更大项目的个体部分或运行Monte Carlo模拟以进行敏感性分析,这可能是有用的。其主要福利是这些类型的工作的快速转变。工程师可以在继续设计工作的同时进行分析,并立即获得结果以查看某些设计特征。此反馈可以集成回设计而不等待要安排的传统集群或大型机作业。

对于那些想要自定义群集的人来说,英特尔设计了一个名为Intel Cluster的程序,就绪,其中硬件和软件供应商已经完成了大部分测试和工程工作。实际上,英特尔发布了一套关于系统架构,内存,数据总线,互连甚至软件彼此交互的规范。

英特尔 Cluster的一部分就绪是英特尔群集检查器,一个集群诊断工具,有助于为Don的较小商店制作HPC集群’T有很多经验管理集群。群集检查有两个主要组件。首先,软件供应商已经确定了代表性工作负载,并使用Intel Cluster Checker,以确认其应用程序在英特尔群集就绪系统上成功运行。

其次,一旦群集安装和配置,管理员可以定期运行,以增强系统可靠性并确保最佳性能。它评估固件,内核,存储和网络设置,并在持续的基础上进行节点和网络性能的高级测试。虽然所用基准与个人工作性能之间的实际关系可以广泛变化,但它们确实提供了可用效率水平的最佳指示。

如果你不’T.多个硬件供应商携带DO-IT AFF的方法,提供预先包装的群集解决方案,包括硬件和管理软件,以便于转换到群集计算。这些系统往往是直接的设置,配置和开始使用。在许多情况下,供应商或系统集成商将通过初始设置,配置和管理流程步行。

boxx technologies渲染boxx
来自Boxx等供应商的群集可以相对容易地设置
执行诸如渲染等专门任务。

认可 Xtreme-X超级计算机是由单个供应商设计和测试的群集的一个示例,将必要的组件集成到打包解决方案中。高端版本的高端版本高于前500个超级计算机列表。 Appro Xtreme-X集群的一个显着价值是它提供了几种不同的配置,专为不同类型的工作量而设计,包括容量计算,混合计算和数据密集型计算。

认可 Cluster Engine Management软件套件可以降低管理HPC集群的复杂性,同时提供运行复杂应用程序和工作负载的工具。它提供服务器,集群,存储和网络管理功能,结合作业调度,故障转移,负载平衡和修订控制。管理软件是了解如何在HPC作业中使用群集的重要途径。

Boxx Technologies拥有专业系统,专为优化3D图形和动画工作流程的渲染性能而设计。它提供了一种机架式群集,包括多个系统,每个系统都配置,最多12个核心和192MB的内存,与千兆以太网连接。

Ciara Technologies制造它所谓的个人集群,包括其Nexxus C系列。据该公司称,Nexxus C是为先进的建模和仿真而设计的。它有望将数据中心集群的功能与工作站的可用性组合起来。它可以配备多达20个英特尔Xeon处理器,共有120个核心,16-GP-GPU和近2TB的内存。

你的第一步

如果您的工程集团没有’T有群集的任何经验,你不’它致力于和经验丰富的支持’如果可能的话,开始小并获得专家帮助。来自Appro,Boxx和Ciara的相似的预配置群集配置可以提供一个开箱即用的解决方案来快速启动和运行。

但是,应仔细配置和调整群集以确保它们正在有效地执行其工作负载。您主要通过经验获得这种级别的理解。

从接地上获取群集计算的好方法是工作站群集。您仍然必须使用至少千兆以太网连接的高端工作站,但这些工作站可以交互使用—同时,它们的资源可以应用于群集。除了具有成本效益之外,它们还提供了一种简单的方法,可以开始了解如何管理群集。

一旦小组获得了群集配置和管理的经验,可以使用小型工作站群集,可能是时候查看了一个高端的方法。虽然您,单个供应商的解决方案可能是有意义的’为该供应商付款’为您的需求集成和配置它的专业知识。

建立自己的群集是一个更加艰难的挑战,理想情况下,您希望致力于专业知识。无论您是否这样做,英特尔群集就绪表示配置群集以满足特定需求的智能方式。虽然可能存在一些配置问题,但大部分集成工作已经完成。

即使你’只有少数工程师的团队,你有机会’LL受益于某种级别的聚类。您可以做出更详细的分析水平,或者比今天更快地交付最终产品。但是群集地区’T喜欢PC工作站。您需要了解群集配置和工作负载之间的关系,并且您需要软件来排队和监控作业。尽管如此,如果您的团队可以实现这一跳跃,则集群将最终奖励您更快的设计更快。

贡献编辑 Peter Varhol 涵盖了HPC并击败了 DE。他的专业知识是软件开发,数学系统和系统管理。你可以到达他 [电子邮件 protected].

 

更多信息

ansys.
认可
Boxx Technologies
Ciara Technologies
生命值
英特尔
平板

Share This Article

订阅我们的免费杂志, 免费电子邮件通讯或两者!

加入超过90,000名工程专业人员,在发布时立即获得新鲜工程新闻。


About the Author

Peter Varhol.

贡献编辑彼得沃尔霍尔覆盖了HPC并击败了 数字工程。他的专业知识是软件开发,数学系统和系统管理。你可以到达他 [电子邮件 protected].

Follow DE
#2310