HPC

HPC

什么是高性能计算?

微星的高性能计算(HPC)系统设计有高速网络,高性能存储,GPU和大量的内存,以支持一些最计算和内存密集型程序发达的今天的。

微星目前有两个主要的高性能计算系统,Itasca的和梅萨比。 Itasca的的是我们的低容量HPC集群,是专为跨多个节点处理软件。梅萨比是我们与可在MSI的最高容量和处理器速度最大的HPC集群。梅萨比就是大多数MSI用户完成工作,并有几个特点,使得它对于大多数计算需求的理想选择。

我可以做什么用HPC?

微星的HPC系统具有高性能存储直接访问和许多MSIS软件资源,包括流行的编程语言如Python,R,MATLAB和C编译器。这种集成创建一个灵活而强大到足以容纳任何需要的计算环境。从各部门的研究人员在整个大学使用微星的高性能计算资源,每天来加速他们的研究。

如何访问的HPC系统?

第一步访问MSI的HPC系统是 成为MSI的用户从那里微星的HPC系统通过终端接口主要访问和我们的许多用户必须编写自定义程序来运行复杂的分析能力。微星还提供了对HPC系统虽然不错,IPython的笔记本电脑和互动MATLAB选项的交互式访问。

 

HPC fairshare调度

HPC fairshare调度

微星采用了fairshare作业调度,以尽量保证作业的组合从所有用户都可以有效和公平地利用任何给定的HPC资源。 fairshare的目标是谁调度低于其fairshare目标群体的作业时,将优先级提高,并降低属于这些团体,其使用量超过其fairshare目标作业的优先级。在一般情况下,这意味着,当一个小组最近使用了大量的资源,他们的等待作业的优先级将受到负面,直至其使用降低了他们的fairshare目标再次受到影响。

 

每个组的目标fairshare是基于该组已接收到用于当前分配周期总服务单元(SUS)的百分比。例如,如果一个组的fairshare目标为5,则该组可使用的资源的5%。如果经常发生,数天的过程中,该组使用给定资源的5%以上,则该组已超过该资源的fairshare目标,他们在等待作业的优先级,对资源,将降低。
 
此外,如果一组使用他们的SUS比均匀速率快 - 该组的拨款总额除以分配周期,这是一个日历年的天数 - 该集团的目标fairshare将减少。更新fairshare目标是基于SUS的剩余组和SUS分配给所有群体总和的数量。 fairshare目标更新为这样每天的基础上。
 
帮助群体确定其使用率,命令“acctinfo”状态的剩余分配的比例和时间的量,以百分比,剩余的分配周期。该“acctinfo”命令还示出了组的当前fairshare目标以及该组的当前的资源在其上“acctinfo”正在运行的使用。该fairshare目标可能会发生变化,从每天,反映了具有在当前分配周期分配组,并且改变从各种基团附加ス请求得到分配的数量变化。
 
计算影响一组的作业的优先级的fairshare因素时,调度使用的最后7天集团的具体资源使用的加权平均值。某一天的使用重量衰变当天滑入了过去。当前权重分别是:

加权因子fairshare调度

几天前

0

1

2

3

4

5

6

重量

1.0000

0.8000

0.6400

0.5120

0.4096

0.3277

0.2621

 

 
微星允许将作业150小时(6.25天)运行,因此是很有意义考虑使用过去7天。然而,从7天前使用影响fairshare因素相对较少。
 
调度工作和计算的等待作业的优先级时,有许多因素要考虑,并且fairshare仅仅是其中的一个因素。微星还使用排队时间 - 一个工作一直在等待运行的时间 - 影响任何给定作业的fairshare。作业等待的时间越长,越觉得排队时间因素将增加作业的优先级。同时,作业的要求walltime,相对于在哪里作业正在等待资源的最大walltime,会影响作业的优先级。这就是所谓的扩展因子(或xfactor)。工作越短,它的膨胀系数越高。
 
此外,调度被配置为首先尝试安排工作,要求大量的资源,然后安排围绕着较大的作业的小作业。职位要求大量资源的需要保留这些资源才能运行,而不能运行,直到有足够的可用资源,以适应这样的工作。这是不希望的,未使用的资源,所以调度器使用较小的作业来填补由大作业的保留意见产生的间隙。这个调度行为被称为“回填”。这是更为有效的回填周围较大的作业的小作业。的挂钟时间对你的工作,尤其是小的工作,准确的估计将有助于及时调度安排您的工作。
 
微星明白,没有人愿意等待。这也是事实,没有调度策略可以保证没有人会等待 - 只不可能大型机器可以保证 - 所以我们使用fairshare尽量保证作业的组合从所有用户都可以高效,公平地利用资源。我们监测队列和经常调整参数,以获得更好的就业机会的周转时间。欢迎你提出任何建议。

 

在Itasca的的计算集群提供资源正在运行的生产批次和交互式作业

新梅萨比计算集群提供的硬件资源运行更广泛的就业机会