云计算中先进的网络基础设施平台的工作流程以及环境建设

科学的进步与高效使用高性能计算基础架构以及从大量数据中有效提取知识紧密相关。此类数据来自不同来源，这些来源遵循一个周期，该周期由用于数据管理的预处理步骤和为后续计算步骤准备以及随后应用于结果的后续分析和分析步骤组成。

1592186506453

但是，科学工作流目前分散在多个组件中，具有用于计算和数据管理的不同过程，并且在所涉及的用户配置文件的观点上存在差距。我们的愿景是，未来的工作流程环境和用于开发科学工作流程的工具应遵循整体方法，其中数据和计算都集成在基于简单，高级界面的单一流程中。我们提出的研究主题涉及新颖的方式来表达集成了不同数据和计算过程的工作流，动态运行时以有效的方式在性能和能源方面支持复杂和异构计算基础架构中工作流的执行。

。这些基础设施包括高度分散的资源，从传感器和仪器以及边缘设备到高性能计算和云计算资源。本文介绍了我们开发这些工作流环境的愿景，以及我们目前正在实现该愿景的步骤。动态运行时，以高效和高效的方式支持复杂和异构计算基础架构中工作流的执行。这些基础设施包括高度分散的资源，从传感器和仪器以及边缘设备到高性能计算和云计算资源。

本文介绍了我们开发这些工作流环境的愿景，以及我们目前正在实现该愿景的步骤。动态运行时，以高效和高效的方式支持复杂和异构计算基础架构中工作流的执行。这些基础设施包括高度分散的资源，从传感器和仪器以及边缘设备到高性能计算和云计算资源。本文介绍了我们开发这些工作流环境的愿景，以及我们目前正在实现该愿景的步骤。

本文提出了我们的愿景和路线图，以开发新的环境和工具来支持科学社区，并使科学工作流程的生产力大幅提高。需要考虑的变量有很多：科学应用越来越复杂；数据量巨大且性质多样，这一问题也越来越复杂；科学家可以使用的软件组件和工具数量庞大且难以使用；计算、存储和其他基础设施资源的复杂性和多样性也在增加。

所有这些都阻碍了科学家把注意力集中在需要解决的实际问题上，造成了与之抗争的科学界浪费的时间和资源，延缓了科学的发展。更好的科学工作流程开发方法将产生影响，首先是通过加快可能的新发现，而现在不可能的新科学应用将成为事实。由于这些科学进步，这有可能产生直接的社会影响。此外，不可忽视的是，科学界正在以不科学的方式使用大型计算和存储基础设施，这会带来经济和能源成本。

有了这种新颖的工作流环境和工具，科学家们将能够同时处理涉及高性能计算机应用、机器学习和大数据组件的工作流。该项目开发的新方法将有助于更有效地利用基础设施，降低所需成本和能源，从而减少碳足迹，因为高性能混凝土和其他基础设施消耗的能源是不可忽视的。

一、 介绍和运动

大规模计算是一种使研究和

不同领域的进展，例如个性化医学、气候预测或基因组学，其结果可能会产生社会影响。这些研究学科中的大多数都有一个共同因素，即不同类型的来源（遥感器、主要科学仪器、卫星、来自智能城市项目的无数分布式传感器等）产生的大量输入数据，其性质是异构的，需要大量存储。所有这些输入数据都经过不同的预处理步骤，以将原始数据转换为可用的输入数据，如同质化为单一格式、缩减、过滤等。

这些数据用作复杂模拟或建模过程的输入数据，传统上，这些模拟或建模过程是在大型高性能计算（HPC）基础设施中执行的，其目的是生成预测或对实际过程进行模拟（如预测明天的天气或对给定药物的行为进行建模）一种特殊的疾病）。这些高性能计算过程产生了大量的输出数据，在某些情况下也是异质性的，这些数据后来被分析和简化，用于用实验数据验证预测和推论，是获得新的科学发现的来源。例如，气候变化试验耦合模式相互比较项目第6阶段（CMIP6）将在31个中心之间进行，将涉及52个天气和气候模式。本实验输出数据所需的存储量估计为60pbytes[1]。

上面描述的内容与计算社区联盟（Computing Community Consortium）最近的一份白皮书中描述的内容相匹配，该白皮书提供了科学过程的一般视图[2]。本出版物支持科学方法的经典观点，认为科学方法是一个复杂的推理过程，它试图通过一个彻底的、可控的观察来理解自然。根据这一观点，科学过程由三个推理步骤组成：推断（即猜测一个解释）、推断（即确定一组命题的必要结果）和归纳（即进行基于抽样的概括）。

图1展示了大数据和极端规模计算（BDEC）在最近发表的白皮书[3]中看到的该模型的这些关键逻辑元素的版本，BDEC是我们参与的一项国际倡议，其重点是如何实现高端数据分析（HDA）和高性能计算（HPC）的融合。虽然诱拐和归纳阶段意味着分析和分析过程（HDA技术）的使用，但演绎阶段通常是HPC过程。然而，到目前为止，科学过程的三个不同步骤都是通过分离的方法和工具实现的，缺乏集成，对整个过程缺乏共同的看法。BDEC的主要建议是解决这两种模式之间分裂的基本问题：HPC/HDA软件生态系统分裂。

虽然HPC和HDA是科学进步所必需的，但传统的科学计算工作流程被分割成不同的部分，HPC和HDA阶段使用不同的编程模型和不同的环境，导致缺乏全局视角。此外，海量数据及其格式的异构性，阻碍了科学结论的产生。

此外，过程中涉及的不同技术和科学成果的重点可能不同。虽然从计算机科学的角度来看，重点一直放在用于进行预测/模拟的编程模型和应用程序上，但科学应用程序的开发人员更重视问题的数据方面：元数据和可追溯性对他们至关重要。

所有这些差异和关注点都因当前计算基础设施的复杂性而增加：在大型高性能计算机系统中发现运行非常不合理的科学工作流是很常见的（使用的可能性能百分比很低）。我们面临着新的处理器架构和不同类型的处理器（通用处理器、图形处理器、可编程设备）、新的持久性存储技术以及将这些复杂系统的所有元素互连的新方法。HPC系统将与公共和私有云基础设施相结合，更重要的是，未来科学工作流程将要执行的系统还将包括边缘设备，如传感器或科学仪器，这些设备将流式传输连续的数据流，同样地，科学家们希望将结果流式输出，以便对科学结果进行监控、流式传输和可视化，以实现互动性。此外，信息和通信技术进程的碳足迹也是一个令人担忧的问题，减少碳足迹将是晚上9点“地平线欧洲”的目标之一。科学应用程序开发人员正努力解决所有这些问题，这使得整体科学工作的开发变得非常复杂。

本文提出了我们在工作流程环境和工具方面的研究建议，以便按照一种整体方法开发科学工作流程，这种方法将数据和计算过程放在同一个层面上，并基于简单和高级的接口集成在一个单一的流程中，同时，智能运行时能够以节能的方式利用底层计算连续体基础设施的性能。

论文结构如下：第二节介绍了国内外研究现状及相关工作中涉及的课题。第三节介绍了BDEC倡议和本研究中考虑的基础设施，而第四节则介绍了我们对这些基础设施的工作流环境开发的愿景。第五节提出了一些关于工作流程环境中现有多学科用户产品的想法，以及匹配这些不同产品所需的必要抽象级别。第六节介绍了本集团为实现上述愿景而正在进行的工作，以及我们计划如何实现这一愿景。最后，第七节对论文进行了总结。

全文请点击下载pdf版：https://arxiv.org/pdf/2006.07066.pdf