云计算和集群计算

云计算和集群计算将大量商用机器组织成按需、可扩展的平台，以公用事业形式提供计算和存储服务。

Definition

集群计算将多台独立的计算机联网，使其作为一个单一系统工作；云计算则通过网络按需向用户提供这种池化、虚拟化的计算和存储资源，具有弹性伸缩和按使用量计费的特点。

Scope

该领域涵盖了从集群和网格到仓库级数据中心和云计算的演变；实现弹性、多租户资源共享的虚拟化和容器化技术；大规模数据处理框架（MapReduce及其后续技术）；以及可扩展的分布式存储和文件系统。它是在互联网规模上实现分布式和并行计算理论的领域。

Sub-topics

• big data processing frameworks
• cloud computing and virtualization
• cluster and grid computing
• scalable storage systems

Core questions

• 如何组织数千台商用机器，使其表现得像一台弹性计算机？
• 虚拟化如何实现弹性、多租户资源共享？
• 对于单台机器而言过大的数据集，如何在集群中可靠地处理和存储？

Key theories

公用事业和弹性计算

云计算将计算转变为一种计量公用事业，提供了按需可用的无限弹性资源的假象，并将资本成本转变为运营成本，这一转变由Armbrust及其同事进行了分析。

仓库级计算

将整个数据中心视为一台计算机——针对数万台服务器的成本、能耗和故障特性进行设计——将系统设计重新定义为以数据中心为部署单位。

数据并行集群处理

MapReduce等框架允许程序员通过将计算表达为映射（map）和归约（reduce）函数，在集群中处理海量数据集，而运行时负责处理并行化、数据分发和容错。

Clinical relevance

云计算和集群平台承载着几乎所有大规模互联网服务、科学和企业计算以及机器学习流水线；它们的设计直接决定了现代计算基础设施的成本、可扩展性和可靠性。

History

集群计算从20世纪90年代的工作站网络发展而来，成为共享科学基础设施的网格计算（Foster及其同事，2001年）；谷歌的MapReduce和文件系统（2003-2008年）展示了仓库级数据处理，而2000年代后期公共云平台的兴起（由Armbrust及其同事分析）使弹性公用计算成为主流。

Debates

网格与云作为共享计算模型之争

网格计算强调跨管理域的联邦以促进科学协作，而云计算则将资源集中在提供商之下，提供弹性、按需计费；云模型在商业上取得了主导地位，尽管网格思想在科学计算中仍然存在。

Key figures

• Jeffrey Dean
• Sanjay Ghemawat
• Luiz Andre Barroso
• Ian Foster
• Michael Armbrust

Seminal works

• armbrust2010
• dean2008
• barroso2018

Frequently asked questions

集群计算和云计算有什么区别？

集群是一组联网机器，作为一个系统运行，通常由其用户拥有和操作。云计算则通过网络按需向许多租户提供池化、虚拟化的资源——通常建立在集群之上——具有弹性伸缩和按使用量付费的特点。