Кластерные и грид-вычисления

Кластерные вычисления объединяют сетевые машины в единую высокопроизводительную систему, тогда как грид-вычисления объединяют ресурсы различных организаций в общую виртуальную инфраструктуру.

Definition

Кластер — это совокупность взаимосвязанных компьютеров, управляемых как единый ресурс для параллельных или высокопроизводительных вычислений; грид расширяет это понятие до федерации автономно управляемых, распределенных ресурсов, совместно используемых виртуальной организацией посредством общих протоколов.

Scope

Эта тема охватывает архитектуру и управление вычислительными кластерами — межсоединения, планировщики пакетов и менеджеры ресурсов — а также парадигму грид-вычислений, которая объединяет гетерогенные, географически распределенные ресурсы в различных административных доменах в виртуальные организации. Она охватывает планирование заданий, обнаружение и выделение ресурсов, а также высокопроизводительные вычисления для рабочих нагрузок с перебором параметров и легко распараллеливаемых задач.

Core questions

• Как планируются задания и распределяются ресурсы в общем кластере?
• Как можно безопасно объединять и совместно использовать ресурсы, принадлежащие различным организациям?
• Какие рабочие нагрузки лучше всего обслуживаются высокопроизводительными, а не тесно связанными параллельными вычислениями?

Key theories

Виртуальные организации и грид-архитектура

Концепция грида определяет протоколы для совместного использования вычислительных ресурсов, хранилищ и данных между организационными границами для формирования виртуальных организаций, с многоуровневыми сервисами для обеспечения безопасности, управления ресурсами и их обнаружения.

Пакетное планирование и управление ресурсами

Менеджеры ресурсов кластера ставят в очередь и размещают задания на узлах в соответствии с политиками, балансирующими утилизацию, справедливость и приоритет, что является центральной функцией как для кластеров, так и для гридов.

Высокопроизводительные вычисления

Для рабочих нагрузок, состоящих из множества независимых задач, системы используют простаивающие и распределенные мощности для максимизации количества выполненных заданий за длительные периоды, а не для минимизации задержки отдельного вычисления.

Clinical relevance

Кластеры и гриды лежат в основе научных вычислений — от физики и биоинформатики до крупных коллабораций, обменивающихся данными и вычислительными ресурсами — а их идеи планирования и управления ресурсами напрямую переносятся в современные облачные платформы и платформы оркестрации контейнеров.

History

Кластеры из стандартных рабочих станций появились в 1990-х годах как экономически эффективная альтернатива суперкомпьютерам; концепция грида, предложенная Фостером и Кессельманом (конец 1990-х, формализована в 2001 году), расширила возможности совместного использования ресурсов между учреждениями, а такие системы, как Condor, продемонстрировали крупномасштабные высокопроизводительные вычисления, предвосхитившие облачные технологии.

Key figures

• Ian Foster
• Carl Kesselman
• Miron Livny

Seminal works

• foster2001
• foster2004
• thain2005

Frequently asked questions

Чем грид отличается от отдельного кластера?

Кластер обычно однороден и находится под единым административным управлением, тогда как грид объединяет гетерогенные ресурсы, принадлежащие различным организациям. Поэтому гриды должны решать более сложные проблемы междоменной безопасности, доверия и обнаружения ресурсов, которых избегает отдельный кластер.