Кластерные системы
ство.
Восстановление после сбоев может поддерживаться как для узла в целом, так и
для отдельных его компонентов — приложений, дисковых томов и т.д. Эта
функция автоматически инициируется в случае системного сбоя, а также может
быть запущена администратором, если ему, например, необходимо отключить
один из узлов для реконфигурации.
Узлы кластера контролируют работоспособность друг друга и обмениваются
специфической «кластерной» информацией, например, о конфигурации кластера,
а также передавать данные между разделяемыми накопителями и координировать
их использование. Контроль работоспособности осуществляется с помощью
специального сигнала, который узлы кластера передают друг другу, для того
чтобы подтвердить свое нормальное функционирование. Прекращение подачи
сигналов с одного из узлов сигнализирует кластерному программному
обеспечению о произошедшем сбое и необходимости перераспределить нагрузку
на оставшиеся узлы. В качестве примера рассмотрим отказоустойчивый кластер
VAX/VMS.
Кластера VAX/VMS
Компания DEC первой анонсировала концепцию кластерной системы в 1983 году,
определив ее как группу объединенных между собой вычислительных машин,
представляющих собой единый узел обработки информации. По существу VAX-
кластер представляет собой слабосвязанную многомашинную систему с общей
внешней памятью, обеспечивающую единый механизм управления и
администрирования.
VAX-кластер обладает следующими свойствами:
Разделение ресурсов. Компьютеры VAX в кластере могут разделять доступ к
общим ленточным и дисковым накопителям. Все компьютеры VAX в кластере могут
обращаться к отдельным файлам данных как к локальным.
Высокая готовность. Если происходит отказ одного из VAX-компьютеров,
задания его пользователей автоматически могут быть перенесены на другой
компьютер кластера. Если в системе имеется несколько контроллеров HSC и
один из них отказывает, другие контроллеры HSC автоматически подхватывают
его работу.
Высокая пропускная способность. Ряд прикладных систем могут пользоваться
возможностью параллельного выполнения заданий на нескольких компьютерах
кластера.
Удобство обслуживания системы. Общие базы данных могут обслуживаться с
единственного места. Прикладные программы могут инсталлироваться только
однажды на общих дисках кластера и разделяться между всеми компьютерами
кластера.
Расширяемость. Увеличение вычислительной мощности кластера достигается
подключением к нему дополнительных VAX-компьютеров. Дополнительные
накопители на магнитных дисках и магнитных лентах становятся доступными для
всех компьютеров, входящих в кластер.
Работа VAX-кластера определяется двумя главными компонентами. Первым
компонентом является высокоскоростной механизм связи, а вторым - системное
программное обеспечение, которое обеспечивает клиентам прозрачный доступ к
системному сервису. Физически связи внутри кластера реализуются с помощью
трех различных шинных технологий с различными характеристиками
производительности.
Основные методы связи в VAX-кластере представлены на рис. 4.
[pic]
Рис. 4 VAX/VMS-кластер
Шина связи компьютеров CI (Computer Interconnect) работает со скоростью 70
Мбит/с и используется для соединения компьютеров VAX и контроллеров HSC с
помощью коммутатора Star Coupler. Каждая связь CI имеет двойные избыточные
линии, две для передачи и две для приема, используя базовую технологию
CSMA, которая для устранения коллизий использует специфические для данного
узла задержки. Максимальная длина связи CI составляет 45 метров.
Звездообразный коммутатор Star Coupler может поддерживать подключение до 32
шин CI, каждая из которых предназначена для подсоединения компьютера VAX
или контроллера HSC. Контроллер HSC представляет собой интеллектуальное
устройство, которое управляет работой дисковых и ленточных накопителей.
Компьютеры VAX могут объединяться в кластер также посредством локальной
сети
Ethernet, используя NI - Network Interconnect (так называемые локальные VAX-
кластеры), однако производительность таких систем сравнительно низкая из-за
необходимости делить пропускную способность сети Ethernet между
компьютерами кластера и другими клиентами сети.
Также кластера могут стоиться на основе шины DSSI (Digital Storage System
Interconnect). На шине DSSI могут объединяться до четырех компьютеров VAX
нижнего и среднего класса. Каждый компьютер может поддерживать несколько
адаптеров DSSI. Отдельная шина DSSI работает со скоростью 4 Мбайт/с (32
Мбит/с) и допускает подсоединение до 8 устройств. Поддерживаются следующие
типы устройств: системный адаптер DSSI, дисковый контроллер серии RF и
ленточный контроллер серии TF. DSSI ограничивает расстояние между узлами в
кластере 25 метрами.
Системное программное обеспечение VAX-кластеров
Для гарантии правильного взаимодействия процессоров друг с другом при
обращениях к общим ресурсам, таким, например, как диски, компания DEC
использует распределенный менеджер блокировок DLM (Distributed Lock
Manager). Очень важной функцией DLM является обеспечение когерентного
состояния дисковых кэшей для операций ввода/вывода операционной системы и
прикладных программ. Например, в приложениях реляционных СУБД DLM несет
ответственность за поддержание согласованного состояния между буферами базы
данных на различных компьютерах кластера.
Задача поддержания когерентности кэш-памяти ввода/вывода между процессорами
в кластере подобна задаче поддержания когерентности кэш-памяти в сильно
связанной многопроцессорной системе, построенной на базе некоторой шины.
Блоки данных могут одновременно появляться в нескольких кэшах и если один
процессор модифицирует одну из этих копий, другие существующие копии не
отражают уже текущее состояние блока данных. Концепция захвата блока
(владения блоком) является одним из способов управления такими ситуациями.
Прежде чем блок может быть модифицирован должно быть обеспечено владение
блоком.
Работа с DLM связана со значительными накладными расходами. Накладные
расходы в среде VAX/VMS могут быть большими, требующими передачи до шести
сообщений по шине CI для одной операции ввода/вывода. Накладные расходы
могут достигать величины 20% для каждого процессора в кластере.
Высокопроизводительные кластеры
Принципы построения
Архитектура высокопроизводительных кластеров появилась как развитие
принципов построения систем MPP на менее производительных и массовых
компонентах, управляемых операционной ситемой общего назначения. Кластеры
также как и MPP системы состоят из слабосвязанных узлов, которые могут быть
как однородными, так и, в отличие от MPP, различными или гетерогенными.
Особое внимание при проектировании высокопроизводительной кластерной
архутектуры уделяется обеспечению высокой эффективности коммуникационной
шины, связывающей узлы кластера. Так как в кластерах нередко применяются
массовые относительно низкопроизводительные шины, то приходится принимать
ряд мер по исключению их низкой пропускной способности на
производительность кластеров и организацию эффективного распараллеливания в
кластере. Так например пропускная способность одной из самых
высокоскоростных технологий Fast Ethernet на порядки ниже, чем у
межсоединений в современных суперкомпьютерах МРР-архитектуры.
Для решения проблем низкой производительности сети применяют несколько
методов:
- кластер разделяется на несколько сегментов, в пределах которых узлы
соединены высокопроизводительной шиной типа Myrinet, а связь между узлами
разных сегментов осуществляется низкопроизводительными сетями типа
Ethernet/Fast Ethernet. Это позволяет вместе с сокращением расходов на
коммуникационную среду существенно повысить производительность таких
кластеров при решении задач с интенсивным обменом данными между
процессами.
- применение так называемого «транкинга», т.е. объединение нескольких
каналов Fast Ethernet в один общий скоростной канал, соединяющий
несколько коммутаторов. Очевидным недостатком такого подхода является
«потеря» части портов, задействованных в межсоединении коммутаторов.
- для повышения производительности создаются специальные протоколы обмена
информацией по таким сетям, которые позволяют более эффективно
использовать пропускную способность каналов и снимают некоторые
ограничения накладываемые стандартными протоколами (TCP/IP,IPX). Такой
метод часто используют в ситемах класса Beowulf.
Основным качеством, которым должен обладать высокопроизводительный кластер
являтся горизонтальная масштабируемость, так как одним из главных
преимуществ, которые предоставляет кластерная архитектура является
возможность наращивать мощность существующей системы за счет простого
добавления новых узлов в систему. Причем увеличение мощности происходит
практически пропорционально мощности добавленных ресурсов и может
производиться без остановки системы во время ее функционирования. В
системах с другой архитектурой (в частности MPP) обычно возможна только
вертикальная масштабируемость: добавление памяти, увеличение числа
процессоров в многопроцессорных системах или добавление новых адаптеров или
дисков. Оно позволяет временно улучшить производительность системы. Однако
в системе будет установлено максимальное поддерживаемое количество памяти,
процессоров или ди
| |  скачать работу |
Кластерные системы |
