Кластерные системы
омпьютерах для этого используется специализированная и поэтому
дорогая аппаратура, призванная обеспечить высокую пропускную способность. В
кластерах, как правило, применяются обычные сетевые стандарты - Ethernet,
FDDI, ATM или HiРРI.
Кластерные технологии с использованием операционной системы Linux начали
развиваться несколько лет назад и стали доступны задолго до появления
Wolfрack для Windows NT. Так в середине 90-х годов и возник проект Beowulf.
Герой эпической поэмы
"Беовульф" - это скандинавский эпос, повествующий о событиях VII - первой
трети VIII века, участником которых является одноименный герой,
прославивший себя в сражениях. Неизвестно, задумывались ли авторы проекта,
с кем ныне будет сражаться Beowulf (вероятно, с Windows NT?), однако
героический образ позволил объединить в консорциум около полутора десятков
организаций (главным образом университетов) в Соединенных Штатах. Нельзя
сказать, что среди участников проекта доминируют суперкомпьютерные центры,
однако кластеры "Локи" и "Мегалон" установлены в таких известных в мире
высокопроизводительных вычислений центрах, как Лос-Аламос и лаборатория
Sandia Министерства энергетики США; ведущие разработчики проекта -
специалисты агентства NASA. Вообще, все без исключения кластеры, созданные
участниками проекта, получают громкие имена.
Кроме Beowulf, известна еще одна близкая кластерная технология - NOW. В NOW
персональные компьютеры обычно содержат информацию о самих себе и
поставленных перед ними задачах, а в обязанности системного администратора
такого кластера входит формирование данной информации. Кластеры Beowulf в
этом отношении (то есть с точки зрения системного администратора) проще:
там отдельные узлы не знают о конфигурации кластера. Лишь один выделенный
узел содержит информацию о конфигурации; и только он имеет связь по сети с
внешним миром. Все остальные узлы кластера объединены локальной сетью, и с
внешним миром их связывает только "тоненький мостик" от управляющего узла.
Узлами в технологии Beowulf являются материнские платы ПК. Обычно в узлах
задействованы также локальные жесткие диски. Для связи узлов используются
стандартные типы локальных сетей. Этот вопрос мы рассмотрим ниже, сначала
же остановимся на программном обеспечении.
Его основу в Beowulf составляет обычная коммерчески доступная ОС Linux,
которую можно приобрести на CD-ROM. Первое время большинство участников
проекта ориентировались на компакт-диски, издаваемые Slackware, а сейчас
предпочтение отдаетcя версии RedHat.
В обычной ОС Linux можно инсталлировать известные средства
распараллеливания в модели обмена сообщениями (LAM MРI 6.1, РVM 3.3.11 и
другие). Можно также воспользоваться стандартом р-threads и стандартными
средствами межпроцессорного взаимодействия, входящими в любую ОС Unix
System V. В рамках проекта Beowulf были выполнены и серьезные
дополнительные разработки.
Прежде всего следует отметить доработку ядра Linux 2.0. В процессе
построения кластеров выяснилось, что стандартные драйверы сетевых устройств
в Linux весьма неэффективны. Поэтому были разработаны новые драйверы (автор
большинства разработок - Дональд Бекер), в первую очередь для сетей Fast
Ethernet и Gigabit Ethernet, и обеспечена возможность логического
объединения нескольких параллельных сетевых соединений между персональными
компьютерами, что позволяет из дешевых локальных сетей, обладающих более
чем скромной скоростью, соорудить сеть с высокой совокупной пропускной
способностью.
Как и во всяком кластере, в каждом узле живет своя копия ядра ОС. Благодаря
доработкам обеспечена уникальность идентификаторов процессов в рамках всего
кластера, а не отдельных узлов, а также "удаленная доставка" сигналов ОС
Linux.
Кроме того, надо отметить функции загрузки по сети (netbooting) при работе
с материнскими платами Intel РR 440FX, причем они могут применяться и для
работы с другими материнскими платами, снабженными AMI BIOS.
Очень интересные возможности предоставляют механизмы сетевой виртуальной
памяти (Network Virtual Memory) или разделяемой распределенной памяти DSM
(Distributed Shared Memory), позволяющие создать для процесса определенную
"иллюзию" общей оперативной памяти узлов.
Сеть - дело тонкое
Поскольку для распараллеливания суперкомпьютерных приложений вообще, и
кластерных в частности, необходима высокая пропускная способность и низкие
задержки для обмена сообщениями между узлами, сетевые характеристики
становятся параметрами, определяющими производительность кластера. Выбор
микропроцессоров для узлов очевиден - это стандартные процессоры
производства Intel; а вот с топологией кластера, типом сети и сетевых плат
можно поэкспериментировать. Именно в этой области и проводились основные
исследования.
При анализе различных сетевых плат ПК, представленных сегодня на рынке,
особое внимание было уделено таким характеристикам, как эффективная
поддержка широковещательной рассылки (multicasting), поддержка работы с
пакетами больших размеров и т. д. Основные типы локальных сетей,
задействованные в рамках проекта Beowulf, - это Gigabit Ethernet, Fast
Ethernet и 100-VG AnyLAN. (Возможности ATM-технологии также активно
исследовались, но, насколько известно автору, это делалось вне рамок
данного проекта.)
Как самому собрать суперкомпьютер
Проанализировав итоги работ, выполненных в рамках проекта Beowulf, можно
прийти к следующему выводу: найденные решения позволяют самостоятельно
собрать высокопроизводительный кластер на базе стандартных для ПК
компонентов и использовать обычное программное обеспечение. Среди самых
крупных экземпляров нельзя не отметить 50-узловой кластер в CESDIS,
включающий 40 узлов обработки данных (на базе одно- и двухпроцессорных плат
Рentium Рro/200 МГц) и 10 масштабирующих узлов (двухпроцессорная плата
Рentium Рro/166 МГц). Соотношение стоимость/пиковая производительность в
таком кластере представляется очень удачным. Вопрос в том, насколько
эффективно удается распараллелить приложения - иными словами, какова будет
реальная, а не пиковая производительность. Над решением этой проблемы
сейчас и работают участники проекта.
Следует отметить, что построение кластеров из обычных ПК становится сегодня
достаточно модным в научной среде. Некоторые академические институты в
нашей стране также планируют создать подобные кластеры.
При объединении в кластер компьютеров разной мощности или разной
архитектуры, говорят о гетерогенных (неоднородных) кластерах. Узлы кластера
могут одновременно использоваться в качестве пользовательских рабочих
станций. В случае, когда это не нужно, узлы могут быть существенно
облегчены и/или установлены в стойку.
Используются стандартные для рабочих станций ОС, чаще всего, свободно
распространяемые - Linux/FreeBSD, вместе со специальными средствами
поддержки параллельного программирования и распределения нагрузки.
Программирование, как правило, в рамках модели передачи сообщений (чаще
всего - MPI). Более подробно она рассмотрена в следующем параграфе.
История развития кластерной архитектуры.
Компания DEC первой анонсировала концепцию кластерной системы в 1983 году,
определив ее как группу объединенных между собой вычислительных машин,
представляющих собой единый узел обработки информации.
Один из первых проектов, давший имя целому классу параллельных систем –
кластеры Beowulf [2] – возник в центре NASA Goddard Space Flight Center для
поддержки необходимыми вычислительными ресурсами проекта Earth and Space
Sciences. Проект Beowulf стартовал летом 1994 года, и вскоре был собран 16-
процессорный кластер на процессорах Intel 486DX4/100 МГц. На каждом узле
было установлено по 16 Мбайт оперативной памяти и по 3 сетевых Ethernet-
адаптера. Для работы в такой конфигурации были разработаны специальные
драйверы, распределяющие трафик между доступными сетевыми картами.
Позже в GSFC был собран кластер theHIVE – Highly-parallel Integrated
Virtual Environment [3], структура которого показана на рис. 2. Этот
кластер состоит из четырех подкластеров E, B, G, и DL, объединяя 332
процессора и два выделенных хост-узла. Все узлы данного кластера работают
под управлением RedHat Linux.
[pic]
Рис. 5
В 1998 году в Лос-Аламосской национальной лаборатории астрофизик Майкл
Уоррен и другие ученые из группы теоретической астрофизики построили
суперкомпьютер Avalon, который представляет собой Linux-кластер на базе
процессоров Alpha 21164A с тактовой частотой 533 МГц. Первоначально Avalon
состоял из 68 процессоров, затем был расширен до 140. В каждом узле
установлено по 256 Мбайт оперативной памяти, жесткий диск на 3 Гбайт и
сетевой адаптер Fast Ethernet. Общая стоимость проекта Avalon составила 313
тыс. долл., а показанная им производительность на тесте LINPACK – 47,7
GFLOPS, позволила ему занять 114 место в 12-й редакции списка Top500 рядом
с 152-процессорной системой IBM RS/6000 SP. В том же 1998 году на самой
престижной конференции в области высокопроизводительных вычислений
Supercomputing’98 создатели Avalon представили доклад «Avalon: An
Alpha/Linux Cluster Achieves 10 Gflops for $150k», получивший первую премию
в номинации «наилучшее отношение цена/производительность».
В апреле текущего года в рамках проекта AC3 в Корнелльском Университете для
биомедицинских исследований был установлен кластер Velocity+, состоящий из
64 узлов с двумя процессорами Pentium III/733 МГц и 2 Гбайт оперативной
памяти каждый и с общей дисковой памятью 27 Гбайт. Узлы работают под
управлением Windows 2000 и объединены сетью cLAN компании Giganet.
Проект Lots of Boxes on Shelfes [4] реализ
| |  скачать работу |
Кластерные системы |
