Цель проекта
Целью настоящего проекта является
разработка программной системы, способствующей эффективному использованию
вычислительных кластеров. Подобная система должна решать, по меньшей мере,
следующие классы задач:
- Задача обеспечения доступа пользователей к
кластеру и создание благоприятной среды для их работы.
-
Административные задачи управления ресурсами кластера
(такими как узлы, пользователи и т.д.), мониторинга используемых ресурсов,
ведение и анализ журналов событий различного типа.
-
Планирование выполнение задач на кластере, а именно
распределение задач по времени начала выполнения и по используемым узлам (в
общем случае - используемым ресурсам) с целью оптимизации выбранного
показателя производительности (в качестве такого показателя обычно выбирается
пропускная способность системы).
Актуальность проекта
В настоящее время
вычислительные системы кластерного типа получают все большее распространение.
Это обусловлено различными факторами, главным из которых является насущная
потребность в решении актуальных задач фундаментальной и прикладной науки, для
анализа и исследования которых производительности существующих средств
вычислительной техники оказывается недостаточно. Однако при развертывании систем
такого рода возникает ряд проблем. Заметное место в этом ряду занимает проблема
эффективного управления кластерной системой. Для того, чтобы вычислительная
система успешно функционировала необходимо, по крайней мере, реализовать
систему, обеспечивающую возможность запуска задач на кластере (систему доступа),
систему, обеспечивающую планирование выполнения задач на кластере (диспетчер
заданий), и систему мониторинга узлов, составляющих кластер. В случае отсутствия
систем такого рода возможны конфликты в процессе запроса вычислительных
мощностей во время проведения экспериментов, что приведет к падению общей
пропускной способности системы. Таким образом, разработка программных систем,
решающих эти задачи, является необходимым условием успешного развития
вычислительных систем рассматриваемого класса.
Существующие
аналоги
Поскольку
рассматриваемые программные системы являются критически - важными для
обеспечения работы вычислительного кластера, работы по созданию подобных систем
ведутся уже долгое время, многими коллективами. Следует, однако, отметить, что
традиционно большая часть подобных систем была ориентирована на использование с
кластерами, работающими под управлением ОС семейства UNIX. Появляющиеся в
настоящее время общедоступные системы для ОС семейства Windows
являются, большей частью, результатом портирования соответствующих UNIX-систем. Системы,
созданные специально для ОС семейства Windows, а также системы, позволяющие
работать с гетерогенными кластерами, являются, большей частью,
коммерческими.
Предполагаемые подходы к
решению задачи и имеющийся задел
В настоящее время
коллективом разработчиков разработана система управления кластером, обладающая
подобной функциональностью. Эта система внедрена на кластере Нижегородского
государственного университета и на кластере Казанского государственного
физико-технического института. Система выполнена в архитектуре клиент - сервер,
для нее реализован как тонкий клиент (клиентом является браузер), так и клиент в
виде обычного приложения. Предлагаемую к реализации систему предполагается
строить на базе уже разработанной в виде Web-сервиса - такой подход позволит
обеспечить более простую интеграцию с внешними приложениями, в том числе
облегчит создание специализированных клиентов системы. Кроме того, в
существующем виде система управления может работать только с кластерам,
работающими под управлением ОС семейства Windows. Предполагается в
разрабатываемой системе обеспечить возможность работы с кластерами, работающими
под управлением ОС семейства UNIX, а также с гетерогенными
кластерами, включающими узлы обоих типов.
Предполагаемые
результаты
В качестве основного
результата предполагается получить работающую систему управления,
удовлетворяющую заявленным требованиям, а именно:
-
Обеспечивающую возможность удаленного доступа к
кластеру, в том числе без использования специализированных клиентов (доступ
через Web).
-
Создать для пользователя интегрированную среду для
работы на кластере, обеспечивающую возможность выполнения всех
необходимых пользователю для работы операций из единого центра.
-
Обеспечить администратора удобным инструментарием для
решения задач, связанных с администрированием вычислительной системы. В том
числе средствами для сбора и анализа статистических данных.
-
Обеспечить эффективную стратегию планирования
выполнения задач, оптимизирующую производительность вычислительной системы.
-
Позволить управлять вычислительными кластерами,
состоящими из узлов, управляемых ОС различных семейств.
В качестве дополнительного результата
предполагается провести работу по сравнению эффективности работы планировщиков
различного типа применительно для различных классов задач и выработать
соответствующие рекомендации по их использованию