N.I. Lobachevsky State University of Niznhi Novgorod

Новости
О Центре
Кластер
Обучение
Исследования
Конференции
Полезные ссылки
NVIDIA
Контакты
О сайте
Имя:
Пароль:
запомнить:
Забыли пароль? Регистрация

Полезные ссылки

Общие сведения по архитектуре (супер-ЭВМ и кластеры)

Книги

  • “Networks, Routers & Transputers”

Редакторы: M.D. May, P.W. Thompson, P.H. Welch. Издательство: IOS Press.

Книга посвящена физической архитектуре высокоскоростных сетей, маршрутизаторов и их применению в параллельных компьютерах.

Книга (по главам) доступна в on-line (http://wotug.ukc.ac.uk/parallel/books/ios/nrat/) в сжатом Postscript-формате.

Материалы конференций

  • “Основные классы современных параллельных компьютеров SMP, MPP”

    Авторы: Волохов В.М., Покатович Г.А. (лекция на Всероссийской молодежной школе “Суперкомпьютерные вычислительно-информационные технологии в физических и химических исследованиях”).

    On-line вариант доступен по адресу: http://parallel.ru/info/education/chg99.html .

Материалы лекционных курсов

  • “Курс лекций “Параллельная обработка данных”

    Автор - Воеводин Вл. В (voevodin@vvv.srcc.msu.su), д.ф.-м.н., зам. директора НИВЦ МГУ.

    Затрагиваются вопросы архитектуры векторно-конвейерных супер-ЭВМ CRAY C90, массивно-параллельных компьютеров (на примере Cray T3D), MPI.

    On-line вариант: http://parallel.ru/vvv/ .

Другие статьи

  •  «Современные высокопроизводительные компьютеры» 

Автор - В. Шнитман. Статья опубликована на www.citforum.ru 1996 г. В статье дается общее представление о требованиях, предъявляемых к современным высокопроизводительным машинам, их классификации по областям применения. Описываются основные подходы при оценке производительности суперкомпьютеров. Дается определение и классификация архитектур высокопроизводительных систем. Кратко произведен обзор узлов для построения таких систем. Статью можно найти по адресу: http://www.citforum.ru/hardware/svk/contents.shtml 

  •  «Классификация архитектур вычислительных систем»

Авторы: В. Воеводин, А. Капитонова. Статья основана на матерьялах учебного пособия «Методы описания и классификации вычислительных систем» 1994 г. В статье приводится исчерпывающий список методов классификации вычислительных систем. Содержится описание архитектур и применение конкретных типов для решения тех или иных задач. Статью можно найти по адресу: http://parallel.ru/computers/taxonomy/ .

Средства параллельного программирования

Средства создания и проектирования параллельных программ

  • CODE(http://www.cs.utexas.edu/users/code/)

    Бесплатная реализация. Графическая система для создания параллельных программ (параллельная программа представляется в виде графа, вершинами которого являются последовательные участки, а дуги соответствуют пересылкам данных). Поддерживает MPI. Существует для UNIX платформ.

  • HeNCE - HEterogeneous Network Computing Environment

    (http://www.netlib.org/hence/index.html)

    Бесплатная реализация. Графическая среда (UNIX/X-Window), разработанная для помощи в разработке параллельных программ, работающих на сети рабочих станций (в модели PVM). Программа описывается в виде направленного ациклического графа (DAG), в котором вершины соответствуют процедурам, а дуги - зависимостям (зависимости расставляет пользователь). Существует для UNIX платформ.

Системы поддержки параллельного программирования

  • DVM (Distributed Virtual Machine, Distributed Virtual Memory) документация пользователя, документация разработчика

On-line:       ftp://www.keldysh.ru/dvm-distr/doc_usr315/dvmUSRrhtm.tar.gz ,

                    ftp://www.keldysh.ru/dvm-distr/doc_sys315/dvmSYSrhtm.tar.gz .

Средства профилирования и отладки параллельных программ

  •  Total View Multiprocess Debugger/Analyzer

http://www.etnus.com/)

Коммерческая система под UNIX платформы. Работает с MPI, OpenMP, потоками. Поддерживает графический интерфейс для отладки. 

  • TimeScan Multiprocess Event Analyzer

(http://www.etnus.com/)

Коммерческая система. TimeScan помогает профилировать многопроцессные, многопотоковые и распределенные приложения. Есть графический интерфейс. Существует для UNIX и NT.

Библиотеки параллельного программирования

Справочные руководства по библиотекам PVM,MPI

Бесплатные реализации
Версии для Windows NT и Unix
  • MP-MPICH         

(http://www.lfbs.rwth-aachen.de/content/mp-mpich).

Мультиплатформенная реализация MPI на базе MPICH.

Включает NT-MPICH (версию MPICH для Windows NT) и SCIMPICH (версию MPICH для SCI-коммутаторов). Разработка RWTH-Aachen (Аахен, Германия).

 
  • MPICH

(http://www-unix.mcs.anl.gov/mpi/mpich/).

Переносимая реализация (работает почти на всех UNIX-системах и Windows NT), разработанная в Argonne National Laboratory. Поддерживаются кластеры на базе SMP-узлов. Последняя версия - MPICH     1.2.1, выпущена 5 сентября 2000 года, поддерживает стандарт MPI 1.2 и некоторые элементы стандарта MPI    2.0.

 
  • MPI-FM

Реализация MPI на базе протокола Fast Messages (адаптированная версия MPICH). Входит в состав пакета HPVM (High Performance Virtual Machines) (http://www-csag.ucsd.edu/projects/hpvm.html). HPVM работает на Intel-­платформах c ОС Linux и Windows NT. Доступна только в бинарниках. Поддерживаются сетевые среды Myrinet (основная) и TCP/IP.

 
  • HPVM

(High Performance Virtual Machines)

(http://www-csag.ucsd.edu/projects/hpvm.html).

Набор средств для программирования параллельных систем. Включает в себя Fast Messages, MPI, Shmem, Global Array, Fortran 90. Реализовано для персональных компьютеров с процессорами x86 под управлением Windows NT и Linux, соединенных сетями Myrinet или TCP/IP.

Команда разработчиков - Concurrent Systems Architecture Group (UCSD), руководитель проекта - Andrew A. Chien.

 
Версии только для Unix
  • BIP-MPI

(http://lhpca.univ-lyon1.fr/mpibip.html).

Реализация MPI для кластеров на базе ОС Linux и коммутатора Myrinet, в составе пакета BIP Messages. Основана на MPICH.

Другие библиотеки для организации параллельных вычислений

  • «Parallel.Ru - Специализированные параллельные библиотеки»

(http://parallel.ru/tech/tech_dev/par_libs.html).

 
  • «SP Parallel Programming Workshop – parallel math libraries»

(http://www.mhpcc.edu/training/workshop/parallel_libs/MAIN.html).

Библиотеки для MPI

  • ScaLAPACK

(http://www.netlib.org/scalapack).

Библиотека ScaLAPACK (Scalable LAPACK) – это библиотека LAPACK, переработанная для использования на MPP-компьютерах, включает: решение систем линейных уравнений, обращение матриц, ортогональные преобразования, поиск собственных значений и др.

Библиотека ScaLAPACK разработана с использованием PBLAS (параллельная версия библиотеки BLAS (Basic Linear Algebra Subroutines)) и коммуникационной библиотеки BLACS (Basic Linear Algebra Communication Package).

ScaLAPACK - совместный проект нескольких организаций (Oak Ridge National Laboratory, Rice University, University of California at Berkeley University of California at LA University of Illinois, University of Tennessee at Knoxville).

  • PBLAS

(http://www.cs.utexas.edu/users/rvdg/sw/sB_BLAS/).

Параллельные версии базовых процедур линейной алгебры (BLAS), уровней 1, 2, 3. Библиотека разработана в рамках проекта ScaLAPACK.

  • PETSc (Portable, Extensible Toolkit for Scientific Computation)

(http://www-unix.mcs.anl.gov/petsc/petsc-as/).

Набор процедур и структур данных для параллельного решения научных задач с моделями, описываемыми в виде дифференциальных уравнений с частными производными.

Последняя версия – 2.0.29.

(Документация - http://www-fp.mcs.anl.gov/petsc/docs/).

  • PGAPack

(http://www.mcs.anl.gov/pgapack.html).

Библиотека параллельных генетических алгоритмов.

(Документация - http://wotug.ukc.ac.uk/parallel/algorithms/genetic/pgapack/).

  • Aztec

( http://www.cs.sandia.gov/CRF/aztec1.html).

Решение разрежённых линейных систем.

(Документация - http://rsusu1.rnd.runnet.ru/ncube/aztec/aztec.html, на русском -http://rsusu1.rnd.runnet.ru/ncube/aztec/aztec.koi8.html ).

  • Parallel FFTW

( http://www.fftw.org/ ).

Высокопроизводительная параллельная библиотека для вычисления многомерного быстрого преобразования Фурье.

Надстройки над MPI

  • Para++

(http://www.loria.fr/para++/parapp.html).

Para++ - набор интерфейсов программ на языке C++ для использования различных библиотек передачи сообщений. Реализованы интерфейсы для PVM и MPI.

Текущая версия - v2.3.

  • MpC

(http://www.ispras.ru/~mpc/index.html).

Язык программирования mpC - это расширение языка Си, разработанное специально для программирования параллельных вычислений на обычных сетях разнородных компьютеров. Отсутствуют некоторые недостатки MPI. Реализовано поверх MPI.

  • ARCH

(ftp://ftp.tc.cornell.edu/pub/ARCH/).

ARCH - это объектно-ориентированная библиотека для параллельного программирования. Базируется на C++, использует MPI. Предлагает конструкции для коммуникаций асинхронных процессов, эмулирует использование общей памяти. Текущая версия - V4.

  • OOMPI (Object Oriented MPI )

(http://www.osl.iu.edu/).

OOMPI - библиотека классов языка C++, включающая в иерархию классов всю функциональность MPI версии 1.0. Текущая версия - 1.0.3.

Практические примеры параллельного программирования

  • “Designing and Building Parallel Programs”.

Автор - Ян Фостер (foster@mcs.anl.gov).

Издательство - Addison-Wesley.

На понятном языке описывает как теоретические основы параллелизма, так и элементы практического параллельного программирования (с иcпользованием HPF, Compositional C++, MPI).

Книга доступна в on-line на http://www-unix.mcs.anl.gov/dbpp/text/book.html

Системы управления кластерами

Статьи о системах управления кластером

  • Михаил Кузьминский. «NQS и пакетная обработка в Unix». “Открытые системы” 1997, №1. http://www.osp.ru/os/1997/01/18.htm

 

  • Виктор Коваленко, Дмитрий Корягин. «Вычислительная инфраструктура будущего». “Открытые системы”, 1999, № 11-12. http://www.osp.ru/os/1999/11-12/045.htm

 

  • Виктор Коваленко, Евгения Коваленко. «Пакетная обработка заданий в компьютерных сетях». “Открытые системы” 2000, № 7-8. http://www.osp.ru/os/2000/07-08/010.htm

 

 

  • «Операционные системы распределенных вычислительных систем (распределенные ОС)»Автор - Крюков Виктор Алексеевич (krukov@keldysh.ru), зав. отделом ИПМ РАН, д.ф.-м.н.Рассматриваются ОС мультипроцессорных ЭВМ, сетевые и распределенные ОС, вопросы коммуникации и синхронизации в распределенных системах и др.On-line вариант - http://parallel.ru/krukov/ .

Наиболее известные системы управления кластером

  • OpenPBS

(http://www.openpbs.org/).

Самая распространенная система. Это бесплатная реализация, доступная с исходными кодами. Поддерживает MPI, балансировку, диспетчеризацию, графический интерфейс. Очень хорошая техническая поддержка. Существует только для UNIX платформ. 

  • PBSPro

(http://www.pbspro.com/).

Коммерческая реализация OpenPBS. Поддерживает все функции OpenPBS плюс улучшенную балансировку, диспетчеризацию, гибкое конфигурирование, оптимизация по скорости, поддержка Globus и Grid.

  • LSF

(http://wint.decsy.ru/du/DEC_UNIX/CLUSTER/HPC/LSF.HTM).

Коммерческая система. Одна из немногих, поддерживающих Windows. Из реализованных функций: балансировка, диспетчеризация, графический интерфейс, поддержка MPI, миграция задач. LSF установлена в NCSA (http://www.ncsa.uiuc.edu/

  • PGI CDK (Cluster development kit)

(http://www.pgroup.com/prodcdk.htm)

Коммерческая система. Использует PBS. Поддерживает MPI, балансировку, диспетчеризацию, графический интерфейс управления заданиями, графическую отладку. Существует только для UNIX платформ. 

  • Sun Grid Engine

(http://www.sun.com/software/gridware/ds-gridware/)

Коммерческая система. До покупки ее Sun’ом называлась Codine (а еще раньше DQS). Кроме MPI, балансировки, диспетчеризации, графического интерфейса управления заданиями Sun Grid Engine поддерживает еще и миграцию задач. Существует только для UNIX платформ. 

  • Condor

(http://www.cs.wisc.edu/condor/)

Исследовательский проект. Система распространяется свободно. Поддерживает MPI, балансировку, диспетчеризацию, миграцию задач. Изначально была написана для UNIX платформ, но сейчас для Windows появилась бета-версия. 

  • OSCAR

(http://www.openclustergroup.org/)

Бесплатная реализация. Это первый проект консорциума Open Cluster Group. Использует OpenPBS и C3 (http://www.epm.ornl.gov/torc/C3/). Поддерживает MPI. Существует только для Linux платформ. 

Утилиты для управления кластером

  • «BPROC: Beowulf Distributed Process Space»

Автор - Erik Hendriks (hendriks@cesdis.gsfc.nasa.gov), 1999.

Статья описывает пакет, предоставляющий пользователю возможность запускать отдельные процессы по своему усмотрению. На более низком уровне, чем MPI и PVM, которые скрывают этот механизм в себе. http://bproc.sourceforge.net/

Операционные системы для построения кластера IA32

  • «Linux Parallel Processing HOWTO».

Автор - Hank Dietz(pplinux@ecn.purdue.edu). www.redhat.com 1998 г.

В статье описывается построение кластерной системы на основе Linux RedHat. Приводится описание рекомендуемого оборудования и программного обеспечения. (Статья не доступна в online).                                                 

  • «The LinuxThreads library»

Автор – Xavier Leroy (Xavier.Leroy@inria.fr).

LinuxThreads - это библиотека для манипулирования потоками в Linux. В данном документе приводится подробное описание библиотеки. Кроме того, приводится масса ссылок по сопутствующим темам. Представлено большое количество документации по работе с потоками в Linux. Документ доступен по адресу - http://pauillac.inria.fr/~xleroy/linuxthreads/

  • «TurboCluster Server»

Сайт посвящен продукту фирмы TurboLinux – TurboCluster Server. На сайте можно найти огромное количество информации, посвященной данному продукту. Описание системы можно найти на http://beta.turbolinux.com/server/doc/tls40ug.pdf.gz. Последние новости, связанные с продуктом, - на  http://beta.turbolinux.com/cluster/.  

  • Linux Mandrake – домашний сайт одной из самых популярных реализаций Linux. Linux Mandrake - это клон Linux RedHat, но имеет одно неоспоримое преимущество перед последним – это адаптация к Российской действительности. Полная совместимость на уровне ядра с RedHat.

Download - http://www.linux-mandrake.com/  

  • «High-Performance Parallel Processing Using PCs and Linux»

Автор - Hank Dietz, 1997 год.

В статье описывается построение кластера на основе ОС Linux. Автор дает практические советы по построению кластера. Необходимое аппаратное обеспечение, программное обеспечение. Советы по написанию приложений для кластера. http://aggregate.org/TechPub/ICPP96/Index.html.

Операционные системы на платформе IA64

  • IA64 Beta Release

Здесь можно найти информацию по 64 разрядной операционной системе для IA64. Кроме того, можно скачать последнюю версию данной системы на

  • http://www.kernel.org/pub/linux/kernel/ports/ia64/ - здесь доступны исходные коды вместе с некоторым количеством документации для Linux ядер, работающих на архитектуре IA64.

  • http://nicewww.cern.ch/~sverre/IA64_1.pdf - документ дает хорошее представление об архитектуре IA64. Содержится развернутое описание системы команд процессора и рекомендации по оптимизации программ.

Другие ссылки

Интернет-порталы параллельного программирования

  • http://parallel.ru/ - крупнейший российский портал по параллельным вычислениям. 
  • http://www.gnu.org/ - сайт содержит программное обеспечение, распространяемое под GNU - лицензией. Для всего представленного программого обеспечения представлена подробная документация. 

Статьи и обзоры

  • “Программирование для высокопроизводительных ЭВМ”

Авторы: Комолкин А.В., Немнюгин С.А.

Курс лекций учебно-научного центра информационных и вычислительных ресурсов. (Санкт-Петербург).

On-line -       http://www.hpc.nw.ru/KOI/COURSES/HPC/index.html  

  • “Суперкомпьютерная грань компьютерного мира”

Автор - Воеводин Вл.В.

Статья из серии “Параллельные вычисления для начинающих”.

On-line -       http://parallel.ru/vvv/intro2hpc.html  

  • Список систем управлений кластером.

(http://rib.cs.utk.edu/cgi-bin/catalog.pl?rh=223&term=0)

Материалы

 

Новости

22.10.2012
04.09.2012
05.04.2012
06.03.2012
02.03.2012