Кластеры и массивно-параллельные системы различных производителей. Примеры кластерных решений IBM. Примеры кластерных решений HP. Примеры кластерных решений SGI
В данной лекции описываются концептуальные подходы и технические решения фирм IBM, HP и SGI, используемые ими при построении кластерных систем, предназначенных для высокопроизводительных вычислений.
Развитие сетевых технологий привело к появлению недорогих, но эффективных коммуникационных решений. Это и предопределило появление кластерных вычислительных систем, фактически являющихся одним из направлений развития компьютеров с массовым параллелизмом. Классические суперкомпьютеры, использующие специализированные процессоры таких производителей как Cray или NEC (векторно-параллельные или массивно-параллельные), недешевы, поэтому и стоимость подобных систем несравнима со стоимостью систем, находящихся в массовом производстве.
Рис. 13.1. Пирамида уровней кластерной системы
Вычислительные системы (ВС), создаваемые из массово выпускаемых компонентов, стали альтернативой традиционным суперкомпьютерным системам. При выполнении многих прикладных задач такие ВС, даже с небольшим или средним (до 128-256) числом вычислительных модулей, показывают производительность, не уступающую или даже превосходящую производительность традиционных суперкомпьютеров как с распределенной, так и с разделяемой памятью. При этом такие ВС обладают рядом преимуществ, среди которых: более низкая стоимость, короткий цикл разработки и возможность оперативно использовать наиболее эффективные вычислительные и коммуникационные компоненты из имеющихся на рынке во время создания системы. Поэтому неудивительно, что ведущие разработчики высокопроизводительной техники приступили к созданию кластерных систем.
Примеры кластерных решений IBM
В начале 2000 г. специалисты IBM создали Linux-кластер из установленных в стойке серверов IBM xSeries, объединив их с соответствующими сетями, системами управления (аппаратное и программное обеспечение) и необходимыми услугами. После выпуска в 2001 г. кластера 1300 компания IBM представила кластер 1350 на процессорах Intel Хеоп.
Схема Linux-кластера или суперкластера нетривиальна. В ней имеется несколько логических слоев, и уровень сложности возрастает при увеличении размера системы. Стоит отметить, что на больших системах простое воспроизведение в большом количестве малых кластеров почти никогда не приводит к успеху.
Хотя число узлов, необходимых для решения задачи, довольно легко оценивается для любого приложения, требуемое число узлов в действительности оказывается больше из-за необходимости иметь сервисные узлы, обслуживающие инфраструктуру кластера. Так, для каждых 32-64 узлов, в зависимости от компоновки, необходим центральный узел. Если такой узел используется как вычислительный, у него должна быть соответствующая конфигурация.
В любой системе должен быть управляющий узел, который, в частности, может быть и одним из главных узлов. Для организации ввода/вывода также необходимы отдельные узлы, которые работают либо с устройствами хранения информации, либо с сетевыми рутерами.
Основой Linux-кластера являются плотно упакованные системы с процессорами Intel, установленные в стойке. Наиболее часто используемым модулем является стандартная 19″ стойка. Внутри стоек устанавливаются узлы, аппаратура для эффективного соединения компонентов, такая как коммутаторы или хабы, аппаратура управления внутренней сетью системы, терминальные серверы и т.п.
Узлы могут быть функционально объединены в две группы:
- 1. Вычислительные узлы, выполняющие основные вычислительные задачи, для которых спроектирована система.
- 2. Узлы инфраструктуры, такие как узлы ввода-вывода, узлы управления и узлы запоминающих устройств. Узлы инфраструктуры обеспечивают управление системами и заданными функциями, необходимыми для объединения компьютерных узлов в систему.
Упаковка вычислительных узлов, насколько это возможно, должна быть плотной и иметь достаточные возможности для эффективного соединения компонентов. Существенно включение сервисного процессора для функций управления системами. Стандартным вычислительным узлом для кластера 1350 является IBM xSeries 335. Это позволяет один или два процессора Intel Pentium 4 (Хеоп) с быстрой динамической памятью и диском размещать в стандартном корпусе размером «Ш». Символ Ш обозначает 1,75 дюймов высоты в стандартном 19-дюймовом корпусе. Х335 имеет встроенный сервисный процессор и два слота для соединения с другими компонентами системы.
Головные узлы, узлы управления и узлы запоминающих устройств обеспечивают особые функции для управления кластером (обеспечение загрузки, управление устройствами, внешний ввод/вывод и т.д). Сервер 2U IBM xSeries 345, основанный на процессорах Хеоп, в кластере 1350 используется как узел управления и хранения данных и может также применяться как вычислительный узел. Коммутаторы используются для межпроцессорного соединения в параллельном программировании и для различных функций управления.
Для параллельного программирования в качестве межпроцессорного соединения обычно используется коммутатор Myrinet фирмы Myricom. Пропускная способность канала составляет приблизительно 200 Мбайт/ с в каждом направлении со временем задержки 6-8 мкс.
Если параллельное программное окружение требует меньше межпроцессорных соединений, то высокоскоростные соединения можно заменить на более дешевые продукты типа Ethernet. Для заказчика могут быть выбраны GigaNet, Quadratics, SCI или ServerNet. В дальнейшем, после доработки, можно выбрать InfiniBand.
Коммутаторы используются для построения внутренних сетей для систем управления и интерфейса внешних сетей. В качестве альтернативных решений заказчику предлагаются различные коммутаторы от Cisco.
Терминальные серверы обеспечивают удаленный доступ к консолям ОС узлов через последовательную сеть. Дополнительные функциональные возможности добавляются посредством клавиатуры, мыши, монитора.
Внешние устройства ввода/вывода, такие как SCSI Raid, должны быть в стойках с узлами, коммутаторами и т.д.
Основное отличие состоит в сборке (интеграции). В то время как кластер для заказчиков может быть собран в любом учреждении или даже на полу у заказчика (неудачная идея), то аппаратная часть кластера 1350 производится (т.е. интегрируется) и тестируется на заводе IBM. Процесс сборки кластера в заводских условиях обладает рядом преимуществ.
Пример конфигурации кластера 1350 приведен в таблице 13.1.
Программное обеспечение (ПО) для кластера 1350 существенно зависит от требований заказчика. Дополнительные технические условия могут потребовать особых программных пакетов. Коммерческий программный пакет, например, может включать в себя WebSphere, DB2, MySQL и т.д. НРС пакет может включать MPICH, PVM, Maui Scheduler, математические библиотеки, трансляторы, профилировщики и т.д.
Операционная система Linux инсталлирована на каждом узле кластера. Кластер 1350 запускается под Red Hat Linux. В дальнейшем планируется ставить ОС SuSE (4Q02).
Управление системами кластера для Linux (CSM) — это лицензионный программный продукт IBM. Он обеспечивает функции управления системами, сходными по форме с программами поддержки параллельных систем (Parallel System Support Programs — PSSP) для AIX- систем уровня поддержки на RS/6000 SP. CSM — это стандартный программный продукт для кластера 1350.
CSM для Linux включает технологию, извлеченную из PSSP, и сейчас доступную на AIX для управления кластерами, собранными из серверов xSeries и запускаемыми под Linux, серверами IBM pSeries, управляемыми AIX, или комбинацией обеих операционных систем.
Таблица 13.1. Конфигурация кластера 1350.
Features and specifications — IBM eServer xSeries 345
This document is a summary of the features and specifications for the eServer xSeries 345 server.
Content
The following provides a summary of the features and specifications for the eServer xSeries 345 server. Depending on the server model, some features and specifications might not apply.
Microprocessor
- Intel Xeon, 2.0GHz or higher depending on server model
- 512KB (minimum) Level-2 cache
- 100MHz front-side bus (FSB), at four data transfers per cycle, yielding a 400MHz system bus
- Support for up to two microprocessors with Intel Hyper-Threading technology
Memory
- Minimum: 512MB, expandable to 4GB
- Type: 100MHz, PC2100 (CL2.5), downward compatible with PC1600 (CL2), registered, ECC, double data rate (DDR), SDRAM
- Sizes: 256MB, 512MB, or 1GB, in pairs Connectors: Two way interleaved, four dual inline memory module (DIMM) connectors
- Maximum: Two pairs of DIMMs
Drives standard
Expansion bays
- Six hot-swap, slim line, 3.5-inch drive bays (hot-swap hard disk drives installed, some models)
- One 5.25 inch bay (CD-ROM drive installed)
- One 3.5 inch removable-media drive bay (diskette drive installed)
Hot-swap fans
- Minimum: Five
- Maximum: Eight (Provides redundant cooling)
Hot-swap power supplies
- 350W (115-230V AC) or 514 watts (115-230 V ac) depending on server model
- Minimum: One
- Maximum: Two (Provides redundant power)
Upgradeable microcode
- BIOS, diagnostics, and IBM Advanced System Management upgrades (when available) can update EEPROMs on the system board
PCI expansion slots
- Two PCI-X non hot-plug 133MHz/64-bit
- Two PCI-X non hot-plug 100MHz/64-bit (low profile)
- One PCI non hot-plug, 33MHz/32-bit
Integrated functions
- IBM integrated system management processor (ISMP)
- Service processor with Light Path Diagnostics
- Interconnect port
- Dedicated I/O port
- Support for IBM Remote Supervisor Adapter (RSA)
- Two 10BASE-T/100BASETX/ 1000BASE-T Ethernet ports (Intel Ethernet controller on system board)
- One serial port
- One external and one internal Ultra320 SCSI port (dual-channel integrated controller with RAID capability)
- Three Universal Serial Bus (USB) v1.1 ports
- Keyboard port
- Mouse port
- ATI Rage XL video (controller on system board)
- Compatible with SVGA and VGA
- 8MB video memory
Acoustical noise emissions
- Declared sound power, idle: 6.5 bel
- Declared sound power, operating: 6.5 bel Bystander sound pressure, idle: 48 dBa
- Bystander sound pressure, operating: 48 dBa
Environment
Maximum altitude: 2133m (7000 ft)
Air temperature
- Server on: 10° to 35°Celsius (50° to 95°Fahrenheit).
- Server off: -40° to +60°Celsius (-40° to 140°Fahrenheit).
- Server on: 8% to 80%
- Server off: 8% to 80%
Security features
- Power-on password
- Remote control security settings
- Selectable drive startup
- Keyboard password
- System management security
- User login password
- Read-only or read/write access
- Dial-in call-back
Predictive Failure Analysis (PFA) alerts
- Power supplies Fans
- Memory
- Hard disk drives
- Microprocessors
- Voltage regulator modules (VRMs)
Size (2 U)
- Height: 85.4mm (3.36 inch)
- Depth: 698mm (27.48 ich.) Width: 443.6mm (17.5 inch)
Weight: 21.09kg (46.5 lb) to 28.12kg (62 lb) depending upon configuration
Heat output
Approximate heat output in British thermal units (Btu) per hour
- Minimum configuration: 341 Btu/hour (100 watts)
- Maximum configuration: 2200 Btu/hour (645.2 watts)
Electrical input
- Sine-wave input (50-60Hz) required
- Input voltage range automatically selected
- Input voltage low range:
- Minimum: 90V AC
- Maximum: 137V AC
- +5V DC
- +12V DC
eServer xSeries 345 Server
The new IBM xSeries 345 2U, 2-way server delivers rack-dense computing power that provides improved performance, high availability and scalability. The x345 is packed with the latest Intel® Xeon» processors, DDR memory, Dual Ultra320 SCSI controllers, support of Ultra320 HDDs, Integrated Dual Gigabit Ethernet and five PCI slots. The x345 is a feature-rich application serving platform for space constrained data centers and application service providers.
Company Size
General Information
Product Line
Processor
Number of Processors Supported
Processor & Chipset
Number of Processors Supported
Processor
Number of Processors Installed
Processor & Chipset
Number of Processors Installed
Processor
Processor Manufacturer
Processor & Chipset
Processor Type
Processor
Processor Type
Processor & Chipset
Processor Speed
Processor
Processor Speed
Processor & Chipset
Grand Champion 4.0 LE
Chipset
Chipset Manufacturer
Grand Champion 4.0 LE
Memory
Standard Memory
Maximum Memory Supported
Number of Total Memory Slots
Storage
Optical Drive Type
Controllers
Controller Type
Display & Graphics
Graphics Controller Manufacturer
Graphics Controller Model
Graphics Memory Capacity
Graphics Memory Technology
Network & Communication
Ethernet Technology
Interfaces/Ports
Total Number of USB Ports
Software
- ServerGuide
- IBM Director
Power Description
- 110 V AC
- 220 V AC
Miscellaneous
Security Features
- Universal Manageability (UM) Services
- Unattended start-up
- Selectable boot
Physical Characteristics
Form Factor
Warranty
Limited Warranty
Additional Warranty Information
3 year on site warranty service upgrade options (in eligible locations):
- 9 hr coverage, Mon-Fri excluding holidays, 4 hr response time (ServicePac 21P2077)
- 24 hr x 7 day coverage, 4 hour average response time (ServicePac 21P2078)
- 24 hr x 7 day coverage,2 hour average response time (ServicePac 21P2093)
IT Pro Reviews of eServer xSeries 345 Server
Ratings Breakout
5 star 5 5 4 star 4 2 3 star 3 1 2 star 2 0 1 star 1 0
Spiciest Positive Review
Dec 10, 2009
«Great 1st server, although USB 1.1 reflects the outdated technology.» Read more- Cliff Flowers
- pimiento
- Industry: Other
- Company Size: 51-100 Employees
Overall Rating
Jul 31, 2013Great server, great support. I LOVE the Atlanta support center folks. Only issue has been a know flaw with the battery mount on the ServeRAID controller. The battery can overheat and expand warping the board, disabling the controller. They replaced the one that did this and all my others that had yet to fail when I called in with the problem the first time.
Лекция 13: Кластеры и массивно-параллельные системы различных производителей. Примеры кластерных решений IBM. Примеры кластерных решений HP. Примеры кластерных решений SGI
Аннотация: В данной лекции описываются концептуальные подходы и технические решения фирм IBM, HP и SGI, используемые ими при построении кластерных систем, предназначенных для высокопроизводительных вычислений.
Развитие сетевых технологий привело к появлению недорогих, но эффективных коммуникационных решений. Это и предопределило появление кластерных вычислительных систем , фактически являющихся одним из направлений развития компьютеров с массовым параллелизмом. Классические суперкомпьютеры, использующие специализированные процессоры таких производителей как Сray или NEC (векторно-параллельные или массивно-параллельные), недешевы, поэтому и стоимость подобных систем несравнима со стоимостью систем, находящихся в массовом производстве.
Рис. 13.1. Пирамида уровней кластерной системы
Вычислительные системы ( ВС ), создаваемые из массово выпускаемых компонентов, стали альтернативой традиционным суперкомпьютерным системам. При выполнении многих прикладных задач такие ВС , даже с небольшим или средним (до 128–256) числом вычислительных модулей, показывают производительность , не уступающую или даже превосходящую производительность традиционных суперкомпьютеров как с распределенной, так и с разделяемой памятью. При этом такие ВС обладают рядом преимуществ, среди которых: более низкая стоимость , короткий цикл разработки и возможность оперативно использовать наиболее эффективные вычислительные и коммуникационные компоненты из имеющихся на рынке во время создания системы. Поэтому неудивительно, что ведущие разработчики высокопроизводительной техники приступили к созданию кластерных систем .
Примеры кластерных решений IBM
В начале 2000 г. специалисты IBM создали Linux-кластер из установленных в стойке серверов IBM xSeries, объединив их с соответствующими сетями, системами управления (аппаратное и программное обеспечение ) и необходимыми услугами. После выпуска в 2001 г. кластера 1300 компания IBM представила кластер 1350 на процессорах Intel Xeon.
Схема Linux-кластера или суперкластера нетривиальна. В ней имеется несколько логических слоев, и уровень сложности возрастает при увеличении размера системы. Стоит отметить, что на больших системах простое воспроизведение в большом количестве малых кластеров почти никогда не приводит к успеху.
Хотя число узлов, необходимых для решения задачи, довольно легко оценивается для любого приложения, требуемое число узлов в действительности оказывается больше из-за необходимости иметь сервисные узлы, обслуживающие инфраструктуру кластера. Так, для каждых 32-64 узлов, в зависимости от компоновки, необходим центральный узел. Если такой узел используется как вычислительный, у него должна быть соответствующая конфигурация .
В любой системе должен быть управляющий узел, который, в частности, может быть и одним из главных узлов. Для организации ввода/вывода также необходимы отдельные узлы, которые работают либо с устройствами хранения информации, либо с сетевыми рутерами.
Основой Linux-кластера являются плотно упакованные системы с процессорами Intel, установленные в стойке. Наиболее часто используемым модулем является стандартная 19″ стойка. Внутри стоек устанавливаются узлы, аппаратура для эффективного соединения компонентов, такая как коммутаторы или хабы, аппаратура управления внутренней сетью системы, терминальные серверы и т.п.
Узлы могут быть функционально объединены в две группы:
- Вычислительные узлы, выполняющие основные вычислительные задачи, для которых спроектирована система.
- Узлы инфраструктуры, такие как узлы ввода-вывода, узлы управления и узлы запоминающих устройств. Узлы инфраструктуры обеспечивают управление системами и заданными функциями, необходимыми для объединения компьютерных узлов в систему.
Упаковка вычислительных узлов, насколько это возможно, должна быть плотной и иметь достаточные возможности для эффективного соединения компонентов. Существенно включение сервисного процессора для функций управления системами. Стандартным вычислительным узлом для кластера 1350 является IBM xSeries 335. Это позволяет один или два процессора Intel Pentium 4 (Xeon) с быстрой динамической памятью и диском размещать в стандартном корпусе размером «1U». Символ 1U обозначает 1,75 дюймов высоты в стандартном 19-дюймовом корпусе. Х335 имеет встроенный сервисный процессор и два слота для соединения с другими компонентами системы.
Головные узлы, узлы управления и узлы запоминающих устройств обеспечивают особые функции для управления кластером (обеспечение загрузки, управление устройствами, внешний ввод/вывод и т.д). Сервер 2U IBM xSeries 345, основанный на процессорах Xeon, в кластере 1350 используется как узел управления и хранения данных и может также применяться как вычислительный узел. Коммутаторы используются для межпроцессорного соединения в параллельном программировании и для различных функций управления.
Для параллельного программирования в качестве межпроцессорного соединения обычно используется коммутатор Myrinet фирмы Myricom. Пропускная способность канала составляет приблизительно 200 Мбайт/с в каждом направлении со временем задержки 6-8 мкс.
Если параллельное программное окружение требует меньше межпроцессорных соединений, то высокоскоростные соединения можно заменить на более дешевые продукты типа Ethernet . Для заказчика могут быть выбраны GigaNet, Quadratics , SCI или ServerNet. В дальнейшем, после доработки, можно выбрать InfiniBand .
Коммутаторы используются для построения внутренних сетей для систем управления и интерфейса внешних сетей. В качестве альтернативных решений заказчику предлагаются различные коммутаторы от Cisco.
Терминальные серверы обеспечивают удаленный доступ к консолям ОС узлов через последовательную сеть . Дополнительные функциональные возможности добавляются посредством клавиатуры, мыши, монитора.
Внешние устройства ввода/вывода, такие как SCSI Raid , должны быть в стойках с узлами, коммутаторами и т.д.
Основное отличие состоит в сборке (интеграции). В то время как кластер для заказчиков может быть собран в любом учреждении или даже на полу у заказчика (неудачная идея), то аппаратная часть кластера 1350 производится (т.е. интегрируется) и тестируется на заводе IBM . Процесс сборки кластера в заводских условиях обладает рядом преимуществ.
Пример конфигурации кластера 1350 приведен в таблице 13.1.
Программное обеспечение ( ПО ) для кластера 1350 существенно зависит от требований заказчика. Дополнительные технические условия могут потребовать особых программных пакетов. Коммерческий программный пакет, например, может включать в себя WebSphere, DB2 , MySQL и т.д. HPC пакет может включать MPICH, PVM , Maui Scheduler , математические библиотеки, трансляторы, профилировщики и т.д.
Операционная система Linux инсталлирована на каждом узле кластера. Кластер 1350 запускается под Red Hat Linux. В дальнейшем планируется ставить ОС SuSE (4Q02).
Управление системами кластера для Linux (CSM) — это лицензионный программный продукт IBM . Он обеспечивает функции управления системами, сходными по форме с программами поддержки параллельных систем ( Parallel System Support Programs — PSSP) для AIX -систем уровня поддержки на RS/6000 SP . CSM — это стандартный программный продукт для кластера 1350 .
CSM для Linux включает технологию, извлеченную из PSSP, и сейчас доступную на AIX для управления кластерами, собранными из серверов xSeries и запускаемыми под Linux, серверами IBM pSeries, управляемыми AIX , или комбинацией обеих операционных систем.
Таблица 13.1. Конфигурация кластера 1350.
Класс Число узлов кластера Скорость процессора, ГГц Память системы, Гбайт Внутренняя память, Гбайт Соединение кластера, Мбит/с Начальный 8 2,0 0,512 18 10/100 Ethernet Средний 32 2,4 1 18 10/100 Ethernet Профессиональный 128 2,8 1 36 Gigabit Ethernet Высоко-производительный 64 2,8 1 36 Myrinet-2000