Wprowadzenie: klastrowe systemy obliczeniowe. Klastry wysokiej dostępności

Rozwój systemy klastrowe(KS) w Rosji

Klaster to modułowy system wieloprocesorowy stworzony na bazie standardowych węzłów obliczeniowych połączonych szybkim medium komunikacyjnym. Teraz słowa „klaster” i „superkomputer” są w dużej mierze synonimami, ale zanim można było powiedzieć z całą pewnością, sprzęt przeszedł długi cykl ewolucji. Przez pierwsze 30 lat od pojawienia się komputerów do połowy lat 80. technologie „superkomputerowe” rozumiane były wyłącznie jako produkcja wyspecjalizowanych, szczególnie wydajnych procesorów. Jednak pojawienie się jednoukładowego mikroprocesora praktycznie zatarło różnicę między procesorami „masowymi” a „szczególnie wydajnymi” i od tego momentu jedynym sposobem na stworzenie superkomputera było połączenie procesorów w celu równoległego rozwiązania jednego problemu. Aleksey Latsis, jeden z twórców rosyjskiego superkomputera MVS-1000M, w swojej książce „How to Build and Use a Supercomputer” nazywa to „pierwszą superkomputerową rewolucją”.

Do około połowy lat dziewięćdziesiątych. Główny kierunek rozwoju technologii superkomputerowych związany był z budową wyspecjalizowanych układów wieloprocesorowych z masowych mikroukładów. Jedno z pojawiających się podejść - SMP (Symmetric Multi Processing), zakładało integrację wielu procesorów za pomocą wspólnej pamięci, co znacznie ułatwiało programowanie, ale stawiało wysokie wymagania samej pamięci. Utrzymanie wydajności takich systemów było prawie niemożliwe przy wzroście liczby węzłów do kilkudziesięciu. Ponadto takie podejście okazało się najdroższe w implementacji sprzętowej. O rząd wielkości tańsza i niemal nieskończenie skalowalna była metoda MPP (Massively Parallel Processing), w której niezależne wyspecjalizowane moduły obliczeniowe zostały połączone wyspecjalizowanymi kanałami komunikacyjnymi, które zostały stworzone dla konkretnego superkomputera i nie były wykorzystywane do żadnych innych celów.

Pomysł stworzenia tzw. klastra stacji roboczych był właściwie rozwinięciem metody MPP, ponieważ logicznie system MPP nie różnił się zbytnio od zwykłego. lokalna sieć. Lokalna sieć standardowych komputerów osobistych, wraz z odpowiednim oprogramowaniem, została wykorzystana jako wieloprocesorowy superkomputer i stała się protoplastą nowoczesnego klastra. Pomysł ten został dalej rozwinięty w połowie lat 90., kiedy szybkie Magistrala PCI i wygląd tani, ale szybka sieć. Klastry Fast Ethernet zaczęły doganiać wyspecjalizowane systemy MPP pod względem możliwości komunikacyjne. Oznaczało to, że pełnoprawny system MPP można było utworzyć ze standardowych komputerów szeregowych przy użyciu portu szeregowego technologie komunikacyjne, a taki system był tańszy średnio o dwa rzędy wielkości.

Oto najbardziej znane superkomputery z architekturą klastrową „pierwszej generacji”: Beowulf (1994, NASA Goddard Space Flight Center) - 16-procesorowy klaster oparty na procesorach Intel 486DX4/100 MHz; Avalon (1998, Los Alamos National Laboratory) - klaster Linux oparty na procesorach Alpha 21164A/533 MHz. Początkowo Avalon składał się z 68 procesorów, następnie ich liczba wzrosła do 140; jego wydajność w teście LINPACK wynoszącym 48,6 GFlops* uplasowała go na 113. miejscu w 12. edycji rankingu Top500 najmocniejszych komputerów na świecie, obok 152-procesorowego systemu IBM RS/6000 SP SMP. Pierwszym krajowym systemem wchodzącym w skład TorbOO był klaster MVS-1000M, wyprodukowany przez Instytut Badawczy „KVANT” i Instytut Matematyka stosowana Akademia Rosyjska Nauki. Składał się z 384 węzłów opartych na procesorach Alpha 21164 firmy DEC-Compaq.

* Flops (operacje zmiennoprzecinkowe na sekundę) - liczba operacji zmiennoprzecinkowych na sekundę, miara wydajności superkomputera. GFlops (gigaflops) - miliard operacji zmiennoprzecinkowych na sekundę; TFlops (teraflopy) - bilion operacji zmiennoprzecinkowych na sekundę. Rzeczywista wydajność dzisiejszego najpotężniejszego superkomputera przekracza 136 TFlops; zaledwie rok temu liczba ta wynosiła 35 TFlops.

Rozróżnij szczytową i rzeczywistą wydajność superkomputerów. Szczytowa wydajność systemu wieloprocesorowego (klaster, system SMP itp.) to wartość teoretyczna nieosiągalna w praktyce. Uzyskuje się ją przez pomnożenie szczytowej wydajności procesora przez liczbę procesorów w systemie. Szczytową wydajność procesora uzyskuje się zazwyczaj przez pomnożenie częstotliwość zegara o maksymalną liczbę operacji wykonywanych w jednym cyklu zegara. Rzeczywista wydajność klastra to wydajność uzyskana podczas rozwiązywania rzeczywistego problemu (naukowego lub przemysłowego). Na przykład systemy w rankingu Top500 są uszeregowane zgodnie z wynikami testu LINPACK, prawdziwego problemu akademickiego do rozwiązywania układu równań liniowych.

Nowy potężny impuls do rozwoju technologii klastrowych, oprócz pojawienia się bardziej zaawansowanych sieci komunikacyjnych, dał szybki wzrost wydajności nowo wydanych procesorów masowych, co sprawiło, że rozwiązania o wysokiej wydajności stały się bardziej przystępne cenowo niż kiedykolwiek. Np. SKIF K-500, drugi krajowy klaster wchodzący w skład TorbOO, został zbudowany w oparciu o 128 Procesory Intel Xeon i sieć systemowa SCI. Zbudowany jesienią 2003 roku dla rosyjsko-białoruskiego państwowego programu superkomputerowego SKIF, klaster ten zajął 407 miejsce w rankingu z rzeczywistą wydajnością 423,6 GFlops. Drugi „topowy” klaster programu państwowego, „SKIF K-1000”, oparty na 576 procesorach AMD Opteron i sieci systemowej InfiniBand, pojawił się w październiku 2004 roku i wszedł do pierwszej setki Top500 z rzeczywistą wydajnością 2032 TFlops. Oba klastry SKIF zainstalowane na Białorusi zostały zbudowane przez T-Platforms przy udziale Instytutu Systemów Informacyjnych Rosyjskiej Akademii Nauk i białoruskich partnerów oraz wykorzystują rosyjskie technologie superkomputerowe. Najpotężniejszy na ten moment klaster w Rosji - MVS 15000BM z rzeczywistą wydajnością ponad 5,3 Tflops, zajmuje 56. miejsce w Top500 i jest zainstalowany w Międzywydziałowym Centrum Superkomputerowym (MSC RAS). Klaster zbudowany jest z węzłów obliczeniowych IBM opartych na procesorach PowerPC oraz sieci systemowej Myrinet.

Szybki rozwój technologii klastrowych w ostatnich latach wyraźnie widać po analizie listy Top500: w latach 2000-2004 udział klastrów w zestawieniu wzrósł z 2,2% do 60,8%. Jeśli w 2000 r. wśród 40 najmocniejszych instalacji były tylko dwa klastry (najmocniejszy - 31. miejsce), to w 2004 r. ich liczba wśród pierwszych 40 maszyn wynosiła 24. Jednocześnie, według najnowszej wersji Top500, ponad 71,5% procesorów wykorzystywanych do napędzania superkomputerów to masowo produkowane procesory Intela i AMD.

Technologie klastrowe są również wykorzystywane w najnowszych opracowaniach superkomputerów wiodących producentów: na przykład najpotężniejszy współczesny superkomputer IBM BlueGene/L o wydajności ponad 136 TFlops wykorzystuje wiele elementów architektury klastra.

Sfera zastosowań systemów klastrowych nie jest obecnie węższa niż superkomputery o innej architekturze: nie mniej skutecznie radzą sobie z zadaniem symulacji różnorodnych procesów i zjawisk. Modelowanie superkomputerowe może znacznie obniżyć koszty i przyspieszyć wprowadzanie nowych produktów na rynek, a także poprawić ich jakość. Na przykład, zamiast budować drogie modele testowe nowych samochodów, a następnie rozbijać je o ścianę w celu wykonania obliczeń inżynierskich, można wszystko obliczyć szybciej i dokładniej, modele komputerowe. Dzięki temu wielu zachodnim koncernom motoryzacyjnym udało się skrócić czas opracowywania nowego modelu samochodu pięciokrotnie – z 10 do 2 lat. Komputerowe przetwarzanie danych geofizycznych pozwala na tworzenie bardzo szczegółowych modeli pól naftowych i gazowych, zapewniając wydajniejszą, bezpieczniejszą i tańszą eksploatację odwiertów.

To właśnie rozwój technologii klastrowych sprawił, że obliczenia o wysokiej wydajności stały się powszechnie dostępne i umożliwiły korzystanie z nich wielu różnym przedsiębiorstwom. Tak rozkładają się obszary zastosowań 500 najpotężniejszych komputerów na świecie: 44,3% - górnictwo, elektronika, motoryzacja, lotnictwo i inne gałęzie przemysłu ciężkiego i inżynierii, nieco ponad 20% - nauka i edukacja, superkomputer centra. Ponad 18% przypada na badania pogody i klimatu, 7% - jądrowe, kosmiczne, energetyczne i wojskowe programy rządowe, 3,5% - firmy finansowe i banki. Ponadto na liście znajdują się firmy i organizacje zajmujące się medycyną i opracowywaniem nowych leków, Grafika komputerowa, transport, handel, produkcja żywności, doradztwo i administracja publiczna.

Jeśli chodzi o wykorzystanie superkomputerów w Rosji, obecny ranking superkomputerów Top50 z krajów WNP, opublikowany po raz pierwszy w grudniu 2004 roku, obejmuje tylko trzy klasy użytkowników: instytuty naukowe i uniwersytety, przedsiębiorstwa związane z przemysłem ciężkim i naftowym oraz instytucje finansowe.

Średnio krajowe superkomputery wciąż są daleko w tyle za zachodnimi pod względem wydajności: maszyny używane do badania naukowe, 15 razy, zasoby obliczeniowe firm finansowych - 10 razy, superkomputery przemysłowe - 9 razy. Jednak druga edycja listy Top50, opublikowana w kwietniu 2005 roku, pokazuje dynamiczny rozwój branży. Tym samym liczba systemów działających w sektorze przemysłowym wzrosła z 2 do 16%, a ich średnia wydajność natychmiast wzrosła o 135%. Liczba superkomputerów firm finansowych i banków również wzrosła z 2 do 18%. Udział superkomputerów wykorzystywanych do badań naukowych zmniejszył się z 96% do 66%, a ich średnia wydajność wzrosła o 70%. Ogólnie rzecz biorąc, druga edycja krajowego rankingu superkomputerów wskazuje na znaczny wzrost udziału systemów do użytku komercyjnego. Najwięcej krajowych superkomputerów dostarczył IBM (26%), ale rosyjscy producenci ustępują mu tylko nieznacznie.

Klastrowe systemy obliczeniowe stały się kontynuacją rozwoju pomysłów osadzonych w architekturze systemów MPA. Jeżeli w systemie MPA moduł procesorowy pełni rolę kompletnego węzła obliczeniowego, to w systemach klastrowych jako takie węzły obliczeniowe wykorzystywane są komputery dostępne na rynku. Rozwój technologii komunikacyjnych, czyli pojawienie się szybkich sprzęt sieciowy oraz specjalne biblioteki oprogramowania, np. MPI (Message Passing Interface), które implementują mechanizm przekazywania komunikatów zgodnie ze standardem protokoły sieciowe, udostępnił publicznie technologie klastrowe. Obecnie wiele małych systemów klastrowych powstaje z połączenia mocy obliczeniowej komputerów laboratoryjnych lub klasowych.

Atrakcyjną cechą technologii klastrowych jest to, że w celu uzyskania wymaganej wydajności umożliwiają budowanie systemów heterogenicznych, czyli łączenie komputerów o tym samym inny rodzaj począwszy od komputerów osobistych po potężne superkomputery. Technologie klastrowe są szeroko stosowane jako środek tworzenia systemów klasy superkomputerowej od: części składowe produkcja masowa, co znacznie obniża koszt systemu komputerowego. W szczególności jednym z pierwszych projektów w 1998 roku był The COst Effective COmputing Array (COCOA), w którym na bazie 25 dwuprocesorowych komputerów osobistych powstał system o wydajności odpowiadającej 48-procesorowemu Cray T3D o wartości kilku milionów dolarów. komputery o łącznym koszcie około 100 000 dolarów.

Lyle Long, profesor inżynierii kosmicznej na Penn State University, uważa, że ​​stosunkowo tanie klastrowe systemy obliczeniowe mogą równie dobrze służyć jako alternatywa dla drogich superkomputerów w organizacjach naukowych. Pod jego kierownictwem na uniwersytecie powstał klaster COCOA. W ramach tego projektu 25

Stacje bazowe DELL, każda z dwoma procesorami Pentium II/400 MHz, 512 MB pamięć o dostępie swobodnym, dysk twardy 4 GB Dysk SCSI oraz adapter sieciowy szybki Ethernet. Węzły są połączone za pomocą 24-portowego przełącznika Baynetworks 450T z jednym modułem rozszerzającym. Zainstalowane oprogramowanie zawiera system operacyjny RedHat Linux, kompilatory Fortran 90 i HPF firmy Portland Group, darmową redystrybucyjną implementację MPI - Message Passing Interface Chameleon (MPICH) oraz system kolejkowania DQS.

W artykule przedstawionym na 38. spotkaniu i wystawie naukowej w dziedzinie lotnictwa, Long opisuje równoległą wersję programu równoważenia obciążenia obliczeniowego, używanego do przewidywania poziomu hałasu helikoptera w różnych lokalizacjach. Dla porównania to program obliczeniowy został uruchomiony na trzech różnych 48-procesorowych komputerach, aby obliczyć szum w 512 punktach. Obliczenia zajęły 177 sekund w systemie Cray T3E, 95 sekund w systemie SGI Origin2000 i 127 sekund w klastrze COCOA. Klastry są więc bardzo wydajną platformą obliczeniową dla problemów tej klasy.

Przewaga systemów klastrowych nad superkomputerami polega na tym, że ich właściciele nie muszą dzielić czasu procesora z innymi użytkownikami, jak w dużych centrach superkomputerowych. W szczególności COCOA zapewnia ponad 400 tys. godzin czasu pracy procesora rocznie, podczas gdy w centrach superkomputerowych uzyskanie 50 tys. godzin może być trudne.

Oczywiście nie ma potrzeby mówić o pełnej równoważności tych systemów. Jak wiadomo, wydajność systemów z pamięcią rozproszoną jest bardzo zależna od wydajności środowiska przełączającego, które można scharakteryzować dwoma parametrami: latencja - czas opóźnienia podczas wysyłania wiadomości oraz wydajność- szybkość przekazywania informacji. Na przykład dla komputera Cray T3D parametry te wynoszą odpowiednio 1 µs i 480 Mb/s, a dla klastra, w którym jako medium przełączające używana jest sieć Fast Ethernet, parametry te wynoszą 100 µs i 10 Mb/s. To częściowo wyjaśnia bardzo wysoki koszt superkomputerów. Przy takich parametrach, jak rozważany klaster, nie ma tak wielu zadań, które można skutecznie rozwiązać na odpowiednio dużej liczbie procesorów.

Na podstawie powyższego podamy definicję: klaster to połączony zestaw pełnoprawnych komputerów używanych jako pojedynczy zasób obliczeniowy. Jako węzły klastra mogą być używane zarówno komputery identyczne (klastry jednorodne), jak i różne (klastry heterogeniczne). Dzięki swojej architekturze system klastrowy jest luźno powiązany. Klastry są zwykle tworzone przy użyciu prostych jednoprocesorowych komputerów osobistych lub dwu- lub czteroprocesorowych serwerów SMP. W takim przypadku nie nakłada się żadnych ograniczeń na skład i architekturę węzłów. Każdy z węzłów może działać pod własną kontrolą system operacyjny. Najczęściej stosowany standard operacyjny Systemy Linux, FreeBSD, Solaris, Tru64 Unix, Windows NT.

W literaturze odnotowuje się cztery zalety osiągane przez klastrowanie systemu komputerowego:

∙ absolutna skalowalność;

∙ skalowalność;

∙ duża dostępność;

∙ stosunek ceny do wydajności.

Wyjaśnijmy każdą z powyższych cech klastrowego systemu obliczeniowego.

Nieruchomość absolutna skalowalność oznacza, że ​​możliwe jest tworzenie dużych klastrów, które przewyższają mocą obliczeniową nawet najbardziej wydajne pojedyncze komputery. Klaster może zawierać dziesiątki węzłów, z których każdy jest wieloprocesorem.

Właściwość skalowalności do układania w stos oznacza, że ​​klaster można powiększać, dodając nowe węzły w małych porcjach. W ten sposób użytkownik może zacząć od małego systemu, rozbudowując go w razie potrzeby.

Ponieważ każdy węzeł klastra jest niezależnym komputerem lub systemem, awaria jednego z węzłów nie prowadzi do utraty wydajności klastra. W wielu systemach odporność na awarie jest automatycznie obsługiwana przez oprogramowanie.

I wreszcie, systemy klastrowe zapewniają to, co jest nieosiągalne dla superkomputerów. stosunek ceny do jakości. Klastry o dowolnej wydajności można tworzyć przy użyciu standardowych „cegiełek”, a koszt klastra będzie niższy niż

komputer nocny o równoważnej mocy obliczeniowej.

Tak więc na poziomie sprzętowym klaster jest zbiorem niezależnych systemów obliczeniowych połączonych siecią. Rozwiązania mogą być proste, oparte na sprzęcie Ethernet, lub złożone, z szybkimi sieciami pracującymi z szybkością setek megabajtów na sekundę.

Integralną częścią klastra jest specjalistyczne oprogramowanie, którego zadaniem jest prowadzenie obliczeń w przypadku awarii jednego lub większej liczby węzłów. Takie oprogramowanie redystrybuuje obciążenie obliczeniowe w przypadku awarii jednego lub większej liczby węzłów klastra, a także przywraca obliczenia w przypadku awarii w węźle. Ponadto, jeśli w klastrze znajdują się dyski udostępnione, oprogramowanie klastra obsługuje jeden system plików.

Klasyfikacja architektur systemów klastrowych

Literatura opisuje różne drogi klasyfikacja systemów klastrowych. Najprostsza klasyfikacja opiera się na sposobie wykorzystania macierzy dyskowych: razem lub osobno.

Na ryc. Na rysunkach 5.5.1 i 5.5.2 przedstawiono struktury klastrów dwóch węzłów, których koordynację zapewnia linia dużych prędkości wykorzystywana do przesyłania komunikatów. Może to być sieć lokalna, z której korzystają również komputery spoza klastra, lub linia dedykowana. W przypadku łącza dzierżawionego jeden lub więcej węzłów klastra będzie mieć dostęp do lokalnego lub sieć globalna, który zapewnia komunikację między klastrem serwerów a zdalnymi systemami klienckimi.

Różnica pomiędzy prezentowanymi klastrami polega na tym, że w przypadku sieci lokalnej węzły wykorzystują lokalne macierze dyskowe, a w przypadku łącza dzierżawionego węzły dzielą jedną redundantną macierz niezależnych dyski twarde lub tak zwany RAID (nadmiarowa macierz niezależnych dysków). RAID składa się z kilku dysków kontrolowanych przez kontroler, połączonych ze sobą kanałami o dużej szybkości i postrzeganych system zewnętrzny jako całość. W zależności od rodzaju użytej tablicy można zapewnić różne stopnie odporności na uszkodzenia i wydajności.

Ryż. 5.5.1. Konfiguracja klastra bez dysków współdzielonych

Dysk

Ryż. 5.5.2. Konfiguracja klastra z dyskami współdzielonymi

Rozważ najpopularniejsze typy macierzy dyskowych

RAID0 (striping - striping) — macierz dyskowa składająca się z dwóch lub więcej dysków twardych bez nadmiarowości. Informacje są dzielone na bloki danych i zapisywane na obu (kilku) dyskach jednocześnie. Zaletą jest znaczny wzrost wydajności. Wadą jest to, że niezawodność RAID0 jest oczywiście niższa niż niezawodność któregokolwiek z dysków z osobna i zmniejsza się wraz ze wzrostem liczby dysków wchodzących w skład RAID0, ponieważ awaria któregokolwiek z dysków prowadzi do niesprawności całej macierzy .

RAID1 (mirroring - mirroring) - macierz składająca się z co najmniej dwóch dysków. Zaletami są akceptowalna prędkość zapisu i zwiększenie prędkości odczytu podczas zrównoleglania zapytań, a także wysoka niezawodność: działa tak długo, jak działa co najmniej jeden dysk w macierzy. Prawdopodobieństwo awarii dwóch dysków jednocześnie jest równe iloczynowi prawdopodobieństw awarii każdego dysku. W praktyce, jeśli jeden z dysków ulegnie awarii, należy podjąć pilne działania: ponownie przywrócić nadmiarowość. Aby to zrobić, przy dowolnym poziomie RAID (oprócz zera) zaleca się użycie gorących dysków zapasowych. Zaletą tego podejścia jest utrzymanie stałej dostępności. Wadą jest to, że musisz zapłacić koszt dwóch dysków twardych za użyteczną pojemność jednego dysku twardego.

RAID10 to macierz lustrzana, która zapisuje dane sekwencyjnie na wielu dyskach, podobnie jak RAID0. Ta architektura to macierz RAID0, której segmentami są macierze RAID1 zamiast pojedynczych dysków. W związku z tym macierz tego poziomu musi zawierać co najmniej cztery dyski. RAID10 łączy wysoką odporność na błędy i wydajność.

Pełniejszy obraz klastrowych systemów obliczeniowych daje klasyfikacja klastrów według zastosowanych metod klastrowania, które określają główne cechy funkcjonalne systemu:

∙ klastrowanie z pasywną redundancją;

∙ klastrowanie z aktywną redundancją;

∙ niezależne serwery;

∙ serwery z podłączeniem do wszystkich dysków;

∙ serwery z dyskami współdzielonymi.

Grupowanie nadmiarowe jest najstarszą i najbardziej wszechstronną metodą. Jeden z serwerów przejmuje całe obciążenie obliczeniowe, drugi pozostaje nieaktywny, ale gotowy do przejęcia obliczeń w przypadku awarii serwera głównego. Serwer aktywny (lub podstawowy) okresowo wysyła komunikat pulsu do serwera rezerwowego (dodatkowego). W przypadku braku komunikatów pulsu, co jest uważane za awarię serwera głównego, kontrolę przejmuje serwer pomocniczy. Takie podejście poprawia dostępność, ale nie poprawia wydajności. Co więcej, jeśli jedyną formą komunikacji między węzłami jest przesyłanie wiadomości, a oba serwery klastra nie współużytkują dysków, serwer rezerwowy nie ma dostępu do baz danych zarządzanych przez serwer główny.

Nadmiarowość pasywna jest rzadkością w przypadku klastrów. Termin „klaster” odnosi się do zestawu połączonych ze sobą węzłów aktywnie uczestniczących w proces obliczeniowy i wspólnie tworząc iluzję jednego potężnego komputera. Ta konfiguracja jest zwykle określana jako aktywny system serwerów pomocniczych i istnieją trzy metody klastrowania: serwery autonomiczne, serwery bez współużytkowania dysków i serwery z współużytkowaniem dysków.

W pierwszej metodzie każdy węzeł klastra jest traktowany jako samodzielny serwer z własnymi dyskami, przy czym żaden z dysków w systemie nie jest współużytkowany. Schemat zapewnia wysoką wydajność i wysoką dostępność, ale wymaga specjalnego oprogramowania do planowania dystrybucji żądań klientów do serwerów w taki sposób, aby osiągnąć zrównoważone i wydajne wykorzystanie wszystkich serwerów. Konieczne jest, aby w przypadku awarii jednego z węzłów podczas wykonywania aplikacji inny węzeł klastra mógł przechwycić i zakończyć tę aplikację. Aby to zrobić, dane w systemie muszą być stale archiwizowane, aby każdy serwer miał dostęp do wszystkich najnowszych danych w systemie. Ze względu na te koszty wysoką dostępność osiąga się tylko kosztem utraconej produktywności.

Aby zmniejszyć obciążenie komunikacyjne, większość klastrów składa się obecnie z serwerów podłączonych do: dyski współdzielone, zwykle reprezentowany przez dysk macierz RAID(patrz rys. 5.5.2).

Jedna z wersji tego podejścia sugeruje, że dzielenie się dyski nie są używane. Udostępnione dyski są podzielone na partycje, a każdy węzeł klastra ma przydzieloną własną partycję. Jeśli jeden z węzłów ulegnie awarii, klaster można skonfigurować tak, aby prawa dostępu do jego partycji dysku współdzielonego zostały przeniesione do innego węzła.

Alternatywnie, wiele serwerów współdzieli w czasie dostęp do dysków współdzielonych, dzięki czemu każdy węzeł ma dostęp do wszystkich partycji wszystkich dysków współdzielonych. Takie podejście wymaga pewnego rodzaju mechanizmu blokującego, aby zapewnić, że tylko jeden z serwerów ma dostęp do danych w danym momencie.

Klastry zapewniają wysoką dostępność — nie ma jednego systemu operacyjnego ani pamięci współdzielonej, więc nie ma problemu ze spójnością pamięci podręcznej. Ponadto specjalne oprogramowanie w każdym węźle stale monitoruje wydajność wszystkich pozostałych węzłów. Kontrola ta opiera się na okresowym wysyłaniu przez każdy węzeł sygnału „Wciąż nie śpię”. Jeżeli sygnał z pewnego węzła nie zostanie odebrany, to taki węzeł uważa się za niesprawny; nie ma możliwości wykonywania operacji we/wy, jego dyski i inne zasoby (w tym adresy sieciowe) są ponownie przydzielane innym węzłom, a uruchomione w nim programy są ponownie uruchamiane w innych węzłach.

Skalowanie wydajności klastra oraz dodawanie węzłów. W klastrze można uruchomić wiele pojedynczych aplikacji, ale skalowanie pojedynczej aplikacji wymaga, aby jej części komunikowały się za pośrednictwem wiadomości. Nie można jednak pominąć faktu, że interakcje między węzłami klastra zajmują znacznie więcej czasu niż w tradycyjnych systemach obliczeniowych. Możliwość niemal nieograniczonego wzrostu liczby węzłów oraz brak jednego systemu operacyjnego sprawiają, że architektury klastrowe są niezwykle skalowalne. Z powodzeniem wykorzystywane są systemy z setkami i tysiącami węzłów.

Przy tworzeniu klastrów można wyróżnić dwa podejścia. Pierwsze podejście polega na tworzeniu małych systemów klastrowych. Klaster łączy w pełni funkcjonalne komputery, które nadal działają jako niezależne jednostki, takie jak komputery w salach lekcyjnych lub laboratoryjne stacje robocze. Drugim podejściem jest celowe tworzenie potężnych zasobów obliczeniowych. Bloki systemowe komputery są kompaktowo rozmieszczone

Znajdują się one w specjalnych stojakach, a jeden lub więcej w pełni wyposażonych komputerów, nazywanych hostami, jest przydzielanych do zarządzania systemem i wykonywania zadań. W takim przypadku nie ma potrzeby zaopatrywania komputerów węzłów obliczeniowych w karty graficzne, monitory, dyski i inne urządzenia peryferyjne co znacznie obniża koszt systemu.

Opracowano wiele technologii łączenia komputerów w klaster. Obecnie najczęściej stosowaną technologią jest Ethernet, ze względu na łatwość obsługi i niski koszt sprzętu komunikacyjnego. Jednak trzeba za to zapłacić ewidentnie niewystarczającą szybkością wymian.

Twórcy pakietu podprogramów ScaLAPACK, przeznaczonego do rozwiązywania problemów algebry liniowej na systemach wieloprocesorowych, w których udział operacji komunikacyjnych jest duży, formułują wymagania dla systemu wieloprocesorowego w następujący sposób: „Szybkość wymiany międzyprocesorowej między dwoma węzłami, mierzona w MB/s musi wynosić co najmniej 1/10 szczytowej wydajności węzła obliczeniowego, mierzonej w MFLOPS”.

Topologie klastrowe

Rozważmy topologie charakterystyczne dla tak zwanych „małych” klastrów składających się z dwóch do czterech węzłów.

Topologia par klastrów używane przy organizowaniu klastrów dwu- lub czterowęzłowych (rys. 5.5.3). Węzły pogrupowane są w pary, do obu węzłów wchodzących w skład pary dołączane są macierze dyskowe, a każdy węzeł pary ma dostęp do wszystkich macierzy dyskowych tej pary. Jeden z węzłów pary jest używany jako kopia zapasowa dla drugiego.

Para klastrów czterowęzłowych jest prostym rozszerzeniem topologii dwuwęzłowej. Obie pary klastrów są traktowane jako całość pod względem administracyjnym i konfiguracyjnym.

Ta topologia może być wykorzystywana do organizowania klastrów o wysokiej dostępności danych, ale odporność na uszkodzenia jest implementowana tylko w parze, ponieważ urządzenia do przechowywania informacji należące do pary nie mają fizycznego połączenia z inną parą.

Ryż. 5.5.3. Topologia par klastrów

Topologia + 1 pozwala tworzyć klastry składające się z dwóch, trzech i czterech węzłów (rys.5.5.4). Każda macierz dyskowa łączy się tylko z dwoma węzłami klastra. Macierze dyskowe są zorganizowane zgodnie ze schematem RAID1 (dublowanie). Jeden serwer jest połączony ze wszystkimi macierzami dyskowymi i służy jako kopia zapasowa dla wszystkich pozostałych (podstawowych lub aktywnych) węzłów. Serwer rezerwowy może służyć do zapewnienia wysokiej dostępności w połączeniu z dowolnym aktywnym węzłem.

Topologia jest zalecana do organizowania klastrów o wysokiej dostępności danych. W konfiguracjach, w których możliwe jest przeznaczenie pojedynczego węzła dla nadmiarowości, ta topologia zmniejsza obciążenie węzłów aktywnych i zapewnia, że ​​obciążenie uszkodzonego węzła może być replikowane w węźle rezerwowym bez utraty wydajności. Tolerancja na uszkodzenia jest zapewniona między dowolnym węzłem podstawowym a węzłem rezerwowym. Jednocześnie topologia nie pozwala na implementację globalnej odporności na awarie, ponieważ główne węzły klastra i ich systemy przechowywania informacji nie są ze sobą połączone.

Topologia ×, podobnie jak topologia +1, pozwala na tworzenie klastrów z dwoma, trzema i czterema węzłami, ale w przeciwieństwie do niej ma większą elastyczność i skalowalność (rys.5.5.5).

Przełącznik

Ryż. 5.5.5. Topologia ×

Tylko w tej topologii wszystkie węzły klastra mają dostęp do wszystkich macierzy dyskowych, które z kolei budowane są według schematu RAID1 (mirroring). Skalowalność topologii przejawia się w łatwości dodawania do klastra dodatkowych węzłów i macierzy dyskowych bez zmiany połączeń w systemie.

grupa

grupa

grupa

grupa

Dysk

Dysk

Dysk

Dysk

Ryż. 5.5.6. W pełni podzielona topologia

W pełni podzielona topologia umożliwia podłączenie każdej macierzy dyskowej tylko do jednego węzła klastra (rys. 5.5.6 ). Zalecany tylko dla tych aplikacji, które charakteryzują się całkowicie odrębną architekturą dostępową.

Pytania kontrolne

1. Zdefiniuj system obliczeniowy klastra.

2. Wymień główne zalety i wady klastrowych systemów obliczeniowych.

3. Jakie masz klasyfikacje klastrowych systemów obliczeniowych

4. Jakie znasz topologie systemów klastrowych? Wymień ich zalety i wady.

Literatura

1. Architektury i topologie wieloprocesorowych systemów obliczeniowych / AV Bogdanow, W.W. Korchow, W.W. Mareev, E.N. Stankov. - M.: INTUIT.RU, 2004. - 176 s.

2. Systemy mikroprocesorowe: studia. dodatek na uczelnie /

E.K. Aleksandrow, RI Gruszwicki, MS Kupriyanov i inni; wyd. D.V. Puzankowa . - Petersburg: Politechnika, 2002. - 935 s.

(Swoją drogą, mówiąc jednocześnie, można złożyć niedrogi i wydajny klaster z xboksa 360 lub PS3, procesory tam są mniej więcej takie same jak Power i można kupić więcej niż jeden dekoder za milion.)

Wychodząc z tego, odnotowujemy opcje budowy systemu o wysokiej wydajności, które są interesujące pod względem ceny. Oczywiście musi być wieloprocesorowy. Do takich zadań Intel wykorzystuje procesory Xeon, podczas gdy AMD wykorzystuje procesory Opteron.

Jeśli dużo pieniędzy

Aby osiem procesorów zmieściło się w obudowie, nie umieszcza się ich od razu płyta główna, ale na osobnych płytach przyklejonych do płyty głównej. Zdjęcie przedstawia cztery płyty z procesorami zainstalowanymi w płycie głównej (po dwa na każdej). To jest rozwiązanie Supermicro. W rozwiązaniu HP każdy procesor ma własną płytę. Koszt rozwiązania HP wynosi od dwóch do trzech milionów, w zależności od wypełnienia procesorów, pamięci i innych rzeczy. Podwozie od Supermicro kosztuje 10 000 USD, co jest bardziej atrakcyjne. Poza tym Supermicro może w portach PCI-Express x16 umieścić cztery karty rozszerzeń koprocesorów (swoją drogą, będzie jeszcze miejsce na przejściówkę Infiniband, aby zmontować ich klaster), a HP ma tylko dwie. Dlatego ośmioprocesorowa platforma Supermicro jest bardziej atrakcyjna do tworzenia superkomputera. Poniższe zdjęcie z wystawy przedstawia montaż superkomputera z czterema płytami GPU.

Co jest tańsze

Wybierać konkretny model skompilowałem tabelę, w której obliczyłem wskaźnik ceny/(liczba rdzeni*częstotliwość) dla każdego procesora. Wykluczyłem z obliczeń procesory poniżej 2 GHz, a dla Intela - z magistralą poniżej 6,4 GT/s.

Zatem mój wybór procesorów do superkomputera to Opteron 6386 SE, Opteron 6344, Xeon E5-2687W i Xeon E5-2630.

płyty główne

PICMG

Taki system bez GPU kosztowałby co najmniej 5000 dolarów.

Platformy gotowe na TIAN

„Zwykłe” serwerowe płyty główne

Dla LGA2011

Supermicro X9DRG-QF - ta płyta jest specjalnie zaprojektowana do budowania wysokowydajnych systemów.

Dla Opterona

Wzmocnienie platformy płytami dylatacyjnymi

Cechą takich koprocesorów jest obecność dużej ilości pamięci RAM na pokładzie, szybkie obliczenia z podwójną precyzją i energooszczędnością.

Rozwiązanie od Intela - Xeon Phi 5110P jest ciekawe, ponieważ wszystkie rdzenie w koprocesorze wykonane są na architekturze x86 i do rozpoczęcia obliczeń nie jest wymagana żadna specjalna optymalizacja kodu. Ale moim ulubionym koprocesorem jest stosunkowo niedrogi AMD HD 7970 GHz Edition. Teoretycznie ta karta wideo pokaże maksymalną wydajność za cenę.

Może być grupowany

Używanie zwykłego Gigabit Ethernet jako interfejsu sieciowego do łączenia komputerów jest zbyt wolne. Do tych celów najczęściej używany jest Infiniband. Adapter hosta Infiniband jest niedrogi w porównaniu z serwerem. Na przykład na międzynarodowej aukcji Ebay takie adaptery są sprzedawane w cenie 40 USD. Na przykład dostawa do Rosji adaptera X4 DDR (20 Gb/s) kosztuje około 100 USD.

Jednocześnie przełączanie sprzętu na Infiniband jest dość drogie. Tak, i jak wspomniano powyżej, gwiazda klasyczna jako topologia śieć komputerowa- nie najlepszy wybór.

Jednak hosty InfiniBand można łączyć bezpośrednio ze sobą bez przełącznika. Wtedy na przykład ta opcja staje się dość interesująca: klaster dwóch komputerów połączonych przez infiniband. Taki superkomputer można zmontować w domu.

Ile kart graficznych potrzebujesz

W Tianhe-1A, chińskim superkomputerze opartym na xeonach, stosunek jest następujący. Dwa procesor sześciordzeniowy na jedną kartę graficzną Nvidia M2050 (słabsza niż K20X).

Takie podejście do naszych montaży przyjmiemy jako optymalne (bo taniej). To znaczy 12-16 rdzeni procesora na GPU. W poniższej tabeli pogrubienie oznacza praktycznie możliwe opcje, podkreślając - najbardziej udany z mojego punktu widzenia.

Więc ile to kosztuje

Opcja 1 na płycie głównej Supermicro H8QGL-6F

Opcja 2 na płycie głównej TYAN S8232, klaster

Klaster o wysokiej wydajności (grupa komputerowa)

Klaster komputerowy to grupa komputerów połączonych szybkimi liniami komunikacyjnymi, które wspólnie przetwarzają te same żądania i są prezentowane przez użytkownika jako jeden system obliczeniowy.

Główne właściwości klastrów

Klastry składają się z wielu systemów komputerowych;

Działają jako jeden system obliczeniowy (nie wszystkie);

Klaster jest zarządzany i prezentowany użytkownikowi jako jeden system obliczeniowy;

Dlaczego klastry są potrzebne

Klastry mogą być używane do różnych celów. Klastry mogą tworzyć systemy odporne na awarie, mogą służyć do poprawy wydajności węzła komputerowego lub mogą być wykorzystywane do czasochłonnych obliczeń.

Jakie są klastry

Klastry pracy awaryjnej

Takie klastry są tworzone w celu zapewnienia: wysoki poziom dostępność usługi reprezentowanej przez klaster. W jaki sposób więcej ilości komputerów wchodzących w skład klastra, tym mniejsze prawdopodobieństwo awarii prezentowanej usługi. Komputery będące częścią rozproszonego geograficznie klastra zapewniają również ochronę przed klęskami żywiołowymi, atakami terrorystycznymi i innymi zagrożeniami.

Dane klastra można budować według trzech głównych zasad

• klastry w trybie zimnego czuwania- wtedy węzeł aktywny przetwarza żądania, a pasywny jest bezczynny i tylko czeka na awarię aktywnego. Węzeł pasywny zaczyna działać dopiero po awarii węzła aktywnego. Klaster zbudowany na ta zasada, może zapewnić wysoką odporność na awarie, ale w momencie wyłączenia aktywnego węzła, przetwarzane przez niego w tym momencie żądania mogą zostać utracone.
• klaster gorącej gotowości- wtedy wszystkie węzły systemu wspólnie przetwarzają żądania, a w przypadku awarii jednego lub kilku węzłów obciążenie rozkłada się na pozostałe. Ten typ Klaster można również nazwać klastrem równoważenia obciążenia, o którym powiemy później, ale z obsługą dystrybucji żądań, gdy jeden lub więcej węzłów ulegnie awarii. Podczas korzystania z tego klastra istnieje również możliwość utraty danych przetwarzanych przez węzeł, który uległ awarii.
• modułowy klaster redundancyjny- wtedy wszystkie komputery w klastrze przetwarzają równolegle te same żądania, a po przetworzeniu pobierana jest dowolna wartość. Taki schemat gwarantuje wykonanie żądania, ponieważ każdy wynik przetwarzania żądania może zostać pobrany.

Klaster równoważenia obciążenia

Klastry te są tworzone głównie ze względu na wydajność, ale można ich również używać do poprawy odporności na awarie, tak jak w przypadku klastra pracy awaryjnej typu hot spare. W danych klastra żądania są dystrybuowane przez węzły wejściowe do wszystkich pozostałych węzłów klastra.

Klastry obliczeniowe

Ten rodzaj klastrów jest zwykle wykorzystywany do celów naukowych. W tych systemach zadanie podzielone jest na części, realizowane równolegle na wszystkich węzłach klastra. Pozwala to znacznie skrócić czas przetwarzania w porównaniu z pojedynczymi komputerami.

(Swoją drogą, mówiąc jednocześnie, można złożyć niedrogi i wydajny klaster z xboksa 360 lub PS3, procesory tam są mniej więcej takie same jak Power i można kupić więcej niż jeden dekoder za milion.)

Wychodząc z tego, odnotowujemy opcje budowy systemu o wysokiej wydajności, które są interesujące pod względem ceny. Oczywiście musi być wieloprocesorowy. Do takich zadań Intel wykorzystuje procesory Xeon, podczas gdy AMD wykorzystuje procesory Opteron.

Jeśli dużo pieniędzy

Aby osiem procesorów zmieściło się w obudowie, nie są one umieszczane bezpośrednio na płycie głównej, ale na osobnych płytach, które są wpinane do płyty głównej. Zdjęcie przedstawia cztery płyty z procesorami zainstalowanymi w płycie głównej (po dwa na każdej). To jest rozwiązanie Supermicro. W rozwiązaniu HP każdy procesor ma własną płytę. Koszt rozwiązania HP wynosi od dwóch do trzech milionów, w zależności od wypełnienia procesorów, pamięci i innych rzeczy. Podwozie od Supermicro kosztuje 10 000 USD, co jest bardziej atrakcyjne. Dodatkowo Supermicro może w portach PCI-Express x16 umieścić cztery karty rozszerzeń koprocesorów (swoją drogą, będzie jeszcze miejsce na przejściówkę Infiniband, aby zmontować ich klaster), a HP ma tylko dwie. Dlatego ośmioprocesorowa platforma Supermicro jest bardziej atrakcyjna do tworzenia superkomputera. Poniższe zdjęcie z wystawy przedstawia montaż superkomputera z czterema płytami GPU.

Co jest tańsze

Aby wybrać konkretny model, skompilowałem tabelę, w której wyliczyłem wskaźnik ceny/(liczba rdzeni*częstotliwość) dla każdego procesora. Wykluczyłem z obliczeń procesory poniżej 2 GHz, a dla Intela - z magistralą poniżej 6,4 GT/s.

Zatem mój wybór procesorów do superkomputera to Opteron 6386 SE, Opteron 6344, Xeon E5-2687W i Xeon E5-2630.

płyty główne

PICMG

Taki system bez GPU kosztowałby co najmniej 5000 dolarów.

Platformy gotowe na TIAN

„Zwykłe” serwerowe płyty główne

Dla LGA2011

Supermicro X9DRG-QF - ta płyta jest specjalnie zaprojektowana do budowania wysokowydajnych systemów.

Dla Opterona

Wzmocnienie platformy płytami dylatacyjnymi

Cechą takich koprocesorów jest obecność dużej ilości pamięci RAM na pokładzie, szybkie obliczenia z podwójną precyzją i energooszczędnością.

Rozwiązanie od Intela - Xeon Phi 5110P jest ciekawe, ponieważ wszystkie rdzenie w koprocesorze wykonane są na architekturze x86 i do rozpoczęcia obliczeń nie jest wymagana żadna specjalna optymalizacja kodu. Ale moim ulubionym koprocesorem jest stosunkowo niedrogi AMD HD 7970 GHz Edition. Teoretycznie ta karta wideo pokaże maksymalną wydajność za cenę.

Może być grupowany

Używanie zwykłego Gigabit Ethernet jako interfejsu sieciowego do łączenia komputerów jest zbyt wolne. Do tych celów najczęściej używany jest Infiniband. Adapter hosta Infiniband jest niedrogi w porównaniu z serwerem. Na przykład na międzynarodowej aukcji Ebay takie adaptery są sprzedawane w cenie 40 USD. Na przykład dostawa do Rosji adaptera X4 DDR (20 Gb/s) kosztuje około 100 USD.

Jednocześnie przełączanie sprzętu na Infiniband jest dość drogie. Jak wspomniano powyżej, klasyczna gwiazda jako topologia sieci komputerowej nie jest najlepszym wyborem.

Jednak hosty InfiniBand można łączyć bezpośrednio ze sobą bez przełącznika. Wtedy na przykład ta opcja staje się dość interesująca: klaster dwóch komputerów połączonych przez infiniband. Taki superkomputer można zmontować w domu.

Ile kart graficznych potrzebujesz

W Tianhe-1A, chińskim superkomputerze opartym na xeonach, stosunek jest następujący. Dwa sześciordzeniowe procesory dla jednej karty graficznej Nvidia M2050 (słabszej niż K20X).

Takie podejście do naszych montaży przyjmiemy jako optymalne (bo taniej). To znaczy 12-16 rdzeni procesora na GPU. W poniższej tabeli pogrubioną czcionką zaznaczono praktycznie możliwe opcje, te najbardziej udane z mojego punktu widzenia podkreślono.

Więc ile to kosztuje

Opcja 1 na płycie głównej Supermicro H8QGL-6F

Opcja 2 na płycie głównej TYAN S8232, klaster