Аппараттық және бағдарламалық қамтамасыз етуді орнату

Кіріспе: кластерлік есептеу жүйелері. Жоғары қолжетімді кластерлер

Даму кластерлік жүйелер(KS) Ресейде

Кластер – жоғары жылдамдықты байланыс ортасымен қосылған стандартты есептеу түйіндерінің негізінде құрылған модульдік көппроцессорлық жүйе. Қазір «кластер» және «суперкомпьютер» сөздері негізінен синонимдер болып табылады, бірақ оны сенімді түрде айтуға болмас бұрын, аппараттық құрал ұзақ эволюция циклінен өтті. Компьютерлер пайда болғаннан бастап 1980 жылдардың ортасына дейін алғашқы 30 жыл ішінде «суперкомпьютер» технологиялары тек арнайы, әсіресе қуатты процессорлардың өндірісі ретінде түсінілді. Дегенмен, бір чипті микропроцессордың пайда болуы іс жүзінде «массалық» және «ерекше қуатты» процессорлар арасындағы айырмашылықты жойды және осы сәттен бастап суперкомпьютерді құрудың жалғыз жолы бір мәселені параллельде шешу үшін процессорларды біріктіру болды. Ресейлік MVS-1000M суперкомпьютерін жасаушылардың бірі Алексей Лацис «Суперкомпьютерді қалай құру және пайдалану керек» кітабында оны «бірінші суперкомпьютерлік революция» деп атайды.

Шамамен 1990 жылдардың ортасына дейін. Суперкомпьютерлік технологияларды дамытудағы негізгі бағыт жаппай микросұлбалардан мамандандырылған мультипроцессорлық жүйелерді құрумен байланысты болды. Жаңадан пайда болған тәсілдердің бірі - SMP (Symmetric Multi Processing) жалпы жадты пайдаланып көптеген процессорларды біріктіруді көздеді, бұл бағдарламалауды айтарлықтай жеңілдетті, бірақ жадтың өзіне жоғары талаптар қояды. Түйіндер санының ондағанға дейін ұлғаюымен мұндай жүйелердің өнімділігін сақтау мүмкін емес еді. Сонымен қатар, бұл тәсіл аппараттық құралдарды жүзеге асыруда ең қымбат болып шықты. Арзанырақ және шексіз дерлік масштабтауға болатын тәртіп MPP (Massively Parallel Processing) әдісі болды, онда тәуелсіз мамандандырылған есептеу модульдері мамандандырылған байланыс арналары арқылы біріктірілді, олардың екеуі де белгілі бір суперкомпьютер үшін жасалған және басқа мақсаттарда пайдаланылмаған.

Жұмыс станцияларының кластерін құру идеясы шын мәнінде MPP әдісінің дамуы болды, өйткені логикалық тұрғыдан MPP жүйесі әдеттегіден айтарлықтай ерекшеленбеді. жергілікті желі. Стандартты дербес компьютерлердің жергілікті желісі сәйкес бағдарламалық жасақтамасы көп процессорлы суперкомпьютер ретінде қолданылып, қазіргі кластердің бастаушысы болды. Бұл идея 1990-шы жылдардың ортасында жоғары жылдамдықпен дамыды PCI шинасыжәне арзанның пайда болуы, бірақ жылдам желі. Fast Ethernet кластерлері мамандандырылған MPP жүйелерін қуып жете бастады коммуникация мүмкіндіктері. Бұл толыққанды MPP жүйесін сериялық пайдалану арқылы стандартты сериялық компьютерлерден жасауға болатынын білдірді коммуникациялық технологиялар, және мұндай жүйе орташа есеппен екі деңгейге арзанырақ болды.

Міне, «бірінші ұрпақ» кластерлік архитектурасы бар ең танымал суперкомпьютерлер: Beowulf (1994, NASA Goddard ғарыштық ұшу орталығы) - Intel 486DX4/100 МГц процессорларына негізделген 16 процессорлы кластер; Avalon (1998, Лос-Аламос ұлттық зертханасы) - Alpha 21164A/533 МГц процессорларына негізделген Linux кластері. Бастапқыда Avalon 68 процессордан тұрды, кейін олардың саны 140-қа дейін өсті; оның LINPACK сынағы бойынша 48,6 GFlops* өнімділігі оны 152 процессорлы IBM RS/6000 SP SMP жүйесімен қатар Top500 әлемдегі ең қуатты компьютерлердің 12-шығарылымында 113-ші орынға қойды. TorbOO-ға енгізілген алғашқы отандық жүйе «КВАНТ» ҒЗИ және Институт шығарған MVS-1000M кластері болды. қолданбалы математика Ресей академиясыҒылымдар. Ол DEC-Compaq компаниясының Alpha 21164 процессорларына негізделген 384 түйіннен тұрды.

* Флоптар (секундтағы өзгермелі нүкте операциялары) – секундына өзгермелі нүкте операцияларының саны, суперкомпьютер өнімділігінің өлшемі. GFlops (гигафлоптар) – секундына миллиард өзгермелі нүкте операциялары; TFlops (терафлоптар) – секундына триллион өзгермелі нүкте операциялары. Бүгінгі ең қуатты суперкомпьютердің нақты өнімділігі 136 TFlops-тан асады; бір жыл бұрын бұл көрсеткіш 35 TFlops болды.

Суперкомпьютерлердің ең жоғары және нақты өнімділігін ажыратыңыз. Көппроцессорлық жүйенің ең жоғары өнімділігі (кластер, SMP жүйесі және т.б.) тәжірибеде қол жеткізу мүмкін емес теориялық мән болып табылады. Ол процессордың ең жоғары өнімділігін жүйедегі процессорлар санына көбейту арқылы алынады. Ең жоғары CPU өнімділігі әдетте оны көбейту арқылы алынады тактілік жиілікбір тактілік циклде орындалатын операциялардың максималды саны бойынша. Кластердің нақты өнімділігі – нақты мәселені шешу кезінде алынған өнімділік (академиялық немесе өндірістік). Мысалы, Top500 рейтингіндегі жүйелер сызықтық теңдеулер жүйесін шешуге арналған нақты академиялық есеп болып табылатын LINPACK тестінің нәтижелері бойынша бағаланады.

Кластерлік технологияларды дамытуға жаңа қуатты серпін, анағұрлым жетілдірілген коммуникациялық желілердің пайда болуымен қатар, жаңадан шығарылған массалық процессорлардың өнімділігін жылдам арттыруға мүмкіндік берді, бұл жоғары өнімді шешімдерді бұрынғыдан да қолжетімді етті. Мысалы, TorbOO құрамына кіретін екінші отандық кластер SKIF K-500 128 базасында салынған. Intel процессорлары Xeon және жүйелік желі SCI. 2003 жылдың күзінде Ресей-Беларусь мемлекеттік суперкомпьютерлік SKIF бағдарламасы үшін құрастырылған бұл кластер 423,6 GFlops нақты өнімділігімен рейтингте 407-ші орынды иеленді. Мемлекеттік бағдарламаның екінші «үздік» кластері, 576 AMD Opteron процессорлары мен InfiniBand жүйелік желісіне негізделген «SKIF K-1000» 2004 жылдың қазан айында пайда болды және 2032 TFlops нақты өнімділігімен Top500 үздік жүздігіне енді. Беларусьте орнатылған екі SKIF кластері де Ресей ғылым академиясының Ақпараттық жүйелер институтының және белорус серіктестерінің қатысуымен T-Platforms компаниясымен салынған және ресейлік суперкомпьютерлік технологияларды пайдаланады. Ең күштісі осы сәтРесейдегі кластер - 5,3 Тфлоптан жоғары нақты өнімділікпен MVS 15000BM, ол Top500 рейтингінде 56-шы орында және Ведомствоаралық суперкомпьютер орталығында (MSC RAS) орнатылған. Кластер PowerPC процессорларына және Myrinet жүйелік желісіне негізделген IBM есептеу түйіндерінен құрастырылған.

Соңғы жылдардағы кластерлік технологиялардың қарқынды дамуы Топ500 тізімін талдаудан анық байқалады: 2000-2004 жылдар аралығында тізімдегі кластерлердің үлесі 2,2%-дан 60,8%-ға дейін өсті. Егер 2000 жылы ең қуатты 40 қондырғының ішінде тек екі кластер болса (ең қуаттысы – 31 орын), 2004 жылға қарай олардың саны алғашқы 40 машинаның ішінде 24 болды. Сонымен қатар, Top500 соңғы нұсқасына сәйкес, суперкомпьютерлерді басқару үшін пайдаланылатын процессорлардың 71,5% -дан астамы Intel және AMD компанияларының жаппай шығарылған процессорлары болып табылады.

Кластерлік технологиялар жетекші өндірушілердің суперкомпьютерлерінің соңғы әзірлемелерінде де қолданылады: мысалы, өнімділігі 136 TFlops-тен жоғары қазіргі заманғы ең қуатты IBM BlueGene/L суперкомпьютері кластер архитектурасының көптеген элементтерін пайдаланады.

Кластерлік жүйелерді қолдану аясы қазір басқа архитектурасы бар суперкомпьютерлерден тар емес: олар әртүрлі процестер мен құбылыстарды имитациялау міндетін сәтті жеңеді. Суперкомпьютерлік модельдеу құнын айтарлықтай төмендетіп, нарыққа жаңа өнімдерді енгізуді тездетуге, сондай-ақ олардың сапасын жақсартуға мүмкіндік береді. Мысалы, жаңа көліктердің қымбат сынақ үлгілерін жасап, содан кейін инженерлік есептеулерді орындау үшін оларды қабырғаға соғудың орнына, сіз бәрін жылдамырақ және дәлірек есептей аласыз: компьютерлік модельдер. Осының арқасында көптеген батыстық автомобиль концерндері жаңа автомобиль үлгісін әзірлеу уақытын бес есеге – 10 жылдан 2 жылға дейін қысқарта алды. Геофизикалық мәліметтерді компьютерлік өңдеу мұнай және газ кен орындарының жоғары егжей-тегжейлі үлгілерін жасауға мүмкіндік береді, ұңғымаларды тиімдірек, қауіпсіз және арзан игеруді қамтамасыз етеді.

Бұл кластерлік технологиялардың дамуы жоғары өнімді есептеулерді кеңінен қол жетімді етті және көптеген кәсіпорындарға олардың артықшылықтарын пайдалануға мүмкіндік берді. Дүние жүзіндегі ең қуатты 500 компьютерді қолдану салалары осылай бөлінеді: 44,3% - тау-кен өнеркәсібі, электроника, автомобиль жасау, авиация және ауыр өнеркәсіп пен машина жасаудың басқа салаларында, 20% сәл астам - ғылым мен білім, суперкомпьютер. орталықтары. 18%-дан астамы ауа-райы мен климаттық зерттеулерге, 7%-ы ядролық, ғарыштық, энергетикалық және әскери салаға тиесілі мемлекеттік бағдарламалар, 3,5% - қаржы компаниялары мен банктер. Сонымен қатар, тізімге медицинамен және жаңа препараттарды әзірлеумен айналысатын компаниялар мен ұйымдар, компьютерлік графика, көлік, сауда, азық-түлік өндірісі, кеңес беру және мемлекеттік басқару.

Ресейде суперкомпьютерлерді қолдануға келетін болсақ, 2004 жылдың желтоқсанында алғаш рет жарияланған ТМД суперкомпьютерлерінің қазіргі Топ50 рейтингі пайдаланушылардың тек үш класын қамтиды: ғылыми институттар мен университеттер, ауыр және мұнай өнеркәсібімен айналысатын кәсіпорындар, сондай-ақ қаржы институттары.

Орташа алғанда, отандық суперкомпьютерлер өнімділігі жағынан батыстықтардан әлі де артта қалды: қолданылатын машиналар ғылыми зерттеулер, 15 есе, қаржы компанияларының есептеу ресурстары - 10 есе, өнеркәсіптік суперкомпьютерлер - 9 есе. Дегенмен, 2005 жылдың сәуір айында жарияланған Top50 тізімінің екінші басылымы саланың қарқынды дамуын көрсетеді. Осылайша, өнеркәсіптік секторда жұмыс істейтін жүйелердің саны 2-ден 16%-ға дейін өсті, ал олардың орташа өнімділігі бірден 135%-ға өсті. Қаржы компаниялары мен банктердің суперкомпьютерлерінің саны да 2-ден 18%-ға дейін өсті. Ғылыми зерттеулерге қолданылатын суперкомпьютерлердің үлесі 96%-дан 66%-ға дейін төмендеп, олардың орташа өнімділігі 70%-ға артты. Жалпы отандық суперкомпьютер рейтингінің екінші шығарылымы коммерциялық мақсаттағы жүйелер үлесінің айтарлықтай артқанын көрсетеді. Отандық суперкомпьютерлердің ең көп санын IBM (26%) жеткізген, бірақ ресейлік өндірушілер одан сәл ғана төмен.

Кластерлік есептеу жүйелері MPA жүйелерінің архитектурасына енгізілген идеялар дамуының жалғасы болды. Егер MPA жүйесінде процессор модулі толық есептеу түйіні ретінде әрекет етсе, кластерлік жүйелерде мұндай есептеу түйіндері ретінде коммерциялық қол жетімді компьютерлер қолданылады. Коммуникациялық технологиялардың дамуы, атап айтқанда жоғары жылдамдықтың пайда болуы желілік жабдықжәне арнайы бағдарламалық кітапханалар, мысалы, MPI (Message Passing Interface), олар стандартқа сәйкес хабарламаны беру механизмін жүзеге асырады. желілік протоколдар, кластерлік технологияларды жалпыға қолжетімді етті. Қазіргі уақытта көптеген шағын кластерлік жүйелер компьютерлердің есептеу қуатын зертханада немесе аудиторияда біріктіру арқылы құрылуда.

Кластерлік технологиялардың тартымды ерекшелігі талап етілетін өнімділікке қол жеткізу үшін олар гетерогенді жүйелерді құруға мүмкіндік береді, яғни бірдей компьютерлерді біріктіреді. әртүрлі түрідербес компьютерлерден қуатты суперкомпьютерлерге дейін. Кластерлік технологиялар суперкомпьютер класындағы жүйелерді құру құралы ретінде кеңінен қолданылады құрамдас бөліктержаппай өндіріс, бұл компьютерлік жүйенің құнын айтарлықтай төмендетеді. Атап айтқанда, 1998 жылы алғашқы жобалардың бірі 25 қос процессорлы жеке компьютер негізінде құны бірнеше миллион доллар тұратын 48 процессорлы Cray T3D-ге баламалы өнімділігі бар жүйе құрылды. жалпы құны шамамен $ 100 000 болатын компьютерлер. .

Лайл Лонг, Пенн Стейт университетінің аэроғарыштық инженерия профессоры салыстырмалы түрде арзан кластерлік есептеу жүйелері ғылыми ұйымдардағы қымбат суперкомпьютерлерге балама бола алады деп есептейді. Оның жетекшілігімен университетте COCOA кластері салынды. Осы жоба аясында 25

DELL базалық станциялары, әрқайсысында екі Pentium II/400 МГц процессорлары, 512 МБ жедел жады, 4 ГБ қатты диск SCSI дискісіжәне желілік адаптержылдам ethernet. Түйіндер бір кеңейту модулі бар 24 портты Baynetworks 450T қосқышы арқылы қосылады. Орнатылған бағдарламалық қамтамасыз ету RedHat Linux операциялық жүйесін, Portland Group компаниясының Fortran 90 және HPF компиляторларын, MPI еркін таратылатын іске асыру - Message Passing Interface Chameleon (MPICH) және DQS кезек жүйесін қамтиды.

38-ші Аэроғарыштық ғылым жиналысы мен көрмесінде ұсынылған мақалада Лонг әртүрлі жерлерде тікұшақ шуының деңгейін болжау үшін қолданылатын есептік жүктемені теңестіру бағдарламасының параллель нұсқасын сипаттайды. Салыстыру үшін бұл есептеу бағдарламасы 512 нүктедегі шуды есептеу үшін үш түрлі 48 процессорлы компьютерде іске қосылды. Есептеуге Cray T3E жүйесінде 177 секунд, SGI Origin2000 жүйесінде 95 секунд және COCOA кластерінде 127 секунд қажет болды. Осылайша, кластерлер осы класс есептері үшін өте тиімді есептеу платформасы болып табылады.

Кластерлік жүйелердің суперкомпьютерлерден артықшылығы – олардың иелері ірі суперкомпьютер орталықтарындағыдай процессор уақытын басқа пайдаланушылармен бөлісудің қажеті жоқ. Атап айтқанда, COCOA жылына 400 мың сағаттан астам процессор уақытын қамтамасыз етеді, ал суперкомпьютерлік орталықтарда 50 мың сағатты алу қиын болуы мүмкін.

Әрине, бұл жүйелердің толық эквиваленттілігі туралы айтудың қажеті жоқ. Өздеріңіз білетіндей, таратылған жады бар жүйелердің өнімділігі коммутация ортасының өнімділігіне өте тәуелді, оны екі параметрмен сипаттауға болады: кідіріс - хабарлама жіберу кезіндегі кешігу уақыты және өткізу қабілеті- ақпаратты беру жылдамдығы. Мысалы, Cray T3D компьютері үшін бұл параметрлер сәйкесінше 1 мкс және 480 Мб/с және коммутация ортасы ретінде Fast Ethernet желісі пайдаланылатын кластер үшін бұл параметрлер 100 мкс және 10 Мб/с. Бұл суперкомпьютерлердің өте жоғары құнын ішінара түсіндіреді. Қарастырылып отырған кластер сияқты параметрлермен процессорлардың жеткілікті үлкен санында тиімді шешілетін тапсырмалар онша көп емес.

Жоғарыда айтылғандарға сүйене отырып, біз анықтама береміз: кластер - бұл бір есептеуіш ресурс ретінде пайдаланылатын толыққанды компьютерлердің қосылған жиынтығы. Кластер түйіндері ретінде бірдей (біртекті кластерлер) және әртүрлі (гетерогенді кластерлер) компьютерлерді де пайдалануға болады. Өзінің архитектурасы бойынша кластерлік есептеу жүйесі еркін байланысқан. Кластерлер әдетте қарапайым 1 процессорлы дербес компьютерлер немесе 2 немесе 4 процессорлы SMP серверлері арқылы жасалады. Бұл жағдайда түйіндердің құрамы мен архитектурасына ешқандай шектеулер қойылмайды. Түйіндердің әрқайсысы өз басқаруымен жұмыс істей алады операциялық жүйе. Ең жиі қолданылатын стандартты операция Linux жүйелері, FreeBSD, Solaris, Tru64 Unix, Windows NT.

Әдебиеттер есептеу жүйесін кластерлеу арқылы қол жеткізілетін төрт артықшылықты атап өтеді:

абсолютті масштабтау;

масштабталатын масштабтау;

жоғары қолжетімділік;

баға/өнімділік арақатынасы.

Кластерлік есептеу жүйесінің жоғарыда аталған мүмкіндіктерінің әрқайсысын түсіндірейік.

Меншік абсолютті масштабтауесептеу қуаты жағынан ең өнімді жалғыз компьютерлерден де асып түсетін үлкен кластерлерді құруға болатынын білдіреді. Кластерде әрқайсысы мультипроцессор болып табылатын ондаған түйіндер болуы мүмкін.

Стектелетін масштабтау қасиеті кластерді шағын бөліктерде жаңа түйіндерді қосу арқылы өсіруге болатындығын білдіреді. Осылайша, пайдаланушы қажетінше оны кеңейте отырып, шағын жүйеден бастай алады.

Әрбір кластер түйіні тәуелсіз компьютер немесе жүйе болғандықтан, түйіндердің біреуінің істен шығуы кластер өнімділігінің жоғалуына әкелмейді. Көптеген жүйелерде ақауларға төзімділікке бағдарламалық құрал автоматты түрде қолдау көрсетеді.

Ақырында, кластерлік жүйелер суперкомпьютерлер үшін қол жетімсіз нәрсені қамтамасыз етеді. баға-сапа арақатынасы. Кез келген өнімділіктің кластерлері стандартты «құрылыс блоктары» арқылы жасалуы мүмкін, ал кластердің құны төменірек болады.

баламалы өңдеу қуаты бар түнгі компьютер.

Осылайша, аппараттық деңгейде кластер желі арқылы қосылған тәуелсіз есептеу жүйелерінің жиынтығы болып табылады. Шешімдер Ethernet жабдығына негізделген қарапайым немесе секундына жүздеген мегабайт жұмыс істейтін жоғары жылдамдықты желілері бар күрделі болуы мүмкін.

Кластердің құрамдас бөлігі бір немесе бірнеше түйіндердің істен шығуы кезінде есептеулерді жүргізуге арналған арнайы бағдарламалық қамтамасыз ету болып табылады. Мұндай бағдарламалық қамтамасыз ету бір немесе бірнеше кластер түйіндерінің істен шығуы кезінде есептеу жүктемесін қайта бөледі, сондай-ақ түйінде ақаулық болған жағдайда есептеулерді қалпына келтіреді. Бұған қоса, кластерде ортақ дискілер болса, кластердің бағдарламалық құралы бір файлдық жүйені қолдайды.

Кластерлік жүйелер архитектурасының классификациясы

Әдебиет сипаттайды әртүрлі жолдаркластерлік жүйелердің классификациясы. Ең қарапайым жіктеу диск массивтерінің қалай қолданылатынына негізделген: бірге немесе бөлек.

Суретте. 5.5.1 және 5.5.2-суреттер екі түйіннің кластерлерінің құрылымдарын көрсетеді, олардың үйлестірілуі хабар алмасу үшін пайдаланылатын жоғары жылдамдықты желімен қамтамасыз етіледі. Бұл кластерге кірмейтін компьютерлер де пайдаланатын жергілікті желі немесе бөлінген желі болуы мүмкін. Жалға алынған желі жағдайында бір немесе бірнеше кластер түйіндері жергілікті немесе жаһандық желі, ол сервер кластері мен қашықтағы клиенттік жүйелер арасындағы байланысты қамтамасыз етеді.

Ұсынылған кластерлердің айырмашылығы - жергілікті желі жағдайында түйіндер жергілікті диск массивтерін пайдаланады, ал жалға алынған желі жағдайында түйіндер тәуелсіз бір артық массивпен бөліседі. қатты дискілернемесе RAID (тәуелсіз дискілердің артық массиві) деп аталады. RAID контроллермен басқарылатын, жоғары жылдамдықты арналар арқылы өзара байланысқан және қабылданатын бірнеше дискілерден тұрады. сыртқы жүйетұтастай алғанда. Қолданылатын массив түріне байланысты ақауларға төзімділік пен өнімділіктің әртүрлі дәрежелері қамтамасыз етілуі мүмкін.

Орталық Есептеуіш Бөлім

Орталық Есептеуіш Бөлім

жоғары жылдамдық

Орталық Есептеуіш Бөлім

Орталық Есептеуіш Бөлім

тас жол

Құрылғы

Құрылғы

Құрылғы

Құрылғы

енгізу/шығару

енгізу/шығару

енгізу/шығару

енгізу/шығару

Диск

Диск

Күріш. 5.5.1. Ортақ дискілерсіз кластер конфигурациясы

Диск

Құрылғы

Құрылғы

Орталық Есептеуіш Бөлім

Орталық Есептеуіш Бөлім

енгізу/шығару

енгізу/шығару

Орталық Есептеуіш Бөлім

Орталық Есептеуіш Бөлім

Құрылғы

Құрылғы

Құрылғы

Құрылғы

енгізу/шығару

енгізу/шығару

енгізу/шығару

енгізу/шығару

Диск

жоғары жылдамдық

Диск

тас жол

Күріш. 5.5.2. Ортақ дискілермен кластер конфигурациясы

Диск массивтерінің ең көп таралған түрлерін қарастырыңыз

RAID0 (striping - striping) - артықтығы жоқ екі немесе одан да көп қатты дискілердің дискі массиві. Ақпарат деректер блоктарына бөлінеді және бір уақытта екі (бірнеше) дискіге жазылады. Артықшылығы - өнімділіктің айтарлықтай артуы. Кемшілігі RAID0 сенімділігі дискілердің кез келгенінің сенімділігінен анық төмен және RAID0 құрамына кіретін дискілер санының ұлғаюымен төмендейді, өйткені дискілердің кез келгенінің істен шығуы бүкіл массивтің жұмыс істемеуіне әкеледі. .

RAID1 (mirroring – mirroring) – кемінде екі дискіден тұратын массив. Артықшылықтары – рұқсат етілген жазу жылдамдығы және сұрауларды параллельдеу кезінде оқу жылдамдығының артуы, сондай-ақ жоғары сенімділік: ол массивтегі кем дегенде бір диск жұмыс істеп тұрғанда жұмыс істейді. Бір уақытта екі дискінің істен шығу ықтималдығы әрбір дискінің істен шығу ықтималдығының көбейтіндісіне тең. Іс жүзінде, егер дискілердің біреуі істен шықса, шұғыл шараларды қолдану керек: артықшылықты қайтадан қалпына келтіру керек. Ол үшін кез келген RAID деңгейімен (нөлден басқа) ыстық қосалқы дискілерді пайдалану ұсынылады. Бұл тәсілдің артықшылығы - тұрақты қолжетімділікті сақтау. Кемшілігі - бір қатты дискінің жарамды сыйымдылығы үшін екі қатты дискінің құнын төлеу керек.

RAID10 — RAID0 сияқты бірнеше дискілер бойынша деректерді дәйекті түрде жазатын шағылыстырылған массив. Бұл архитектура сегменттері жеке дискілердің орнына RAID1 массивтері болып табылатын RAID0 массиві болып табылады. Тиісінше, осы деңгейдің массивінде кемінде төрт диск болуы керек. RAID10 жоғары ақауларға төзімділік пен өнімділікті біріктіреді.

Кластерлік есептеу жүйелерінің неғұрлым толық көрінісі жүйенің негізгі функционалдық ерекшеліктерін анықтайтын қолданылатын кластерлеу әдістеріне сәйкес кластерлердің классификациясы арқылы беріледі:

пассивті артықшылықпен кластерлеу;

белсенді резервтеумен кластерлеу;

тәуелсіз серверлер;

барлық дискілерге қосылған серверлер;

ортақ дискілері бар серверлер.

Артық кластерлеу - ең көне және әмбебап әдіс. Серверлердің бірі бүкіл есептеу жүктемесін алады, ал екіншісі белсенді емес болып қалады, бірақ негізгі сервер сәтсіз болған жағдайда есептеулерді қабылдауға дайын. Белсенді (немесе негізгі) сервер күту режиміндегі (қосымша) серверге жүйелі түрде жүрек соғу хабарын жібереді. Негізгі сервердің істен шығуы болып саналатын жүрек соғысы туралы хабарламалар болмаған жағдайда, қосалқы сервер басқаруды өз қолына алады. Бұл тәсіл қолжетімділікті жақсартады, бірақ өнімділікті жақсартпайды. Сонымен қатар, егер түйіндер арасындағы байланыстың жалғыз түрі хабар алмасу болса және кластерлік серверлердің екеуі де дискілерді ортақ пайдаланбаса, күту сервері негізгі сервер басқаратын дерекқорларға қол жеткізе алмайды.

Пассивті артықшылық кластерлер үшін сирек кездеседі. «Кластер» термині белсенді қатысатын өзара байланысты түйіндердің жиынтығын білдіреді есептеу процесіжәне бір қуатты компьютердің иллюзиясын бірлесіп жасау. Бұл конфигурация әдетте белсенді қосалқы сервер жүйесі деп аталады және кластерлеудің үш әдісі бар: оқшау серверлер, дискіні ортақ пайдаланбайтын серверлер және дискіні ортақ пайдаланатын серверлер.

Бірінші әдісте әрбір кластер түйіні жүйедегі дискілердің ешқайсысы ортақ пайдаланылмаған өз дискілері бар дербес сервер ретінде қарастырылады. Схема жоғары өнімділік пен жоғары қолжетімділікті қамтамасыз етеді, бірақ клиенттің сұраныстарын серверлерге таратуды барлық серверлерді теңгерімді және тиімді пайдалануға қол жеткізу үшін жоспарлау үшін арнайы бағдарламалық қамтамасыз етуді қажет етеді. Бағдарламаны орындау кезінде түйіндердің бірі сәтсіз болса, басқа кластер түйіні осы қолданбаны ұстап алуы және тоқтатуы қажет. Ол үшін жүйедегі деректердің сақтық көшірмесін үнемі жасау керек, сонда әрбір сервер жүйедегі ең соңғы деректерге қол жеткізе алады. Осы шығындардың арқасында жоғары қолжетімділікке тек жоғалған өнімділік есебінен қол жеткізіледі.

Байланыс шығындарын азайту үшін кластерлердің көпшілігі қазіргі уақытта қосылған серверлерден тұрады ортақ дискілер, әдетте диск арқылы көрсетіледі RAID массиві(5.5.2-суретті қараңыз).

Бұл тәсілдің бір нұсқасы оны болжайды бөлісудискілер пайдаланылмайды. Ортақ дискілер бөліктерге бөлінеді және әрбір кластер түйініне өз бөлімі бөлінеді. Түйіндердің бірі сәтсіз болса, кластерді оның ортақ диск бөліміне қатынасу құқықтары басқа түйінге тасымалданатындай етіп қайта конфигурациялауға болады.

Немесе кез келген түйін барлық ортақ дискілердің барлық бөлімдеріне қатынаса алатындай, бірнеше серверлер ортақ дискілерге рұқсатты уақытында бөліседі. Бұл тәсіл кез келген уақытта деректерге серверлердің біреуінің ғана қол жеткізуін қамтамасыз ету үшін қандай да бір құлыптау механизмін қажет етеді.

Кластерлер қолжетімділіктің жоғары деңгейін қамтамасыз етеді - оларда бір операциялық жүйе және ортақ жады жоқ, яғни кэш когеренттігінің проблемасы жоқ. Сонымен қатар, әрбір түйіндегі арнайы бағдарламалық қамтамасыз ету барлық басқа түйіндердің жұмысын үнемі бақылайды. Бұл басқару әр түйіннің «Мен әлі ояумын» сигналын мерзімді жіберуіне негізделген. Егер белгілі бір түйіннен сигнал қабылданбаса, онда мұндай түйін істен шыққан болып саналады; оған енгізу-шығаруды орындау мүмкіндігі берілмейді, оның дискілері және басқа ресурстары (соның ішінде желілік адрестер) басқа түйіндерге қайта тағайындалады, ал ондағы жұмыс істейтін бағдарламалар басқа түйіндерде қайта іске қосылады.

Кластердің өнімділігі шкаласы, сонымен қатар түйіндер қосылады. Кластер бірнеше жеке қолданбаларды іске қоса алады, бірақ бір қолданбаны масштабтау оның бөліктерінің хабар алмасу арқылы байланысуын талап етеді. Дегенмен, кластерлік түйіндер арасындағы өзара әрекеттесу дәстүрлі есептеу жүйелеріне қарағанда әлдеқайда көп уақыт алатынын ескермеуге болмайды. Түйіндер санының дерлік шексіз өсу мүмкіндігі және бір операциялық жүйенің болмауы кластерлік архитектураларды өте ауқымды етеді. Жүздеген және мыңдаған түйіндері бар жүйелер сәтті қолданылады.

Кластерлерді жасау кезінде екі тәсілді бөліп көрсетуге болады. Бірінші әдіс - шағын кластерлік жүйелерді құру. Кластер сыныптағы компьютерлер немесе зертханалық жұмыс станциялары сияқты тәуелсіз блоктар ретінде жұмысын жалғастыратын толық мүмкіндіктері бар компьютерлерді біріктіреді. Екінші тәсіл – қуатты есептеу ресурстарын мақсатты түрде құру. Жүйе блоктарыкомпьютерлер ықшам орналастырылған

Олар арнайы сөрелерде орналасқан және жүйені басқару және тапсырмаларды орындау үшін негізгі компьютерлер деп аталатын бір немесе бірнеше толық мүмкіндіктері бар компьютерлер бөлінген. Бұл жағдайда есептеу түйіндерінің компьютерлерін графикалық карталармен, мониторлармен, дискілермен және басқалармен жабдықтаудың қажеті жоқ. перифериялық жабдықбұл жүйенің құнын айтарлықтай төмендетеді.

Компьютерлерді кластерге біріктірудің көптеген технологиялары жасалды. Қазіргі уақытта ең кең таралған технология - Ethernet, оның пайдаланудың қарапайымдылығына және байланыс жабдықтарының төмен құнына байланысты. Дегенмен, бұл үшін алмасудың анық жеткіліксіз жылдамдығымен төлеуге тура келеді.

Байланыс операцияларының үлесі үлкен болатын көппроцессорлық жүйелердегі сызықтық алгебра есептерін шешуге арналған ScaLAPACK ішкі бағдарламалар пакетін әзірлеушілер мультипроцессорлық жүйеге қойылатын талапты былай тұжырымдайды: «Екі түйін арасындағы процессор аралық алмасу жылдамдығы, МБ/с, MFLOPS-те өлшенген, кем дегенде 1/10 ең жоғары есептеу түйінінің өнімділігі болуы керек.”

Кластер топологиялары

Екі-төрт түйіннен тұратын «кіші» деп аталатын кластерлерге тән топологияларды қарастырайық.

Кластер жұптарының топологиясыекі немесе төрт түйінді кластерлерді ұйымдастыру кезінде қолданылады (5.5.3-сурет). Түйіндер жұппен топтастырылған, дискілік массивтер жұптың бөлігі болып табылатын екі түйінге де бекітілген және жұптың әрбір түйіні осы жұптың барлық дискілік массивтеріне қол жеткізе алады. Жұптың түйіндерінің бірі екіншісі үшін резервтік көшірме ретінде пайдаланылады.

Төрт түйінді кластер жұбы екі түйінді топологияның қарапайым кеңейтімі болып табылады. Екі кластер жұбы басқару және конфигурация тұрғысынан біртұтас ретінде қарастырылады.

Бұл топология деректердің қолжетімділігі жоғары кластерлерді ұйымдастыру үшін пайдаланылуы мүмкін, бірақ жұпқа жататын ақпаратты сақтау құрылғыларының басқа жұппен физикалық байланысы болмағандықтан, ақауларға төзімділік тек жұп ішінде жүзеге асырылады.

Ауыстыру

кластер

кластер

кластер

кластер

Диск

Диск

Диск

Диск

Күріш. 5.5.3. Кластер жұптарының топологиясы

Топология + 1 екі, үш және төрт түйіннен тұратын кластерлерді құруға мүмкіндік береді (5.5.4-сурет). Әрбір диск массиві тек екі кластер түйініне қосылады. Диск массивтері RAID1 (айналау) схемасына сәйкес ұйымдастырылған. Бір сервер барлық диск массивтеріне қосылған және барлық басқа (негізгі немесе белсенді) түйіндер үшін сақтық көшірме ретінде қызмет етеді. Күту серверін белсенді түйіндердің кез келгенімен тандемде жоғары қолжетімділікті қамтамасыз ету үшін пайдалануға болады.

Топология деректер қолжетімділігі жоғары кластерлерді ұйымдастыру үшін ұсынылады. Артықшылыққа бір түйінді арнау мүмкін болатын конфигурацияларда бұл топология белсенді түйіндерге жүктемені азайтады және сәтсіз түйіннің жүктемесін өнімділікті жоғалтпай күту түйінінде қайталауға болатынын қамтамасыз етеді. Ақауларға төзімділік кез келген негізгі түйіндер мен күту түйіні арасында қамтамасыз етіледі. Сонымен қатар топология жаһандық ақауларға төзімділікті жүзеге асыруға мүмкіндік бермейді, өйткені кластердің негізгі түйіндері және олардың ақпаратты сақтау жүйелері бір-бірімен қосылмаған.

+ 1 топологиясына ұқсас × топологиясы екі, үш және төрт түйіннен тұратын кластерлерді құруға мүмкіндік береді, бірақ одан айырмашылығы оның икемділігі мен ауқымдылығы жоғары (Cурет 5.5.5).

Ауыстыру

кластер

кластер

кластер

кластер

Ауыстыру

кластер

кластер

кластер

кластер

Ауыстыру

Диск

Диск

Диск

Күріш. 5.5.5. Топология ×

Тек осы топологияда барлық кластер түйіндері өз кезегінде RAID1 (айналау) схемасына сәйкес құрастырылған барлық дискілік массивтерге қол жеткізе алады. Топологияның масштабтылығы жүйедегі қосылымдарды өзгертпей кластерге қосымша түйіндер мен дискілік массивтерді қосудың қарапайымдылығында көрінеді.

кластер

кластер

кластер

кластер

Диск

Диск

Диск

Диск

Күріш. 5.5.6. Толық бөлінген топология

Толық бөлінген топология әрбір диск массивін тек бір кластер түйініне қосуға мүмкіндік береді (Cурет 1). 5.5.6 ). Толығымен бөлек қол жеткізу архитектурасымен сипатталатын қолданбалар үшін ғана ұсынылады.

тест сұрақтары

1. Кластерлік есептеу жүйесін анықтаңыз.

2. Кластерлік есептеу жүйелерінің негізгі артықшылықтары мен кемшіліктерін атаңыз.

3. Сіз кластерлік есептеу жүйелерінің қандай классификациясын білесіз?

4. Кластерлік жүйелердің қандай топологияларын білесіз? Олардың артықшылықтары мен кемшіліктерін атап өтіңіз.

Әдебиет

1. Көппроцессорлық есептеу жүйелерінің архитектурасы мен топологиясы / А.В. Богданов, В.В. Корхов, В.В. Мареев, Е.Н. Станков. - М.: INTUIT.RU, 2004. - 176 б.

2. Микропроцессорлық жүйелер: оқу. университеттерге жәрдемақы/

Е.Қ. Александров, Р.И. Грушвицкий, М.С. Куприянов және басқалар; ред. Д.В. Пузанкова . – Петербург: Политехникум, 2002. – 935 б.

(Айтпақшы, бір уақытта xbox 360 немесе PS3-тен арзан және тиімді кластерді жинауға болады, процессорлар Power сияқты шамамен бірдей және сіз бірнеше приставкаларды сатып ала аласыз. миллион.)

Осыған сүйене отырып, біз бағасы жағынан қызықты жоғары өнімді жүйені құру нұсқаларын атап өтеміз. Әрине, ол көп процессорлы болуы керек. Мұндай тапсырмалар үшін Intel Xeon процессорларын пайдаланады, ал AMD Opteron процессорларын пайдаланады.

Ақша көп болса


Біз өте қымбат, бірақ өнімді процессорлар желісін бөлек атап өтеміз Intel ұясы Xeon LGA1567.
Бұл серияның ең жақсы процессоры - 2,4 ГГц он ядросы бар E7-8870. Оның бағасы 4616 доллар. Мұндай процессорлар үшін HP және Supermicro шығарылады! сегіз процессор! сервер шассиі. 10 ядролы сегіз Xeon процессорлары HyperThreading қолдауы бар E7-8870 2,4 ГГц 8*10*2=160 ағынды, ол Windows тапсырмалар менеджерінде 10x16 матрицасы бар жүз алпыс процессор жүктеме графигі ретінде көрсетіледі.

Корпусқа сегіз процессорды орналастыру үшін олар бірден орнатылмайды аналық плата, бірақ аналық платаға жабысып қалған бөлек тақталарда. Фотосуретте аналық платада орнатылған процессорлары бар төрт тақта (әрқайсысында екі) көрсетілген. Бұл супермикро ерітінді. HP шешімінде әрбір процессордың өз тақтасы бар. HP шешімінің құны процессорлардың, жадтың және басқалардың толтырылуына байланысты екі-үш миллион. Supermicro шассиі 10 000 доллар тұрады, бұл тартымдырақ. Сонымен қатар, Supermicro PCI-Express x16 порттарына төрт сопроцессорлық кеңейту картасын қоя алады (айтпақшы, олардың кластерін жинау үшін Infiniband адаптеріне әлі де орын болады) және HP-де тек екеуі бар. Осылайша, Supermicro сегіз процессорлы платформасы суперкомпьютерді жасау үшін тартымдырақ. Көрмеден келесі фотосуретте төрт GPU тақтасы бар суперкомпьютер жинағы көрсетілген.


Дегенмен, бұл өте қымбат.
Не арзанырақ
Бірақ суперкомпьютерді неғұрлым қолжетімді бағада құрастыру перспективасы бар AMD процессорлары Opteron G34, Intel Xeon LGA2011 және LGA 1366.

Таңдау нақты модель, Мен әрбір процессор үшін баға / (ядролар саны * жиілік) көрсеткішін есептеген кестені құрастырдым. Мен есептеуден 2 ГГц-тен төмен процессорларды алып тастадым, ал Intel үшін - 6,4 ГТ/с төмен автобуспен.

Үлгі
Ядролар саны
Жиілік
Бағасы, $
Бағасы/өзегі, $
Баға/Ядро/ГГц
AMD





6386 SE
16
2,8
1392
87
31
6380
16
2,5
1088
68
27
6378
16
2,4
867
54
23
6376
16
2,3
703
44
19
6348
12
2,8
575
48
17
6344
12
2,6
415
35
13
6328
8
3,2
575
72
22
6320
8
2,8
293
37
13
INTEL





E5-2690
8
2,9
2057
257
89
E5-2680
8
2,7
1723
215
80
E5-2670
8
2,6
1552
194
75
E5-2665
8
2,4
1440
180
75
E5-2660
8
2,2
1329
166
76
E5-2650
8
2
1107
138
69
E5-2687W
8
3,1
1885
236
76
E5-4650L
8
2,6
3616
452
174
E5-4650
8
2,7
3616
452
167
E5-4640
8
2,4
2725
341
142
E5-4617
6
2,9
1611
269
93
E5-4610
6
2,4
1219
203
85
E5-2640
6
2,5
885
148
59
E5-2630
6
2,3
612
102
44
E5-2667
6
2,9
1552
259
89
X5690
6
3,46
1663
277
80
X5680
6
3,33
1663
277
83
X5675
6
3,06
1440
240
78
X5670
6
2,93
1440
240
82
X5660
6
2,8
1219
203
73
X5650
6
2,66
996
166
62
E5-4607
6
2,2
885
148
67
X5687
4
3,6
1663
416
115
X5677
4
3,46
1663
416
120
X5672
4
3,2
1440
360
113
X5667
4
3,06
1440
360
118
E5-2643
4
3,3
885
221
67

Ең аз қатынасы бар модель қалың курсивпен белгіленген, асты сызылған модель - ең қуатты AMD және, менің ойымша, Xeon-ға ең жақын.

Осылайша, менің суперкомпьютер үшін процессорларды таңдауым - Opteron 6386 SE, Opteron 6344, Xeon E5-2687W және Xeon E5-2630.

аналық платалар

PICMG
Кәдімгі аналық платаларға төрттен артық екі ұяшықты кеңейту карталарын қою мүмкін емес. Басқа архитектурасы бар - BPG8032 PCI Express Backplane сияқты көлденең тақталарды пайдалану.


Мұндай тақтада жоғарыда талқыланған сегіз процессорлы Supermicro негізіндегі серверлерде орнатылғандарға ұқсас PCI Express кеңейту карталары мен бір процессор тақтасы бар. Бірақ тек осы процессорлық тақталар PICMG салалық стандарттарына сәйкес келеді. Стандарттар баяу дамиды және бұл тақталар жиі соңғы процессорларға қолдау көрсетпейді. Көбінесе мұндай процессорлық тақталар қазір екі Xeon E5-2448L - Trenton BXT7059 SBC үшін шығарылады.

Мұндай жүйе GPU болмаса, кем дегенде $ 5000 тұрады.

TYAN дайын платформалары
Шамамен бірдей сомаға сіз TYAN FT72B7015 суперкомпьютерлерін жинауға арналған дайын платформаны сатып ала аласыз. Бұл жағдайда сіз сегізге дейін GPU және екі Xeon LGA1366 орнатуға болады.
«Тұрақты» сервердің аналық платалары
LGA2011 үшін
Supermicro X9QR7-TF - бұл аналық платаға 4 кеңейту картасы мен 4 процессорды орнатуға болады.

Supermicro X9DRG-QF - бұл тақта жоғары өнімді жүйелерді құру үшін арнайы жасалған.

Opteron үшін
Supermicro H8QGL-6F - бұл тақта төрт процессор мен үш кеңейту картасын орнатуға мүмкіндік береді.

Платформаны кеңейту тақталарымен нығайту

Бұл нарықты NVidia толығымен дерлік басып алды, ол ойын видеокарталарынан басқа, есептеу карталарын да шығарады. AMD нарықтық үлесі азырақ және салыстырмалы түрде жақында Intel бұл нарыққа шықты.

Мұндай сопроцессорлардың ерекшелігі бортында оперативті жадтың үлкен көлемінің болуы, екі есе дәлдікпен жылдам есептеулер және энергия тиімділігі болып табылады.

FP32, Tflops FP64, Tflops Бағасы Жад, ГБ
Nvidia Tesla K20X 3.95 1.31 5.5 6
AMD FirePro S10000 5.91 1.48 3.6 6
Intel Xeon Phi 5110P 1 2.7 8
Nvidia GTX Titan 4.5 1.3 1.1 6
Nvidia GTX 680 3 0.13 0.5 2
AMD HD 7970 ГГц шығарылымы 4 1 0.5 3
AMD HD 7990 Devil 13 2х3,7 2x0,92 1.6 2х3

Nvidia компаниясының ең жақсы шешімі Kepler архитектурасына негізделген Tesla K20X деп аталады. Дәл осы карталар әлемдегі ең қуатты суперкомпьютер Titan құрамында. Дегенмен, жақында Nvidia Geforce Titan графикалық картасын шығарды. Ескі үлгілерде FP64 өнімділігі FP32 (GTX680) 1/24 дейін төмендеді. Бірақ титанда өндіруші қос дәлдіктегі есептеулерде айтарлықтай жоғары өнімділікті уәде етеді. AMD шешімдері де жақсы, бірақ олар басқа архитектураға негізделген және бұл CUDA (Nvidia технологиясы) үшін оңтайландырылған есептеулерді орындауды қиындатады.

Intel - Xeon Phi 5110P шешімі қызықты, өйткені сопроцессордағы барлық ядролар x86 архитектурасында жасалған және есептеулерді бастау үшін арнайы кодты оңтайландыру қажет емес. Бірақ менің сүйікті сопроцессорым салыстырмалы түрде арзан AMD HD 7970 GHz Edition болып табылады. Теориялық тұрғыдан алғанда, бұл бейне карта бір бағаға максималды өнімділікті көрсетеді.

Топтастыруға болады

Жүйе өнімділігін жақсарту үшін бірнеше компьютерді кластерге біріктіруге болады, олар есептеу жүктемесін кластердің бөлігі болып табылатын компьютерлер арасында бөледі.

Компьютерлерді қосу үшін қарапайым Gigabit Ethernet желісін желі интерфейсі ретінде пайдалану тым баяу. Осы мақсаттар үшін Infiniband жиі пайдаланылады. Infiniband хост адаптері серверге қарағанда арзан. Мысалы, халықаралық Ebay аукционында мұндай адаптерлер $40 бағамен сатылады. Мысалы, X4 DDR адаптері (20 Гб/с) Ресейге жеткізу үшін шамамен $100 тұрады.

Сонымен қатар, Infiniband үшін коммутация жабдығы айтарлықтай қымбатқа түседі. Иә, және жоғарыда айтылғандай, топология ретінде классикалық жұлдыз компьютерлік желі- жоқ ең жақсы таңдау.

Дегенмен, InfiniBand хосттарын қосқышсыз бір-біріне тікелей қосуға болады. Содан кейін, мысалы, бұл опция өте қызықты болады: шексіз жолақ арқылы қосылған екі компьютердің кластері. Мұндай суперкомпьютерді үйде жинауға болады.

Сізге қанша видеокарта қажет

Біздің заманымыздың ең қуатты суперкомпьютері Cray Titan-да процессорлардың «бейне карталарға» қатынасы 1: 1 құрайды, яғни оның 16 ядролы 18688 процессоры және 18688 Tesla K20X бар.

Ксеондарға негізделген қытайлық суперкомпьютер Tianhe-1A-да қатынас келесідей. Екі алты ядролы процессорбір бейне картасына Nvidia M2050 (K20X қарағанда әлсіз).

Біз өз жиналыстарымызға осындай көзқарасты оңтайлы деп қабылдаймыз (өйткені ол арзанырақ). Яғни GPU үшін 12-16 процессор өзегі. Төмендегі кестеде қалың қаріп іс жүзінде көрсетеді ықтимал опциялар, астын сызу - менің көзқарасым бойынша ең сәтті.

GPU Өзектер 6 ядролы процессор 8 ядролы процессор 12 ядролы процессор 16 ядролы процессор
2 24 32 4
5
3
4
2
3
2
2
3 36 48 6
8
5
6
3
4
2
3
4 48 64 8
11
6
8
4
5
3
4

Егер процессорлардың/бейнекарталардың белгіленген арақатынасы бар жүйе қосымша бортқа ала алады есептеуіш құрылғылар, содан кейін жинақтың қуатын арттыру үшін оларды қосамыз.

Сонымен қанша тұрады

Төмендегі опциялар - жедел жады, қатты дискілері және бағдарламалық жасақтамасы жоқ суперкомпьютер шассиі. Барлық модельдер AMD HD 7970 GHz Edition бейне адаптерін пайдаланады. Оны тапсырманың сұрауы бойынша басқасымен ауыстыруға болады (мысалы, xeon phi). Жүйе рұқсат етсе, AMD HD 7970 ГГц шығарылымдарының бірі үш ұялы AMD HD 7990 Devil 13 нұсқасына ауыстырылды.
Supermicro H8QGL-6F аналық платасындағы 1-нұсқа


Аналық плата Супермикро H8QGL-6F 1 1200 1200
Орталық Есептеуіш Бөлім AMD Opteron 6344 4 500 2000
CPU салқындатқышы Thermaltake CLS0017 4 40 160
Шасси 1400 Вт SC748TQ-R1400B 1 1000 1000
графикалық үдеткіш AMD HD 7970 ГГц шығарылымы 3 500 1500
5860

Теориялық тұрғыдан өнімділік шамамен 12 Тфлопты құрайды.
TYAN S8232 аналық платасындағы 2-нұсқа, кластер


Бұл тақта Opteron 63xx қолдамайды, сондықтан 62xx пайдаланылады. Бұл опцияда екі компьютер Infiniband x4 DDR арқылы екі кабель арқылы кластерленген. Теориялық тұрғыдан, бұл жағдайда қосылу жылдамдығы PCIe x8 жылдамдығына негізделген, яғни 32 Гб / с. Екі қуат көзі пайдаланылады. Оларды бір-бірімен қалай үйлестіруге болатынын Интернеттен табуға болады.
Саны Бағасы сомасы
Аналық плата TYAN S8232 1 790 790
Орталық Есептеуіш Бөлім AMD Opteron 6282SE 2 1000 2000
CPU салқындатқышы Noctua NH-U12DO A3 2 60 120
Жақтау Антек он екі жүз қара 1 200 200
Нәр беруші FSP AURUM PRO 1200 Вт 2 200 400
графикалық үдеткіш AMD HD 7970 ГГц шығарылымы 2 500 1000
графикалық үдеткіш AX7990 6GBD5-A2DHJ 1 1000 1000
Infiniband адаптері X4 DDR Infiniband 1 140 140
Шексіз жолақты кабель X4 DDR Infiniband 1 30 30
5680 (бір блок үшін)

Мұндай конфигурациялардың кластері үшін екеуі қажет және олардың құны болады $11360 . Толық жүктеме кезінде оның қуат тұтынуы шамамен 3000 Вт болады. Теориялық тұрғыдан өнімділік 31 Тфлопқа дейін болады.

Жоғары өнімділік кластері (компьютер тобы)

Компьютерлік кластер – бір сұраныстарды бірлесіп өңдейтін және біртұтас есептеу жүйесі ретінде пайдаланушы ұсынған жоғары жылдамдықты байланыс желілерімен өзара байланысқан компьютерлер тобы.

Кластерлердің негізгі қасиеттері

Кластерлер бірнеше компьютерлік жүйелерден тұрады;

Олар бір есептеу жүйесі ретінде жұмыс істейді (барлығы емес);

Кластер басқарылады және пайдаланушыға бір есептеу жүйесі ретінде ұсынылады;

Неліктен кластерлер қажет

Кластерлерді әртүрлі мақсаттарда пайдалануға болады. Кластерлер ақауларға төзімді жүйелер жасай алады, компьютер түйінінің жұмысын жақсартуға қызмет ете алады немесе көп уақытты қажет ететін есептеулер үшін пайдаланылуы мүмкін.

Қандай кластерлер бар

Ауыспалы кластерлер

Мұндай кластерлер қамтамасыз ету үшін құрылады жоғары деңгейкластер көрсететін қызметтің қолжетімділігі. Қалай көбірек мөлшеркластерге енгізілген компьютерлер, ұсынылған қызметтің істен шығу ықтималдығы соғұрлым аз болады. Географиялық дисперсті кластердің бөлігі болып табылатын компьютерлер табиғи апаттардан, лаңкестік шабуылдардан және басқа қауіптерден қорғауды қамтамасыз етеді.

Кластер деректерін үш негізгі принцип бойынша құруға болады

  • суық күту кластерлері- бұл белсенді түйін сұрауларды өңдейтін кезде, ал пассивтісі жұмыссыз және белсенді түйіннің сәтсіздікке ұшырауын күтеді. Пассивті түйін тек белсендісі істен шыққаннан кейін жұмыс істей бастайды. Кластер құрастырылған бұл принцип, жоғары ақауларға төзімділікті қамтамасыз ете алады, бірақ белсенді түйін өшірілген кезде, сол сәтте ол өңдеген сұраулар жоғалуы мүмкін.
  • ыстық күту кластері- бұл жүйенің барлық түйіндері сұрауларды бірлесіп өңдейтін кезде, ал бір немесе бірнеше түйіндер істен шыққан жағдайда, жүктеме қалғандары арасында бөлінеді. Бұл түріКластерді жүктемені теңестіру кластері деп те атауға болады, ол туралы кейінірек айтатын боламыз, бірақ бір немесе бірнеше түйін сәтсіз болғанда сұрауларды таратуға қолдау көрсетеді. Бұл кластерді пайдаланған кезде, сәтсіз болған түйін өңдеген деректерді жоғалту мүмкіндігі де бар.
  • модульдік резервтеу кластері- бұл кластердегі барлық компьютерлер бірдей сұраныстарды бір-біріне параллельді өңдейді және өңдеуден кейін кез келген мән алынады. Мұндай схема сұраныстың орындалуына кепілдік береді, өйткені сұрауды өңдеудің кез келген нәтижесін алуға болады.

Жүктемені теңестіру кластері

Бұл кластерлер негізінен өнімділік себептері үшін жасалады, бірақ олар сонымен қатар ыстық қосалқы ауыстырып-қосу кластері сияқты ақауларға төзімділікті жақсарту үшін пайдаланылуы мүмкін. Кластер деректерінде сұраулар кіріс түйіндері арқылы барлық басқа кластер түйіндеріне таратылады.

Есептеу кластерлері

Кластерлердің бұл түрі әдетте ғылыми мақсатта қолданылады. Бұл жүйелерде тапсырма кластердің барлық түйіндерінде параллель орындалатын бөліктерге бөлінеді. Бұл жалғыз компьютерлермен салыстырғанда өңдеу уақытын айтарлықтай қысқартуға мүмкіндік береді.

Кетуді ұмытпаңыз

(Айтпақшы, бір уақытта xbox 360 немесе PS3-тен арзан және тиімді кластерді жинауға болады, процессорлар Power сияқты шамамен бірдей және сіз бірнеше приставкаларды сатып ала аласыз. миллион.)

Осыған сүйене отырып, біз бағасы жағынан қызықты жоғары өнімді жүйені құру нұсқаларын атап өтеміз. Әрине, ол көп процессорлы болуы керек. Мұндай тапсырмалар үшін Intel Xeon процессорларын пайдаланады, ал AMD Opteron процессорларын пайдаланады.

Ақша көп болса


Біз Intel Xeon LGA1567 ұясына негізделген өте қымбат, бірақ өнімді процессорлар желісін бөлек атап өтеміз.
Бұл серияның ең жақсы процессоры - 2,4 ГГц он ядросы бар E7-8870. Оның бағасы 4616 доллар. Мұндай процессорлар үшін HP және Supermicro шығарылады! сегіз процессор! сервер шассиі. HyperThreading қолдауы бар сегіз 10 ядролы Xeon E7-8870 2,4 ГГц процессоры 8*10*2=160 ағынды қолдайды, ол Windows тапсырмалар менеджерінде 10x16 матрицасы бар жүз алпыс процессорды жүктеу графигі ретінде көрсетіледі.

Корпусқа сегіз процессорды орналастыру үшін олар бірден аналық платаға емес, аналық платаға қосылған бөлек тақталарға орналастырылады. Фотосуретте аналық платада орнатылған процессорлары бар төрт тақта (әрқайсысында екі) көрсетілген. Бұл супермикро ерітінді. HP шешімінде әрбір процессордың өз тақтасы бар. HP шешімінің құны процессорлардың, жадтың және басқалардың толтырылуына байланысты екі-үш миллион. Supermicro шассиі 10 000 доллар тұрады, бұл тартымдырақ. Сонымен қатар, Supermicro PCI-Express x16 порттарына төрт сопроцессорлық кеңейту картасын қоя алады (айтпақшы, олардың кластерін жинау үшін Infiniband адаптеріне әлі де орын болады) және HP-де тек екеуі бар. Осылайша, Supermicro сегіз процессорлы платформасы суперкомпьютерді жасау үшін тартымдырақ. Көрмеден келесі фотосуретте төрт GPU тақтасы бар суперкомпьютер жинағы көрсетілген.


Дегенмен, бұл өте қымбат.
Не арзанырақ
Бірақ қолжетімдірек AMD Opteron G34, Intel Xeon LGA2011 және LGA 1366 процессорларында суперкомпьютер құру перспективасы бар.

Белгілі бір үлгіні таңдау үшін мен әр процессор үшін баға / (ядролар саны * жиілік) көрсеткішін есептеген кестені құрастырдым. Мен есептеуден 2 ГГц-тен төмен процессорларды алып тастадым, ал Intel үшін - 6,4 ГТ/с төмен автобуспен.

Үлгі
Ядролар саны
Жиілік
Бағасы, $
Бағасы/өзегі, $
Баға/Ядро/ГГц
AMD





6386 SE
16
2,8
1392
87
31
6380
16
2,5
1088
68
27
6378
16
2,4
867
54
23
6376
16
2,3
703
44
19
6348
12
2,8
575
48
17
6344
12
2,6
415
35
13
6328
8
3,2
575
72
22
6320
8
2,8
293
37
13
INTEL





E5-2690
8
2,9
2057
257
89
E5-2680
8
2,7
1723
215
80
E5-2670
8
2,6
1552
194
75
E5-2665
8
2,4
1440
180
75
E5-2660
8
2,2
1329
166
76
E5-2650
8
2
1107
138
69
E5-2687W
8
3,1
1885
236
76
E5-4650L
8
2,6
3616
452
174
E5-4650
8
2,7
3616
452
167
E5-4640
8
2,4
2725
341
142
E5-4617
6
2,9
1611
269
93
E5-4610
6
2,4
1219
203
85
E5-2640
6
2,5
885
148
59
E5-2630
6
2,3
612
102
44
E5-2667
6
2,9
1552
259
89
X5690
6
3,46
1663
277
80
X5680
6
3,33
1663
277
83
X5675
6
3,06
1440
240
78
X5670
6
2,93
1440
240
82
X5660
6
2,8
1219
203
73
X5650
6
2,66
996
166
62
E5-4607
6
2,2
885
148
67
X5687
4
3,6
1663
416
115
X5677
4
3,46
1663
416
120
X5672
4
3,2
1440
360
113
X5667
4
3,06
1440
360
118
E5-2643
4
3,3
885
221
67

Ең аз қатынасы бар модель қалың курсивпен белгіленген, асты сызылған модель - ең қуатты AMD және, менің ойымша, Xeon-ға ең жақын.

Осылайша, менің суперкомпьютер үшін процессорларды таңдауым - Opteron 6386 SE, Opteron 6344, Xeon E5-2687W және Xeon E5-2630.

аналық платалар

PICMG
Кәдімгі аналық платаларға төрттен артық екі ұяшықты кеңейту карталарын қою мүмкін емес. Басқа архитектурасы бар - BPG8032 PCI Express Backplane сияқты көлденең тақталарды пайдалану.


Мұндай тақтада жоғарыда талқыланған сегіз процессорлы Supermicro негізіндегі серверлерде орнатылғандарға ұқсас PCI Express кеңейту карталары мен бір процессор тақтасы бар. Бірақ тек осы процессорлық тақталар PICMG салалық стандарттарына сәйкес келеді. Стандарттар баяу дамиды және бұл тақталар жиі соңғы процессорларға қолдау көрсетпейді. Көбінесе мұндай процессорлық тақталар қазір екі Xeon E5-2448L - Trenton BXT7059 SBC үшін шығарылады.

Мұндай жүйе GPU болмаса, кем дегенде $ 5000 тұрады.

TYAN дайын платформалары
Шамамен бірдей сомаға сіз TYAN FT72B7015 суперкомпьютерлерін жинауға арналған дайын платформаны сатып ала аласыз. Бұл жағдайда сіз сегізге дейін GPU және екі Xeon LGA1366 орнатуға болады.
«Тұрақты» сервердің аналық платалары
LGA2011 үшін
Supermicro X9QR7-TF - бұл аналық платаға 4 кеңейту картасы мен 4 процессорды орнатуға болады.

Supermicro X9DRG-QF - бұл тақта жоғары өнімді жүйелерді құру үшін арнайы жасалған.

Opteron үшін
Supermicro H8QGL-6F - бұл тақта төрт процессор мен үш кеңейту картасын орнатуға мүмкіндік береді.

Платформаны кеңейту тақталарымен нығайту

Бұл нарықты NVidia толығымен дерлік басып алды, ол ойын видеокарталарынан басқа, есептеу карталарын да шығарады. AMD нарықтық үлесі азырақ және салыстырмалы түрде жақында Intel бұл нарыққа шықты.

Мұндай сопроцессорлардың ерекшелігі бортында оперативті жадтың үлкен көлемінің болуы, екі есе дәлдікпен жылдам есептеулер және энергия тиімділігі болып табылады.

FP32, Tflops FP64, Tflops Бағасы Жад, ГБ
Nvidia Tesla K20X 3.95 1.31 5.5 6
AMD FirePro S10000 5.91 1.48 3.6 6
Intel Xeon Phi 5110P 1 2.7 8
Nvidia GTX Titan 4.5 1.3 1.1 6
Nvidia GTX 680 3 0.13 0.5 2
AMD HD 7970 ГГц шығарылымы 4 1 0.5 3
AMD HD 7990 Devil 13 2х3,7 2x0,92 1.6 2х3

Nvidia компаниясының ең жақсы шешімі Kepler архитектурасына негізделген Tesla K20X деп аталады. Дәл осы карталар әлемдегі ең қуатты суперкомпьютер Titan құрамында. Дегенмен, жақында Nvidia Geforce Titan графикалық картасын шығарды. Ескі үлгілерде FP64 өнімділігі FP32 (GTX680) 1/24 дейін төмендеді. Бірақ титанда өндіруші қос дәлдіктегі есептеулерде айтарлықтай жоғары өнімділікті уәде етеді. AMD шешімдері де жақсы, бірақ олар басқа архитектураға негізделген және бұл CUDA (Nvidia технологиясы) үшін оңтайландырылған есептеулерді орындауды қиындатады.

Intel - Xeon Phi 5110P шешімі қызықты, өйткені сопроцессордағы барлық ядролар x86 архитектурасында жасалған және есептеулерді бастау үшін арнайы кодты оңтайландыру қажет емес. Бірақ менің сүйікті сопроцессорым салыстырмалы түрде арзан AMD HD 7970 GHz Edition болып табылады. Теориялық тұрғыдан алғанда, бұл бейне карта бір бағаға максималды өнімділікті көрсетеді.

Топтастыруға болады

Жүйе өнімділігін жақсарту үшін бірнеше компьютерді кластерге біріктіруге болады, олар есептеу жүктемесін кластердің бөлігі болып табылатын компьютерлер арасында бөледі.

Компьютерлерді қосу үшін қарапайым Gigabit Ethernet желісін желі интерфейсі ретінде пайдалану тым баяу. Осы мақсаттар үшін Infiniband жиі пайдаланылады. Infiniband хост адаптері серверге қарағанда арзан. Мысалы, халықаралық Ebay аукционында мұндай адаптерлер $40 бағамен сатылады. Мысалы, X4 DDR адаптері (20 Гб/с) Ресейге жеткізу үшін шамамен $100 тұрады.

Сонымен қатар, Infiniband үшін коммутация жабдығы айтарлықтай қымбатқа түседі. Және, жоғарыда айтылғандай, компьютерлік желі топологиясы ретінде классикалық жұлдыз ең жақсы таңдау емес.

Дегенмен, InfiniBand хосттарын қосқышсыз бір-біріне тікелей қосуға болады. Содан кейін, мысалы, бұл опция өте қызықты болады: шексіз жолақ арқылы қосылған екі компьютердің кластері. Мұндай суперкомпьютерді үйде жинауға болады.

Сізге қанша видеокарта қажет

Біздің заманымыздың ең қуатты суперкомпьютері Cray Titan-да процессорлардың «бейне карталарға» қатынасы 1: 1 құрайды, яғни оның 16 ядролы 18688 процессоры және 18688 Tesla K20X бар.

Ксеондарға негізделген қытайлық суперкомпьютер Tianhe-1A-да қатынас келесідей. Бір Nvidia M2050 бейне картасына арналған екі алты ядролы процессор (K20X қарағанда әлсіз).

Біз өз жиналыстарымызға осындай көзқарасты оңтайлы деп қабылдаймыз (өйткені ол арзанырақ). Яғни GPU үшін 12-16 процессор өзегі. Төмендегі кестеде іс жүзінде мүмкін нұсқалар қою шрифтпен белгіленген, менің көзқарасым бойынша ең сәтті нұсқалардың асты сызылған.

GPU Өзектер 6 ядролы процессор 8 ядролы процессор 12 ядролы процессор 16 ядролы процессор
2 24 32 4
5
3
4
2
3
2
2
3 36 48 6
8
5
6
3
4
2
3
4 48 64 8
11
6
8
4
5
3
4

Егер процессорлардың/бейнекарталардың белгіленген арақатынасы бар жүйе көбірек есептеуіш құрылғыларды «бортқа» ала алатын болса, біз оларды құрастыру қуатын арттыру үшін қосамыз.

Сонымен қанша тұрады

Төмендегі опциялар - жедел жады, қатты дискілері және бағдарламалық жасақтамасы жоқ суперкомпьютер шассиі. Барлық модельдер AMD HD 7970 GHz Edition бейне адаптерін пайдаланады. Оны тапсырманың сұрауы бойынша басқасымен ауыстыруға болады (мысалы, xeon phi). Жүйе рұқсат етсе, AMD HD 7970 ГГц шығарылымдарының бірі үш ұялы AMD HD 7990 Devil 13 нұсқасына ауыстырылды.
Supermicro H8QGL-6F аналық платасындағы 1-нұсқа


Аналық плата Супермикро H8QGL-6F 1 1200 1200
Орталық Есептеуіш Бөлім AMD Opteron 6344 4 500 2000
CPU салқындатқышы Thermaltake CLS0017 4 40 160
Шасси 1400 Вт SC748TQ-R1400B 1 1000 1000
графикалық үдеткіш AMD HD 7970 ГГц шығарылымы 3 500 1500
5860

Теориялық тұрғыдан өнімділік шамамен 12 Тфлопты құрайды.
TYAN S8232 аналық платасындағы 2-нұсқа, кластер


Бұл тақта Opteron 63xx қолдамайды, сондықтан 62xx пайдаланылады. Бұл опцияда екі компьютер Infiniband x4 DDR арқылы екі кабель арқылы кластерленген. Теориялық тұрғыдан, бұл жағдайда қосылу жылдамдығы PCIe x8 жылдамдығына негізделген, яғни 32 Гб / с. Екі қуат көзі пайдаланылады. Оларды бір-бірімен қалай үйлестіруге болатынын Интернеттен табуға болады.
Саны Бағасы сомасы
Аналық плата TYAN S8232 1 790 790
Орталық Есептеуіш Бөлім AMD Opteron 6282SE 2 1000 2000
CPU салқындатқышы Noctua NH-U12DO A3 2 60 120
Жақтау Антек он екі жүз қара 1 200 200
Нәр беруші FSP AURUM PRO 1200 Вт 2 200 400
графикалық үдеткіш AMD HD 7970 ГГц шығарылымы 2 500 1000
графикалық үдеткіш AX7990 6GBD5-A2DHJ 1 1000 1000
Infiniband адаптері X4 DDR Infiniband 1 140 140
Шексіз жолақты кабель X4 DDR Infiniband 1 30 30
5680 (бір блок үшін)

Мұндай конфигурациялардың кластері үшін екеуі қажет және олардың құны болады $11360 . Толық жүктеме кезінде оның қуат тұтынуы шамамен 3000 Вт болады. Теориялық тұрғыдан өнімділік 31 Тфлопқа дейін болады.
Мақала ұнады ма? Достарыңызбен бөлісіңіз!
Бұл мақала пайдалы болды ма?
Иә
Жоқ
Пікіріңізге рахмет!
Бірдеңе дұрыс болмады және сіздің дауысыңыз есептелмеді.
Рақмет сізге. Сіздің хабарламаңыз жіберілді
Мәтіннен қате таптыңыз ба?
Оны таңдаңыз, басыңыз Ctrl+Enterжәне біз оны түзетеміз!