Potřebujete stroj, který dokáže dodat stovky bilionů výpočtů s plovoucí desetinnou čárkou za sekundu? Nebo potřebujete barový příběh o tom, jak superpočítač ve vašem suterénu překlopil jistič? Vybudování vlastního clusteru High Performance Compute, známého také jako superpočítač, je výzvou, kterou zvládne každý zkušený geek s víkendem volného času a peněz na spálení. Technicky vzato, moderní víceprocesorový superpočítač je síť počítačů, které společně pracují na řešení problému. Tento článek stručně popíše každý krok v tomto procesu se zaměřením na hardware a software.
Kroky
Krok 1. Nejprve určete potřebné hardwarové součásti a prostředky
Budete potřebovat jeden hlavní uzel, alespoň tucet identických výpočetních uzlů, ethernetový přepínač, jednotku pro distribuci energie a stojan. Určete potřebnou elektrickou energii, chlazení a prostor. Také se rozhodněte, jakou IP adresu chcete pro své soukromé sítě, jak pojmenovat uzly, jaké softwarové balíčky chcete instalovat a jakou technologii chcete poskytnout možnosti paralelního výpočtu (více o tom později).
- Ačkoli je hardware drahý, veškerý software uvedený v tomto návodu je zdarma a většina z nich je open source.
- Pokud byste chtěli vidět, jak rychlý by váš superpočítač teoreticky byl, použijte tento nástroj:
Krok 2. Vybudujte výpočetní uzly
Budete muset sestavit výpočetní uzly nebo získat předem připravené servery.
- Vyberte šasi počítačového serveru, které maximalizuje prostor, chlazení a energetickou účinnost.
- Nebo můžete použít asi tucet použitých, zastaralých serverů - jejichž celek převáží součet jejich částí, a přesto vám ušetří značnou hromadu peněz. Všechny procesory, síťové adaptéry a základní desky by měly být identické, aby celý systém mohl pěkně hrát společně. Samozřejmě nezapomeňte na RAM a úložiště pro každý uzel a alespoň jednu optickou jednotku pro hlavní uzel.
Krok 3. Nainstalujte servery do stojanu
Začněte zdola, aby stojan nebyl těžký. Budete s tím potřebovat přítele, který vám s tím pomůže - husté servery mohou být velmi těžké a navést je na kolejnice, které je drží ve stojanu, je obtížné.
Krok 4. Nainstalujte přepínač Ethernet nad šasi serveru
Udělejte si tento okamžik a nakonfigurujte přepínač: povolte velikost rámce jumbo 9 000 bajtů, nastavte IP adresu na statickou adresu, pro kterou jste se rozhodli v kroku 1, a vypněte nepotřebné směrovací protokoly, jako je SMTP Snooping.
Krok 5. Nainstalujte PDU (Power Distribution Unit)
V závislosti na tom, kolik proudu vaše uzly mohou potřebovat při maximálním zatížení, budete možná potřebovat 220 voltů pro vysoce výkonné výpočty.
Krok 6. Jakmile je vše nainstalováno, můžete zahájit proces konfigurace
Linux je de facto OS pro klastry HPC - nejen, že je ideálním prostředím pro vědecké výpočty, ale jeho instalace na stovky nebo dokonce tisíce uzlů nic nestojí. Představte si, kolik by stála instalace Windows na všechny ty uzly!
- Začněte instalací nejnovější verze BIOSu základní desky a firmwaru, které by měly být stejné na všech uzlech.
- Nainstalujte si upřednostňovanou distribuci linuxu na každý uzel s grafickým uživatelským rozhraním pro hlavní uzel. Mezi oblíbené možnosti patří CentOS, OpenSuse, Scientific Linux, RedHat a SLES.
- Tento autor důrazně doporučuje používat distribuci clusterů Rocks. Kromě instalace všech nástrojů nezbytných pro fungování výpočetního klastru používá Rocks skvělý způsob, jak „rychle“distribuovat mnoho svých instancí do uzlů pomocí bootování PXE a postupu Red Hat „Kick Start“.
Krok 7. Nainstalujte rozhraní pro předávání zpráv, správce zdrojů a další potřebné knihovny
Pokud jste v předchozím kroku nenainstalovali Rocks, budete muset ručně nastavit potřebný software, který povolí paralelní výpočetní mechanismy.
- Nejprve budete potřebovat přenosný systém pro správu bash, jako je Torque Resource Manager, který vám umožní rozdělit a distribuovat úkoly na více počítačů.
- Dokončete nastavení spárováním točivého momentu s Plánovačem klastrů Maui.
- Dále budete muset nainstalovat rozhraní pro předávání zpráv, které je nezbytné pro sdílení jednotlivých dat na jednotlivých výpočetních uzlech. OpenMP není problém.
- Nezapomeňte na maticové knihovny a kompilátory s více vlákny pro vytváření paralelních výpočetních programů. Zmínil jsem se, že byste měli nainstalovat pouze Rocks?
Krok 8. Propojte výpočetní uzly dohromady
Hlavní uzel odesílá výpočetní úlohy výpočetním uzlům, které zase musí odeslat výsledek zpět a také si navzájem posílat zprávy. Čím rychleji, tím lépe.
- Pomocí soukromé ethernetové sítě propojte všechny uzly v clusteru.
- Hlavní uzel může také fungovat jako server NFS, PXE, DHCP, TFTP a NTP přes ethernetovou síť.
- Tuto síť musíte oddělit od veřejných sítí, což zajistí, že vysílací pakety nebudou zasahovat do jiných sítí ve vaší síti LAN.
Krok 9. Otestujte cluster
Poslední věcí, kterou byste mohli chtít udělat před uvolněním všech těchto výpočetních výkonů vašim uživatelům, je otestovat jejich výkon. Srovnávací test HPL (High Performance Lynpack) je oblíbenou volbou pro měření výpočetní rychlosti clusteru. Budete jej muset zkompilovat ze zdroje se všemi možnými optimalizacemi, které váš kompilátor nabízí pro architekturu, kterou jste si vybrali.
- Musíte samozřejmě kompilovat ze zdroje se všemi možnými možnostmi optimalizace pro vaši platformu. Pokud například používáte procesory AMD, kompilujte s Open64 s úrovní -0rychlé optimalizace.
- Porovnejte své výsledky na webu TOP500.org a porovnejte svůj klastr s 500 nejrychlejšími superpočítači na světě!
Video - Používáním této služby mohou být některé informace sdíleny s YouTube
Tipy
- Skutečně vysoké rychlosti sítě najdete v síťových rozhraních InfiniBand. Buďte však připraveni platit prémiové ceny.
- Díky IPMI může správa velkého clusteru být hračkou, protože poskytuje KVM-over-IP, vzdálené napájení a další.
- Pomocí Ganglia monitorujte výpočetní zatížení uzlů.
