Sisältö

• Askeleet
• vinkkejä
• varoitukset

Etsitkö konetta, joka pystyy suorittamaan satoja biljoonoja liukulukulaskelmia sekunnissa? Vai haluatko vain kerskaa ystävillesi huoneeseesi asennetusta supertietokoneesta? Suorituskykyisen laskentaklusterin tai supertietokoneen rakentaminen on haaste, jonka jokainen harrastaja, jolla on vapaa viikonloppu ja jonkin verran rahaa, voi yrittää suorittaa. Teknisesti ottaen moniprosessorinen supertietokone on tietokoneverkko, joka toimii yhdessä ongelman ratkaisemiseksi. Tässä artikkelissa kuvataan lyhyesti jokainen prosessivaihe, keskittyen laitteistoihin ja ohjelmistoihin.

Askeleet

1. 

   Määritä ensin tarvittavat laitteistokomponentit ja resurssit. Tarvitset pääsolmun, vähintään 12 identtistä verkkosolmua, Ethernet-kytkimen, virranjakeluyksikön ja telineen. Määritä tarvittava sähkön, jäähdytyksen ja tilan tarve. Päätä myös, minkä IP-osoitteen haluat yksityisille verkoillesi, kuinka nimetä solmut, mitä ohjelmistopaketteja haluat asentaa ja mitä tekniikkaa käytetään suorittamaan rinnakkaislaskenta (lisätietoja myöhemmin).
   • Vaikka laitteistot ovat kalliita, kaikki oppaassa luetellut ohjelmat ovat ilmaisia, ja suurin osa niistä on avoimen lähdekoodin ohjelmia.
   • Jos haluat nähdä kuinka nopea supertietokoneesi teoriassa olisi, käytä tätä työkalua: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Luo solmut. Sinun on asennettava solmut tai ostettava valmiiksi koottuja palvelimia.
   • Valitse palvelimen runko, joka maksimoi tilan, jäähdytyksen ja virrankulutuksen.
   • Voit käyttää myös useita vanhentuneita palvelimia - joiden kokonaiskustannukset ovat suurempia kuin osien summa, mutta säästät silti paljon. Kaikkien suorittimien, verkkosovittimien ja emolevyjen on oltava identtisiä, jotta järjestelmä toimii hyvin. Muista sisällyttää muisti ja muisti jokaisessa solmussa ja ainakin yksi pääsolmun optinen asema.

3. 

   
   
   Asenna palvelimet telineeseen. Aloita alhaalta, jotta sen yläosa ei ole liian raskas. Tarvitset tätä varten ystäväsi apua - tiheät palvelimet voivat olla erittäin raskaita, ja ohjata heitä pitäviä kappaleita pitkin on vaikeaa.

4. 

   Asenna Ethernet-kytkin palvelimen rungon yläpuolelle. Käytä tätä aikaa kytkimen konfigurointiin: ota käyttöön 9000 tavun hyppykehyksen koot, aseta IP-osoitteet ensimmäisessä vaiheessa määritettyyn staattiseen osoitteeseen ja poista tarpeettomat reititysprotokollat, kuten SMTP Snooping.

5. 

   
   
   Asenna virranjakeluyksikkö. Riippuen siitä, kuinka paljon virtaa solmut vaativat täydellä kuormalla, saatat tarvita 220 volttia korkean suorituskyvyn laskentaan.

6. 

   Kun kaikki on asennettu, voit aloittaa määritysprosessin. Linux on ihanteellinen käyttöjärjestelmä HPC-klusterille - se ei ole vain ihanteellinen ympäristö tieteelliseen tietojenkäsittelyyn, vaan se on myös ilmainen asentaa satoihin tai jopa tuhansiin solmuihin. Kuvittele, kuinka paljon maksaa Windowsin asentaminen kaikkiin näihin solmuihin?
   • Aloita asentamalla emolevyn BIOS: n ja laiteohjelmiston uusin versio, joiden on oltava samat kaikissa solmuissa.
   • Asenna suosikki Linux-versio jokaiseen solmuun graafisella käyttöliittymällä pääsolmussa. Suosittuja vaihtoehtoja ovat CentOS, OpenSuse, Scientific Linux, RedHat ja SLES.
   • Voit käyttää myös Rocks Cluster Distribution -sovellusta. Kaikkien klusterin toimintaan tarvittavien työkalujen asentamisen lisäksi Rocks käyttää erinomaista menetelmää jakaa itsestään useita ilmentymiä nopeasti solmuihin käyttämällä PXE-käynnistystä ja Red Hatin "Kick Start" -menettelyä.

7. 

   Asenna viestirajapinta, resurssien hallinta ja muut tarvittavat kirjastot. Jos et ole asentanut Rocksia edellisessä vaiheessa, sinun on määritettävä ohjelmisto manuaalisesti rinnakkaislaskentamekanismien käyttöönottamiseksi.
   • Ensinnäkin tarvitset kannettavan suuren mittakaavan hallintajärjestelmän, kuten Torque Resource Manager, joka mahdollistaa tehtävien jakamisen ja jakamisen useille koneille.
   • Yhdistä vääntömomentti Maui Cluster Scheduler -sovelluksen kanssa asennuksen loppuun saattamiseksi.
   • Seuraavaksi sinun on asennettava viestien välitysrajapinta, jota tarvitaan eri solmujen yksittäisissä prosesseissa jakamaan sama tieto. OpenMP on helppo käyttää.
   • Älä unohda rinnakkaisten laskentaohjelmien monisäikeisiä matemaattisia kirjastoja. Se on todella helpompaa, jos asennat Rocksin.

8. 

   Kytke tietokoneen solmut. Pääsolmu lähettää tehtävät tietokoneen solmuille, joiden on sitten lähetettävä tulos takaisin ja lähetettävä viestejä toisilleen. Mitä nopeammin, sitä parempi.
   • Yhdistä kaikki klusterin solmut yksityisen ethernet-verkon avulla.
   • Pääsolmu voi toimia myös NFS-, PXE-, DHCP-, TFTP- ja NTP-palvelimena Ethernet-verkon kautta.
   • Tämä verkko on erotettava julkisista verkoista, mikä varmistaa, että lähetyspaketit eivät häiritse muita lähiverkon verkkoja.

9. 

   Testaa klusteri. Viimeinen asia, jonka haluat tehdä, ennen kuin vapautat kaiken laskentatehon käyttäjille, on testata heidän suorituskykynsä. HPL (High Performance Lynpack) -vertailu on suosittu valinta klusterin laskennopeuden mittaamiseksi. Sinun on käännettävä se lähteestä kaikilla mahdollisilla optimoijilla, joita kääntäjä tarjoaa valitulle arkkitehtuurille.
   • On selvää, että sinun täytyy koota lähteestä kaikilla mahdollisilla käyttöympäristön optimoinneilla. Esimerkiksi, kun käytät AMD-suorittimia, käännä Open 64 -optimointitasolla.
   • Vertaa sivuston TOP500.org tuloksia ja vertaa klusteriasi maailman 500 nopeimpaan supertietokoneeseen!

vinkkejä

• IPMI voi tehdä suuren klusterin hallinnoinnin helpoksi tarjoamalla KVM-over-IP, etäkäsittelyreleen ja paljon muuta.
• Jotta saavutat todella suuren verkonopeuden, etsi InfiniBand-verkkoliittymiä. Hinnat eivät kuitenkaan ole kovin edullisia.
• Käytä Gangliaa seuraamaan solmujen laskennallista kuormitusta.

varoitukset

• Varmista, että infrastruktuurisi pystyy käsittelemään heille kohdistettua kuormaa.