LUMI on virallisesti hyväksytty!
LUMI-supertietokoneen GPU-osiota hyödyntävä toinen pilottivaihe on päättynyt, ja järjestelmä on läpäissyt vertailuarvoihin perustuvat suorityskykytestit, ja sopimukset ovat valmiina: LUMI on virallisesti valmis palvelemaan eurooppalaisia tutkijoita täydellä kapasiteetilla!
Murphyn lait
Näin valtavan järjestelmän asentamiseen mahtuu mukaan myös yllätyksiä. Olemme kärsineet maailmanlaajuisesta mikroelektroniikkapulasta, ja COVID-19-pandemia oli jotain, jota kukaan meistä ei osannut ennustaa projektin alkaessa vuonna 2019.
Lisäksi LUMI-hankkeessa on mukana paljon täysin uutta teknologiaa: se on yksi Hewlett Packard Enterprisen ensimmäisiä Slingshot-kytkinverkoilla varustetuista supertietokoneista, jotka hyödyntävät pilvipohjaista Shasta-ohjelmistorajapintaa. Lisäksi AMD:n MI250X-grafiikkasuoritin on täysin uuden sukupolven suurteholaskentaan tarkoitettu grafiikkasuoritin. Kaikista uusin teknologia on usein myös edelläkävijäteknologiaa, eikä LUMI ollut poikkeus. Lisäksi asennuksen koko – LUMI sisältää kymmeniä tuhansia yksittäisiä teknisiä komponentteja; grafiikkasuorittimia, suorittimia, DIMM-muistimoduuleja, kiintolevyasemia, datakaapeleita, kytkimiä ja niin edelleen – jotka kaikki on testattava ja tarkastettava ennen kuin järjestelmä on valmis, vaatii tietysti aikaa ja vaivannäköä.
Vaikeuksista huolimatta LUMI on EuroHPC-yhteisyrityksen ensimmäinen operatiivinen esi-eksa-luokan järjestelmä. Se sijoittui Top500- ja Green500-listoilla kolmanneksi jo toukokuussa 2022, mikä teki siitä Euroopan nopeimman ja energiatehokkaimman supertietokoneen. Voittokulku jatkui marraskuussa 2022 julkaistuilla uusilla listoilla. LUMI avattiin tuotantokäyttöön joulukuun puolivälissä 2022 sopimusten tekemistä ja virallista hyväksyntää odotellessa.
Teknisesti ottaen
Järjestelmän 10 240 grafiikkasuorittimen on osoitettu toimivan odotetulla suorituskykytasolla. LUMIa testattiin seuraavilla tieteellisillä vertailuohjelmistopaketeilla: Gromacs (molekyylidynamiikka), CP2K (kvanttikemia) ja ICON (ilmastotiede). Lisäksi MLPerf-sovelluksen vertailuohjelmistolla testattiin koneoppimiskuormia PyTorchin ja Tensorflow’n lisäksi. Testitapauksiin kuuluivat ResNet-kuvaluokitus, SSD-kohteiden tunnistus ja XFMR-käännös. GridTools-välityspalvelinsovelluksella mitattiin myös kaavaimiin perustuvia, erityisesti numeerisia sääennustussovelluksia.
Näiden lisäksi LUMIn suorituskykyä mitattiin lukuisilla synteettisillä vertailuarvoilla. Nämä yhdessä pilottikäytön varhaisten kokemusten kanssa osoittavat järjestelmän olevan valmis ja suorituskykyinen useisiin erilaisiin työnkulkuihin. Sovellusvalikoima kasvaa nopeasti. Teemme esimerkiksi yhteistyötä teknologiakumppaneidemme HPE:n ja AMD:n kanssa sovellusvalmiusohjelmassa (Application Readiness Program), jossa seitsemän tieteellistä sovellusta eri LUMI-konsortiomaista siirretään ja optimoidaan LUMI-G:lle.
Objektitallennuspalvelu LUMI-O siirtyy pilottivaiheeseen samanaikaisesti järjestelmän täyden käyttöönoton yhteydessä. Se on tarkoitettu suurten tietomäärien tallentamiseen, jakamiseen ja vaiheistamiseen. Laskennalliset tallennusalueet LUMI-P ja flash-pooliratkaisu LUMI-F ovat olleet tuotannossa vuoden 2022 alusta lähtien. Pilottivaiheessa LUMI-O järjestelmää voi käyttää normaalisti, mutta järjestelmään tehdään vielä muutoksia, joilla voi olla vaikutusta palvelun saatavuuteen tai suorituskykyyn.
Data-analyysialusta LUMI-D (jossa on solmuja, joissa on joko erittäin suuri muisti tai visualisointi-GPU) on ensin saatavilla vain resursseina Slurm-eräajojärjestelmässä. Open OnDemand -käyttöliittymä (tavoiteltu saatavuus Q1/2023) tekee siitä interaktiivisen osion. Open Ondemand mahdollistaa myös LUMI-G- ja LUMI-C-solmujen interaktiivisen käytön esimerkiksi Jupyter Notebooks -ohjelmointityökalun avulla.
Nyt lopullisen hyväksynnän jälkeen LUMI saa laitteistoon myös pieniä parannuksia: LUMI-C ja LUMI-G-osiot saavat lisäkapasiteettia tämän kevään aikana, LUMI-F kasvaa kahdella petatavulla, ja kytkinverkkoa parannetaan lisäämällä kaistanleveyttä järjestelmän kabinettien välillä.
Vielä on lisää työtä tehtävänä: tarvitaan enemmän aikaa ja vaivaa, ennen kuin voimme sallia arkaluonteisten tietojen käsittelyn järjestelmässä. Lisäksi konttipilvialusta, joka on suunniteltu tukemaan pysyviä palveluita, kuten tiedonsiirtoapuohjelmia, verkkorajapintoja LUMI-O-tietojoukkoihin ja töiden palautusportaaleja, ei ole vähään aikaan käytettävissä. Useimpien käyttötapausten käsittelyyn on olemassa vaihtoehtoisia tapoja.
Lisäksi, kuten syksyllä 2022 ilmoitettiin, LUMI tulee olemaan osa LUMI-Q-ratkaisua, joka tuo kvanttitietokoneet kaikkien Euroopan tutkimusyhteisöjen saataville. Tämä toiminnallisuus toteutuu vuoden 2024 aikana.
Resurssihaku auki
Eurooppalaiset tutkijat voivat nyt hakea LUMI-kapasiteettia eri hakumenetelmien kautta. Puolet järjestelmän resursseista jaetaan EuroHPC-yhteisyrityksen hakujen kautta, jotka on suunnattu akateemisille tutkijoille, tutkimuslaitoksille, viranomaisille ja yrityksille, jotka on perustettu tai sijaitsevat EU-jäsenmaassa tai Horisontti 2020-ohjelmaan assosioituneessa valtiossa.
Toinen puolikas järjestelmän resursseista jaetaan LUMI-konsortiomaiden kesken järjestelmään investoidun rahoituksen perusteella. Käytännössä tämä tarkoittaa, että suomalaiset tutkijat voivat hakea LUMI-resursseja EuroHPC-hakujen ja Suomen maakohtaisten hakujen kautta. Lisätietoja eri hakumenettelyistä on löytyy LUMIn verkkosivujen Get started -osiosta.
Katso myös videot:
Pekka Manninen
Science and Technology -yksikön johtaja, CSC