Laskutusyksiköiden tulevaisuuden tiekartta
Laskenta-, data- ja pilvipalveluiden resurssienhallintaan on tulossa merkittäviä muutoksia. Viime vuonna sisäisessä kehitysprojektissa kartoitettiin uutta resurssienhallintamallia ja sen käytännön toteutusta, ja projektien perusteella siirrymme yhdestä kaikenkattavasta laskutusyksiköstä (billing unitista) tarkempiin yksiköihin, nimittäin HPC-, HPC GPU-, pilvi- ja tallennuslaskutusyksiköihin.
Lisäksi quotahakemukset siirtyvät samaan paikkaan muiden resurssihakemusten kanssa MyCSC asiakasportaalissa, ja käyttämättömien laskutusyksiköiden ja ylimääräisten kiintiöiden elinikää rajoitetaan. Aikaisemman yleislaskutusyksikön sijaan jatkossa tutkijan tulee eritellä resurssitarpeet HPC CPU, HPC GPU, pilvilaskennan ja tallennuskapasiteetin välillä.
Tämä tarkoittaa tutkimuksen toteuttamisen tarkempaa suunnittelua ja yksityiskohtaisempaa resurssihakemusta. Monilla käyttäjillä oman tutkimuksen edellyttämät resurssit ovat tarkkaan tiedossa. Jos resurssien tarve mietityttää, autamme mielellämme valitsemaan oikean palvelun ja arvioimaan resurssien tarvetta. Ylipäätään käyttö kannattaa aloittaa näillä selvityksillä ja hakea sitten resursseja lisää, kun tarve ja tutkimussuunnitelma tarkentuu.
Tulevaisuudessa resurssienhallinta voisi näyttää tältä:
Uudet laskutusyksiköt vastaavat erilaisiin resurssitarpeisiin
CSC:n laskenta-, data- ja pilvipalvelut tarvitsevat monenlaista erilaista infrastruktuuria. Eri tutkimusprojektien tarpeet kohdistuvat näihin hyvin eri tavoin: toiset tarvitsevat CPU:ta, jotkut GPU:ta ja kolmannet tallentavat valtavia määriä dataa. Näiden eri resurssien tarve voi myös kehittyä eri tavoin ja toisistaan riippumatta.
Vuodesta 1994 asti käytössä olleet resurssien allokontiin käytetyt laskutusyksiköt (billing units) eivät ole kuitenkaan tehneet eroa näiden eri resurssien välillä. Pilvipalvelut olivat kymmenen vuotta sitten vielä pieni osa kokonaisuutta ja tallennuskapasiteetin tarve on puolestaan kasvanut näitä kumpaakin nopeammin.
Resursseja on ohjeistettu hakemaan noin seuraavan puolen vuoden tarpeisiin, ja tästä johtuen kunakin hetkenä myönnettynä on ollut huomattava määrä laskenta-aikaa (tai tallennuskapasiteettia), mutta sen kohdistuminen on voinut vaihdella huomattavasti. Tämä on voinut johtaa ruuhkiin jonkin resurssin osalta. Käyttäjämäärien merkittävä kasvu myös lisää tarvetta prosessien virtaviivaistamiselle. Kymmenen vuotta sitten meillä oli noin 6000 käyttäjätiliä; nyt niitä on yli 12000. Akateemisten projektien määrä on yli kolminkertaistunut samassa ajassa 1300:stä 4500:aan.
Toinen syy parannetulle kapasiteetinhallinnalle on myös rahoitusmallin muutos: jatkossa laskentaympäristön rahoitus ministeriöltä on jatkuvaa, joten CSC:llä on tarve parempaan käyttödataan ja käytön kontrolliin, joka mahdollistaa paremman jatkuvan ekosysteemin ja kapasiteetinhallinan kehittämisen.
Kapasiteetinhallinta uudistuksen päämotivaattorina
Päätavoitteemme ovat kapasiteetinhallinnan parantaminen ja käytäntöjen yhtenäistäminen säilyttäen käytön yksinkertaisuuden ja selkeyden. Olemme tarkastelleet miten resursseja hallitaan muissa HPC-keskuksissa ja mitä voimme oppia niistä. Osana uudistusta quotahakemukset keskitetään MyCSC:hen. Tavoitteena on kehittää siitä yhden luukun palvelu kaikille laskentaprojektien hallintaan liittyville tarpeille. Helpomman resurssien hallinnan lisäksi pyrimme siihen, että tutkijoilla olisi myönnetyt resurssit varmemmin käytettävissä, koska myönnöt kohdistuvat tarkemmin olemassa oleviin resursseihin.
Allokoidut mutta käyttämättömät resurssit poistuvat eivätkä ole uhkana ylikuormittaa palveluja myöhemmin, koska voimme paremmin ennakoida tulevia tarpeita hankkimalla lisää oikeaa kapasiteettia. Lisäksi tavoitteemme on toteuttaa käyttäjäystävälliset visualisoinnit palveluidemme kapasiteettitilanteesta.
Uudet laskutusyksiköt otetaan käyttöön syksyllä 2025 ja niitä mahdollisesti pilotoidaan keväällä. Muutos koskee tutkimuksen palveluja: Roihu, Puhti ja Mahti superkoneita, Pouta ja Rahti -pilvipalveluita, SD Connect ja SD Desktop -palveluita sekä Allas, Shared fileservice, ja Pukki tallennuspalveluita – käytännössä kaikkia laskutusyksiköitä käyttäviä palveluja. Kaikissa kysymyksissä voit kääntyä allekirjoittaneiden puoleen.
Lisää resurssihakemuksiin julkaisuja suoraan tutkimustietovarannosta
CSC on ottanut myös käyttöön julkaisujen ja rahoituspäätösten liittämisen Kansallisesta tutkimustietovarannosta resurssihakemuksiin MyCSC -käyttäjäportaalissa. Nämä lisätiedot mahdollistavat CSC:lle tutkimuksen pätevyyden ja vaikuttavuuden arvioimisen, mikä johtaa myös laadukkaampiin resurssipäätöksiin.
Resurssienjakoa kehitetään myös jatkossa. Toivomme erityisesti datanhallinnan osalta yksityiskohtaisempia suunnitelmia projektinaikaisesta käytöstä, mutta erityisesti tuotetun tiedon jatkohyödyntämisestä ja julkaisemisesta. Toivomme että projektit liitetään tutkimustietovarantoihin, sillä resurssien käytön tulokset (julkaisut, uusi rahoitus) ovat tärkeä osa vaikuttavuuden arviointia. Ministeriön ja EU komission linjausten mukaisesti pyrimme kohdistamaan resurssien kehittämisinvestoinnit sovittaen huippututkimuksen tarpeet, kaikki saamamme palaute sekä käyttö- että hakemusdata.
Laskutusyksikköuudistus tukee uuden resurssien myöntölinjauksen toteutusta
Laskutusyksikköuudistus niveltyy useisiin muihin uudistuksiin. CSC:n resurssien myöntölinjaus on juuri uudistettu, ja täsmällisemmät laskutusyksiköt mahdollistavat sen toteuttamisen paremmin. Muita linjauksia ja käytänteitä päivitetään samanaikaisesti. Suurien tallennusquotahakemuksien yhteydessä pyydetään tulevaisuudessa konekäyttöisiä datanhallinnan suunnitelmia. Näin varmistetaan tietoon perustuvat päätökset nojaten datanhallinnan suunnitelmiin tutkimuksen aikana ja sen jälkeen.
Viestimme tulevista muutoksista tarkemmin kevään aikana. Yhteenveto suunnitellusta palveluiden laskutusyksiköiden käytöstä:
Joonas Nurmi
Joonas Nurmi työskentelee CSC:llä Billing Unit -uudistusprojektin projektipäällikkönä.
Jussi Tella
Jussi Tella vastaa resurssien- ja asiakkaidenhallinnan tukipalveluista.
Atte Sillanpää
Atte Sillanpää tukee CSC:n laskentakapasiteetin käyttöä tutkimukseen suoran tuen, dokumentaation ja ohjelmistoasennusten avulla.