CSC ja LUMI mukana AI2:n OLMo-kielimallin kehittämisessä
CSC on mukana Allen Instituten for AI:n (AI2) avoimen generatiivisen kielimallin luomisessa. Kielimalli nimeltään OLMo (Open Language Model) on verrattavissa kooltaan muihin huipputason suuriin kielimalleihin, sillä sen mittakaava on 70 miljardia parametria, ja sen odotetaan valmistuvan vuoden 2024 alussa. AI2 kehittää OLMoa yhteistyössä AMD:n ja CSC:n kanssa hyödyntäen LUMI-supertietokoneen GPU-kapasiteettia.
OLMo on ainutlaatuinen avoin kielimalli, jonka tarkoituksena on hyödyttää tiedeyhteisöä tarjoamalla täysin avoin pääsyn malliin ja tarjoamalla koulutusta mallin luomisen kaikkiin osa-alueisiin.
OLMo tarjoaa monille tekoälytutkimusyhteisön jäsenille uuden väylän työskennellä ensimmäistä kertaa suoraan kielimallien parissa. Kaikki OLMo-hankkeen osat tulevat olemaan avoimesti saatavilla – datan lisäksi myös sen luomiseen käytetty koodi on saatavilla. Mallin luomiseen liittyvät eettiset ja koulutukselliset näkökohdat jaetaan ja niistä keskustellaan avoimesti, jotta kielimallinnusteknologian ymmärtämistä ja vastuullista kehittämistä voidaan ohjata.
– Tiedeyhteisöä silmällä pitäen OLMo rakennetaan tarkoituksenmukaisesti edistämään kielimallien tutkimusta. OLMosta tulee ensimmäinen kielimalli, joka on suunniteltu erityisesti tieteellisen ymmärtämisen lisäämiseen, sanoo OLMo-projektin vetäjä ja AI2:n Senior Director of NLP Research Hannaneh Hajishirzi.
– AI2:n pitkä kokemus luonnollisen kielen käsittelyssä (NLP) ja AMD:n historia tiedeyhteisön tukemisessa suurteholaskennan avulla sopivat täydellisesti yhteen OLMon kanssa. AI2:n uuden, tieteelle suunnatun OLMo-hankkeen myötä meillä on valmiudet laajentaa osaamistamme generatiiviseen tekoälyyn käyttämällä AMD EPYC™-suorittimilla ja AMD Instinct™ -kiihdyttimillä varustetun LUMI-supertietokoneen mahtavia ominaisuuksia, sanoo Ian Ferreria, Senior Director, AI Solutions, AMD.
– OLMosta tulee jotain erityistä. Monet kiirehtivät hyödyntämään generatiivisten kielimallien liiketoimintapotentiaalia, mutta AI2:lla on ainutlaatuinen kyky tuoda maailmanluokan asiantuntemuksemme yhteen AMD:n ja LUMIn maailmanluokan laitteistojen kanssa, jotta voimme tuottaa jotain, joka on nimenomaisesti suunniteltu tutkijoille, jotta he voivat alkaa käyttää mallia, oppia siitä ja käyttää sitä luodakseen turvallisen ja tehokkaan tekoälyteknologian seuraavan sukupolven, toteaa Noah Smith, OLMo-projektin vetäjä ja AI2:n Senior Director of NLP Research.
CSC:n Science and Technology -yksikön johtaja Pekka Manninen lisää:
– Generatiiviset kielimallit ovat potentiaalisesti tämän vuosikymmenen läpimurtoteknologia samoin kuin hakukoneet ja älypuhelimet tulivat yhteiskuntaamme edellisinä vuosikymmeninä. Suurten kielimallien avoimuus, läpinäkyvyys ja tulkittavuus on elintärkeää, jotta tämän teknologian hyödyt koskisivat laajalti koko yhteiskuntaa. Olemme ylpeitä siitä, että saamme olla osa tätä yhteistyötä sen suuren yhteiskunnallisen vaikutuksen ja teknologisen kunnianhimon tason vuoksi, ja iloisia siitä, että voimme osallistua siihen LUMI-supertietokoneen ja asiantuntemuksemme avulla. LUMIn kaltaiset supertietokoneet voivat nopeuttaa suurten kielimallien koulutusta moninkertaisesti, ja monet muut LUMI-infrastruktuurin ominaisuudet asettavat sen johtavaksi alustaksi luonnollisen kielen prosessoinnissa.
Lue teksti kokonaisuudessaan Allen Institute of AI:n verkkosivuilta.
AMD, AMD Arrow -logo, EPYC, AMD Instinct ja niiden yhdistelmät ovat Advanced Micro Devices, Inc:n tavaramerkkejä.