Keskustelua tutkimusrahoituksen mittareista: mikä on altmetriikan asema?
Keskustelua tutkimusrahoituksen mittareista: mikä on altmetriikan asema?
Altmetriikan eli vaihtoehtoisen metriikan suosio on nousussa korkea-asteen koulutuksessa (Holmberg, 2016). Tämä kirjoitus perustuu pro gradu -tutkielmaani (Fraumann, 2017), jossa tarkastellaan altmetriikan käyttöä tutkimusrahoituksessa. Altmetriikan avulla jäljitetään ja lasketaan sosiaalisessa mediassa, uutissivustoilla, poliittisissa asiakirjoissa ja sosiaalisia kirjanmerkkejä sisältävillä sivustoilla olevia mainintoja tutkimustuotoksista. Sen jälkeen altmetrisen tiedon tarjoajat laskevat yhteen näiden mainintojen määrän. Tämän ansiosta voidaan havainnoida, kuinka monta kertaa tutkimusta on katseltu, seurattu, jaettu ja ladattu sekä kuinka monta kertaa siitä on keskusteltu.
Tällä tavoin maininnat voidaan yhdistää vaikutukseen tai huomioon suuren yleisön tai yhteiskunnan keskuudessa tieteellisen yhteisön ulkopuolella. Tämän mukaisesti jokainen, jolla on internetyhteys, voisi olla tekemisissä tutkimustuotosten kanssa verkossa, vaikka lopulta vain murto-osa käyttäjien kokonaismäärästä tekee niin. On kuitenkin tärkeää huomioida, että nämä maininnat eivät korreloi tutkimustuotosten laadun kanssa, vaan maininnat etupäässä havainnollistavat yhteisön huomion eli internetin käyttäjät, jotka ovat tavalla tai toisella tekemisissä jonkin tutkimustuotoksen, kuten tutkimusartikkelin, kanssa. Altmetriikka on innovaatio, jota on mahdollista kehittää edelleen (Bornmann, 2014; CWTS, 2017; Holmberg, 2016; Liu & Adie, 2013; Piwowar, 2013; Priem, Taraborelli, Groth & Neylon, 2010; Robinson-García, Torres-Salinas, Zahedi & Costas, 2014; Thelwall, Haustein, Larivière, Sugimoto & Bornmann, 2013).
Tämän kehitystyön myötä altmetriikka on esiintynyt Euroopan korkeimman tason poliittisissa keskusteluissa, ja siitä on keskusteltu esimerkiksi Horisontti 2020 puiteohjelman avointa tiedettä koskeneen keskinäisen oppimisen hankkeen (MLE) aikana. MLE-hankkeet toteutetaan Yhteisen tutkimuskeskuksen (JRC) ja Euroopan tutkimus- ja innovaatiotoiminnan seurantakeskuksen (RIO) alaisuudessa. Niiden tavoitteena on tarjota parhaita käytännön esimerkkejä Euroopan unionin (EU) jäsenvaltioista ja assosioituneista maista (European Commission, 2017b). Lisää näyttöä on löydettävissä EU:n korkean tason asiantuntijaryhmistä, jotka neuvovat Euroopan komissiota muun muassa tieteessä, tutkimuksessa ja innovoinnissa. Altmetriikkaa käsiteltiin näiden korkean tason neuvoa-antavien elinten useissa lausunnoissa vuoden 2016 ja 2017 välisenä aikana (European Commission, 2017a).
Keskeiset havainnot
Tätä tutkimusta varten haastateltiin ensin tutkimusrahoitusorganisaation edustajia ja päättäjiä. Toiseksi institutionaaliseen altmetriseen järjestelmään rekisteröityneet tutkimusrahoitusorganisaation arvioijat ja tutkijat kutsuttiin osallistumaan kyselytutkimukseen verkossa. Kyselyn vastaajat ja haastatellut eivät olleet yleisesti ottaen tietoisia altmetriikan käytöstä. Aineisto viittaa myös siihen, että hyvin harva vastaajista tuntee hyvin altmetriikasta käytävät keskustelut. Kansainvälistä keskustelua altmetriikan käytöstä tiiviisti seuraaville saattaa olla yllättävää, että tässä näytteessä altmetriikan käsitteen käyttö oli niin vähäistä. Oletuksena oli, että suurempi osa vastaajista olisi ollut tietoisia altmetriikan käytöstä. Erityisesti on todettava, että jos altmetriikasta käsitellään EU:n tutkimuspolitiikasta käytävissä korkean tason poliittisissa keskusteluissa, on tutkijoiden tietoa altmetriikasta lisättävä, koska tällä voi myös olla jossain määrin vaikutusta heidän akateemiseen uraansa.
Suositukset
Kuten edellä on esitetty, altmetriikan suosio vaikuttaisi olevan nousussa poliittisissa asiakirjoissa ja muissa kansainvälisissä aloitteissa esimerkiksi EU:n politiikan tasolla. Tämän sidosryhmien näytteen perusteella saadut tutkimustulokset viittaavat kuitenkin siihen, että altmetriikka ei ole vielä levinnyt laajalle. Itse asiassa suurin osa tämän tutkimuksen osallistujista ei ollut tietoisia altmetriikasta. Lisäksi haastattelujen tulokset osoittivat myös, että eri organisaatioiden tyyppejä, akateemisia tieteenaloja ja muita kategorioita on kohdeltava eri tavoin. Kuten useissa teknisissä tutkimuksissa on osoitettu, altmetriikka ei ole vielä valmis käytettäväksi rutiininomaisesti tutkimusten arvioinneissa, vaan ratkaistavina on vielä monia haasteita (Erdt, Nagarajan, Sin & Theng, 2016). Altmetriikan avulla on kuitenkin mahdollista tehdä näkyviksi tiettyjä vaikutuksia yhteiskuntaan tai visualisoida huomiota. Olennaista on se, miten tällaista vaikutusta tulkitaan ja miten se liitetään asiayhteyteen.
Lisäksi jotkut haastatelluista esittivät, että altmetriikalla saattaisi olla suurempi merkitys rahoitetun tutkimuksen raportoimisessa kuin vaikutusten osoittamisessa tutkimusrahoitushakemuksissa. Jotkut vastaajista esittivät kritiikkiä altmetriikasta. Lisäksi altmetriikka olisi nähtävä vain täydentävänä mittarina verrattuna sitaattien laskemiseen ja erityisesti vertaisarviointiin. Esimerkiksi tieteellisen tiedon jakamisen vaikutuksia voidaan tehdä näkyviksi nopeasti verrattuna tieteellisen artikkelin sitaattien laskemiseen. Useat tutkijat kehottivat analysoimaan altmetrisen tiedon ja yhteenlaskettujen tulosten asiayhteyden. Kuten edellä on todettu, tämän tutkimuksen sidosryhmien näytteestä saadut tulokset tutkimusrahoituksesta osoittavat, että altmetriikka on enimmäkseen tuntematon käsite. Tämä asia on otettava huomioon, jos ja kun poliitikot ehdottavat altmetriikan käyttämistä.
Grischa Fraumann
Grischa Fraumann on suorittanut maisterintutkinnon Research and Innovation in Higher Education (MARIHE) maisteriohjelmassa Tampereen yliopistossa ja Donau-Universität Kremsissä (Itävallassa). Tämä blogijulkaisu perustuu hänen pro gradu tutkielmaansa "Valuation of altmetrics in research funding".
Kolumnit edustavat kirjoittajien henkilökohtaisia näkemyksiä.
Tämä kirjoitus on julkaistu alunperin Europe of Knowledge blog
Kuva: Thinkstock
Lähteet
Bornmann, L. (2014). Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics, 8(4), 895–903.
CWTS. (2017). CWTS Research Line in Altmetrics. Retrieved June 5, 2017.
Erdt, M., Nagarajan, A., Sin, S. J., & Theng, Y. (2016). Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media. Scientometrics, 109(2), 1117–1166.
European Commission. (2017a). Europe's future – open innovation, open science, open to the world: reflections of the Research, Innovation and Science Policy Experts (RISE) High Level Group. Brussels.
European Commission. (2017b). Mutual Learning Exercise on Open Science: Altmetrics and Rewards under the Horizon 2020 Policy Support Facility (PSF). Second Workshop on "How to use Altmetrics in a context of Open Science."
Fraumann, G. (2017). Valuation of altmetrics in research funding. Master's Thesis. University of Tampere.
Holmberg, K. (2016). Altmetrics for information professionals: Past, present and future. Waltham, MA: Chandos Publishing.
Liu, J., & Adie, E. (2013). New perspectives on article-level metrics: Developing ways to assess research uptake and impact online. Insights: The UKSG Journal, 26(2), 153–158.
Piwowar, H. (2013). Altmetrics: Value all research products. Nature, 493(7431), 159.
Priem, J., Taraborelli, D., Groth, P., & Neylon, C. (2010). altmetrics: a manifesto.
Robinson-García, N., Torres-Salinas, D., Zahedi, Z., & Costas, R. (2014). New data, new possibilities: exploring the insides of Altmetric.com. El Profesional de La Informacion, 23(4), 359–366.
Thelwall, M., Haustein, S., Larivière, V., Sugimoto, C. R., & Bornmann, L. (2013). Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS ONE, 8(5), e64841.
Julkaistu alunperin 30.05.2018.