>
Tiedepolitiikka

JUFO tasojen hienosäätö pohjautuen alanormitettuun viiteindeksiin

Huippu on harvinaista julkaisukanavissa

Julkaisukanavien laadun arviointi on vaikeaa. Asiasta löytyy hyvin monenlaista mielipidettä, erilaisia perusteluja ja kaikkia pelottavat tehtyjen ratkaisujen seuraukset rahoituksille, tutkijoille, lehdille ja alalle, etenkin kun yliopistojen perusrahoitukseen tullaan soveltamaan luokituskertoimia vuodesta 2015 alkaen. On siis hyvin ikävää puuhaa sorkkia tätä kysymystä varsinkin, kun jokaisen kommentaattorin oman erityisalan painotukset ja arvot väistämättä heijastuvat kommenteissa suoraan. Olen aiemmin kirjoittanut kanavien luokittelun luomista ongelmista musiikkitieteellisen seuran blogissa vuonna 2012.

Esimerkiksi itse olisin korjaamassa virhettä, jossa nykyisessä listauksessa puuttuu muutama merkittävä lehti verrattuna aiempaan Jufo-luokitteluun. Nämä ovat Psychology of Music, Music Perception ja Psychomusicology, jotka löytyvät myös ERIH-tietokannassa pääalan ’Musicology’ nimekkeen alta sekä Google Scholar-palvelun alakohtaisista (music and musicology) indekseistä.

Suomen Julkaisufoorumiluokituksen (Jufo) toimintaperiaate on se, että kanavien TASOT heijastaisivat laatua sekä samalla myös julkaisuosuutta kaikista julkaisuista. Huippu ei voi määritelmänsä mukaan olla sellaista, joka koskee puolta tai neljäsosaa tuotannosta tieteenalalla. JUFO on määritellyt nämä siten, että 80% tasokkaasta julkaisukanavista edustaa TASOA 1 (perustaso, joka jo karsii huomattavan osan julkaisuista pois, laitosjulkaisut, jne.), jättäen 16% TASON 2 julkaisuille (ns. johtava taso), ja 4% TASOLLE 3 (korkein taso), joka edustaa alan, eli noin yhtä kahdestakymmenestä julkaisukanavasta. Tietenkin olisi mukava määritellä, että omalla alallani, musiikintutkimuksessa on yleisesti ottaen niin kova taso, että huippua edustaa liki 10% julkaisukanavista (kuten tämänhetkisessä JUFO versiossa on), TASOA 2 edustaa piirun verran enemmän kanavista, 12%, ja loput ovatkin hyvää peruskauraa (TASO 1, 78%). Havainnollistan asiantilaa taulukossa 1, jossa on kuvattu Jufon ohjeellinen jako, sekä tästä musiikin alalle tuleva teoreettinen jako. Lisäksi taulukossa on listattu nykytila ja tulos siitä, jos tehtäisiin pieni säätö nykytilaan (esitys).

TAULUKKO 1. Kanavien määrän jakautuminen tasojen 1-3 välille.

YHTEENSÄ TASO 1 TASO 2 TASO 3
OHJEELLINEN 100% 80% 16% 4%
TEOREETTINEN 231 185 37 9
NYKYTILA 231 181 28 22
ESITYS 231 183 37 11

Jotta alana saadaan aikaiseksi mitä paneeli pyytää, on siis alennettava noin 13 kanavaa TASOLTA 3 TASOLLE 2. Kullakin lienee tästä oman erityisalansa muokkaama näkemys, joka perustuu kokemukseen kanavien arvioitsijoista, päätoimittajista, kanavien ja artikkeleiden yleisestä merkityksestä, julkaisuperiaatteista ja tuntumasta kanavien saamasta arvostuksesta kollegojen kesken. Ongelmana on tietenkin se, että on vaikea päästä karsintaan, koska kukin yksittäinen asiantuntija tuntee oman erityisalueensa lehtien tason ja sen aineiston piirissä on valmis vannomaan, että nämä on selvästi 2 ja 3 tasoisia. Harva tuntee koko laajaa musiikintutkimuksen kenttää niin laajasti, että voisi uskottavasti sanoa vieraan erityisalueen julkaisukanavien olevien huonoja tai hyviä. Lisäksi huutoäänestys on omiaan nostamaan äänekkäiden asiantuntijoiden mielipiteet konsensukseksi, joka ei välttämättä Suomen kokoisessa maassa turvaa kovinkaan tasapainoista näkemystä. Siksi ehdottaisinkin toisenlaista lähestymistapaa. Tapaa, jossa kanavien ja artikkelien oma merkitys ja näkyvyys huomioidaan.

Toisenlainen periaate tasojen hienosäätöön

Ehdotukseni on soveltaa kanavien laskennallisia painoindeksejä pienten säätöjen tekemiseen. Indekseillä tarkoitan joko SJR (Scimago Journal Rankings) tai SNIP (Source Normalized Impact per Paper) mittaria, jotka Jufo tarjoaa julkaisufoorumiaineistossaan (monia muitakin olisi toki tarjolla, esim. JIF, JIF5, CROWN, AI, h-, hc-, g- ja AR indeksit). Näistä SNIP-indeksi on uudempi ja erityisesti kehitetty ottamaan huomioon alojen erityispiirteet ja suhteelliset viitemäärät ja volyymit, ja se perustuu Scopus-tietokannan tietoihin. Eli SNIP mittaa kanavan vaikuttavuutta kontekstissaan ja se ottaa huomioon viittausten määrän sekä lehden aihealueen suhteellisen viittauspotentiaalin sekä myös lähteiden määrän, viittausviiveen, ja millaisesta tietokannasta on kyse (Moedin, 2010, ks. Waltman et al., 2013). SNIP ja SJR (Scimago Journal Rankings) indeksit korreloivat keskenään positiivisesti (r=0.68, p<.001), eli kertovat samaa tarinaa, mutta otetaan tuo enemmän positiivista huomiota saanut SNIP nyt lähtökohdaksi.

Kun kanavien SNIP arvot kuvataan TASOJEN 1-3 kesken (Kuva 1, vasen paneeli), on helppo huomata että indeksi erottelee varsin hyvin TASON 1 ja 2 kanavat toisistaan, sekä kohtuullisen hyvin myös TASON 2 ja 3 kanavat. TASO 1 kanavilta valtaosa (1 ja 3. kvartiilin väli) sijoittuu SNIP arvoissa välille 0 ja 0.5, mediaanin ollessa 0.028, eli näiden kanavien artikkeleihin viitataan noin 2.8% suhteesta kanavan potentiaaliin. Muutama poikkeuskin löytyy, eli lehdet Journal of the Society for American Music, Journal of Mathematics and Music, Journal of Popular Music Studies, Journal of Music Teacher Education, Anuario Musical, ja Music Therapy Perspectives saavat SNIP arvoja jotka ovat poikkeuksellisen korkeita (välillä 0.6 ja 1.4). Jos siirrytään vertaamaan miten SNIP arvo toimii TASOJEN 2 ja 3 erottelijana, huomaa kuvaajasta (vasen paneeli) että mediaanit ovat hyvinkin erilaiset (TASO 2, 0.59 ja TASOlla 3 0.77), vaikkakin jakaumat ovat keskimmäisten kvartiilien (värillisten laatikot) suhteen osin päällekkäiset. Kuvaajasta näkee myös että molemmilla tasoilla on sekä korkeita että matalia SNIP arvoja saavia.

JUFO_SNIP

Jos nyt käytän kanavien merkittävyyttä (SNIP) tehdessäni yksinkertaisen periaatteen, jolla tasoitan tällä hetkellä vinoutuneita määriä tasojen kesken ottamatta huomioon omaa asiantuntijuuttani lehtien tasosta, sisällöstä ja alasta. TASON 3 lehtiä on tällä hetkellä 22, noin puolet liikaa mitä teoreettinen määrä antaa olettaa ja mitä julkaisufoorumimäärittelyssä haetaan. Jos laitamme TASON 3 lehdet SNIP indeksin mukaan järjestykseen ja alennamme listalta ne joiden arvot ovat alle TASO 3 mediaanin (ja jotka siis ovat sitä kautta lähempänä TASON 2 lehtiä), jäljelle jää puolet TASON 3 lehdistä (11 kpl). Tällöin esimerkiksi Tijdschrift van de koninklijke vereniging voor nederlandse muziekgeschiedenis, jolla ei ole viittausindeksejä sekä October, jonka viittausindeksi on 0.508 – arvo joka hyvää keskikastia TASOLLA 2 –, tipahtaisivat TASOlle 2.

Samalla tavalla käsittelen myös poikkeamia TASON 1 kohdalla, eli ylennän aiemmin mainitsemani korkeat SNIP arvot saavat kanavat TASOLLE 2. Pitääkseni TASOn 2 kanavien määrän halutussa suhteessa (16% kanavista), joutuisin jälleen toistamaan operaation tämän tason kohdalla, eli alentamaan alimmat SNIP arvot saavat kanavat TASOlle 1. Tämän kohtalon kokisi 7 kanavaa (Plainsong and Medieval music, American Music, Bulletin of the Council for Research in Music Education, Musikforschung, World of Music, Bach, ja Journal of Musicological Research). Tuloksena olisi määrältään tasapainoinen esitys kanavista, jotka myös erottautuvat hyvin SNIP indeksin mukaan, kuten Kuvan 1 oikeanpuoleisesta paneelista näkyy. Eli yksinkertaistaen voisi sanoa, että TASO 1 kanaviin viitataan alle 0.5 kertaa, TASO 2 kanaviin alle 0.5-1.0 kertaa, ja harvinaisiin (4%) huippukanaviin yli 1.0 kertaa huomioiden kanavien omat käytännöt, vaihtelevat volyymit, eripituiset lähdeluettelot ja ilmestysmisvauhti.

Hienosäätö pähkinänkuoressa

Muokkausperiaatteen perustelut ovat pähkinänkuoressa seuraavat:

  1. Hienosäädön periaate on läpinäkyvyvä ja yksinkertainen.

  2. Hienosäädön periaate perustuu alan tutkijoiden omaan toimintaan kanavien merkityksestä (eli huomioi sen mihin kanaviin viitataan, huomioiden kuitenkin eri kanavien erilaiset käytännöt).

  3. Hienosäädön periaate on yhteensopiva Jufo-arviointifilosofian kanssa, jossa on lähdetty siitä miten kanavia on jo entuudestaan arvioitu (mm. Norjan, Australian, ja ERIH:n arvioinnit).

  4. Hienosäätö hyödyntää alanormitettuja viittausindeksejä korjaamaan Jufo-tasoja, ja viittausindeksit ja Jufot-tasot ovat pääosin keskenään yhteensopivia (ks. Auranen, Leino, Poropudas & Pölönen, 2013).

Konfenssijulkaisut?

Mikäli konferenssien proceedings paperit halutaan pois listaa pilaamasta, täytyy jälleen olla jokin periaate, jolla jakaumat TASOJEN kesken korjataan. Proceedings-julkaisuthan ovat myös alakohtaisia, ne voivat olla hyvinkin kevyttä materiaalia (TASO 0, ei vertaisarviota), mutta näin ei tietenkään ole kaikissa tapauksissa. Esimerkiksi International Society for Music Information Retrieval Conference (ISMIR) tapahtumissa hylkäysprosentti on tuntuva (2010: 39%, 2012: 66%), arviointi on vuosikausia ollut anonyymivertaisarviointi (3 arviointia), ja musiikkiteknologian ja äänisuunnittelun alalla tunnetaan vieläkin tiukempia konferensseja (IEEE-sarja), joihin käydään varsin kova karsinta (hylkäysprosentti yli 80%) ja isot kustantajat usein julkaisevat tapahtuman tuotokset.

Yksinkertaisinta olisi poistaa proceedings-kanavat musiikin alan julkaisulistasta. Samalla tulee kuitenkin tiedostaa se, että Conference of the International Society for Music Information Retrieval on yksi eniten siteeratuista kanavista musiikin alalla. Sen viiden vuoden h5-indeksi on 35 (eli vähintään 35 tutkimukseen viitataan vähintään 35 kertaa viimeisen 5 vuoden aikana), mikä on hämmästyttävän korkea verrattuna Jufo 3-tason lehtiin, joista Ethnomusicology-lehden h5 indeksi on 9, Journal of New Music Research-lehden 13, ja niin edelleen. Eli poistaessamme tämänkaltaisen kanavan Jufosta, heikennämme musiikkialan näkyvyyttä ja painoa verrattuna muihin tieteenaloihin, mikäli tulevaisuudessa tullaan käyttämään viittausindekseihin perustuvia mittareita.

Hienosäätö ei sulje pois kansallisia painotuksia

Jufossa on ollut tarkoitus antaa suomalaisten arviotsijoiden miettiä valmiiden pohjien perusteella kanavien painotuksia sekä nostaa esille kansallisesti tärkeitä kanavia. Esittämäni hienosäätö ei muuta asetelmia kansallisen kanavan kohdalla (Musiikki, TASO 1), vaan säätää kansainvälisten kanavien painoarvoja niin että päästään haluttuun tasapainoon kanavien määrän suhteen. Hienosäätöperiaatetta ei pitäisi tulkita myöskään siten, että se sanelee koko arvioinnin, ehdotan vain että se olisi yksinkertaisempi ja läpinäkyvämpi ratkaisu päättää kansainvälisten kanavien merkityksestä Jufossa, kuin kerätä jokaiselta alan asiantuntijalta jonkinlainen järjestyslista näistä kanavista ja sovitella saadut tulokset jotenkin yhteensopivaksi.

Tunnustan myös auliisti, että suuret viittausmäärät ei sinänsä ole automaattisesti laadun tae, sillä ne reagoivat artikkelien ja kanavien huomioinnin syystä tai toisesta, joka ei välttämättä vastaa aina laatua. Toinen ongelma on, että tietenkin tutkijat ja kanavat ovat oppineet vaikuttamaan indekseihin erinäisillä keinoilla. Ongelmista huolimatta viittausindeksien ja kanavien laadun välinen suhde on tunnustettu useasti (Bergstrom, 2007; Ravallion & Wagstaff, 2011, ks. myös Baneyx, 2008) ja indeksejä on esimerkiksi Ruotsissa sovellettu suoraan laadun mittarina. Veikkaan että emme pääse indekseistä eroon tulevaisuudessa, sillä indeksit ovat tulossa koko ajan herkemmiksi, nopeammiksi ja niiden valikoima laajenee (artikkelien lataukset, niihin viittaukset, sekä niistä käyty elektroninen viestintä, jota voisi kutsua vaihtoehtoindekseiksi alt-metrics).

Sanotaan myös selvennykseksi, että viittausindeksit ja julkaisufoorumiluokitus on tarkoitettu tutkimuksen arvioinnin apuvälineeksi kun kyseessä on iso aineisto (esim. kaikki Suomen yliopistojen julkaisemat tutkimukset vuosina 2010-2014), ja niitä ei ole tarkoitettu yksittäisten tutkijoiden tai ryhmien arviointiin, joka tulee aina perustua tutkimusten sisältöjen vertaisarviointiin, ei raakoihin numeroihin.

Jufossa ei ole kyse vain laaduntarkkailusta ja instrumentista jolla OM tulee jakamaan tuloksellisuusrahaa. Jufo ohjaa tutkijoita siinä, missä kanavissa kannattaa julkaista. Sen takia kannattaa herättää keskustelua siitä, millaista viestiä musiikintutkimus haluaa antaa jatko-opiskelijoille ja tutkijoille potentiaalisista kanavista. Minun on vaikea kuvitella suosittelevani laadukkaalle tutkimukselle kanavaa, johon ei oikeastaan löydy aiempia viittauksia, jos pidän mielessä sen että julkaiseminen on viestintää.

Hienosäädön tulokset ovat saatavilla Excel-muodossa osoitteesta:

https://dl.dropboxusercontent.com/u/308802/Jufo/Jufo_musiikki_S_2014.xls

Lähteet

Mainokset

About Tuomas Eerola

https://twitter.com/tuomas_ee

Keskustelu

Ei kommentteja.

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s

%d bloggers like this: