1. No category

BIBLIOMETRIIKKATYÖKALUJEN
HYÖDYNTÄMINEN
YLIOPISTOISSA
Eva Isaksson
Helsingin yliopiston kirjasto
Tutkimuksen palvelut / Metriikka
Bibliometriikkaseminaari 16.12.2016
15/12/2016
1
KUKA KÄYTTÄÄ
ANALYYSITYÖKALUJA?
• Kysely suomalaisille yliopistoille ja korkeakouluille SYN:in
verkoston kautta syksyllä 2016
• Analyysityökalut InCites ja SciVal
• Kysymyksiä:
• Mitä tuotteita olette käyttäneet / koekäyttäneet?
• Kuka käyttää, kirjasto vai tutkimushallinto?
• Mihin käytätte, miten vastannut odotuksia?
• Vaikuttiko hinta?
• 14 vastasi, vastausten perusteella kysyttiin lisäkysymyksiä
2
KILPAILEVAT
ANALYYSITYÖKALUT
• Clarivate Analyticsin (ent. Thomson Reuters IP & Science)
Web of Science -datalle rakennettu InCites
• Elsevierin Scopus-datalle rakennettu SciVal
3
KUKA KÄYTTÄÄ KUMPAA
SUOMESSA?
InCites
6 yliopistoa
SciVal
3 yliopistoa
Ei kumpaakaan
HY, TY, Aalto, JY, TTY, LTY
HY, OY, UEF
TaY, Hanken, ÅA
• Lisäksi vastasivat: VY, MpKK, UniArts
• Valinnat eivät ole staattisia, vaan käyttäjät selvittävät jatkuvasti
itselleen sopivinta vaihtoehtoa
• LY luopuu InCitesista vuodenvaihteessa
• SciVal harkinnassa joillakin
4
INCITES: KUN HALUATTE
INDIKAATTOREITA
+ 6333 yliopistoa / tutkimuslaitosta / tms. heti vertailtavissa
+ Indikaattoreita valittavana todella paljon
+ Data ≈ laadukasta
- Yksittäisten tutkijoiden tarkastelussa ei kovin notkea
- Korkeahko oppimiskynnys
- Itse määriteltyjen settien lkm-rajoitus (muuttumassa 2017)
5
SCIVAL: KUN HALUATTE
(PALJON) OMIA SETTEJÄ
+ Helppo tuoda / määritellä omia julkaisusettejä
+ Toimii yhteen Puren kanssa (suora vienti Pure → SciVal)
+ Käyttäjälle helposti avautuvat grafiikat
- Joissakin osioissa saatavilla vain uusimmat vuodet
- Indikaattorivalikoima vielä suppea / piilossa
- Dataa paljon, mutta sen laatu?
6
ESIMERKKI
DATAONGELMASTA
• Boundaries of humanity:
Non-human others and
animist ontology in Eastern
Indonesia
• HY:n julkaisu
• The boundary between
humanity and inhumanity
as a hermeneutic problem
• Universidad del Rosario,
Kolumbia
• Elsevierin robotti tunnistaa
osan Puressa olevista
julkaisuista pieleen
• SciVal saattaa saada
analysoitavaksi vääriä
julkaisuja
7
KOEKÄYTÖT JA
OPPIMISKYNNYS
• Koekäyttöihin ja käytön aloittamiseen tarjolla melko runsaasti
koulutuksia
• Oppimiskynnys silti usein oletettua jyrkempi
• Koekäytön aikana joskus yllättävän vaikeaa soveltaa välineitä
omiin tarpeisiin
• “Emme oikein hahmottaneet mitä InCitesillä on tarkoitus tehdä”
• Jotkut yliopistot koekäyttäneet molempia tuotteita, ehkä
useampaankin kertaan
• Kallis analyysiväline voi ostettunakin olla vajaakäytössä, jos
sen käyttöä ei osata riittävästi
8
KÄYTTÄJÄT ETUPÄÄSSÄ
KIRJASTOISTA
kirjasto
tutkimushallinto
"markkinoitu
tutkimushallinnolle"
7
5
2
• Lisäksi mainittu: yliopiston johto, kansainväliset palvelut,
henkilöstöhallinto ja tutkijat
• Lisensseissä ym. jonkin verran vaihtelua käyttäjämäärittelyissä
9
POIMINTOJA
KÄYTTÖKOHTEISTA
• Tutkimusalojen vertailu (tietyille laitoksille, kansallinen ja kv)
• Yksittäisen tutkijan profiilin tarkastelu
• Aallon KPI-mittareiden (key performance indicator) laskenta
sekä yliopistotasolle että Aallon korkeakouluille
• Benchmark ja collaboration -analyysit
• Erilaiset selvitykset yliopiston hallinnon tarpeisiin, tutkijoiden
rahoitushakemusten tueksi
• Ranking-tyyppiset tiedot, kilpailija/yhteistyökumppaniseuranta
• Julkaisutietojen tuonti julkaisutietokantaan
10
VALINTAAN
VAIKUTTANEET SYYT
• Hinta
• Molemmat tuotteet kalliita hankintoja
• Molemmat saivat mainintoja hankkijalleen edullisempana
vaihtoehtona
• Datan kattavuus
• ”kattaa yliopistomme julkaisutuotantoa paremmin”
• Tutkimustietokanta
• Saman tuoteperheen tuotteeseen (Pure/SciVal, Converis/InCites)
sitoutuminen
• Vaikuttaa jatkossa ehkä selvemmin
11
VERTAILUA INCITES /
SCIVAL -DATALLA
0
5000
10000
15000
20000
25000
30000
Aalto
Abo Akademi
Lappeenranta UT
Tampere UT
SciVal ja InCites -aineiston määriä suomalaisissa yliopistoissa
2010–2015
OECD-luokitus, kaikki luokat
Article, Review, Letter
UEF
Helsinki
Jyvaskyla
Oulu
Tampere
InCites
Tampereen aineistossa sairaala
ei mukana kuten muilla
SciVal
Turku
InCites data: InCites dataset updated Dec 7, 2016. Includes Web of Science™ content indexed through Sep 30, 2016.
SciVal data: Source: Scopus data up to 25 Nov 2016 © Elsevier B.V. All rights reserved.
SciVal, RELX Group and the RE symbol are trade marks of RELX Intellectual Properties SA, used under license.
12
DATAN KATTAVUUDEN
VERTAILUA
• SciVal (Scopus) kilpailee määrillä, mutta suomalaisen aineiston
kohdalla ero InCitesiin ei ole dramaattinen
• Tieteenalaluokitteluissa on eroja, jotka vaikeuttavat
analyysityökalujen tarkempaa vertailua
• Esim. HY:llä näyttää olevan SciValissa 2x määrä maatalousmetsätiedettä (OECD-luokitus), mutta julkaisuja on vain luokiteltu
SciValissa useampiin luokkiin
• SciVal sisältää enemmän konferenssijulkaisuaineistoja
(tietojenkäsittelytiede, tekniset tieteet)
• Näitä aineistoja voi käyttää lähinnä ko. alojen tutkijoihin ja ryhmiin
kohdistuviin tarkasteluihin, yliopiston kokonaistuloksissa ne eivät
näy mm. koska arvioinnissa käytetään eri aineistotyyppejä
13
CASE:
TIETOJENKÄSITTELY
0
500
1000
1500
2000
2500
3000
3500
Aalto
Åbo Akademi
Lappeenranta
UT
Computer and Information Science 2010-2015 (OECD)
Tampere UT
UEF
Helsinki
Jyväskylä
Oulu
Tampere
Turku
InCites
Article, Review
InCites
Proceedings
SciVal
Article, Review
SciVal
Conference
InCites data: InCites dataset updated Dec 7, 2016. Includes Web of Science™ content indexed through Sep 30, 2016.
SciVal data: Source: Scopus data up to 25 Nov 2016 © Elsevier B.V. All rights reserved.
SciVal, RELX Group and the RE symbol are trade marks of RELX Intellectual Properties SA, used under license.
14
ARVIOINNIN
TYÖKALUIKSI?
• Entä jos yliopiston tutkimuksen arvioinnin julkaisuarviointi
tehdään itse jommallakummalla välineellä?
+ Voidaan itse rajata, mitä dataa analysoidaan
+ Helpommin hallittava aikataulu
+ Kevyempi (ja ehkä myös edullisempi?) prosessi
- Analyysi ei ole puolueettoman tahon tekemä ja tulkitsema
- Tietokanta ei korvaa asiantuntijaa, se on vain väline
15
JOHTOPÄÄTÖKSIÄ
• Analyysitietokanta vaatii käyttäjältä osaamista ja ajantasaista
bibliometriikan asiantuntijuutta
• Lukuja saa molemmilla välineillä helposti, mutta mitä ne oikeasti
kertovat?
• Altmetriikkatuotteiden tulo markkinoille haastaa ”perinteiset”
analyysityökalut (jotka nekin ovat varsin nuoria)
• Ehkä julkaisukattavuutta tärkeämpi näkökohta on
toiminnallisuus, ts. mitä välineellä voi tehdä asiakkaan
toimintaympäristössä (CRIS yms.)
16
KIITOS!
EVA.ISAKSSON@HELSINKI.FI
Photo: Linda Tammisto, 2016
17