Onbegrensd meten met alternative metrics. Peter Nieuwenhuizen

Transcriptie

1 Onbegrensd meten met alternative metrics Peter Nieuwenhuizen

2 Introductie Peter Nieuwenhuizen, Sr. consultant information management Erasmus Universiteit Rotterdam Utrecht Universiteit Yamanouchi Europe 2

3 Onbegrensd impact meten op alternatieve manier 1. Waarom en hoe moet (RWS) impact meten? 2. Over publicaties en Alternative Metrics 3. Case study Alternative Metrics bij RWS 4. Resultaten & conclusie 3

4 in het kort Opgericht in medewerkers Jaarlijks budget: 5 miljard Euro 7 regionale onderdelen, 16 districten, 6 landelijke onderdelen waaronder de faciliterende RWS Corporate Dienst 4

5 Missie, uitvoeringsorganisatie van Ministerie Infrastructuur & Milieu (vroeger V&W). Doel: onderhouden en ontwikkelen van nationaal wegennet, vaarwegen, waterwegen en open water, ondersteunen van duurzame ontwikkeling; samenwerken aan veilig, leefbaar en bereikbaar Nederland. Ø Droge voeten & voldoende en schoon (drink)water Ø Vlot en veilig verkeer over weg en water Ø Betrouwbare en bruikbare informatie 5

6 6

7 7

8 Rijnbrug Arnhem 8

9 Velsertunnel

10 10

11 Waarom publiceert? Verantwoording afleggen Kennis deling Besluitvorming (Tweede Kamer) Informatie t.b.v. publieke opinie en meningsvorming 11

12 Wat is de impact van de publicaties? Traditionele impact meting via de Journal Impact Factor (JIF, ISI) Nadelen: Meting van de impact van gehele tijdschrift i.p.v. artikel Tijdsduur tot moment citatie Effect van zelfcitatie (persoon, groep, afdeling) Physical sciences (artikelen) vs. social sciences (boeken) Academische publicaties vs. overheidspublicaties Geen sociale impact! 12

13 Meten van sociale impact via Alternative Metrics Altmetrics sinds oktober 2010 ( Alternative metrics/bibliometrics, article-level metrics (ALM) Meten van usage (aanklikken, afspelen), captures (lezers, Mendeley), mentions (commentaar, blog), citations (scopus), social media (likes, tweets, shares) Hergebruik van de resultaten van de sociale monitoring visualisatie (website) doelgroep: onderzoeker, staf, uitgever, fonds, bibliotheek 13

14 Reguliere vereisten voor publicatie meting Digital object identifier (DOI), de URL protocol / host name / path / file name Auteur in Orcid database ( ) een persistente digital author identifier (DAI) PROBLEEM Overheidspublicaties hebben deze identifiers meestal niet Maar zijn wel ergens beschikbaar op het internet.. 14

15 15 DOI

16 16

17 17

18 Voordelen van meting via Alternative Metrics Er zijn verschillende voordelen van Alternative metrics t.o.v. de JIF Snelle feedback; publiceren artikel met citaties in wetenschappelijk tijdschrift kan lang duren: 0,5-3 years -> vertraging in citaties Breder publiek: ook niet-specialisten kunnen aan discussie deelnemen en reageren Artikelen met een lagere JIF kunnen toch als belangrijk naar voren komen Ø De impact hangt meer af van kwaliteit van artikel/auteur dan van reputatie van tijdschrift 18

19 Altmetric data 19

20 Meting op de sociale platforms Academische impact versus sociale impact JIF / citatiescore versus usage, captures, mentions, social media, citations Usage: views/plays (vimeo, youtube), downloads, clicks Captures: bookmarks, favorieten, lezers (mendeley) Mentions: wikipedia, commentaar (facebook, youtube, reddit), blogs Social media: facebook likes, shares, tweets, reddit, google+ Citations: scopus, patents, crossref 20

21 Case study Alternative Metrics bij Gevarieerde uitvoeringsorganisatie: Wetgeving: toezicht/controle, uitvoering, experimenteel onderzoek Infrastructuur: milieu, water, wegen, vaarwegen, ecologie, veiligheid, duurzaamheid, transport, kwaliteit, informatie systemen Publicatie types: artikelen, boeken, rapporten, brochures, presentaties, websites, nieuws, interviews, facebook, twitter, video youtube, prezi Taal: Nederlands en Engels 21

22 Doel case study Te onderzoeken of: Overheidspublicatie genoemd worden in sociale gemeenschap / platforms Alternative metrics gebruikt kunnen worden voor validatie van sociale impact Een publicatie type geschikt is voor een specifiek type publiek 22

23 Materiaal & Methode Diverse publicaties: Verschillende soorten interesse- en onderzoeksgebied Openbaar, toonaangevend, media, type, nieuw/oud, publiek, auteur Interview auteurs Test set van 33 publicaties Gebruikte Altmetric methode: (2012) van Ebsco 23

24 Test set 33 artikelen Gevarieerde onderwerpen Water: overstroming, risico, duinen, dijken, zandsuppletie Infrastructuur: system engineering, hergebruik land Verkeer: management, i-mobility Technologie: duurzaamheid, reinforced concrete Wetgeving: juridische dilemma s, mandaat, besluivorming Informatie: big data, bibliotheek wetenschappen, communicatie, media bereik, online strategie, mobile 24

25 25

26 Oriëntatie bij bestaande Alternative Metrics Implementatie van Altmetrics bij Georgia Southern University (USA) 26

27 27

28 28

29 29

30 Uitvoering bij Met Ebsco /PlumX werd een account opgezet (juni 2015) 33 mogelijk geschikte publicaties geselecteerd De (persistente) link op internet opgezocht 30

31 31

32 32

33 33

34 34

35 Resultaten van de case study Na 3 maanden Worden overheidspublicatie genoemd in sociale gemeenschappen? Ja, maar afhankelijk van type (artifact), onderwerp, jaar, platform Zijn Alternative metrics geschikt voor validatie van sociale impact? Grote verschillen tussen publicaties in counts, clicks, downloads, citaties, etc 35

36 36

37 37

38 Resultaten/ Vraag Na 3 maanden Is een publicatie type meer geschikt voor een specifiek type publiek Papier : Artikel 11x, Boek/hoofdstuk 4x, Rappor 2x, Conference paper 1x, Nieuwsbrief 1x Digitaal : Blog/posts 4x, Websites 7x, Video 2x 38

39 39

40 40

41 Sunburst 41

42 Conclusie Alternative Metrics: een onbegrensde manier van meting voor een overheidsorganisatie? Bruikbaar voor socale impact meting Snelle implementatie, snelle resultaten Niet alle publicaties veroorzaken sociale impact Kies voor je boodschap de geschikte publicatievorm op het juiste platform 42

43 Contact Peter Nieuwenhuizen Postbus 2232, 3500GE Utrecht