Methoden en indicatoren voor kwaliteitszorg in het onderzoek

Transcriptie

1 Methoden en indicatoren voor kwaliteitszorg in het onderzoek Nadine Rons, Dept. R&D, Cel Onderzoekscoördinatie VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie

2 Wetenschappelijke communicatie Schriftelijke "Publicaties" tijdschriften, boeken, proceedings, rapporten, patenten,... onderlinge verwijzingen: citaties, acknowledgements Mondelinge communicatie & andere tijdens congressen, bezoeken,... VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 2

3 Kwaliteitszorg in het onderzoek Waken over een goede onderzoekscultuur niveau team, universiteit, overheid, ethische aspecten & deontologie publicaties: onderwerping aan kritiek van peers, resultaten beschikbaar voor collega s Wat is kwaliteit? een intrinsieke eigenschap in de verschillende fasen van het onderzoek ingeschat door peers ingeschat op basis van kwantitatieve gegevens VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 3

4 Overzicht van publicaties Publicatie- (& citatie) databanken universitaire, nationale/regionale databanken internationaal: b.v. Thomson Scientific (SCIE, SSCI, AHCI, ISTP,...), EconLit,... Wat meten citaties? motivering: gebruik, voorgeschiedenis, overeenstemming, associatie, autoriteit,... Thomson Scientific: vnl. internationale & Engelstalige tijdschriftgebaseerde "citation impact" Archambault et al., (2005), Welcome to the Linguistic Warp Zone: Benchmarking Scientific Output in the Social Sciences and Humanities, Proceedings of ISSI 2005, (vergelijking met Ulrich s, Bowker) VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 4

5 Databankinhoud Dekkingsgraad, b.v. Thomson Scientific: Excellent: Molecular Biology & Biochemistry, Biological Sc.(humans), Chemistry, Clinical Medicine, Physics & Astrophysics» journal importance 89-96%, journal coverage 90-97%, "ISI"-coverage 83-92% Good: Applied Physics & Chemistry, Biological Sc.(animals & plants), Psychology & Psychiatry, Geosc., Other Social Sc.(medicine & health), Mathematics, Economics, Engineering» journal importance 59-83%, journal coverage 74-89%, "ISI"- coverage 46-73% Moderate: Other Social Sc., Humanities & Arts» journal importance 34-41%, journal coverage 50-72%, "ISI"- coverage 17-29% VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 5 Gebaseerd op Tabel 7.3 & 8.1, 'Citation Analysis in Research Evaluation', H.F. Moed, 2005

6 Methoden Afgestemd op de doelstelling toekenning van onderzoeksprojecten & prijzen, remediëring op team-niveau, allocatie van middelen, identificatie van excellentie, doeltreffendheid van beleidsorganen of -instrumenten,... doelvermenging en ongewenste neveneffecten vermijden Debackere et al., (2005), Five Years of Policy-based Bibliometrics in Flanders: An Overview and a reflection, Proceedings of ISSI 2005, poster paper, Peer review waaier van onderzoeksactiviteiten tegen achtergrond inzake personeel, onderwijs,... Citatie-analyse varianten naargelang discipline (dekkingsgraad) vnl. tijdschriftartikels, patenten VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 6

7 Publicatiegebonden criteria & indicatoren Peer review "kernpublicaties", productiviteit, medium, impact, inschatting t.o.v. wereldniveau, samenwerking,... Citatie-analyse publicaties, impactfactor, (zelf)citaties (tijdsvenster), t.o.v. verwacht, % niet-geciteerd,... afweging t.o.v. potentiële auteurs productiviteit informatie aangaande samenwerking, transdisciplinariteit, domeinclusters,... Moed, et al. (1995), New bibliometric tools for the assessment of national research performance: database description, overview of indicators and first applications, Scientometrics 33, VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 7

8 zelfde moment / periode Vergelijking met een referentie o.m. wegens wijzigende inhoud van databanken: Tijdschriften JCR SCI '98-'04: +1,5% op jaarbasis idem met impactfactor > 5: +8,7% op jaarbasis Thomson Scientific, Web of Knowledge, Journal Citation Reports, Science Edition '98-'04 Papers SCI & related '98-'02 : +2,5% op jaarbasis Publ. authors & Authorships : +3,3% & +4,5% op j.b. Authorships/paper & /publ.author: +1,9% & +1,2% op j.b. Papers/active scientist* 84-98: ±0,6 per jaar gebaseerd op Tabel 21.1 & 21.2, 'Citation Analysis in Research Evaluation', H.F. Moed, 2005 (*: Price, 1980) rekening houdend met de discipline VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 8

9 Enkele specifieke karakteristieken Peer review ook negatieve elementen peers ( overall score ) discipline-afhankelijk: nadruk, peer-overeenkomst,... Citatie-analyse sterke invloed van elementen met hoge impactfactor / citatiescore databank discipline-afhankelijk: dekkingsgraad, IF,... overeenkomsten niet evident VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 9

10 Factoren die het resultaat beïnvloeden Peer review systeem: keuze van schaal / vraagstelling / peers /..., eenvormigheid dossiers,... menselijk: volledigheid dossier, bias, interpretatie,... Citatie-analyse systeem: dekkingsgraad target/source expanded analysis, IF-bias keuze van discipline-indeling,... menselijk: weergave adressen, auteursnamen, referenties,... door auteurs, databankbeheerders VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 10

11 Correctheid van referenties (SCI) Correcte referenties: van de ±18,4 miljoen source/target artikels in SCI & related Afwijkingen: of 7,7% t.o.v. de correcte referenties waarvan 80% verklaard:» Beginbladzijde: 3,2 % (ontbreekt, tussen begin & eind, letter,...)» Auteur: 2,1% (consortia, co-auteur i.p.v. eerste,...)» Volume: 1,6% (issue, ontbreekt,...)» Publicatiejaar: 0,7% Gebaseerd op Tabel 13.1 & 13.2, 'Citation Analysis in Research Evaluation', H.F. Moed, 2005 VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 11

12 Zorgvuldige keuzes waar nodig.. Keuzes hebben gevolgen Peers: per dossier of gemeenschappelijk panel,... Vraagstelling: aspecten van het geheel, deelactiviteiten,... Gewichten: peeroordelen, disciplines, indicatoren,... Indelingen: disciplines, beoordelingsschaal, publicatietypes,... (definities) Langfeldt, L., (2004), Expert panels evaluating research: decision-making and sources of bias, Research Evaluation 13 (1), Zitt et al. (2005), Relativity of citation performance and excellence measures: From cross-field to cross-scale effects of field-normalisation, Scientometrics 63 (2), VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 12

13 ..veelzijdigheid waar mogelijk Een zo volledig mogelijk beeld Indicatoren van verschillende aard naast elkaar Varianten: (zelf)citaties, partiële of volledige publicaties, publicaties als (eerste/laatste) co-auteur, projecten als (co)promotor,... Gauffriau et al. (2005), Counting methods are decisive for rankings based on publication and citation studies, Scientometrics 64 (1), "Manipuleerbare" rankings vermijden Samengestelde indicatoren leiden tot verschillende rankings naargelang de gebruikte gewichten Grupp et al. (2004), Indicators for national science and technology policy: how robust are composite indicators?, Research Policy 33, Van Leeuwen et al. (2003), The Holy Grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence, Sientometrics 57 (2), Van Raan, A.F.J. (2005), Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods, Scientometrics 62 (1), & Reply to the comments of Liu et al., Scientometrics 64 (1), VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 13

14 Recente evoluties Humane Wetenschappen publicatiegedrag, klassificaties van tijdschriften,... European Reference Index for the Humanities (HERA) Citatie-analyse indicatoren voor minder goed door de databanken gedekte disciplines, alternatieven voor de "impactfactor",... Visser et al. (2004), Measuring the impact of non-isi source items, S&T Indicators Conference, Leiden, September 2004 Rousseau, R. (2005), Median and percentile impact factors: A set of new indicators, Scientometrics 63 (3), VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 14

15 Expertise inzake kwaliteitszorg ondersteuning uittekening en uitvoering beleid goed gedocumenteerde procedures & rapportering toetsing aan de actuele "state of the art" inzake kwaliteitszorg en evaluatie evaluatie van de gebruikte methoden na verloop van tijd VUB-Studienamiddag , Recente evoluties in wetenschappelijke communicatie pag. 15