KWALITEIT & DIVERSITEIT RECHTSWETENSCHAPPELIJK ONDERZOEK IN NEDERLAND

Transcriptie

1 KWALITEIT & DIVERSITEIT RECHTSWETENSCHAPPELIJK ONDERZOEK IN NEDERLAND Rapport van de Evaluatiecommissie Rechtswetenschappelijk Onderzoek 2009

2 2009 Vrije Universiteit Amsterdam Reproductie van (delen van) het rapport voor niet-commerciële doeleinden is toegestaan. Voor reproductie voor commerciële doeleinden dient toestemming van de Vrije Universiteit verkregen te worden. 2

3 VOORWOORD Voor u ligt het rapport van de Evaluatiecommissie Onderzoek Rechtsgeleerdheid. Dit rapport geeft een evaluatie van het Nederlands onderzoek in de rechtswetenschap in de periode Het Disciplineoverleg Rechtsgeleerdheid (DRG) heeft in het late najaar van 2008 mij aangewezen als verantwoordelijk decaan voor de organisatie van de visitatie van het onderzoek. Prof. dr. A.W. Koers was op dat moment beschikbaar als beoogd voorzitter. Gezamenlijk hebben wij, in ruggespraak met het DRG, de opdracht aan de commissie geformuleerd en de commissie samengesteld. Daarbij is gezocht naar gezaghebbende deskundigen in de wetenschappelijke wereld, die tegelijkertijd voldoende afstand tot de faculteiten hadden om een objectief oordeel te kunnen waarborgen. Complicerende factor binnen de juridische discipline is daarbij dat veel onderzoek in de Nederlandse taal wordt gepubliceerd, zodat naar Nederlandstalige leden moest worden gezocht. In april 2009 is de commissie formeel ingesteld en direct aan de slag gegaan. De planning was ambitieus, in de eerste helft van 2010 moest het rapport gereed zijn. Dit heeft een zware druk gelegd op de commissie zelf, maar ook op de faculteiten en instituten die binnen een strakke tijdsplanning hun zelfstudies hebben aangeleverd. Evaluatiecommissies hebben een belangrijke taak, zij bewaken immers mede de kwaliteit van het onderzoek aan de Nederlandse universiteiten. Hun taak is in het algemeen al niet eenvoudig: het vellen van een objectief oordeel over onderzoek over een periode van zes jaar. De taak van de Evaluatiecommissie Rechtsgeleerdheid is zo mogelijk nog complexer. Immers, binnen de rechtswetenschap bestaan geen citatieindexen, noch een kwalificatie van de publicatiemedia, die voor nog enigszins objectieve maatstaven kunnen zorgen. Alles komt dus aan op het oordeel van de leden van de commissie. Deze commissie heeft grote stapels publicaties doorgenomen, naast de zelfstudies die door de faculteiten en instituten zijn opgesteld. Daarbij werd de commissie ook geconfronteerd met een verandering in onderzoekscultuur die juist in de gevisiteerde periode ook binnen de juridische discipline heeft plaatsgevonden: een meer internationale oriëntatie en (meer) samenwerking met andere disciplines. Dit heeft niet alleen gevolgen voor de publicatiecultuur, ook het referentiekader is hierdoor ten dele veranderd, waarbij geldt dat binnen de discipline de toegevoegde waarde van deze veranderingen verschillend wordt gepercipieerd. Kortom, de commissie heeft absoluut geen eenvoudige taak gehad, maar heeft binnen de ambitieuze planning haar oordeel weten te vormen en in het voorliggende rapport tot uiting gebracht. Namens de decanen van de Faculteiten Rechtsgeleerdheid dank ik de Evaluatiecommissie Rechtsgeleerdheid voor de zorgvuldige wijze waarop zij zich van haar taak heeft gekweten, en voor de enorme inzet die nodig is geweest om het proces in de ambitieuze tijdsplanning af te ronden, onder de voortvarende leiding van de voorzitter. Albert Koers dank ik persoonlijk voor de zeer constructieve, integere en plezierige wijze waarop ik met hem heb kunnen samenwerken. prof. mr. Anja Oskamp Decaan Faculteit Rechtsgeleerdheid Vrije Universiteit Amsterdam 3

4 4

5 EXECUTIVE SUMMARY Composition and procedures In April 2009 the Executive Boards of nine Netherlands universities with faculties of law jointly established a Committee to evaluate the quality of legal research at their respective institutions in the years 2003 to Members of the Committee were: dr. A.W. Koers, professor emeritus Utrecht University, Chair; dr. E.A. Alkema, honorary professor Leiden University; dr. L.J.A. Damen, honorary professor University of Groningen; dr. E. Dirix, professor K.U. Leuven, judge Hof van Cassatie, Belgium; dr. A. Hammerstein, judge Hoge Raad, Netherlands; dr. A.Ph.C.M. Jaspers, professor emeritus Utrecht University; dr. R.H. Lauwaars, former member Raad van State, Netherlands, member Royal Netherlands Academy of Arts and Sciences, dr. S. Parmentier, professor K.U. Leuven; and dr. P.J.I.M. de Waart, professor emeritus VU University Amsterdam. The evaluation procedure had to comply with the Standard Evaluation Protocol (SEP) adopted by the Royal Netherlands Academy of Arts and Sciences (KNAW), the Netherlands Organisation for Scientific Research (NWO) and the Association of Universities in the Netherlands (VSNU), as well as by an adaptation of (part of) SEP specifically for legal research (SEPR). As SEP and SEPR essentially assume that an evaluation procedure deals with one institution or discipline at a time, whereas this evaluation procedure would involve all legal research at nine institutions, a special Protocol ( Draaiboek ) was developed and adopted by the nine Executive Boards for the purpose of streamlining the evaluation procedure while maintaining the rules and principles laid down in SEP and SEPR. With some minor adjustments, the evaluation procedure was carried out in accordance with this Protocol. The first meeting of the Evaluation Committee took place on 19 May 2009 and the last meeting on 19 May On 2 June 2010 the final report was submitted to the Executive Board of the VU University of Amsterdam as the representative of all Executive Boards. In its report the Committee outlines how it has operated, also for the purpose of accountability. Important elements of the Committee s internal procedures included: all institutes and programs will be examined and evaluated by more than one member; the final outcome for any institute or program will be determined by the full Committee in plenary session; the overall score of an institute or program will be determined in the light of an overall assessment of its performance and not through mathematically averaging the partial scores; and all texts will be initially drafted by the members of the Committee themselves. All in all the Committee met nine times over a one-year period. A discipline in transition In recent years legal research in the Netherlands has undergone fundamental changes, partly as a result of external drivers, but also as a result of the policies and actions of the nine faculties of law. Such changes may by summed up in the statement that Netherlands legal scholarship has now become a true science of the law. In its report the Committee outlines ten developments that constitute the core of this transition. 5

6 1. From a national towards an international focus Law has become international and so has legal research. And this not just as an abstract policy objective, but as a fact of life. 2. From single- towards multi- and interdisciplinarity Responding to the needs of modern society, legal research and legal researchers increasingly cooperate with other disciplines. 3. From implicit traditions towards methodology There now is much more focus on methodological questions in general and on accounting for the research methods used. 4. From individualism towards research programs Recognizing that it must address increasingly complex issues, legal research is now overwhelmingly organized in the form of programs. 5. From a pyramid towards a two-layer structure More research volume is invested in PhD candidates supervised by professors, implying that mid-career research positions disappear. 6. From overhead financing towards competitive financing The traditional system of funding research as an overhead on funds allocated for teaching is being replaced by research funding through competition. 7. From university funding towards funding from contract research. Legal research is also increasingly funded through contracts with third parties that seek specific analysis and/or information. 8. From service orientation towards a purpose in itself Now that legal research has to compete for funding, there may be a tendency to invest less in supporting legal teaching and legal practitioners. 9. From a monopoly towards competition for students If competition for students increases, faculties may be inclined to direct more resources to legal teaching at the expense of legal research. 10. From laissez faire towards policies and control Legal research has become the object of a great deal of policy- and decisionmaking with research programs as focal points. After reviewing these developments, the report also examines some specific issues: the nature of legal research programs, the efficiency and effectiveness of PhD programs, systems for peer review and ranking and the evaluation of legal research. On the last item, the Committee makes the point that an evaluation procedure involving all legal research at nine universities takes so much time that it may become increasingly difficult to organize it again in the future. SWOT-analysis As part of the evaluation procedure all research programs had to present a SWOTanalysis to the Committee. Therefore, it would seem fair then that the Committee itself presents a SWOT-analysis of legal research in the Netherlands as a whole. Overall and most important: the quality of legal research in the Netherlands is high, while major advances have been made since the last evaluation procedure took place in Of course, there are ups and there are downs, but there are more ups than downs. And if the Committee classified a particular research program in the down category, the response of the faculty concerned in relation to the draft evaluation texts usually indicates that the faculty is already aware of the problem and has taken corrective action. 6

7 The overall conclusion of the Committee on the quality of legal research in the Netherlands is not only positive: the Committee is also optimistic for the future as the advances made in the past are likely to continue well into the future. However, there is one development that has the potential to radically disrupt this optimistic scenario: a further reduction of research funding from university sources, especially if such a reduction would be implemented abruptly so that faculties would not have the time to increase funding from other sources. Since the previous evaluation procedure in 2002 the total number of legal researchers has hardly increased from about 595 full time equivalents in 2002 to about 610 in The fact that in the same period most faculties significantly increased funding from contract research funded by third parties can therefore only lead to the conclusion that there has been a significant reduction of funding from university sources, i.e. the overhead on the funds received by faculties for teaching. As such overhead funding will be further reduced in the years to come, it seems likely that an ever larger part of the research portfolio of the Netherlands faculties of law will be determined by market forces. Apart from these financial issues, there are good reasons to be positive and optimistic. - The need to generate an ever larger part of research funding from non-university sources and especially from contract research did not prevent real advances in terms of quality, while quantity remained stable. - In many faculties a new generation has entered the stage and, if given the chance, these newly appointed research leaders will rejuvenate existing programs and develop innovative new programs. - The focus of legal research has become much more international and this puts legal research and legal researchers in a good position to take advantage of the ongoing processes of globalization and Europeanization. - The position of legal research in the whole of academic disciplines is stronger than before due to the increasing focus and expertise of legal researchers in relation to methodological issues and methodological accountability. - Organizing legal research in programs is no longer the object of rearguard actions, but is now seen as a way to ensure and enhance the quality of legal research in a world that is ever more interlinked and complex. - In all faculties legal research is the object of a great deal of policy- and decisionmaking, not just on paper, but also in practice. Quality monitoring systems are an important component of these arrangements. All these results have been achieved through the efforts of the nine faculties of law and the universities of which they form part. It is up to the faculties and universities to decide how to build on the foundations that have been laid in the past couple of years. If this Committee may express a wish for the future, it would be that the nine faculties seek ways to strengthen cooperation. There are many issues that are better addressed collectively than individually. In the title of this report the Committee tries to express what is considers the two most prominent characteristics of present day legal research in the Netherlands: Quality and Diversity, both with a capital. May these characteristics hold true for the future! 7

8 8

9 INHOUDSOPGAVE DEEL I: ALGEMENE BESCHOUWINGEN EN CONCLUSIES WERKWIJZE EN VERANTWOORDING 1. Samenstelling Opdracht Werkwijze Draaiboek en mid-term reviews Zelfstudies en kernpublicaties Kwantitatieve informatie en overzichten Commentaar faculteiten en Colleges van Bestuur Beoordeling Ontvankelijkheid Checklists en criteria Verschillende perspectieven Soorten publicaties Bibliometrische gegevens 29 DISCIPLINE IN TRANSITIE 5. Inleiding Ontwikkelingen Van nationale naar internationale focus Van mono- naar multi- en interdisciplinair Van vanzelfsprekendheid naar methodologie Van individueel onderzoek naar programmering Van een piramide naar een twee-lagen-structuur Van opslagfinanciering naar NWO-competitie Van eerste en tweede naar derde, vierde en vijfde geldstroom Van dienstverlening naar doel op zichzelf Van onderwijsmonopolie naar competitie Van laissez faire naar beleid en sturing Capita selecta Onderzoeksprogramma s Promotierendementen Peer review en ranking tijdschriften Onderzoeksevaluaties 48 ALGEMENE CONCLUSIES 8. Inleiding Stand van zaken Sterk Zwak De toekomst Kansen Risico s Eindoordeel 61 9

10 DEEL II: BEOORDELINGEN INSTITUTEN EN PROGRAMMA S ERASMUS UNIVERSITEIT ROTTERDAM Het domein van de rechter Lex Mercatoria Rechten van de mens Veiligheid en toezicht Behavioural approaches of contract and tort Fiscale autonomie en haar grenzen 93 RADBOUD UNIVERSITEIT NIJMEGEN Onderzoekcentrum Onderneming & Recht 105 Onderzoekcentrum voor Staat en Recht Centrum voor Migratierecht Rechtspleging De grondwet Internationaal en Europees recht Strafrecht in een bestuurde omgeving Ethische grondslagen van het recht Relatievermogrnesrecht (Centrum voor Notarieel recht) 137 RIJKSUNIVERSITEIT GRONINGEN Kwaliteit van besluitvorming Interdisciplinaire rechtswetenschap Integratie van rechtssferen Kwaliteit van fiscale regelgeving voor ondernemers Aan de grenzen van de nationale staat Internationalisering en rationalisering van strafrecht Criminaliteit en geweld in het publieke domein Naar een internationaal bruikbaar Nederlands ondernemingsrecht Romeinsrechtelijke grondslagen van het Nederlandse privaatrecht Bronnen van het Byzantijns-Romeins recht From European marketplace to European Union Efficiëntie van rechtsarrangementen 186 UNIVERSITEIT LEIDEN Vraagstukken van vermogensrecht Geschillenbeslechting Sociale cohesie, multiculturalisme en globalisering Grenzen van fiscale soevereiniteit Veiligheid en recht Securing the rule of law in a World of Multi-level jurisdiction Hervorming van de sociale regelgeving 221 UNIVERSITEIT MAASTRICHT Inbreng in de Onderzoekschool Ius Commune Globalisation and human rights Strafrecht en criminologie in een multinationaal krachtenveld

11 UNIVERSITEIT UTRECHT The prospects of European private law European public law Human rights in a world of conflict and diversity Criminal law and fundamental values in a changing world Environmental law 270 UNIVERSITEIT VAN AMSTERDAM Amsterdam Center for International Law Amsterdams Instituut voor Privaatrecht Centrum voor Milieurecht Hugo Sinzheimer Instituut Instituut voor Informatierecht 305 UNIVERSITEIT VAN TILBURG Center for Transboundary Legal Development Center for Company Law Centrum voor Aansprakelijkheidsrecht Centrum voor Wetgevingsvraagstukken Nederlandse strafrechtspleging in Europa Tilburg Institute for Law, Technology and Society Tilburg Law and Economics Center International Victimology Institute Tilburg 351 VRIJE UNIVERSITEIT AMSTERDAM Rechtshandhaving in de risicosamenleving IT en recht Rechtsbeginselen in internationale context Migratierecht: tussen burgerschap en mensenrechten Publieke en private belangen in balans 382 DEEL III: BIJLAGEN 1. Cijfermatige overzichten van het onderzoek Overzicht cijfermatige uitkomsten beoordeling Enkele opmerkingen over peer-review en ranking Draaiboek onderzoeksevaluatie Overzicht van enkele relevante publicaties Curricula vitae leden evaluatiecommissie Overzicht van gebruikte afkortingen

12 12

13 DEEL I ALGEMENE BESCHOUWINGEN EN CONCLUSIES 13

14 14

15 Het is nu voor de derde keer dat het onderzoek van de negen Nederlandse juridische faculteiten landelijk geëvalueerd wordt. Het rapport van de commissie-van Gerven van 1996 droeg de titel Rechtsgeleerdheid en dat was ook de titel van het rapport van de commissie-ten Kate van Deze commissie breekt met die traditie en heeft niet alleen gekozen voor een andere titel, maar ook voor het gebruik van de term rechtswetenschap. Daarmee wil de commissie tot uitdrukking brengen dat mede door het werk van haar voorgangers, maar vooral door de inzet van de faculteiten het juridische onderzoek in Nederland de afgelopen jaren een aantal fundamentele veranderingen heeft ondergaan: van rechtsgeleerd onderzoek naar rechtswetenschappelijk onderzoek. Hierna zal op die veranderingen nader worden ingegaan in een hoofdstuk over Discipline in transitie. In dit hoofdstuk komen ook enkele bijzondere onderwerpen aan de orde onder de aanduiding Capita selecta. Veel, zo niet bijna alles, van wat in het hoofdstuk aan de orde komt, is naar voren gekomen in de gesprekken die de commissie in oktober 2010 voerde met de faculteiten. Vast agendapunt in die gesprekken was hoe de faculteiten aankeken tegen de toekomst van het rechtswetenschappelijk onderzoek in Nederland en dat leverde een schat aan informatie en meningen op. Deze Algemene Beschouwingen en Conclusies eindigen met een SWOT-analyse van de rechtswetenschap in Nederland anno 2009: als in de evaluatie van alle programmaleiders wordt gevraagd een SWOT-analyse op te stellen, mag dat ook verwacht worden van deze commissie. Eerst echter een hoofdstuk over de werkwijze van de commissie en de verantwoording daarvan. 1 1 Het hoofdstuk Werkwijze en verantwoording van deze Algemene Beschouwingen en Conclusies wordt volledig door alle leden van de commissie onderschreven. Bij de andere twee hoofdstukken ( Discipline in transitie en Algemene conclusies ) worden niet alle daarin ingenomen standpunten onderschreven door elk lid van de commissie. 15

16 WERKWIJZE EN VERANTWOORDING 1. Samenstelling Nadat prof. dr. A.W. Koers, emeritus hoogleraar aan de Universiteit Utrecht, in januari 2009 had laten weten in principe beschikbaar te zijn voor het voorzitterschap van de commissie, werd in februari 2009 begonnen met het selecteren van de andere leden. Aan de decanen van de deelnemende faculteiten werd gevraagd namen van gekwalificeerde kandidaten door te geven aan prof. mr. A. Oskamp, decaan van de Faculteit der Rechtsgeleerdheid van de Vrije Universiteit Amsterdam, die namens het Disciplineoverleg Rechtsgeleerdheid optrad als coördinator van het voorbereidingstraject. De lijst die dit opleverde, omvatte meer dan honderd kandidaten en werd aan de decanen toegezonden met de vraag aan te geven aan welke kandidaten zij de voorkeur gaven, terwijl hen ook de gelegenheid werd geboden kenbaar te maken welke kandidaten op bezwaren zouden stuiten. Rekening houdend met de voorkeuren en, in een enkel geval, de bezwaren van de decanen, werden de kandidaten vervolgens gegroepeerd naar achtergrond en ervaring. In overleg met de beoogde voorzitter werd besloten te kiezen voor een commissie met minimaal acht en maximaal tien leden. Dit betekende dat gezocht moest worden naar leden met een brede achtergrond in, respectievelijk, privaatrecht en ondernemingsrecht, staats- en bestuursrecht, strafrecht en criminologie, en internationaal en Europees recht. Als de expertise van de commissie op bepaalde gebieden tekort zou schieten, zou de commissie externe referenten moeten kunnen inschakelen. Andere overwegingen bij het samenstellen van de commissie waren: in elk geval twee buitenlandse leden, naast (emeriti-)hoogleraren, ook leden uit de rechtspraktijk met een wetenschappelijke achtergrond en minimaal twee vrouwelijke leden. Ondanks intensieve pogingen bleek dit laatste een onmogelijke opgave te zijn. Elk van de uitdrukkelijk en soms meerdere keren aangezochte vrouwelijke kandidaten bleek in de aantoonbare en zeer te billijken onmogelijkheid te verkeren het lidmaatschap van de commissie te aanvaarden. In haar eerste vergadering sprak de commissie uit die uitkomst te betreuren, maar te accepteren dat het uiterste was gedaan om vrouwelijke leden te werven. In april 2009 werd bij gelijkluidend besluit van de negen betrokken Colleges van Bestuur bevestigd in een brief aan de leden van de commissie van 19 mei 2009 van het College van Bestuur van de Vrije Universiteit Amsterdam de volgende commissie ingesteld: - Prof. dr. A.W. Koers, emeritus hoogleraar UU, voorzitter - Prof. mr. E.A. Alkema, honorair hoogleraar UL - Prof. mr. L.J.A. Damen, honorair hoogleraar RUG - Prof. dr. E. Dirix, hoogleraar KU Leuven, raadsheer Hof van Cassatie - Mr. A. Hammerstein, raadsheer Hoge Raad - Prof. mr. A.Ph.C.M. Jaspers, emeritus hoogleraar UU - Mr. R.H. Lauwaars, voormalig lid Raad van State, lid KNAW - Prof. dr. S. Parmentier, hoogleraar KU Leuven - Prof. mr. P.J.I.M. de Waart, emeritus hoogleraar VU 16

17 De ambtelijke ondersteuning van de commissie werd in handen gelegd van: 2 - Mevrouw dr. B.M. van Balen, projectleider QANU, adviseur en redactie - Mevrouw J.M. van der Schuijt, beleidsmedewerker VU, secretariaat - Mr. drs. C.J. Wolswinkel, promovendus VU, wiskundige en statisticus Daarnaast werd een aantal externe referenten ingeschakeld als de commissie meende niet over de expertise te beschikken die nodig was om alle aspecten van een programma te kunnen beoordelen. 2. Opdracht In de brief van 19 mei 2009 van het College van Bestuur van de Vrije Universiteit Amsterdam wordt de opdracht van de commissie als volgt omschreven: De commissie heeft als opdracht een onafhankelijk oordeel te vellen over de kwaliteit, productiviteit, relevantie en vitaliteit/haalbaarheid van het rechtswetenschappelijk onderzoek aan de deelnemende universiteiten. Voor de uitvoering van de onderzoeksvisitatie is het Draaiboek Evaluatie Rechtswetenschappelijk Onderzoek 2009 opgesteld en geaccordeerd door de CvB s van de deelnemende universiteiten. 3 Omdat het onderzoek van de negen faculteiten is georganiseerd in instituten en programma s zij het soms onder afwijkende aanduidingen betekende deze opdracht dat de commissie zich voor de taak gesteld zag te oordelen over onderzoek dat georganiseerd was in negen instituten en in zestig programma s. 4 Door de decanen van de deelnemende faculteiten was al eerder bepaald (met instemming van de beoogde voorzitter) dat de commissie voor de jaren 2003, 2004 en 2005 diende uit te gaan van de reeds aanwezige mid-term reviews over die periode en dat de voor deze evaluatie op te stellen zelfstudies uitsluitend betrekking zouden hebben op de jaren 2006, 2007 en Werkwijze 3.1. Draaiboek en mid-term reviews Vanaf het begin stond vast dat het Standard Evaluation Protocol (SEP) van de KNAW, NWO en de VSNU en het daarop gebaseerde SEP-Rechtsgeleerdheid (SEPR) de werkwijze van de commissie zouden moeten bepalen. Echter, qua opzet en vooral qua organisatie gaat het SEP uit van een evaluatie van één enkele discipline of onderzoeksgroep binnen één enkele instelling, terwijl de onderhavige evaluatie 2 Stichting Quality Assurance Netherlands Universities te Utrecht. 3 De Universiteit Utrecht heeft een Departement Rechtsgeleerdheid als onderdeel van de Faculteit REBO. Op de omslag van de zelfstudies van het Departement wordt evenwel verwezen naar Faculteit Rechtsgeleerdheid, hetgeen de commissie sterkt in haar besluit om, uitsluitend vanwege overwegingen van stijl, hierna niet voortdurend te spreken over de faculteiten en het departement, maar het te houden bij de faculteiten, daaronder dus steeds begrepen het Departement Rechtsgeleerdheid van de Universiteit Utrecht. 4 Ter vergelijking: aan de voorgangers van deze commissie de commissie-van Gerven en de commissie- Ten Kate werden respectievelijk 127 en 103 programma s voorgelegd. 17

18 betrekking zou moeten hebben op al het onderzoek van alle negen Nederlandse juridische faculteiten. Eén gevolg daarvan was dat het onmogelijk zou zijn de in het SEP voorziene bezoeken op locatie af te leggen op de wijze die het SEP aangeeft: de werklast daarvan zou prohibitief zijn. 5 Een tweede gevolg was dat, ingevolge de richtlijnen van het SEPR, de commissie geconfronteerd zou kunnen worden met meer dan 5000 pagina s aan zelfstudies voor in totaal ongeveer 70 programma s en instituten plus enkele duizenden te beoordelen kernpublicaties, waaronder vele boeken en verzamelwerken. In het licht van deze bijzondere omstandigheden stelde de beoogde voorzitter van de commissie in februari 2009 een concept-draaiboek op waarin gebaseerd op het SEP en SEPR concreet werd aangegeven wat de opzet en de maximale omvang diende te zijn van de aan te leveren zelfstudies, hoeveel kernpublicaties er per programma maximaal aan de commissie voorgelegd konden worden en volgens welke (krappe) tijdslijn de faculteiten en de commissie zouden moeten gaan werken om de evaluatie binnen een jaar te kunnen afronden. De werkbezoeken op locatie werden vervangen door een week waarin de commissie de faculteiten zou ontvangen om met elk van hen de vragen door te nemen die bij de commissie gerezen waren naar aanleiding van de mid-term reviews en de zelfstudies. Het concept-draaiboek werd half februari 2009 voorgelegd aan de decanen en het bleek, met enige aanpassingen, aanvaardbaar te zijn voor alle faculteiten, ook voor de faculteiten van de Universiteit Leiden en van de Universiteit Maastricht. Deze twee faculteiten hadden aanvankelijk aarzeling over deelname aan de evaluatie, omdat hun onderzoek nog zeer recent reeds was beoordeeld, hetzij door een eigen externe evaluatiecommissie (Leiden), hetzij in het kader van de hererkenningsaanvraag van de onderzoeksschool Ius Commune bij de KNAW (Maastricht). Met de Maastrichtse faculteit werden nadere afspraken gemaakt over de door die faculteit aan te leveren stukken. 6 Na acceptatie door alle decanen en Colleges van Bestuur stelde de (toen nog) beoogde voorzitter van de evaluatiecommissie het Draaiboek voorlopig vast met als ingangsdatum 1 maart In haar eerste vergadering van 19 mei 2009 stemde ook de commissie formeel in met het Draaiboek. Op verzoek van het College van Bestuur van de RUG werd naderhand in juni 2009 de werkwijze bij het beoordelen van de conceptrapportages nog enigszins aangepast. Die laatste versie van het Draaiboek is opgenomen als Bijlage 5. In haar eerste vergadering op 19 mei 2009 stelde de commissie ook vast voor welke faculteiten, instituten en/of programma s bepaalde leden van de commissie zich dienden te verschonen vanwege belangenverstrengeling of de schijn daarvan. Bij elke toewijzing van taken aan de leden van de commissie, maar ook bij elke bespreking binnen, of beoordeling door, de commissie daarna is steeds rekening gehouden met de zo vastgelegde conflicts of interests. 5 In totaal negen faculteiten, één reisdag en twee dagen bezoek leidt tot een tijdsbeslag van 27 dagen, dat wil zeggen ruim vijf weken van vijf dagen full time. 6 Voor nadere bijzonderheden over die afspraken, zie hierna bij de beoordeling van de programma s van de Universiteit Maastricht. 18

19 In die eerste vergadering bepaalde de commissie eveneens de werkwijze bij het beoordelen van de inmiddels ontvangen mid-term reviews over de jaren 2003, 2004 en Na een eerste, verkennende bespreking van de beoordelingscriteria van het Draaiboek (identiek aan die van SEP), werd het volgende besloten: - Alle commissieleden nemen de mid-term reviews van alle faculteiten door en, mede op basis van input van de andere leden, stelt één commissielid, als rapporteur, een preadvies op voor een bepaalde faculteit. - Mede op basis van de zo opgestelde preadviezen, bespreekt de commissie de midterm reviews in een tweede vergadering, te beleggen in augustus 2009, en legt de uitkomsten daarvan vast per faculteit. - Er wordt niet afzonderlijk gerapporteerd over de mid-term reviews, omdat de beoordeling daarvan opgaat in de beoordeling van het onderzoek over de gehele periode De commissie besloot verder de afgesproken werkverdeling, alsmede andere hierna eventueel af te spreken werkverdelingen tussen de leden niet naar buiten te zullen brengen, omdat zij als geheel verantwoordelijk is voor de uiteindelijk vast stellen beoordelingen en conclusies. In haar vergadering van 31 augustus 2009 besprak de commissie de mid-term reviews aan de hand van de preadviezen per faculteit. De uitkomsten daarvan werden vastgelegd als input voor de eindbeoordelingen. De commissie tekent wel aan dat er zich hierbij een probleem voordeed dat inherent is aan het systeem van mid-term reviews: enerzijds waardeert de commissie het dat een faculteit consequenties verbond aan de uitkomsten van de mid-term review, anderzijds werd het naarmate die consequenties radicaler waren lastiger voor de commissie het onderzoek te beoordelen als één geheel over de volledige periode van zes jaren. Dit werd helemaal lastig als in de loop van die periode een (deel)programma ingrijpend werd herzien of zelfs opgeheven als gevolg van een negatieve mid-term beoordeling en er halverwege de rit een ander (deel)programma werd gestart Zelfstudies en kernpublicaties In de vergadering van 31 augustus stelde de commissie ook vast op welke wijze de voor oktober geplande gesprekken met de faculteiten zouden worden voorbereid. - Alle leden van de commissie nemen alle zelfstudies door, waarbij met het oog op continuïteit elk commissielid bijzondere aandacht geeft aan de faculteit waarvoor hij eerder, als rapporteur, een preadvies opstelde in relatie tot de uitkomsten van de mid-term reviews. - Het doornemen van de (inmiddels ook ontvangen) zelfstudies is in deze fase niet primair gericht op beoordeling, maar op het identificeren van onderwerpen en vragen waarover de commissie met de faculteiten zou willen spreken. Beoordeling komt pas echt aan de orde na die gesprekken. - De vragen van de leden van de commissie worden per faculteit verzameld door de rapporteur en doorgegeven aan de voorzitter die, in samenspraak met de leden, een 19

20 definitieve lijst met vragen opstelt en deze tijdig doet toezenden aan de desbetreffende faculteit. - Verder werd besloten de gesprekken met de faculteiten in oktober 2009 als volgt te structureren. - In het eerste uur wordt gesproken over de vragen van de commissie, bij voorkeur aan de hand van een eerdere schriftelijke reactie van de faculteit. Als de tijd te kort is om op alle vragen in te gaan, kan de faculteit later schriftelijk reageren. - Aan de faculteiten wordt gevraagd om in het tweede uur een tweetal, door hen bijzonder geachte onderzoeksprojecten te presenten. Dit onder de uitdrukkelijke afspraak dat die projecten op geen enkele wijze zullen meetellen in de oordeelsvorming van de commissie. 7 - In het derde uur krijgen de faculteiten gelegenheid om onderwerpen van meer algemene aard aan de orde te stellen waarover de commissie zich naar hun oordeel zou dienen uit te spreken in haar rapport. Wat de commissie betreft zou het daarbij vooral moeten gaan over sterke en zwakke kanten van het rechtswetenschappelijke onderzoek, ook met het oog op de toekomst. Tenslotte, in deze vergadering besloot de commissie ook voor welke programma s het noodzakelijk was externe referenten in te schakelen omdat er binnen de commissie voor die programma s onvoldoende deskundigheid in huis was, dan wel omdat een bepaald commissielid overbelast dreigde te raken door een al te groot aantal te beoordelen programma s. Ook werden de namen van de aan te zoeken externe referenten bepaald 8 en werd geconstateerd dat de commissie uiteraard onverkort verantwoordelijk blijft voor de uiteindelijke beoordeling van de onderhavige programma's. 9 In haar vergadering op 2 oktober bereidde de commissie de gesprekken met de faculteiten in de week van 19 tot en met 23 oktober 2009 verder voor. Tevens werd in die vergadering vastgesteld hoe de commissie de zelfstudies over de jaren 2006, 2007 en 2008 zou gaan beoordelen Bevestigd werd dat alle leden van de commissie alle zelfstudies doornemen en dat elk commissielid in de rol van rapporteur bijzondere aandacht geeft aan de faculteit waarvoor hij eerder een preadvies opstelde voor de mid-term reviews. - Daarnaast wordt er, op basis van specifieke vakinhoudelijke deskundigheid, telkens per programma één commissielid aangewezen als referent teneinde een eerste conceptbeoordeling van dat programma en van de daarbij behorende kernpublicaties op te stellen. 7 Samenvattingen van de zo gepresenteerde onderzoeksprojecten zijn her en der in het rapport opgenomen. Als geheel laten ze zien hoe divers rechtswetenschappelijk onderzoek kan zijn. 8 De commissie spreekt gaarne haar waardering uit voor de adviezen die zij van de externe referenten mocht ontvangen. 9 Mede om die reden besloot de commissie de namen van de externe referenten niet naar buiten te brengen. Daarnaast woog mee dat er vanwege hun specifieke expertise een directe relatie te leggen zou zijn met de door hen beoordeelde programma s. 10 Uit de beschrijving van haar werkwijze valt af te leiden dat de commissie-ten Kate relatief meer aandacht gaf aan kernpublicaties, terwijl die commissie ook bij alle faculteiten op bezoek ging. Zie Onderzoeksbeoordeling Rechtsgeleerdheid 2002, p

21 - Een referent stelt die eerste conceptbeoordeling van een programma op aan de hand van een uniform en vooraf vast te stellen format dat gebaseerd is op de werkwijze en op de beoordelingscriteria van het Draaiboek (op dit punt identiek aan het SEP). - Een rapporteur ontvangt van de referenten de eerste conceptbeoordelingen van de programma s en kernpublicaties van zijn faculteit, toetst deze aan de eigen bevindingen en voegt alle programmabeoordelingen samen tot één preadvies voor die faculteit. - Een daartoe aangewezen commissielid stelt voor alle faculteiten een conceptrapportage op over de institutionele aspecten (organisatie, beleid, middelen en voorzieningen) en op basis daarvan stelt hij concept-instituutsbeoordelingen op. - Een daartoe aangewezen commissielid treedt op als reviewer met als taak de eenheid van rapportage, afweging en beoordeling zoveel mogelijk te bewaken, in elk geval als referent en rapporteur tot een afwijkend oordeel zouden komen. - Alle preadviezen per faculteit worden plenair besproken en dit leidt tot een tweede conceptbeoordeling per programma of instituut. De definitieve conceptbeoordelingen worden vastgesteld in een afrondende plenaire discussie nadat alle programma s en instituten besproken zijn. - Een daartoe aangewezen lid van de commissie schrijft een concept van het algemene deel van het rapport. De input voor dat concept komt vooral uit de gesprekken met de faculteiten van oktober 2009, in het bijzonder het derde uur. 11 Er zijn twee rode draden in deze, wellicht wat complex lijkende aanpak. - De eerste is te verzekeren dat de zelfstudies van alle instituten en programma s, alsmede alle overgelegde kernpublicaties, steeds door meerdere leden van de commissie worden bekeken en beoordeeld. En dat uiteindelijk elk oordeel door de commissie als geheel wordt vastgesteld. Vandaar dat elk commissielid minimaal twee rollen vervulde: rapporteur voor een faculteit als geheel en referent voor een aantal specifieke programma s op het eigen expertise-gebied. Daarnaast trad één lid op als reviewer ter bewaking van overzicht en eenheid van rapportage, discussie en oordeelsvorming. Voorts werd één lid aangewezen om voor alle instituten een eerste conceptbeoordeling op te stellen en om een concept te schrijven voor het algemene deel. - De tweede rode draad is dat de commissie er bewust voor koos om zelf de hand aan de pen te slaan. Dit niet omdat de ambtelijke ondersteuning daartoe niet in staat werd geacht integendeel! maar wel omdat alleen zo bereikt wordt dat degene die oordeelt, ook degene is die de woorden moet vinden om dat oordeel te motiveren. Daarom wilde de commissie zich niet beperken tot het bespreken en amenderen van een ambtelijk voorbereid concept, maar koos zij voor de omgekeerde weg: de leden concipiëren en de ambtelijke ondersteuning redigeert de finale teksten. 12 Gevolg van de keuze om de leden van de commissie zelf te laten schrijven is wél dat het onvermijdelijk is dat er tussen de diverse onderdelen van het rapport zo af en toe stilistische en taalkundige verschillen zullen optreden, terwijl er ook verschil kan zijn in 11 Die met verve alsof het nooit moeite kostte werd ondersteund door mevrouw Van der Schuijt. 12 Dit neemt uiteraard niet weg dat de ambtelijke ondersteuning van de commissie en in het bijzonder mevrouw Van Balen zeer aanzienlijk heeft bijgedragen aan dit rapport. 21

22 de wijze waarop een beoordeling wordt geformuleerd. Dat laatste kan evenwel ook het gevolg zijn van verschillen in de informatie die door de faculteiten aan de commissie werd aangeleverd en die voor de commissie maatgevend is geweest, ook bij het kiezen van formuleringen. De gesprekken met de faculteiten van 19 tot en met 23 oktober 2009 vonden plaats in een open en plezierige sfeer en waren voor de commissie uitermate informatief. Het SEP veronderstelt dat een evaluatiecommissie één of twee dagen op bezoek gaat bij de te beoordelen onderzoeksgroep of -groepen. Omdat dit voor de onderhavige commissie een onmogelijke opgave zou zijn (zie 3.1.), koos het Draaiboek van 1 maart 2009 voor een vooraf vastgelegde periode van een week waarin de commissie de faculteiten zou ontvangen om met hen de vragen van de commissie door te spreken. Hoewel een halve dag per faculteit erg kort lijkt, heeft de commissie de indruk dat met de zojuist beschreven voorbereiding en opzet de commissie alle gewenste informatie ontving, terwijl de commissie geen klachten vernam van faculteiten die meenden dat zij niet datgene ter tafel konden brengen wat zij ter tafel hadden willen brengen. Bovendien werden de faculteiten expliciet uitgenodigd eventuele aanvullende informatie alsnog naar de commissie te zenden. Een aantal faculteiten maakte daarvan gebruik. Uiteraard heeft de commissie ook na de gesprekken van oktober bij faculteiten een enkele keer informatie opgevraagd waar zulks noodzakelijk werd geacht Kwantitatieve informatie en overzichten Het SEP en SEPR en dus ook het Draaiboek vragen faculteiten een aanzienlijke hoeveelheid kwantitatieve informatie aan te leveren, zowel op instituutsniveau, als op programmaniveau. Het gaat daarbij onder meer om informatie over personele formatie, inkomsten en uitgaven, output qua aantallen publicaties en aantallen en duur van promoties. Om de eenvormigheid van de aan te leveren informatie te verzekeren, schreef het Draaiboek voor dat de faculteiten gebruik moesten maken van uniforme tabellen die bovendien als te retourneren Excel-bestand aan hen werden aangeleverd door de commissie. Vergeleken met SEP en SEPR waren de Draaiboek-tabellen op bepaalde punten enigszins vereenvoudigd omdat de baten (voor de commissie) soms niet op leken te wegen tegen de lasten (voor de faculteiten). Naderhand bleek dat die vereenvoudiging op één punt te ver was doorgeschoten en daarom besloot de commissie in oktober 2009 de faculteiten alsnog te vragen aanvullende informatie te willen verschaffen over de doorstroom van (cohorten van) promovendi. De commissie heeft de door de faculteiten aangeleverde kwantitatieve informatie laten analyseren en bewerken. Dit leverde 13 landelijke overzichten en vergelijkingen op met betrekking tot onderzoeksformatie, aantallen publicaties, inkomstenbronnen en promoties; zie voor nadere bijzonderheden Bijlage 1. Hoewel die overzichten aan de faculteiten ter verificatie werden voorgelegd, wijst de commissie er met nadruk op dat zij met de nodige voorzichtigheid geïnterpreteerd moeten worden. Er blijken (soms aanzienlijke) verschillen te bestaan in de wijze waarop faculteiten kwantitatieve gegevens registreren, in een aantal gevallen omdat universitaire administratieve systemen eigen eisen stellen. Al die verschillen werken uiteraard door in de door de faculteit 13 Met dank aan de heer Wolswinkel, promovendus aan de VU, tevens wiskundige. 22

23 aangeleverde tabellen en dus ook in de op die tabellen gebaseerde overzichten van Bijlage 1. Daarom dient elke specifieke conclusie op basis van die overzichten vooraf te worden gegaan door een grondige analyse van de onderliggende cijfers. Zonder die analyse zijn de overzichten vooral nuttig als algemeen beeld. Eén detail in één van de tabellen gaf aanleiding tot intensieve discussies. SEP en SEPR volgend, vraagt het Draaiboek van de faculteiten om in de tabellen over de kwantitatieve output van instituten en programma s onderscheid te maken tussen Artikelen in gerefereerde tijdschriften en Artikelen in overige tijdschriften. Dit leidde tot een diepgaande en soms heftige discussie over de rol van peer review binnen de rechtswetenschap. Zie paragraaf 7.3. voor nadere bijzonderheden Commentaar faculteiten en Colleges van Bestuur Nadat de commissie in haar vergadering van 22 februari 2010 de definitieve conceptbeoordelingen van de programma s en instituten had vastgesteld, werden, conform het Draaiboek, die concepten op 4 maart 2010 toegezonden aan de faculteiten voor commentaar. Elke faculteit ontving uitsluitend de conceptbeoordelingen van de eigen programma s en instituten, alsmede de conceptbijlagen bij het rapport die voor die faculteit van belang waren. Deze Algemene Beschouwingen en Conclusies werden niet voor commentaar toegezonden omdat de inhoud daarvan de exclusieve verantwoordelijkheid van de commissie zijn. De faculteiten werd gevraagd om, naar analogie van paragraaf 3.5 van het SEP, op de ontvangen stukken vooral commentaar te geven van feitelijke aard. De commentaren van de faculteiten dienden uiterlijk 2 april 2010 door de commissie ontvangen te zijn. Indien evenwel faculteit en College van Bestuur aan de commissie kenbaar maakten met een gezamenlijke reactie te zullen komen, dan behoefde die gezamenlijke reactie pas op 1 mei 2010 in handen van de commissie te zijn. Voor instellingen waarvan faculteit en College van Bestuur afzonderlijk wensten te reageren, zond de commissie, wederom conform het Draaiboek, op 1 april 2010 de relevante onderdelen van het conceptrapport naar de Colleges van Bestuur voor commentaar. Ook de colleges ontvingen uitsluitend de conceptbeoordelingen van de programma s en instituten van de eigen faculteit, de relevante bijlagen, alsmede voor zover ontvangen; zie boven de opmerkingen van de eigen faculteit. De opmerkingen van de colleges, al dan niet gecombineerd met die van de faculteit, dienden bij de commissie binnen te zijn voor 1 mei In haar laatste plenaire vergadering op 19 mei 2010 te Leuven exact één jaar na de eerste vergadering in Den Haag besprak de commissie de commentaren van de faculteiten en van de Colleges van Bestuur. Daarbij deed zich het algemene punt voor dat in hun reacties de faculteiten vaak wezen op ontwikkelingen in 2009 en 2010, dus na de beoordelingsperiode. De commissie besloot dat ontwikkelingen na 2008 hoe bemoedigd wellicht ook op principiële gronden buiten beschouwing dienden te blijven bij het vaststellen van een beoordeling. De commissie heeft echter wel een enkele keer, 23

24 zonder haar oordeel aan te passen en waar opportuun vanwege een kritische opmerking, melding gemaakt van een nieuwe ontwikkeling na Vervolgens besloot de commissie welke wijzigingen in het conceptrapport aangebracht moesten worden in het licht van de commentaren van de faculteiten en de Colleges van Bestuur, stelde de commissie de finale beoordelingen van alle instituten en programma s vast en gaf de commissie de voorzitter mandaat de finale tekst van het rapport gereed te maken voor aanbieding aan de opdrachtgevers van de evaluatie, de negen Colleges van Bestuur. Ook werd de tekst van de Algemene Beschouwingen en Conclusies vastgesteld. De commissie constateerde ten slotte van mening te zijn daarmee haar werkzaamheden inhoudelijk te hebben afgerond. 4. Beoordeling 4.1. Ontvankelijkheid Het zou van een weinig juridische houding getuigen als de commissie de door de faculteiten aangeleverde zelfstudies niet had getoetst op ontvankelijkheid, meer in het bijzonder aan de hand van de vraag of ze in overeenstemming waren met de eisen van het Draaiboek. Uitkomst was dat alle zelfstudies aan die eisen voldoen, zij het dat in een enkel geval de maximale lengte enigszins werd overschreden. Wel was het zo dat de commissie één faculteit die faculteit herkent zichzelf meerdere keren heeft moeten aanmanen om alsnog de informatie te verschaffen die ontbrak in enkele van de door die faculteit aangeleverde zelfstudies. Dit heeft in augustus 2009 zelfs geleid tot enige vertraging in de werkzaamheden van de commissie Checklists en criteria De commissie heeft voor alle programma s en instituten de door het Draaiboek (en het SEP) voorgeschreven checklists gebruikt; zie Bijlage Kernpublicaties werden beoordeeld aan de hand van een van het SEP/SEPR afgeleide checklist met vier criteria: bijdrage aan de ontwikkeling van het vakgebied, originaliteit qua vraagstelling en/of onderzoeksmethode(n), kwaliteit methodologische verantwoording en aard van de relatie met het programma. 15 Ongetwijfeld helpen checklists bij de oordeelsvorming, hebben ze een uniformerende werking en dragen ze bij aan de motivering van beoordelingen. Dit alles neemt evenwel niet weg dat elk van de in de checklists genoemde criteria op verschillende manieren kan worden geïnterpreteerd. En dus kan voor elk programma, voor elk instituut en voor elke kernpublicatie elk lid van de commissie voor elk van die criteria in alle eerlijkheid en 14 Hoewel de commissie-ten Kate niet dezelfde, gedetailleerde checklists gebruikte als de onderhavige commissie, blijkt uit de beschrijving van de beoordelingscriteria dat er sprake is van een grote mate van overeenstemming. Zie Onderzoeksbeoordeling Rechtsgeleerdheid 2002, p Er zijn dus in totaal drie checklists gebruikt: voor programma s (= Draaiboek/SEP), voor instituten (= Draaiboek/SEP) en voor kernpublicaties (= eigen ontwerp). In de facultaire beoordelingen worden de eerste twee checklists wel expliciet opgenomen en de derde niet. Reden is dat opname van die laatste checklist vrijwel altijd neer zou komen op een publieke beoordeling van een individuele prestatie. Dit acht de commissie niet haar opdracht. Uiteraard wordt wel in algemene zin ingegaan op de kwaliteit van kernpublicaties, waarbij de commissie een aantal echt positieve uitschieters wel met naam en toenaam aanduidt. 24

25 onpartijdigheid tot een ander oordeel komen dan elk ander lid. Ondanks alle checklists blijft oordelen over kwaliteit van onderzoek dus altijd subjectief mensenwerk. Die realiteit onderkennend heeft de commissie geprobeerd zoveel mogelijk afstemming en uniformiteit te bereiken in het toepassen van de diverse criteria. Daarbij werden drie wegen gevolgd: - Ten eerste, centraal doel van de hierboven geschetste aanpak bij het beoordelen van de mid-term reviews en van de zelfstudies is het bereiken van afstemming en uniformiteit. Vandaar beoordeling door meerdere personen en vandaar vaststelling van het eindoordeel door de plenaire commissie. Juist als er sprake is van ambigue normen, is uiterste procedurele zorgvuldigheid geboden. - Ten tweede, extra procedurele zorgvuldigheid is betracht bij het vaststellen van een relatief hoge score en in nog weer sterkere mate bij het vaststellen van een relatief lage score. De commissie heeft zich vanaf het begin gerealiseerd dat een lage score verstrekkende gevolgen kan hebben voor een programma of instituut en de daarmee verbonden onderzoekers. - Ten derde, vanaf de eerste vergadering heeft de commissie bij voortduring gesproken over de interpretatie van de criteria voor het beoordelen van de kwaliteit van programma s, instituten en kernpublicaties. Dat heeft ongetwijfeld binnen de commissie een uniformerend effect gehad, maar ook geleid tot het besef dat uiteindelijk oordelen altijd subjectief mensenwerk blijft en moet blijven. Nog afgezien van de multi-interpretabiliteit van de individuele criteria van de checklists van het Draaiboek/SEP, rijst ook de vraag hoe ze onderling gewogen moeten worden, althans als ze niet allemaal van gelijke waarde zouden zijn. De meest indringende variant van deze vraag is wat belangrijker is: het programma of de publicaties? Het antwoord op die vraag hangt samen met de betekenis die wordt toegekend aan het programmeren van rechtswetenschappelijk onderzoek. De commissie komt hierna (zie 6.4. en 7.1.) meer uitvoerig terug op dit onderwerp en volstaat hier met de opmerking dat wat de commissie betreft programmering geen doel op zichzelf is en dat de kwaliteit van publicaties dus de ultieme graadmeter is van de kwaliteit van onderzoek. Echter, het SEP en SEPR vragen van de commissie te oordelen over de kwaliteit van programma s en instituten en dus niet alleen van publicaties. Het gaat de commissie daarom te ver te stellen dat de specifiek programmagerichte criteria van de checklists (productiviteit, relevantie en vitaliteit/haalbaarheid) van ondergeschikt belang zijn. Bovendien: qua betekenis is er tussen de diverse criteria veeleer sprake van nevenschikking dan van onderschikking, hebben sommige criteria betrekking op het verleden en andere juist op de toekomst, zijn sommige vooral wetenschaps-intern, maar zijn andere vooral gericht op de externe omgeving, hebben sommige betrekking op de manier van werken en andere op het uiteindelijke resultaat, et cetera. Dit alles overwegende heeft de commissie gemeend af te moeten zien van een formele, rekenkundige weging van de diverse criteria en clusters van criteria van de checklists. 16 Dit zou geen recht doen aan de complexiteit van de verhoudingen tussen die criteria in het kader van de beoordeling van een concreet programma. Als voor een bepaald 16 Zoals ook wordt bepleit in Oordelen over rechten 2005, p