Besluit strekkende tot het verlenen van accreditatie (na herstel) aan de opleiding woonderzoeksmaster

Transcriptie

1 nvao * nederlands - vlaamse accreditatieorganisatie Besluit strekkende tot het verlenen van accreditatie (na herstel) aan de opleiding woonderzoeksmaster Research master in Law (research) van Tilburg University datum 29 juni 2018 onderwerp Besluit Accreditatie wo-onderzoeksmaster Research master in Law (research) van de Tilburg University (005824) uw kenmerk ons kenmerk NVAO/ /AH bijlagen 2 Gegevens Naam instelling Naam opleiding Variant opleiding Locatie opleiding Datum aanvraag 1 Datum eerste locatiebezoek Datum KNAW-advies Datum KNAW-advies herstelplan Datum herstelbesluit NVAO Datum tweede locatiebezoek Datum tweede visitatierapport Datum aanvraag 2 (na herstel) Datum rapport aanvullende Beoordeling Instellingstoets kwaliteitszorg : Tilburg University : wo-onderzoeksmaster Research master in Law (research) (120 EC) : voltijd : Tilburg : 17 juli 2014 : 21 november 2014 : 23 februari 2015 : 5 oktober 2015 : 30 november 2015 : 24 maart 2017 : 21 april 2017 : 29 mei 2017 : 9 februari 2018 : ja, positief besluit van 3 april 2013 Voorgeschiedenis Op 17 juli 2014 ontving de NVAO van Tilburg University een accreditatieaanvraag voor de opleiding wo-onderzoeksmaster Research master in Law (research) vergezeld van een paneladvies waarin de standaarden 2 Onderwijsleeromgeving en 3 Toetsing en gerealiseerde eindkwalificaties en daarmee het eindoordeel als onvoldoende zijn beoordeeld. De NVAO nam vervolgens op 30 november 2015 een besluit tot het verlengen van de accreditatietermijn (zogenoemd herstelbesluit) van de opleiding met een periode van twee jaar, derhalve tot en met 29 november Op 29 mei 2017 ontving de NVAO een nieuwe accreditatieaanvraag met het verzoek van de instelling op een later tijdstip het paneladvies in te mogen dienen van een tweede panel dat het gerealiseerd herstel heeft beoordeeld. Dit panel, waarin één lid van het oorspronkelijke panel zitting had, is van mening dat de instelling binnen de herstelperiode van twee jaar de nodige verbeteringen heeft doorgevoerd ten aanzien van de standaarden 2 en 3. Voor Inlichtingen Thomas de Bruijn +31 (0) t.debruijn@nvao.net Parkstraat JK Postbus CD Den Haag P.O. Box CD The Hague / The Netherlands T + 31 (0) info@nvao.net

2 Pagina 2 van 14 standaard 2 acht het panel het vereiste niveau bereikt. Het panel meent dat dit niet geldt ten aanzien van standaard 3. Het komt daarom tot een eindoordeel onvoldoende. Op 17 juli 2017 heeft de NVAO besloten de besluitvorming over de aanvraag om accreditatie (na herstel) aan te houden en de instelling de mogelijkheid te geven een aanvullende beoordeling van het herstel ten aanzien van standaard 3 te laten uitvoeren door hetzelfde panel dat de eerste herstelbeoordeling heeft uitgevoerd. Bij brief van 20 juli 2017 heeft de NVAO de instelling hiervan in kennis gesteld en haar verzocht uiterlijk op 1 april 2018 het rapport van de herstelbeoordeling en de aanvullende rapportage in te leveren. De NVAO heeft de accreditatiedatum administratief verlengd tot 1 september 2018, Op 20 maart 2018 heeft de NVAO beide paneladviezen ontvangen. In het paneladvies over de aanvullende beoordeling geeft het panel aan dat de opleiding na het doorvoeren van de verbeteringen voor standaard 3 nu ook hiervoor het vereiste niveau heeft bereikt. Het panel komt tot een eindoordeel voldoende. Beoordelingskaders - Beoordelingskader beperkte opleidingsbeoordeling onderzoeksmasters van 22 november 2011; - Artikel 5a. 12a. van de Wet op het hoger onderwijs en wetenschappelijk onderzoek (Stb. 2010, 293); - Art. 2 Accreditatiebesluit WHW (Stb. 2011,536); Bevindingen De NVAO stelt vast dat de visitatierapporten zorgvuldig tot stand gekomen zijn, deugdelijk gemotiveerd en navolgbaar zijn. Advies van de KNAW-commissie (eerste beoordeling) Standaard 1: Beoogde eindkwalificaties De onderzoeksmaster Research master in Law heeft als doel om studenten een algemene en brede opleiding tot onderzoeker aan te bieden waarbij de studenten zich tevens kunnen specialiseren in een of meer vakgebieden van het recht. De opleiding geeft aan dat de doelstellingen van deze onderzoeksmaster duidelijk afwijken van de doelstellingen van de reguliere eenjarige masters in Tilburg. De opleiding heeft ervoor gekozen het programma zo in te richten dat studenten de benodigde kennis en vaardigheden opdoen voor een onderzoeksfunctie, maar ook civiel effect behalen, waardoor de togaberoepen binnen hun bereik liggen. De opleiding biedt drie verschillende tracks aan. Het reguliere tweejarige programma voor studenten die een bachelor rechten hebben gevolgd; een verkort programma voor studenten die al een master in de rechten hebben afgerond en de Montesquieu track, een track van twee jaar voor studenten die twee masters doen: een reguliere master binnen de research master. Deze studenten volgen een combinatie van vakken uit de onderzoeksmaster en vakken uit een reguliere LLM. De beoogde eindkwalificaties van de Reseach master in Law weerspiegelen het onderzoekskarakter alsook het gevorderde masterniveau. De opleiding beschrijft in de zelfevaluatie dat de eindtermen zich sterk richten op het (bedrijven van) wetenschappelijk onderzoek, terwijl de eindtermen van de reguliere opleidingen meer gericht zijn op het vergaren van kennis en inzicht in specifieke gebieden van het rechtsgebied. De eindkwalificaties zijn volgens de opleiding zo geformuleerd dat studenten na afloop

3 Pagina 3 van 14 zelfstandig en kritisch wetenschappelijk onderzoek kunnen verrichten, de methoden om rechtswetenschappelijk onderzoek te verrichten beheersen, sociale en intellectuele vaardigheden hebben ontwikkeld en grondig vertrouwd zijn geraakt met een rechtsgebied naar keuze, De commissie acht de eindkwalificaties helder en op het juiste niveau omschreven. De opleiding vergelijkt zich in de zelfevaluatie met de rechtswetenschappelijke onderzoeksmasters in Amsterdam en Utrecht, De opleiding geeft aan zich te onderscheiden door drie speerpunten van het facultaire onderzoeksbeleid: de nadruk op methodologie, de multi-, en interdisciplinaire benadering van onderzoek en de internationalisering in onderwijs en onderzoek, waarvan de samenwerking met de Katholieke Universiteit Leuven een goed voorbeeld is. De opleiding heeft aangegeven dat zij zich internationaal gezien moeilijk laat vergelijken. Een vergelijking kan gemaakt worden met in PhD trajecten ondergebrachte onderzoeksopleidingen die zich richten op het schrijven van een thesis als opstap naar een PhD onderzoek. Voorbeelden van zulke opleidingen zijn te vinden bij de Universiteit van Edinburgh, Dickson Poon School of Law en Sciences Po Law School (Parijs). De commissie acht de eindkwalificaties passend bij het onderzoeksmasterniveau. De beoogde eindkwalificaties zijn volgens de commissie zowel gericht op een vervolg in een PhD-traject alsook relevant voor functies als onderzoeker buiten de academische wereld, bij de overheid en de togaberoepen. Dit alles in overweging nemend stelt de commissie vast dat de eindkwalificaties voldoen aan het criterium dat een onderzoeksmaster dient op te leiden tot functies waarin onderzoeksvaardigheden en -ervaring vereist zijn, en die uitgaan boven hetgeen op grond van de gebruikelijke koppeling van onderzoek en onderwijs kan worden verwacht. De commissie beoordeelt om die redenen Standaard 1: Beoogde eindkwalificaties, als voldoende. Standaard 2: Onderwijsleeromgeving Programma Het programma beslaat vier semesters van 30 EC. Het programma is opgebouwd uit acht domeinvakken (48 EC), twee themavakken (12 EC), drie methodenvakken (18 EC), twee contextvakken (12 EC) en twee vakken waarin de focus ligt op het verrichten van zelfstandig onderzoek, te weten Individual Research Training en Joint Research Training (12 EC) en de thesis (18 EC). Volgens de commissie dekt de opleiding met deze onderdelen de eindkwalificaties af en stelt het programma haar studenten in staat om de beoogde eindkwalificaties te realiseren. De kern van het programma richt zich volgens de opleiding specifiek op onderzoek en bestaat uit de methodenvakken, de contextvakken, de vakken om zelfonderzoek te doen en de thesis. De drie methodenvakken zijn gericht op het doen van rechtswetenschappelijk onderzoek. In deze vakken verwerven studenten de kennis en vaardigheden die zij nodig hebben om goed rechtswetenschappelijk onderzoek te doen. In de twee contextvakken reflecteren studenten op de grondslagen van het recht en maken zij kennis met de interdisciplinaire beoefening van het recht. De vakken Individual Reseach Training en Joint Research Training zijn gericht op het zelf doen van onderzoek, in nauwe samenwerking met een van de senior onderzoekers van Tilburg Law School. Deze twee vakken bouwen op

4 Pagina 4 van 14 elkaar voort en vormen een samenhangend traject waarvan de masterthesis het sluitstuk is. In totaal is 72 EC aan vakken speciaal voor de onderzoeksmaster ontwikkeld. De themavakken zijn volgens de opleiding niet specifiek gericht op het doen van onderzoek, maar wel direct verweven met het onderzoek binnen de Tilburg Law School. Uit acht vakken, die gezamenlijk de onderzoeksprogramma s van de Tilburg Law School bestrijken, kiezen de studenten er twee uit. In deze vakken staan de studenten in direct contact met de onderzoekers van de Tilburg Law School en het onderzoek dat door hen verricht wordt. De domeinvakken worden onderwezen in de reguliere LLM s en dus gevolgd door zowel reguliere masterstudenten als onderzoeksmaster-studenten. Uit de aanvullende informatie en de gesprekken met zowel de studenten als docenten is duidelijk geworden dat er in deze vakken wat betreft de gestelde eisen en de beoordeling geen onderscheid gemaakt wordt tussen de studenten uit de reguliere masters en de onderzoeksmaster-studenten. De opleiding geeft in de aanvullende informatie aan dat hiervoor is gekozen omdat de onderzoeksmaster niet alleen opleidt tot onderzoeker, maar ook vakinhoudelijke kennis aanbiedt zodat studenten civiel effect kunnen behalen en daarmee toegang hebben tot de togaberoepen. De docenten gaven in de gesprekken met de commissie aan wel een duidelijk onderscheid te zien in de participatie en motivatie van de onderzoeksmasterstudenten in vergelijking met de reguliere masterstudenten. De docenten spelen hier volgens eigen zeggen op in door de onderzoeksmaster-studenten in hun lessen meer uit te dagen. De onderzoeksmaster-studenten gaven daarnaast aan dat zij bij de opdrachten vaak voor een lastiger onderwerp kiezen en zo hun eigen uitdaging creëren. De commissie waardeert de inzet van docenten en studenten om onderzoeksmaster-studenten een extra uitdaging te bieden, maar is van mening dat onderzoeksmaster-studenten in de vakken die zij met reguliere masterstudenten volgen altijd speciaal op hen toegesneden opdrachten dienen te krijgen en dat ook de beoordeling aan hun niveau aangepast dient te zijn. Deze differentiatie zou volgens de commissie niet afhankelijk moeten zijn van de inzet en inschatting van de individuele docent en de motivatie van de student, maar zou formeel in het programma besloten moeten liggen. Mede omdat het aantal vakken dat de onderzoeksmaster-studenten samen met reguliere masterstudenten volgen substantieel is (48 EC), beveelt de commissie met klem aan een differentiatie in eisen en beoordeling tussen onderzoeksmaster-studenten en reguliere masterstudenten formeel in het programma vast te leggen. De opleiding heeft in de zelfevaluatie en de aanvullende informatie aangegeven dat de integratie van methodologie en vakinhoud met name plaatsvindt in het vak Joint Research Training, waarbij studenten een onderzoeker assisteren bij onderzoeksactiviteiten. Studenten herkennen de integratie van vakinhoud en methoden in dit vak. De opleiding geeft daarnaast aan dat de vakken van de onderzoeksmaster een geïntegreerd karakter hebben en dat de onderzoeksmaster-studenten de onderwerpen waarmee zij in de domeinvakken in aanraking zijn gekomen op een meer onderzoeksmatige manier bekijken. De docenten gaven daarnaast aan dat zij in de begeleiding van de studenten constant de nadruk leggen op de integratie van de vakinhoud met de methoden van onderzoek. De commissie vindt het positief dat de docenten het belang van integratie tussen vakinhoud en methoden van onderzoek erkennen, maar heeft geconstateerd dat deze integratie niet door studenten herkend wordt. De studenten gaven in de gesprekken met de commissie aan dat zij de domein-, en themavakken zien als een apart onderdeel van het programma waarin een meer toegepaste en vakinhoudelijke benadering van hen wordt verwacht. Dat de studenten deze integratie niet beleefden, geeft volgens de commissie aan dat de opleiding op dit punt nog verbetering behoeft.

5 Pagina 5 van 14 De opleiding beschrijft in de zelfevaluatie dat zij een programma aanbiedt van twee jaar, waarin intensief aandacht besteed wordt aan onderzoeksmethodologie, onderwijs wordt gegeven dat een sterke verwevenheid met onderzoek vertoont en dat zij werkt met individueel gerichte werkvormen. De betrokkenheid van het wetenschappelijke personeel bij de onderzoeksmaster-studenten is volgens de opleiding groot. Deze betrokkenheid wordt verder gestimuleerd doordat de studenten tijdens vakken als Individual Research Training en Joint Research Training directe begeleiding van een onderzoeker krijgen. Zowel de studenten als docenten gaven aan dat mede door deze individuele aandacht en grote betrokkenheid van het wetenschappelijk personeel een hoog niveau wordt bereikt. Het aantal contacturen verschilt volgens de opleiding per studiejaar en al naargelang de keuzes die de student maakt in de domein- en themavakken, maar ligt gemiddeld tussen de vier en acht contacturen per week. Het internationale karakter van de opleiding is onder meer terug te zien in de samenwerking met de KU Leuven. Docenten van de KU Leuven en Tilburg University werken nauw samen en geven zowel in Tilburg als in Leuven les. Ook de studenten volgen op beide locaties vakken, De studenten gaven aan eens in de 1 a 2 weken met een bus naar Leuven af te reizen om daar een dag college te volgen van de Leuvense docenten. De commissie meent dat de opleiding hiermee de vruchten plukt van de sterktes van de complementaire onderzoeksgroepen in Tilburg en Leuven. Instroom In de zelfevaluatie geeft de opleiding aan studenten voor de onderzoeksmaster te selecteren in een open competitie. De selectie wordt uitgevoerd door een commissie die bestaat uit de director of studies en twee docenten van de onderzoeksmaster. In totaal is er ruimte voor 24 studenten, waarvan er 8 plekken gereserveerd worden voor studenten die de Leuvense faculteit selecteert onder haar beste 3% studenten. De overige 16 plaatsen worden door Tilburg zelf ingevuld en bieden plaats aan 8 buitenlandse studenten en 8 Nederlandse studenten. De selectieprocedure bestaat uit een sollicitatie door middel van een dossier en een interview. Voor buitenlandse studenten geldt daarnaast dat zij de resultaten van een TOEFL, IELTS, of Cambridge taaltest moeten laten zien. Het management heeft in de gesprekken met de commissie aangegeven dat er in de toeleverende bacheloropleidingen weinig aandacht wordt besteed aan onderzoeksmethoden en - technieken vanuit het perspectief hoe doe je onderzoek?. De nadruk ligt in deze bachelors meer op de juridisch-methodologische basis met vakken als grondslagen van het recht, rechtstheorie en rechtsfilosofie. Dit bemoeilijkt volgens het management de selectie van studenten voor de onderzoeksmaster aangezien het perspectief hoe doe je onderzoek?' in deze onderzoeksmaster juist centraal komt te staan. De aansluiting met de Tilburgse bachelors is de afgelopen jaren wel verbeterd. Sinds 2011 is het vak Methoden en Technieken van Onderzoek aan het curriculum van de bachelors is toegevoegd. Hierdoor is volgens het management het aanleren van onderzoeksmethodologische vaardigheden meer evident geworden. De commissie is verheugd over de verbeterde aansluiting met de Tilburgse bachelors, maar merkt ook op dat de aansluiting tussen het niveau van de instromende studenten en het programma van de onderzoeksmaster een aandachtspunt blijft voor de komende jaren. Docenten en onderzoek Het onderwijs wordt voor 95% verzorgd door docenten die ook onderzoeker zijn. De opleiding geeft in de zelfevaluatie aan dat de kernhoogleraren vertrouwd zijn met

6 Pagina 6 van 14 hoogstaand juridisch onderwijs en ervaring hebben met het begeleiden van jonge onderzoekers. In de aanvullende informatie en tijdens de gesprekken met het management werd duidelijk dat voor zittende docenten en voor zittende en nieuwe universitaire hoofddocenten en hoogleraren het verwerven van een BKO niet verplicht is. Aangezien het onderwijs in de onderzoeksmaster wordt verzorgd door ervaren docenten op het niveau van UHD of hoogleraar, hebben deze docenten geen BKO-plicht. In de zelfevaluatie stond vermeld dat 0% van de docenten voor de onderzoeksmaster een basiskwalificaties onderwijs heeft gehaald. Tijdens de gesprekken met de commissie gaven twee docenten aan wel over een basiskwalificatie onderwijs te beschikken. Toch acht de commissie het percentage docenten met een BKO erg laag en adviseert zij het management om hier meer aandacht aan te besteden, zoals eveneens het geval is bij vergelijkbare onderzoekmasteropleidingen. Het onderwijs van de opleiding is ingebed in het onderzoek van de Tilburg Law School. De docenten van de opleiding zijn werkzaam als onderzoeker binnen dit onderzoeksinstituut. De Tilburg Law School is in 2009 voor het laatst beoordeeld door de Evaluatiecommissie Rechtswetenschappelijk Onderzoek en scoorde tussen de 4 en 5 voor de verschillende beoordelingsaspecten. In mei 2013 is een midterm review gehouden. Ook hier scoorde de opleiding tussen de 4 en 5 op de verschillende aspecten. Voor de kwaliteit van de onderzoeksomgeving scoorde de opleiding in deze midterm review een 4.5. De commissie heeft aanvullende informatie opgevraagd om de kwaliteit van de onderzoeksomgeving van het onderzoeksinstituut van de KU Leuven te kunnen beoordelen waarmee de opleiding intensief samenwerkt. De commissie heeft hiervoor een intern onderzoeksrapport kunnen inzien waarvoor de beoordeling is uitgevoerd door een externe beoordelingscommissie. De commissie heeft aan de hand van dit document kunnen vaststellen dat de kwaliteit van de onderzoeksomgeving van het onderzoeksinstituut in Leuven van vergelijkbare kwaliteit is als de onderzoeksomgeving van het onderzoeksinstituut van Tilburg University, De commissie stelt op basis van het onderzoeksvisitatierapport vast dat het onderwijs is ingebed in een excellente onderzoeksomgeving. Het niveau van de opleiding is op adequate wijze geborgd doordat zij is ingebed in een academische omgeving met voldoende onderzoekscapaciteit van bewezen zeer goed niveau. Samenvattend is de commissie van mening dat de opleiding beschikt over een programma dat een aantoonbaar onderzoekskarakter heeft. Ook is de commissie positief over de kwaliteit van het personeel en de kwaliteit van de onderzoeksomgeving. Wel is de commissie van mening dat er vanuit het management meer aandacht uit kan gaan naar het behalen van een BKO kwalificatie. De commissie ziet daarnaast twee fundamentele verbeterpunten die volgens de commissie een wezenlijk onderdeel zijn van standaard 2. De commissie is van mening dat onderzoeksmasterstudenten in de vakken die zij met reguliere master studenten volgen altijd speciaal op hen toegesneden opdrachten dienen te krijgen en dat de beoordeling aan hun niveau aangepast dient te zijn. Dat de opleiding in zo n substantieel onderdeel van het programma (48 EC) niet helder, formeel en navolgbaar differentieert, vindt de commissie niet acceptabel en behoeft verbetering. Daarnaast vindt de commissie dat de integratie tussen methodologie en vakinhoud steviger in het programma geplaatst en geëxpliciteerd moet worden. De opleiding gaat er volgens de commissie teveel vanuit dat deze integratie vanzelf plaatsvindt wanneer de studenten vakinhoud en methodologie parallel krijgen aangeboden. De nadruk op de integratie in de begeleiding door docenten is volgens de commissie niet voldoende en dient daarom meer in de structuur van het programma geborgd te worden. Aangezien het

7 Pagina 7 van 14 hier om substantiële verbeterpunten gaat die een wezenlijk onderdeel zijn van standaard 2 beoordeelt de commissie deze standaard als onvoldoende. Het geheel overziend beoordeelt de commissie Standaard 2: Onderwijsleeromgeving als onvoldoende. Standaard 3: Toetsing en gerealiseerde eindkwalificaties De opleiding hanteert verschillende toetsvormen voor de afsluiting van de verschillende opleidingsonderdelen. In de domeinvakken wordt veel gewerkt met schriftelijke tentamens, in de vakken specifiek voor de onderzoeksmaster krijgen studenten opdrachten waarmee zij hun onderzoeksvaardigheden trainen. De commissie is hier over het algemeen positief over. De commissieleden hebben ieder twee scripties beoordeeld. De commissie acht de scripties aan de maat in verhouding tot de 18 EC die voor de scripties staat. De eis van 18 EC voor een scriptie van een onderzoeksmaster vindt de commissie echter te beperkt. Daarnaast is zij van mening dat de grondigheid en de omvang van het methodologische deel van de scriptie onvoldoende is om aan de scripties de waardering substantieel toe te kennen. Dat er slechts 3 tot 5 EC verschil zit tussen het aantal EC dat staat voor een scriptie voor een reguliere master en een onderzoeksmaster is volgens de commissie niet acceptabel. De kwaliteit van de verslaglegging van de beoordeling die bij de scripties was gevoegd vond de commissie onder de maat. Op deze formulieren trof de commissie geen overtuigende evidenties aan van de feedback die wordt geleverd aan de studenten, noch verbale adstructies van het cijfer. Opvallend vond de commissie daarnaast dat op het beoordelingsformulier geen aandacht wordt besteed aan de relatie tussen vraagstelling en onderzoeksmethoden. Volgens de docenten is de relatie tussen de vraagstelling en de methode wel degelijk onderwerp van gesprek en geven zij hier mondeling veel feedback op. Het effect van deze feedback heeft de commissie echter onvoldoende terug gezien in de scripties. De docenten legden de commissie uit dat er in de digitale leeromgeving wordt gewerkt met een scriptiedossier waar de student meer informatie over de beoordeling van de docent kan vinden. Voordat het dossier kan worden afgesloten dient er een toelichting bij de beoordeling te worden gegeven. Aangezien dit onderdeel is van een digitaal programma is deze feedback waarschijnlijk niet bij de commissie terecht gekomen. De commissie is positief over het werken met een digitaal scriptiedossier, maar vernam vervolgens van het management dat deze scriptiedossiers niet altijd en vaak onvolledig worden ingevuld. Ook miste de commissie een gevoel van urgentie bij het management om de formele borging van de kwaliteit en transparantie van de beoordeling te verbeteren. Het management gaf aan zich ervan bewust te zijn dat de feedback niet altijd goed wordt geregistreerd en de scriptiedossiers niet altijd goed worden ingevuld, maar zag het scriptiedossier slechts als een staartje waar dan minder tijd aan wordt besteed. Doordat de onderzoeksmasterstudenten intensief worden begeleid en voldoende mondelinge feedback krijgen was het volgens het management niet nodig strak op de scriptiedossiers te controleren. De commissie is van mening dat de borging van de kwaliteit van de beoordeling op dit punt verbeterd moet worden. Wat betreft de arbeidsmarktpositie heeft het panel geconstateerd dat de studenten van de researchmaster over het algemeen goed terechtkomen. Wel heeft zij opgemerkt dat het aantal studenten, dat voor een PhD positie aan Tilburg Law School in aanmerking komt, de afgelopen jaren is gedaald. Deze indruk van de commissie werd door het management bevestigd.

8 Pagina 8 van 14 Alles samenvattend is de commissie van mening dat met de huidige opzet van de scriptie de eindkwalificaties niet adequaat worden getoetst. Voor een proeve van onderzoeksbekwaamheid vindt de commissie het niveau te laag. Dat er daarnaast slechts zeer beperkt wordt gedifferentieerd in het aantal EC dat staat voor een scriptie voor een reguliere master en een onderzoeksmaster is volgens de commissie niet acceptabel. Ten slotte miste de commissie overtuigende evidenties van de feedback die wordt geleverd aan studenten alsook van de verbale adstructies van het cijfer. Dat er vanuit het management geen urgentie werd getoond om de formele borging van de kwaliteit van de beoordeling te verbeteren, bevestigde het beeld van de commissie dat de opleiding op dit punt verbetering behoeft. Dit alles overwegende beoordeelt de commissie deze standaard als onvoldoende. Het geheel overziend beoordeelt de commissie Standaard 3: Toetsing en gerealiseerde eindkwalificaties als onvoldoende. Advies De commissie komt op basis van de informatie in het aanvraagdossier, de bestudeerde scripties, de antwoorden op de door haar gestelde vragen en de hoorzitting, tot een negatief eindoordeel over de aanvraag. Voor de onderwijsleeromgeving is de commissie van mening dat in het programma voor een te groot gedeelte een differentiatie tussen reguliere masterstudenten en onderzoeksmaster-studenten ontbreekt, dat de integratie van de vakinhoud met de meer methodologische vakken te zwak en te weinig geborgd is in het programmat Voor de gerealiseerde eindkwalificaties is de commissie ook van mening dat de opleiding onvoldoende laat zien dat zij differentieert tussen onderzoeksmaster-studenten en reguliere masterstudenten. Dat voor de scripties van de onderzoeksmaster slechts 3 tot 5 EC meer aan studielast staat dan voor scripties van reguliere eenjarige masters vindt het panel niet acceptabel. Het methodologische deel van de thesis dient daarnaast versterkt te worden. Ten slotte is de commissie van mening dat de formele borging van de kwaliteit van de beoordeling verbetering behoeft. Zij trof geen overtuigende evidenties aan van de feedback die wordt geleverd aan de studenten, noch van de verbale adstructies van het cijfer. De commissie is van mening dat de opleiding (nog) niet voldoet aan de eisen die gesteld worden aan een onderzoeksmaster. Gezien het voorgaande, de goede onderzoeksomgeving en de intentie van de docenten om vorm te geven aan een differentiatie tussen reguliere masterstudenten en onderzoeksmaster-studenten ziet de commissie wel mogelijkheden voor herstel. Concluderend is de commissie van oordeel dat de onderzoeksmasteropleiding wo-master Research master in Law (research) niet voldoet aan de door de Nederlands-Vlaamse Accreditatieorganisatie gestelde eisen aan onderzoeksmasters, zoals neergelegd in het Beoordelingskader onderzoeksmasters' van 22 november De commissie kwalificeert de kwaliteit van de opleiding als onvoldoende. Hersteltraject Bij brief van 16 april 2015 heeft de NVAO de instelling geïnformeerd dat de opleiding niet kan worden geaccrediteerd. In deze brief is de mogelijkheid geboden van het indienen van een herstelplan. Op basis van het herstelplan en de beoordeling ervan door de KNAWcommissie zal de NVAO vervolgens een besluit nemen inzake het al dan niet toekennen van een herstelperiode, als bedoeld in artikel 5a.12a van de WHW, van twee jaarte rekenen vanaf het moment van het definitieve besluit dienaangaande.

9 Pagina 9 van 14 Bij brief van 11 juni 2015 heeft Tilburg University het herstelplan ingediend. Inhoud herstelplan Het verbeterplan gaat hoofdzakelijk in op de maatregelen die worden genomen met betrekking tot de als onvoldoende beoordeelde standaarden 2 en 3, met bijzondere aandacht voor: - het ontbreken van een heldere, formele en navolgbare differentiatie in opdrachten en beoordeling tussen reguliere masterstudenten en onderzoeksmaster-studenten in de vakken die zij gezamenlijk volgen; - het gebrek aan een formele en voor studenten herkenbare integratie van methodologie en vakinhoud in het programma; - de opzet van de scriptie die de commissie voor een proeve van onderzoeksbekwaamheid te beperkt acht - het verbeteren van de formele borging van de kwaliteit van de beoordeling. Beoordeling herstelplan door KNAW-commissie De commissie heeft het herstelplan bestudeerd en besproken tijdens haar overleg op 1 september De commissie ziet dat de opleiding serieus met de verbeterpunten aan de slag is gegaan en is van mening dat de geplande maatregelen goed doordacht zijn en aansluiten bij de genoemde verbeterpunten. De commissie ziet daarnaast dat het verbeterplan wordt gedragen door het opleidingsmanagement, de examencommissie en de opleidingscommissie. Volgens de commissie toont dit aan dat alle betrokken partijen bereid zijn te investeren en dat dit de kans op een goede realisatie van het herstelplan vergroot. Voor standaard 2 is de commissie met name positief over de manier waarop de opleiding een formele en herkenbare integratie van vakinhoud en methodologie adresseert. De opleiding zet hier met de tweede Joint Research Training duidelijk op in en zorgt voor meer aandacht en borging op dit punt door een programmacommissie in te stellen en expliciet aandacht aan de integratie te besteden in de template die ontwikkeld gaat worden. Wat betreft de differentiatie in opdrachten en beoordeling van de reguliere masterstudenten en de onderzoeksmaster-studenten is de commissie van mening dat de opleiding een mooie eerste stap heeft gezet. Alle ingrediënten voor een betere formele en navolgbare differentiatie zijn hiermee aanwezig. Wel merkt de commissie op dat de verbetermaatregelen nu nog erg open zijn geformuleerd. Docenten worden met de template ondersteund en gaan de template in overleg met elkaar ontwikkelen. Dit maakt op de commissie de indruk dat de template nu vrijblijvend gebruikt mag worden. De commissie raadt de opleiding aan om te zorgen voor een betere borging door de template een dwingend karakter te geven en de programmacommissie te laten toezien op de daadwerkelijke differentiatie in de opdrachten en de beoordeling. Over de aanpassingen in het beoordelingsformulier voor de thesis en de verhoging van het aantal EC voor de thesis is de commissie te spreken. Daarnaast stelt de commissie vast dat de opleiding op verschillende manieren de kwaliteit van de beoordeling van de scriptie borgt. Dit geeft de commissie het vertrouwen dat de kwaliteit van de beoordeling de komende tijd zal verbeteren. Alles overwegende is de commissie van mening dat de opleiding de verbeterpunten van de commissie goed heeft geadresseerd. Te spreken is de commissie over het feit dat de

10 Pagina 10 van 14 opleiding op drie van de vier verbeterpunten naast concrete maatregelen ook zorgt voor een goede borging. Voor de differentiatie in opdrachten en beoordeling tussen reguliere en onderzoeksmaster-studenten moet de opleiding deze borging nog verder doordenken en expliciteren. De commissie adviseert de NVAO om de opleiding twee jaar herstel toe te kennen, aangezien het effect van de verbetermaatregelen, met name de kwaliteit van de scripties dan te beoordelen is. Advies van het tweede visitatiepanel (beoordeling gerealiseerd herstel) Standaard 2: Onderwijsleeromgeving De visitatiecommissie die de Research Master in Law van Tilburg University in 2014 beoordeelde, kwam tot het oordeel onvoldoende op Standaard 2. De commissie plaatste kanttekeningen bij de mate van differentiatie tussen de studenten van de onderzoeksmaster en de reguliere master-studenten in de gezamenlijk gevolgde domeinvakken alsook bij de mate van integratie van vakinhoud en onderzoeksmethodologie in het studieprogramma. In de ogen van het panel dat de herstelbeoordeling uitvoerde, is de Research Master in Law erin geslaagd voldoende differentiatie te bewerkstelligen tussen studenten van de opleiding en reguliere masterstudenten binnen de domeinvakken in het studieprogramma. Zij heeft hiertoe een template voor docenten van deze domeinvakken ontwikkeld dat inmiddels tot de staande praktijk van alle betrokkenen is gaan behoren. Het panel is hierover positief. Met betrekking tot de integratie van vakinhoud en onderzoeksmethodologie stelt het panel vast dat de curriculumherzieningen zoals die in het herstelplan geformuleerd staan, daadwerkelijk zijn geïmplementeerd en bijdragen aan de versterking van onderzoeksmethodologie in het programma. Met name over de toevoeging van de tweede Joint Research Training, die van duidelijk toegevoegde waarde is voor de studenten, is het panel positief. De opleiding heeft echter nergens formeel noch expliciet vastgelegd hoe de integratie van de methodologische onderwijsonderdelen met de substantieve domeinvakken concreet vorm moet krijgen. Ook het voorgenomen structurele overleg tussen docenten van de methodologische en de domeinvakken is nog niet geformaliseerd en kent geen verslaglegging. Het panel heeft zich er in gesprek met docenten, studenten en het opleidingsmanagement van vergewist dat er in de praktijk wel voldoende aandacht is voor integratie van methodiek en vakinhoud. Het raadt de opleiding met klem aan de integratie van substantie en methodologie zowel in de studiegids als in de template expliciet te maken en het overleg tussen docenten een meer formeel karakter te geven, onder meer door zowel het besprokene als uitkomsten en actiepunten vast te leggen. Vervolgens moet het opleidingsmanagement toezien op de implementatie daarvan. Standaard 3: Toetsing en gerealiseerde eindkwalificaties De oorspronkelijke visitatiecommissie kwam tot een onvoldoende oordeel op Standaard 3 omdat het de scriptieopzet met 18 EC te beperkt achtte voor de toetsing van het eindniveau van een onderzoeksmaster. Ook was de commissie ontevreden over de formele borging van de kwaliteit van toetsing met betrekking tot de scripties. De beoordelingsformulieren bevatten geen of weinig onderbouwing van het oordeel. Het huidige panel is positief over het feit dat de opleiding een verzwaring van de scriptie naar 24 EC heeft ingevoerd. Ook is het te spreken over het feit dat een methodendocent als begeleider verplicht is gesteld, al adviseert het de opleiding deze werkwijze beter te documenteren. Omdat de eerste studenten die een scriptie van 24 EC schrijven, op dit moment nog maar net aan hun afstudeeronderzoek zijn begonnen, heeft het panel zich

11 Pagina 11 van 14 geen beeld kunnen vormen van de effectiviteit van de genomen maatregelen. Het panel heeft wel een aantal scripties bekeken die gedurende het hersteltraject geschreven zijn en is tevreden over het daarin bereikte niveau. Wel acht het panel de beoordelingen aan de hoge kant. Het panel spreekt de hoop uit dat de vrij beperkte aandacht voor methodologie en de soms erg geringe omvang van de scripties die het in enkele gevallen aantrof, met de eindwerken van 24 EC verleden tijd zullen zijn. Met betrekking tot de borging van de kwaliteit van toetsing komt het panel tot de slotsom dat die ook nu nog niet op orde is. Vernieuwing van het beoordelingsformulier van de scriptie heeft niet geleid tot formulieren die een heldere onderbouwing van het eindcijfer laten zien. Beoordelaars onderbouwen hun oordeel doorgaans niet of slechts heel summier, terwijl de weging van de verschillende criteria op het formulier onduidelijk blijft. Daarmee is het beoordelingsproces onvoldoende transparant. Toezicht door de examencommissie en het opleidingsmanagement op de beoordelingsprocedure van de scriptie is in de ogen van het panel tekortgeschoten. Het panel beoordeelt standaard 2 als voldoende en standaard 3 als onvoldoende. Het eindoordeel is onvoldoende. Rapport van de aanvullende beoordeling van het gerealiseerd herstel Standaard 3: Toetsing en gerealiseerde eindkwalificaties Het panel stelt vast dat de transparantie van de beoordeling van de eindwerken van de Research Master in Law nog altijd niet voldoende geborgd is. De beoordelingsformulieren die tot september 2017 in gebruik waren, geven geen duidelijke onderbouwing van de oordelen op subcriteria en maken de totstandkoming van het eindcijfer niet voldoende inzichtelijk. Zo maken de formulieren geen onderscheid tussen zeer goed en excellent (van 8 tot 10), wat juist voor een onderzoeksmaster van belang is. In de formulieren van de tweede beoordelaar is geen enkele verbale toelichting aangetroffen. Ook laten de beoordelingsformulieren niet zien hoe wordt omgegaan met verschillen in oordeel tussen de beide beoordelaars en maken ze niet inzichtelijk hoe de beide beoordelaars tot een eindcijfer zijn gekomen. Ten slotte tonen ze niet welke beoordelaar de methodendocent is en welke docent als inhoudsdeskundige betrokken is bij de beoordeling. Een per 1 september 2017 nieuw ingevoerd beoordelingsformulier biedt wel ruimte voor toelichting op het oordeel op de afzonderlijke criteria. Het panel betreurt de late invoering hiervan en stelt vast dat daarmee nog niet alle bezwaren zijn weggenomen: de keuze voor een bepaald cijfer en de afstemming en rolverdeling tussen beoordelaars wordt niet geëxpliciteerd. Het adviseert de opleiding erop toe te zien dat dit wel gebeurt en heeft begrepen dat hiertoe stappen worden gezet. Het panel heeft kennis genomen van de inspanningen van facultair management, opleidingsmanagement en examencommissie om de borging van de kwaliteit van scripties te verbeteren, maar stelt vast dat dit nog niet tot transparante beoordeling heeft geleid of tot een meer inzichtelijke onderbouwing van het eindcijfer voor de scriptie. Wel constateert het panel dat de eindwerken van de Research Master in Law die volgens de nieuwe scriptieopzet zijn geschreven, het eindniveau laten zien dat van een juridische onderzoeksmaster verwacht mag worden. Het kan zich in grote lijnen vinden in de beoordeling. Het panel concludeert daarom dat de beoogde eindkwalificaties worden gerealiseerd.

12 Pagina 12 van 14 Het panel beoordeelt standaard 3 als voldoende. Het eindoordeel is voldoende. Aanbevelingen De NVAO onderschrijft de aanbevelingen van het panel in het rapport van de aanvullende beoordeling, in het bijzonder ten aanzien van het toezicht van de opleiding op de transparante uitvoering van de beoordeling van eindwerken. Zij gaat er vanuit dat de door het panel in de beoordeling van gerealiseerd herstel aangestipte tekortkomingen, die ook in de aanvullende beoordeling nog aanleiding waren voor aantekeningen van het panel, in de eerstvolgende reguliere beoordeling positief worden beoordeeld. Mochten deze aandachtspunten in een volgende beoordeling wederom worden opgemerkt door het panel, dan zal de NVAO dat zwaar laten meewegen in haar oordeel. Besluit Ingevolge het bepaalde in artikel 5a. 10, derde lid, van de WHW heeft de NVAO het college van bestuur van Tilburg University te Tilburg in de gelegenheid gesteld zijn zienswijze op het voornemen tot besluit van 14 mei 2018 naar voren te brengen. Bij van 8 juni 2018 heeft het college van bestuur ingestemd met het voornemen tot besluit. De NVAO besluit accreditatie te verlenen aan de wo-onderzoeksmaster Research master in Law (research) (120 EC; variant: voltijd; locatie: Tilburg) van Tilburg University te Tilburg. De NVAO beoordeelt de kwaliteit van de opleiding als voldoende. Dit besluit is van kracht tot en met 29 november Den Haag, 29 juni 2018 Tegen dit besluit kan op grond van het bepaalde in de Algemene wet bestuursrecht door een belanghebbende bezwaar worden gemaakt bij de NVAO. De termijn voor het indienen van bezwaar bedraagt zes weken.

13 Pagina 13 van 14 Bijlage 1: Schematisch overzicht oordelen panels Uit het besluit van 30 november 2015 Onderwerp Standaard Beoordeling door het panel 1. Beoogde eindkwalificaties De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen 2. Onderwijsleeromgeving Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren V O 3. Toetsing en gerealiseerde eindkwalificaties Eindoordeel De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd 0 Onvoldoende Beoordeling na herstel (met medeneming van de aanvullende beoordeling) Onderwerp Standaard Beoordeling door het panel 1. Beoogde eindkwalificaties De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen 2, Onderwijsleeromgeving Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren V V 3. Toetsing en gerealiseerde eindkwalificaties De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd V Eindoordeel De standaarden krijgen het oordeel onvoldoende, voldoende, goed of excellent. Het eindoordeel over de opleiding als geheel wordt op dezelfde schaal gegeven. V

14 Pagina 14 van 14 Bijlage 2: panelsamenstellingen Panel eerste beoordeling en beoordeling herstelplan - Prof.dr. P. Scheepers (voorzitter), hoogleraar Methoden en technieken van sociaalwetenschappelijk onderzoek, Radboud Universiteit Nijmegen; - Prof.dr. J. Plantenga, hoogleraar Economie van de welvaartsstaat, Universiteit Utrecht - Prof.mr. T.A. de Roos, emeritus hoogleraar Straf- en Strafprocesrecht, Tilburg University; - Prof.dr. F. Witlox, gewoon hoogleraar Economische Geografie, Universiteit Gent; - M. Postma MSc (student-lid), recent afgestudeerd aan de research master Social and Cultural Science, Radboud Universiteit Nijmegen. Dhr. de Roos heeft vanwege zijn betrokkenheid bij Tilburg University niet deelgenomen aan deze beoordeling. Prof. mr. A. Soeteman heeft als referent voor deze beoordeling opgetreden. Het panel werd ondersteund door drs. L. Winsemius, secretaris (gecertificeerd). Panel beoordeling gerealiseerd herstel - Prof.dr. Peer Scheepers, vicedecaan en hoogleraar Methoden en Technieken van Sociaal-Wetenschappelijk Onderzoek aan de Radboud Universiteit Nijmegen; - Prof.dr. J.W. (Jaap) Zwemmer, emeritus hoogleraar Belastingrecht aan de Universiteit van Amsterdam; - Prof.dr. J.A.E. (John) Vervaele, hoogleraar Economisch en Europees strafrecht aan de Universiteit Utrecht; - Daniëlle Arnold LLB, student binnen de Legal Research Master van de Universiteit Utrecht. Het panel werd ondersteund door dr. F. (Fiona) Schouten, secretaris (gecertificeerd). Panel aanvullende beoordeling gerealiseerd herstel De aanvullende beoordeling is verricht door het panel dat de beoordeling van het gerealiseerd herstel heeft uitgevoerd. Het panel werd ondersteund door dr. F. (Fiona) Schouten, secretaris (gecertificeerd).