Implementatie van Modus bij Criminologie (Faculteit der Rechtsgeleerdheid)

Transcriptie

1 Implementatie van Modus bij Criminologie (Faculteit der Rechtsgeleerdheid) Projecttitel: Implementatie van Modus bij Criminologie Projectcode: Faculteit: Rechtsgeleerdheid Projectperiode: oktober 2003-september 2004 Opgesteld door: drs. P. van Boxel drs. S.N. Day Datum: september 2004 Contactadres: Onderwijscentrum VU Afd. ICTO De Boelelaan 1105, kamer 1G HV Amsterdam tel ICTO Onderwijscentrum VU

2 ICTO-RECHTEN Inhoudsopgave 1 Inleiding Context en doelstellingen Het vak Onderzoeksvaardigheden in de Criminologie Wat is Modus? Projectfasen Uitgevoerde activiteiten Fase 1 Aanschaf Modus Fase 2 Aanpassen casusmateriaal Fase 3 Inpassen van Modus in het onderwijs Fase 4 Laten verzorgen van studentenaccounts Fase 5 Aanbieden van Modus Fase 6 Evaluatie Evaluatie Modus Evaluatie van het vak Onderzoeksvaardigheden in de Criminologie Evaluatie door docenten Fase 7 Disseminatie Toekomstig gebruik Modus bij de opleiding Criminologie Conclusies en aanbevelingen... 9 Literatuur ICTO Onderwijscentrum VU

3 ICTO-RECHTEN Inleiding Dit rapport geeft verslag weer van de activiteiten die zijn uitgevoerd binnen het ICT&O project Implementatie van Modus bij criminologie in de periode oktober 2003-september Deelnemers aan het project waren drie docenten van de opleiding Criminologie (G. Beijers, H. Oomens en S. Day), de ICT&O contactpersoon van de faculteit Rechtsgeleerdheid (I. van den Oord) en een adviseur ICT en Onderwijs van het Onderwijscentrum VU, afdeling ICT&O (P. van Boxel). In hoofdstuk 2 worden de context en doelstellingen van het project aangehaald. Er wordt een korte beschrijving gegeven van de opzet van het vak Onderzoeksvaardigheden en waarom Modus een geschikte applicatie is om bij het vak in te zetten. Verder wordt de functionaliteit van Modus beschreven en diverse manieren waarop het programma in het onderwijs gebruikt kan worden. In hoofdstuk 3 wordt een chronologisch overzicht gegeven van de werkzaamheden die in de verschillende fasen van het project zijn uitgevoerd, met inbegrip van evaluatieresultaten en een aanzet tot planning voor de toekomstige inzet van Modus bij de opleiding. Hoofdstuk 4 eindigt met een aantal conclusies en aanbevelingen. 1

4 ICTO-RECHTEN Context en doelstellingen 2.1 Het vak Onderzoeksvaardigheden in de Criminologie Het doel van het project was de integratie van het programma Modus binnen het vak Onderzoeksvaardigheden in de criminologie. Het gaat om een nieuw 3 e jaars bachelorvak dat in april 2004 voor het eerst verzorgd werd aan de faculteit Rechtsgeleerdheid (voor naar schatting 100 bachelorstudenten). Het vak bestaat uit verschillende onderdelen. Ten eerste worden studenten in hoor- en werkcolleges begeleid in het maken van een onderzoeksopzet en een vragenlijst. Daarnaast zijn er statistiekcolleges (wat volgend jaar uit dit vak wordt gehaald en naar het tweede bachelorjaar wordt verplaatst), SPSS practica met een afrondende toets en een interview training. In het tweede deel van het vak werken de studenten in groepjes van vijf aan een eigen onderzoek, waarbij ze begeleid worden door een docent. Het eigen onderzoek mondt uit in een onderzoeksrapport, wat tevens de bachelorscriptie is. De opleiding Criminologie aan de VU kent tot dusver geen eigen eerste jaar. Studenten met een afgerond eerste jaar Sociale Wetenschappen of Rechten kunnen instromen in het tweede bachelorjaar Criminologie. De heterogeniteit van de groep studenten komt tot uiting in de hoeveelheid genoten onderwijs in methoden en technieken. Studenten die een sociaal wetenschappelijk jaar hebben gevolgd hebben meer kennis en vaardigheden opgedaan in onderzoeksmethoden dan studenten die een juridisch eerste jaar hebben gevolgd. Het is dus denkbaar dat een deel van de studenten die het vak Onderzoeksvaardigheden in de criminologie volgt, behoefte heeft aan extra oefening. Het is om deze reden dat de opleiding Criminologie in 2003 beslist heeft tot aanschaf en implementatie van het ICT programma Modus en hiervoor een ICT&O projectaanvraag ingediend heeft. Met het programma hoopte de faculteit in staat te zijn bepaalde aspecten van het onderwijs op maat te kunnen geven en studenten op een goede manier te (laten) begeleiden, zonder dat de docentbelasting vergroot werd (zie ICT&O projectaanvraag, paragraaf 8.3). 2.2 Wat is Modus? Modus is een webapplicatie voor het leren toepassen van statistische methoden. Het programma is in 2003 ontwikkeld in een gezamenlijk project van de Universiteit van Amsterdam en de Open Universiteit binnen het consortium van de Digitale Universiteit (DU). Met ingang van september 2004 wordt de exploitatie van Modus door de DU overgedragen aan Espelon ( De Modus website bevat praktische informatie over de methoden van sociaal-wetenschappelijk onderzoek. Daarnaast is het een eenvoudig te gebruiken hulpmiddel voor studenten en aio s om de juiste statistische methode te kiezen en om de uitkomsten van deze methoden te leren interpreteren. Aan de hand van casussen worden de verschillende methoden uitgelegd en de assistent-functie helpt bij de keuze van de juiste methode voor de analyse van eigen data. De casussen zijn gebaseerd op de praktijk van sociaal psychologisch onderzoek, maar in principe kunnen ook casussen uit andere disciplines worden ingevoerd. Het ontwikkelen van casussen gebeurt via een Content Management Systeem dat ook deel uitmaakt van de Modus applicatie. 2

5 ICTO-RECHTEN Samenvattend kunnen studenten Modus op een drietal manieren gebruiken: 1. voor onderwijs: studenten kunnen gebruik maken van casussen om inzicht te krijgen in welke analyse in welke situatie wordt toegepast. In de casus staan links naar de naslag, woordenlijst en achtergrond artikelen. 2. voor advies: gevorderde studenten of aio's kunnen gebruik maken van de assistent functie. Deze is ontwikkeld voor het moment waarop men met het eigen onderzoek bezig is en wil weten of controleren welke analyse in de betreffende situatie gepast is. Het is een hulpmiddel voor studenten en aio s om de juiste statistische methode te kiezen en om de uitkomsten van die methoden te leren interpreteren. 3. voor naslag: Modus bevat een aantal naslag bronnen (verklarende woordenlijst, achtergrondartikelen etc.) Modus is vooral ontwikkeld om studenten meer ondersteuning te bieden bij bestudering van de stof. De makers willen contextrijk methodologieonderwijs en just-in-time onderwijs aanbieden aan beginnende onderzoekers in de sociale wetenschappen. 2.3 Projectfasen In de projectaanvraag is de uitvoering van het project ingedeeld in zeven fasen: 1. Aanschaf Modus 2. Aanpassen casusmateriaal 3. Inpassen van Modus in het onderwijs 4. (Laten) verzorgen van studentenaccounts 5. Aanbieden van Modus 6. Evaluatie 7. Disseminatie In het volgend hoofdstuk wordt de projectwerkzaamheden beschreven die in de verschillende fasen zijn uitgevoerd en wordt nagegaan in hoeverre telkens aan de projectdoelstellingen is voldaan geworden. 3

6 ICTO-RECHTEN Uitgevoerde activiteiten 3.1 Fase 1 Aanschaf Modus In het najaar van 2003 heeft de faculteit Rechtsgeleerdheid een Modus licentie aangeschaft via de Digitale Universiteit. Voor een bedrag van 1500 euro kon de gehele rechtenopleiding gebruik maken van Modus van december 2003 tot augustus Dit bedrag was inclusief hosting en support op de applicatie. Er is door het bedrijf dat de hosting verzorgd (Fingertips) een Moduswebsite voor Criminologie ingericht ( dat al de bestaande casussen en het bronnenmateriaal bevat die aanvankelijk door de UvA en de OU ontwikkeld zijn (dit materiaal is zoals eerder aangegeven sociaal psychologisch georiënteerd). Dit kan verder aangevuld worden met materiaal dat de opleiding Criminologie specifiek voor zijn eigen studentenpubliek en doeleinden wenst te ontwikkelen. In eerste instantie is de applicatie onderzocht en uitgetest door de ICT&O adviseur. Hierbij zijn een aantal (veelal kleine) technische fouten vastgesteld die aan de Modus ontwikkelaars zijn gecommuniceerd en hersteld. Daarnaast zijn door de adviseur een aantal documenten opgesteld die de opbouw van een casus in Modus duidelijker in beeld brengen (met het oog op de latere training voor docenten): - Schema opbouw casusvragen - Overzicht van typische vragen en vragentypes in een casus - Overzicht van beschikbare statistische technieken en bijbehorende casussen - Feedback bij SPSS schermen Ook is de bestaande Modus handleiding hier en daar aangevuld (o.a. met informatie over het aanmaken hotspots in plaatjes). Op het moment van aanschaf van het programma waren een drietal casussen en de analyze keuze assistent nog niet volledig gereed. In de zomer van 2004 zijn deze gekopieerd naar de jur Modus website. 3.2 Fase 2 Aanpassen casusmateriaal De ICT&O adviseur heeft in samenwerking met Modus ontwikkelaar M. Teunisse van de UVA een training voor de betrokken criminologie docenten georganiseerd in februari De training duurde een halve dag en werd bijgewoond door drie docenten (G. Beijers, H. Oomens en S.Day), de ICT&O contactpersoon bij Rechtsgeleerdheid en de ICT&O adviseur. Het belangrijkste doel van de training was het leren gebruiken van het Modus content management systeem, zodat docenten zelfstandig bestaande casussen kunnen aanpassen en/of geheel nieuwe casussen kunnen ontwikkelen. In een content management systeem (CMS) wordt de inhoud gescheiden van de opmaak. Hierdoor kan de inhoud efficiënter beheerd worden en eventueel hergebruikt in verschillende versies. Ook kunnen verschillende auteurs dezelfde inhoud bewerken. Een CMS is moeilijker te leren gebruiken dan bijvoorbeeld een digitale leeromgeving als Blackboard, onder meer in dit geval omdat tekst en vragen uitgesplitst worden in blokken over verschillende schermen (waarbij elk blok een informatie deel met metadata en een inhoudsdeel bevat), en omdat men in tegenstelling tot bijv. Blackboard niet onmiddellijk het resultaat van zijn acties ziet. Daarvoor moet men namelijk als gewone gebruiker inloggen in Modus. Daarnaast moeten ook enkele HTML codes gebruikt worden om links te maken naar de woordenlijst en artikelen of om plaatjes in te voeren. Over het algemeen vonden de docenten het systeem handig om mee te werken en waren ze na afloop tevreden met de training. 4

7 ICTO-RECHTEN Modus Content Management (de achterkant ) Modus voorkant In een volgend stadium zijn de docenten aan de slag gegaan met het bekijken van de inhoud van de casussen en het beoordelen in welke mate ze geschikt zijn voor gebruik in de opleiding criminologie. Aanvankelijk werd besloten om 4 casussen in zijn geheel te behouden, 4 bestaande casussen aan te passen en 3 nieuwe casussen te ontwikkelen. In samenwerking met docent drs. S. Day is een bestaande casus ( Straffen om recidive te voorkomen ) volledig herwerkt (nieuwe tekst en SPSS schermen, links naar de woordenlijst etc.). De bestaande SPSS dataset is behouden. Een andere docent is van start gegaan met het schrijven van materiaal voor een nieuwe casus ( Hondenpoep en graffiti ), maar heeft dit stop moeten zetten wegens tijdsgebrek. Ook zijn in de loop van het project geen andere casussen meer herwerkt of toegevoegd. Dit is te wijten aan het feit dat de opzet van het nieuwe vak veel meer tijd in beslag heeft genomen dan aanvankelijk voorzien was. Hierdoor zijn de activiteiten rond de ontwikkeling van casussen noodgedwongen op een lager pitje gesteld. 5

8 ICTO-RECHTEN Fase 3 Inpassen van Modus in het onderwijs Bij de projectaanvraag was reeds nagedacht over de verschillende wijzen waarop de functionaliteiten van Modus tot zijn recht zouden komen in het criminologie onderwijs: 1. Onderwijsfunctie (casusbank) In het eerste deel van het vak, waarin studenten met behulp van opdrachten oefenen met onderzoeksvaardigheden, zouden enkele casussen geïntegreerd worden. Dit houdt in dat studenten de casussen zelfstandig zouden maken, waarna ze werden besproken in een college. 2. Consultfunctie (beslisboom) Het vak wordt afgesloten met een eigen praktijkstudie door studenten, uitmondend in een onderzoeksrapport, wat tevens de bachelorscriptie is. Hierbij zouden de studenten gebruik kunnen maken van de consultant functie van Modus. 3. Naslagfunctie (aanvullende info). Studenten zouden tevens zelfstandig gebruik kunnen maken van het oefenmateriaal van Modus, als blijft dat ze minder ervaring hebben dan medestudenten in het gebruik van SPSS en/of selecteren van statistische methoden. Bij aanvang van het vak in maart bleek dat het vak al zo vol gepland was met statistiekonderwijs werkgroepen en SPSS practica dat het inplannen van Modus als zelfstandig onderdeel met een onderwijsfunctie niet meer mogelijk was. Daarom werd ervoor gekozen Modus in te plannen als ondersteunend materiaal (met consultfunctie) en in de tweede plaats als bron voor aanvullende informatie. Er werd dus gekozen voor een vorm waarin de studenten zelfstandig, buiten colleges en practica om, Modus konden consulteren voor extra informatie en/of oefeningen. Er werden geen lesuren voor het gebruik van Modus in de cursus gepland. 3.4 Fase 4 Laten verzorgen van studentenaccounts In samenwerking met de Digitale Universiteit is er voor gezorgd dat alle studenten van de opleiding Criminologie konden inloggen in Modus (via het Studenten dienden dus hun facultaire adres in Modus te gebruiken. De eerste keer dat ze naar Modus gingen (jurmodus.digiuni.nl), dienden ze een wachtwoord aan te vragen, door hun studentnummer en adres in te vullen. Deze instructies zijn opgenomen in de cursushandleiding. 3.5 Fase 5 Aanbieden van Modus Volgens de planning zou Modus in de periode april t/m juni 2004 aangeboden worden, maar zoals in fase 3 beschreven, is wegens tijdgebrek en andere prioriteiten Modus enkel als zelfstandig hulpmiddel voorgesteld. Modus is op verschillende manieren en momenten aangeboden aan de studenten. In de reader Onderzoeksvaardigheden van de criminologie is een studentenhandleiding voor het gebruik van Modus opgenomen. Hierin werd de functie van Modus en het gebruik van het programma omschreven. Verder is er tijdens het eerste college een korte uitleg gegeven - alleen was Modus op dat moment nog niet functioneel voor studenten. Via Blackboard is er ook informatie over Modus aangeboden. Daarnaast hebben de docenten tijdens het uitvoeren van het eigen onderzoek enkele studenten op het nut van Modus gewezen. Door de eerder beschreven problemen met tijdgebrek is er naast de uitleg in het eerste college verder geen directe aandacht meer gevestigd op het gebruik van Modus. Dit onder andere omdat er werd vastgesteld dat vele studenten door de relatief hoge werklast het invoeren van een extra onderdeel niet aan zouden kunnen. Het aanbieden van Modus tijdens het eigen onderzoek bleek minder bruikbaar dan gepland, aangezien het even duurde voor dat de student na aanvraag van een wachtwoord konden inloggen. De docenten hadden meer de nadruk kunnen leggen op het promoten van het zelfstandig gebruik van Modus dan nu is gedaan, maar wegens tijdsgebrek is dat niet gebeurd. 6

9 ICTO-RECHTEN Fase 6 Evaluatie Het programma Modus houdt zelf geen gebruikersstatistieken bij. Wanneer en hoe vaak een student inlogt, en welke onderdelen hij of zij gebruikt is dus niet na te gaan. Op zich beschouwen we dit als een gebrek in de applicatie. Om toch inzicht te krijgen in het gebruik, is een korte online enquête bij studenten afgenomen. Ook zijn de resultaten van de cursusevaluatie nader bekeken Evaluatie Modus In juni 2004 is aan studenten een enquête aangeboden in Modus (via een hyperlink in de cursuswebsite). Daarin werd voornamelijk gepeild of studenten van het programma op de hoogte waren, of ze het gebruikt hebben en zo ja, voor welke doeleinden. Dertien studenten hebben de vragenlijst ingevuld (ongeveer 15% van de totaal aantal studenten bij het vak). Over de resultaten kunnen we kort zijn: Zeven studenten hadden gehoord over het programma, maar niemand heeft het gebruikt. Enkele studenten gaven ook aan bij aanvang van het vak iets over Modus gehoord te hebben, maar daarna niets meer Evaluatie van het vak Onderzoeksvaardigheden in de Criminologie Door het Onderwijscentrum VU is een evaluatie van het vak uitgevoerd. Het evaluatieformulier is door 33 studenten ingevuld. Uit de verschillende opmerkingen van studenten blijkt dat men het vak uit te veel onderdelen vond bestaan in verhouding met de beschikbare tijd. Men vond het vak best zwaar wat betreft studielast, maar geeft aan niet altijd het gevoel te hebben heel veel geleerd te hebben, doordat er voor de verschillende onderdelen te weinig tijd beschikbaar was. Het SPSS-practicum vond men te snel gaan en enkele studenten geven aan dat het wenselijk zou zijn om meer te oefenen met de stof. Het doen van een eigen onderzoek heeft men over het algemeen als leerzaam ervaren Evaluatie door docenten Het werken met het programma Modus werd als nuttig en soms lastig ervaren. De georganiseerde cursus en bijeenkomsten waren over het algemeen voldoende om te leren werken met het programma. Modus kan zeer nuttig zijn als consultant en naslagwerk maar is dit jaar niet genoeg ingezet. De integratie van Modus in het vak Onderzoeksvaardigheden is niet tot stand gekomen doordat het opzetten van het (volledig nieuwe) vak meer werk vergde dan verwacht en er hierdoor minder tijd in de implementatie van Modus kon worden gestoken. Doordat het programmeren in Modus wat lastiger was, vergde ook dit vrij veel tijd en hierdoor was ook de inhoud van sommige casussen nog niet volledig naar wens van de docenten bij aanvang van de cursus. Als tweede punt viel op dat een flink aantal studenten een behoorlijke achterstand hadden op het vlak van SPSS en Statistiek. Dit resulteerde in een wat lager algemeen niveau van de studenten, waardoor het voor velen moeilijk was op een meer abstract niveau te werken en denken. Dit zorgde ook voor een gebrek aan tijd om Modus in te voeren. Daarnaast was de kans dat ze echt heel zelfstandig met Modus om zouden kunnen gaan niet heel groot. Al tijdens de loop van het vak werd voor de docenten duidelijk dat de planning van het hele vak komend jaar aangepast moet worden. Het derde punt is dat docenten hebben gemerkt dat er lang niet genoeg aandacht is besteed aan het promoten van Modus en dat dit volgend jaar wel dient te gebeuren. 3.7 Fase 7 Disseminatie In november 2004 zal op de ICT&O studiemiddag Innovutium ruimte zijn het gebruik van Modus aan de VU demonstreren, met voorbeelden van Criminologie en ACTA (deze laatste heeft Modus geïntegreerd met zijn digitale hoorcolleges over statistiek). 7

10 ICTO-RECHTEN Toekomstig gebruik Modus bij de opleiding Criminologie Het is de bedoeling dat in de komende jaren steeds meer gebruik van Modus wordt gemaakt bij de opleiding Criminologie. Het hele statistiek onderwijs wordt bij het invoeren van een eigen eerste jaar in september 2005 volledig gewijzigd. Het statistiek onderwijs en het SPSS onderwijs verschuiven naar het eerste en tweede jaar. In deze fase kunnen de studenten van beide jaren gebruik maken van Modus als hulpmiddel bij het bestuderen van de stof en als naslagwerk voor bepaalde termen en theorieën. Dit is ook mogelijk door de uitgebreide uitleg en feedback mogelijkheden die Modus heeft. De casussen zullen af en toe bij hoorcolleges of werkgroepen besproken worden en als aanvulling dienen. In de bachelor- en masterfase zullen de studenten tijdens het maken van hun masterscriptie of bacheloropdrachten gebruik kunnen maken van de consultant functie van Modus. Modus wordt zo dus geheel geïntegreerd in het statistiek en vaardigheden onderwijs van de opleiding. Vanaf september 2004 wordt Modus gehost door Espelon. Met Espelon heeft inmiddels overleg plaatsgevonden over de migratie van de Jur Modus website naar de hostingpartner van Espelon (Siennax) en de nieuwe licentievoorwaarden. Het gaat om een kost van ca euro op jaarbasis. Docenten verwachten dat het komend jaar enkel in de masterfase gebruikt wordt, maar willen de tot dusver ontwikkelde casussen en expertise niet verloren zien gaan, vooral omdat Modus vanaf 2005 naar alle waarschijnlijkheid intensiever ingezet zal worden. Daarom is met Espelon het volgende overeengekomen over de licentie voor : - De migratie naar de nieuwe hostingpartner wordt gefinancierd door Espelon. - Espelon deelt met de VU de structurele kosten voor onderhoud en beheer voor het studiejaar Dit komt voor de faculteit neer op 600 euro. Voor dat bedrag krijgen maximaal 5 docenten en 50 studenten zonder extra kosten toegang tot Modus. - Voor het studiejaar zal afname tegen de dan geldende tarieven geschieden. Voor het studiejaar zal Modus op minimale wijze ingezet worden, maar zullen docenten 1) verder gaan met de ontwikkeling van criminologie casussen en 2) een plan maken met betrekking tot de structurele inzet van Modus doorheen de opleiding. De docenten zijn ook bereid betrokken te blijven bij de Modus gebruikersgroep die Espelon coördineert. 8

11 ICTO-RECHTEN Conclusies en aanbevelingen Met Modus is een inhoudelijk geschikte applicatie gevonden die het statistiekonderwijs van de opleiding Criminologie op verschillende manieren kan ondersteunen. In dit project zijn de beoogde doelstellingen uit de projectaanvraag niet volledig gerealiseerd: Modus is niet geïntegreerd geworden als volwaardig onderdeel van het vak wegens gebrek aan ruimte en tijd. De opzet van dit nieuwe vak heeft meer tijd gevergd dan verwacht, en eenmaal gerealiseerd, barstte het vak inhoudelijk vrijwel uit zijn voegen: er moesten zeer veel onderdelen in korte tijd afgewerkt worden. Studenten geven in de evaluatie ook aan dat het vak uit te veel onderdelen bestond in verhouding tot de beschikbare tijd. De leerstof werd over het algemeen ook niet als makkelijk ervaren. Dit alles betekent dat Modus (begrijpelijk) op een zijspoor is komen te staan na het aanvankelijke enthousiasme van de docenten. Toch zijn er een aantal resultaten geboekt: docenten hebben leren werken met het programma, hebben de casussen inhoudelijk gescreend op hun geschiktheid en hebben een start gemaakt met het aanpassen van het materiaal ten behoeve van het criminologie onderwijs. Zij zijn ook niet minder enthousiast geworden over het nut en de inzetbaarheid van Modus en verwachten dat het programma in de toekomst een belangrijke ondersteuning kan vormen bij het statistiekonderwijs van de opleiding. Dan zal dit onderwijs namelijk over 4 studiejaren verspreid worden, waardoor studenten meer behoefte zullen hebben aan naslagwerken en opfris mogelijkheden. Daarbij blijft het belangrijk dat de docenten voldoende tijd besteden aan het promoten van de applicatie en het structureel inbedden van casusonderwijs in werkcolleges en practica. Doordat verschillende partijen betrokken waren bij de ontwikkeling, distributie en hosting van Modus (de oorspronkelijke software ontwikkelaars van de UVA, de Digitale Universiteit, Fingertips) en door de latere overname door Espelon was het niet altijd duidelijk bij wie men terechtkon voor welke vragen en konden antwoorden nogal eens op zich laten wachten. Hopelijk komt mede door Espelon meer structuur en doorzichtigheid in zaken als licentie voorwaarden en software ontwikkeling. Belangrijk is ook dat de docenten van de opleiding criminologie betrokken wensen te blijven bij de Modus gebruikersgroep om expertise met andere docenten, opleidingen en instellingen te kunnen delen. 9

12 ICTO-RECHTEN Literatuur Teunisse M. (2004). Modus. Website: de Jong, L. (2004) Recensie Modus. Website: Onderwijscentrum VU (2004). Evaluatie Onderzoeksvaardigheden in de criminologie (BC3) ( ). 10