Wanneer is onderzoek goed: de kwaliteitscriteria

Transcriptie

1 Management, finance en recht Wanneer is onderzoek goed: de kwaliteitscriteria De verwarring voorbij Naar hernieuwd zelfvertrouwen Congres Praktijkgericht onderzoek in het HBO Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland

2 Het Nederlandse accreditatiestelsel Standaard 1: De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. Standaard 16: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd. 2

3 Wat is een adequaat systeem van toetsing voor scripties? 3

4 De verwarring is compleet 4

5 Mijn probleemstelling en deelvragen Wat is een adequaat systeem van toetsing voor scripties? 1. Wanneer zijn kwaliteitscriteria goed? 2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit? 3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria? 4. Wat is daarvan een goed voorbeeld? 5

6 1. Wanneer zijn kwaliteitscriteria goed? 6

7 Wat is de belangrijkste functie van kwaliteitscriteria voor scripties? 1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep 2. Zodat de student kan bepalen wat hij moet doen om dit niveau te halen 3. Waardoor de docent dit leerproces goed kan begeleiden 4. En de scriptie kan worden beoordeeld 7

8 Kwaliteitscriteria voor kwaliteitscriteria 1. Afgeleid uit de (internationale) competentie-eisen, het beroepsprofiel en visie op onderzoek daarin 2. Richtinggevend bij het maken van keuzes tijdens het onderzoek 3. Didactisch functioneel 4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16) 8

9 Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk Hiertoe moeten ze worden geoperationaliseerd. Ze hebben: 1. Een object in de scriptie (wat moet kwaliteit hebben? Bv. probleemstelling of literatuurstudie) 2. Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel) 3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?) 9

10 2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit? 10

11 Officiële kaders Algemene internationale en landelijke kaders: Dublin descriptoren (DD) HBO kenmerken Commissie Fransen (CF) Kwaliteit als opdracht (HBO-raad) Commissie Dunnewijk-Budé / Vreemde ogen dwingen Beroepsprofielen van opleidingen 11

12 Wat moeten BA studenten kunnen volgens internationale en landelijke kaders? Onderzoekend vermogen (HBO-raad): 1. Definiëren en analyseren Vraagstelling complexe ontwikkelen probleemsituaties (CF) 2. Planmatig aanpakken Onderzoeksplan van werkzaamheden maken (CF) 3. (wetenschappelijke) inzichten, Theorie toepassen theorieën, concepten en onderzoeksresultaten toepassen (CF) 4. Gegevens verzamelen Data verzamelen en interpreteren en analyseren (DD) 5. Afwegen van sociaal-maatschappelijke, wetenschappelijke of ethische aspecten (DD) Conclusies trekken 6. Oordeel vormen (DD) 7. Ontwikkelen en beoordelen van oplossingen (CF) Leiden tot Adviezen evidence of based andere practice beroepsproducten (HBO raad) maken Innovatie (HBO raad) 8. Reflecteren op het handelen Reflecteren (CF op / HBO resultaten raad) 12

13 Conclusie algemene internationale en landelijke kaders Deze bieden wel overzicht van benodigde onderzoeksvaardigheden van de student Maar geen kwaliteitscriteria voor scripties 13

14 Commissie Dunnewijk-Budé Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTMopleidingsniveau in het bijzonder. Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april

15 Beoordelingscriteria (standaarden) van de Commissie (1) 1. Vinden we onderstaande componenten terug in het afstudeerproject? - A. Vraagstelling & verantwoording - B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving) a. Onderzoeksopzet b. Bronnenonderzoek c. Empirisch onderzoek d. Conclusies e. Output [Afhankelijk van type afstudeerproject] 15

16 Beoordelingscriteria (standaarden) van de Commissie (2) 2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt? 16

17 Beoordelingscriteria (standaarden) van de Commissie (3) 3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens voldoende : 1. theoretische vorming / onderbouw 2. overzicht en inzicht, het kunnen plaatsen van problemen in de context 3. reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance 4. creativiteit en/of vermogen tot conceptualisering 5. vermogen om helder te communiceren 6. vermogen om efficiënt en resultaatgericht te werken 17

18 Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties? Onderzoekend vermogen Een goede scriptie 18

19 4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16) 19

20 Theoretische vorming / onderbouw Object Criterium Indicatoren Literatuurverkenning Literatuurverkenning Theoretische verkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding Evenwichtige mix van binnen- en buitenlandse bronnen Adequaat geen geen geen Veldonderzoek Behoorlijk uitgevoerd geen Dataverzamelingsmethoden Behoorlijk uitgevoerd geen Dataverwerking Behoorlijk uitgevoerd geen 20

21 Overzicht en inzicht, het kunnen plaatsen van problemen in de context Object Criterium Indicatoren? Contextueel bewustzijn geen kunnen uitzoomen, een opdracht/probleem in perspectief kunnen plaatsen? oog voor afbakening, scherpte/helderheid en praktijkgerichtheid Vragen en deelvragen Probleembeschrijving Onderzoeksresultaten Relevant Analyse in relatie tot elkaar? getuigen van een integrale benadering geen geen geen geen geen 21

22 Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance Object Criterium Indicatoren Bronnen bronnenkritiek geen? Eigen oordeelsvorming geen? reflectie over de eigen plaats in het onderzoek Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen geen geen? onafhankelijk ingesteldheid geen? goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld geen? inzicht in eigen werkwijze en proces geen 22

23 Creativiteit en/of vermogen tot conceptualisering Object Criterium Indicatoren? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst geen? originaliteit geen? eigenheid geen? out-of-the-box aanpak geen? onafhankelijk denken geen? meer perspectieven kunnen innemen geen? ideeën kunnen genereren geen? gevoel voor innovatie geen? oog voor aspecten van usability geen? kunnen vormgeven van steekhoudende look en feel geen 23

24 Vermogen om helder te communiceren Object Criterium Indicatoren Omvang passend Geen Taalgebruik verzorging van het rapport rapport kernachtig efficiënt correct met het oog op spelling, grammatica, stijl en sequentiële opbouw van tekst zakelijk en representatief, waaronder vormgeving, overzichtelijkheid, gebruik van beelden (figuren, tabellen en afbeeldingen) gebruik van visuele middelen/vormgeving Geen Geen Geen Geen Geen 24

25 Vermogen om efficiënt en resultaatgericht te werken Object Criterium Indicatoren? Planmatig werken Geen? Zelfsturing Geen? Kunnen samenwerken Geen? Eigen rol in het team kunnen inschatten Geen? Probleemoplossend vermogen Geen? evenwichtige kosten/batenbenadering geen 25

26 Conclusie Commissie Dunnewijk-Budé Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties En is hier ook niet eenvoudig naar te vertalen 26

27 Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden Onderzoekend vermogen Een goede scriptie 27

28 3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria? 28

29 Hoe dan wel? Eisen bachelor als basis Visie en eisen beroepsprofiel t.a.v. onderzoek Vertaling naar goede criteria Verantwoording criteria <-> Dunnewijk-Budé Borging in de organisatie 29

30 4. Wat is daarvan een goed voorbeeld? 30

31 Voorbeeld Bedrijfskunde MER Inholland 31

32 Landelijk beroepsprofiel Bedrijfskunde MER De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties. Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER 32

33 Bachelor student als probleemoplosser die handelen onderbouwt met onderzoek PROBLEEM- KEUZE EN DIAGNOSE ONTWERP VERANDEREN EVALUATIE Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus VOORSTEL VOOR VERVOLGONDERZOEK Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

34 Vertaling naar goede criteria Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002) Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008) Getoetst aan eisen Dunnewijk Budé Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit 34

35 Bijvoorbeeld: Criteria probleemstelling en deelvragen 1. Verankerd 2. Relevant 3. Precies 4. Functioneel 5. Afgebakend 35

36 Didactisch functionele kwaliteitscriteria Kennisgebied VERANKERD Strategie Probleemstelling en deelvragen RELEVANT Reden FUNCTIONEEL PRECIES Antwoord Naar: Oost & Markenhof (2002) 36

37 Een probleemstelling is functioneel 1. Beschrijven 2. Vergelijken 3. Definiëren 4. Evalueren 5. Verklaren 6. Ontwerpen Bron: Oost & Markenhof, 2002

38 Criteria probleemstelling en deelvragen Object Criterium Indicatoren Probleemstelling Functioneel 1. Maakt duidelijk wat de onderzoeksfunctie is 2. Is uitgewerkt in deelvragen waarvan een deel theoretisch is en een deel empirisch 3. De deelvragen vormen samen een onderzoekstructuur die past bij de onderzoeksfunctie. 38

39 Onderzoeksfuncties in de scriptie PROBLEEM- KEUZE EN DIAGNOSE Beschrijven Evalueren 4 2 Verklaren 3 OP BASIS VAN en/of ONTWERP En/of VERANDEREN En/of EVALUATIE VOORSTEL VOOR OP BASIS VAN VOORSTEL VOOR OP BASIS VAN VOORSTEL VOOR Ontwerpen Ontwerpen Evalueren Verklaren Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus VOORSTEL VOOR VERVOLGONDERZOEK

40 Onderzoeksfunctie bepaalt deelvragen Voorbeeld: Ontwerpen PROBLEEM- KEUZE EN DIAGNOSE ONTWERP Beschrijvende deelvragen: - Wat zijn de kenmerken van situatie A? - Wat zijn de kenmerken van de norm? Evaluerende deelvragen: - Voldoet situatie A aan de norm? Verklarende deelvragen: - Wat maakt dat er verschillen zijn tussen A en de norm? Ontwerpende deelvragen: - Welke oplossingen zijn er bekend? - Welke eisen stellen we aan de oplossing? Evaluerende deelvragen: - Welke oplossingen voldoen aan de eisen? - Welke oplossing wordt gekozen? [Verklarende deelvragen: - Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem?] 40

41 Download de hele set van kwaliteitscriteria 41

42 Borging van kwaliteitscriteria in de opleiding 1. Kwaliteitscriteria leidend maken in onderzoekslijn 2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn 3. Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om: De ontwikkelde kwaliteitscriteria te leren toepassen De kwaliteitscriteria te verbeteren Intersubjectiviteit van beoordeling te verhogen Betere onderzoekbegeleider te worden Betere onderzoeker te worden 42

43 Conclusies: Wanneer is onderzoek goed? 1. Daar zijn landelijk geen algemeen geldende criteria voor 2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep 3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria: 1. Afgeleid uit de (internationale) competentieeisen, beroepsprofiel en visie op onderzoek 2. Richtinggevend bij het maken van keuzes tijdens het onderzoek 3. Didactisch functioneel 4. Geoperationaliseerd in object, criterium en indicatoren 43

44 Meer informatie? Dr. Daan Andriessen 44

45