Overzicht van de beoordelingsmatrixen

Transcriptie

1 Overzicht van de beoordelingsmatrixen In de start van het werkpakket 4, peer feedback van splannen werd al snel duidelijk dat er grote verschillen bestonden in de opleidingspraktijk van de 9 lerarenopleidingen. Niet alleen verschilt de aard van de sopdracht steeds, de beoordelingspraktijk was ook divers. Bovendien was er nog bijna geen ervaring met het beoordelen van een tussenproduct zoals het splan. Zowel de criteria als de peer feedback procedures zijn aangepast aan de lokale situaties in de aanloop van de negen pilots in samenspraak ontwikkeld. Het resultaat is acht verschillende beoordelingsmatrixen die in enkele herziene versies uiteindelijk verzameld zijn en vergeleken op overeenkomsten en verschillen in vorm, inhoud en werkwijze. Er ontstaat dan wel een beeld van drie typen aanpak. Eén aanpak werkt met een van 7 a 15 criteria die zowel het conceptuele als het technische deel van het splan bestrijken. Latere aspecten van het zoals de resultaten, interpretatie, conclusie en rapportage komen niet ter sprake. De verschillen lijken meer te liggen in de analytische detail van de product beschrijvingen in elk niveau dan op feitelijke kwaliteitsaspecten van het plan. Met deze criteria lijkt de benadering van Utrecht, Leiden, Eindhoven en Twente sterk op elkaar. Een tweede benadering wordt in Tilburg, Nijmegen en Amsterdam gebruikt. De criteria voor (peer) feedback en beoordeling van het splan zijn een subset van een set van 21 a 29 criteria waarmee in eerste instantie het plan en op andere momenten de kwaliteit van het lesontwerp en uiteindelijk het sverslag beoordeeld worden. Deze opleidingen kiezen voor een ontwerp waarvoor de leraren in opleiding een interventie ontwerpen. In een detail vergelijking welke criteria voor die ontwerpsplannen gebruikt worden bijna de zelfe kwaliteitskenmerken gezocht. De verschillen zitten meer in de ordenen, samenvoeging of verdeling van onderdelen. Er is meer nadruk op vakinhoudelijke of vakdidactische kwaliteit, hetgeen voor de hand ligt gezien de aard van het ontwerp. Twee opleidingen kozen voor beoordelingsformat waar onder 8 kopjes een groot aantal criteria gegroepeerd zijn; als checkvragen of als een opsomming van sleutel begrippen waar naar gekeken dient te worden. Het format met checkvragen past dan bij een eenvoudige meer holistische slecht, gemiddeld en goed kwaliteitsniveaus. Kijkend naar alle beoordelingsmatrixen dan wordt zichtbaar over welke kwaliteitscriteria zeker consensus bestaat dat ze in het plan beoordeeld dienen te worden. Van het conceptuele deel van het plan kijken alle opleidingen naar 1) de verbinding of inbedding in een theoretisch kader, 2) de afbakening van de probleemstelling en vraag 3) een onderbouwde uitwerking van de svraag in een aantal deelvragen en 4) de relevantie van het voor de (onderwijs?) praktijk, en (een lijst van) 5) gebruikte wetenschappelijke bronnen... Sommige opleiding verwachten ook 6) uitspraken over verwachte opbrengsten. Vier opleidingen zetten 7) de persoonlijke relevantie voor de leraar in opleiding zelf in ook de criteria en andere opleidingen beoordelen de 8) de consistentie van het plan. Hiermee wordt de interne en

2 logische samenhang bedoelt tussen de probleemstelling, theorie, svraag en deelvragen en de te en variabelen. De typering van het of uitspraak over de sfunctie (ref H.Oost en Markenhof) wordt maar in een enkele opleiding geëist. Helderheid over het type past in een oordeel van de consistentie van het plan. Voor het technische deel van het splan heerst ook gelijkgezindheid over wat er in een kwalitatief goed plan hoort te staan. Als onderdeel van de methode dient het plan te onderbouwen 8) hoe, welke respondenten gekozen zullen worden, 9) wat de methodes zijn om gegevens te verzamelen, 10) welke instrumenten daarvoor gezocht/gemaakt en gebruikt gaan worden en 11) hoe het tijdplan eruit ziet. Enkele opleidingen verwachten ook een expliciete definiering van 12) de variabelen. We kunnen hieruit concluderen dat de opleidingen op inhoudsniveau naar vrijwel de zelfde kenmerken van een splan kijken en de verschillen in de detail en in het type sopdracht zit.

3

4 Typering Analyse van de beoordelingscriteria voor het splan door de verschillende opleidingen. Algehele aspecten Instrument: U Utrecht UvTilburg RU Leiden RU Groningen TU Eindhoven TU Delft RU Nijmegen UvAmsterdam /Twente PGOnderzoeksplan Leer Onderzoeksplan Onderzoeksplan Onderzoeksplan Plan van Ontwerpdeel ontwerp & Ontwerpplan: paper 1 & 3 (van de 5 papers) Rubric Rubric Rubric Rubric Rubric Score formulier Rubric Rubric Descriptors Analytical Analytical Analytical Analytical Analytical Global (keywords) Analytical Analytical 3 dimensies 3 dimensies 11 dimensies: 13 dimensies (probleemstelling, (Inhoud 4 dimensies. # Dimensies 6 dimensie 7 dimensies 8 dimensies 7 paper 1 en (inleiding / opzet) theorie/literatuur, Schrijfkwaliteit, 4 voor paper 3 Methode) Werkproces) # criteria 13 criteria 9 criteria 6 criteria 8 criteria 13 criteria ± 50 key terms 9 criteria 11 criteria # niveaus Bijzonderh. Conceptueel plan 4 niveaus (1 4) - feedback ruimte - Ned en Eng versie 3 niveaus Hoog-midden-laag Can do statements in 1 ste kolom Tot. 21 criteria. 3 niveaus Onv-verb. nodigvoldoende-goed 3 niveaus - +/- + Formulier + (tot. 18 deelaspecten in vraagvorm in beoordelingsformat) 8. Consistentie 2.Methode (afstemming) 5. helderheid & transparantie, APA. 2. Inbedding in theoretisch kader B. Theorie / Literatuur Crit 5 & 6 1. Probleem Stelling A. Probleemstelling crit 1 2. Relevantie (theoretisch) 3. Theoretische achtergronden 1. Inleiding (aanleiding en context) Doel en vraagstelling 1. Probleemstelling & svragen (rf theorie) 1. Probleemstelling & svragen 3 niveaus (0+3) n.v.t. 1-4 punt 4 niveaus 4 niveaus Eerste niveau benoemt wat er ontbreekt Score formulier met ruimte voor feedback 13. Consistentie 8.Rapporteigenschappen 1. Vormaspecten: (formulier compleet) 3. Onderzoeksvragen 2. Theoretical 5.Theoretisch kader background 6.Begrippen gedefinieerd 2.Probleemstellng 1. Demarcating the problem 3. Onderzoeksfunctie Demarcating the 4. Onderzoeksvraag A. Probleemstellingcrit 1. Probleemstelling & constructs) 3 svragen 1. Inleiding (aanleiding & context) Doel en vraagstelling Onderdeel van voor geheel met in totaal 29 cirteria 0. Vormeisen (3 criteria) # 19. Theoretisch kader 16.Probleemstellin g - Totaal 26 criteria (verdeeld over 5 papers) 7 & 17. Structuur paper 1. Probleembeschrijving 2. Probleemanalyse 1. Probleembeschrijving 2. Probleemanalyse 3. Verkenning en keuze van oplossingen 3. Onderzoeksvragen #17. Vraagstelling 5. Vakinhoudelijke kwaliteit

5 U Utrecht UvTilburg RU Leiden RU Groningen TU Eindhoven /Twente 5. Verwachting / Hypothese 6. Praktische Relevantie 7. Persoonlijke Relevantie - 6. Verwachte resultaten A. Probleemstelling 2. Relevantie crit 2 (praktisch) A. Probleemstelling Crit 2-4. Verwachte opbrengst 4.Relevantie 4. Verwachte opbrengst -? 4. Verwachte opbrengst Technisch plan 10. Variabelen 2.Methode 8. respondenten - analyse 9. Selectie van respondenten 11. Onderzoek C. Methode crit. C. Methode crit. 4. Methode 2.Methode 9. variabelen 4. Methode 2.Methode 10. instrumenten & TU Delft RU Nijmegen UvAmsterdam Ontwerphypothese en ontwerpregels 1. Demarcating the #18. Relevantie problem 4. Operationalisation 5. Research method and justification 5. Research method and justification 20. Methode: (generiek omschreven) 14. Opzet evaluatie Extra criteria in de beoordelingsmatrix 12. Instrumenten C. Methode crit. 4. Methode 2.Methode 10. instrumenten & 13. Data analyse C. Methode crit. 5. Data verwerking en analyse 14. Tijdplan - 7. Planning 3.Haalbaarheid 12. Globale tijdsplanning 15. Literatuur lijst / Bronnen B.Theorie/Literatuur & G.Vorm en Presemntatie crit 18. D. Resultaten E. Conclusies F. Opbouw en Structuur G. Vorm en Presentatie H. werkproces 6. Quality of the research proposal 15. Keuze en onderbouwing van sinstrumenten; 16. Uitwerking v.d sinstrumenten 2.Methode 11. Analyse? 21. Methode: data-analyse 7. Planning - 6 Evaluatie- en tijdsplan 5. Schrijfkwaliteit 7. Referenties 2. Theoretical? structuur Paper background 3.Haalbaarheid (respondenten benaderbaar; materialen / meetinstrumenten beschikbaar) C. Werkproces: 6.zelfstandigheid, 7.feedback, 8.samenwerking A Ontwerp: voorbereiding, verantwoording, evaluatie en definitief ontwerp C. Proces Paper2: (les)ontwerp Paper 4: Analyse Uitvoering Paper 5: Evaluatie

6 Vergelijking van drie beoordelingsmatrices waarin het Onderzoeksplan zit ingenest. Onderwijs Ontwerp en Onderzoek Radboud Univ. Nijmegen Ontwerp Papers Universiteit van Amsterdam Leer Universiteit van Tilburg 0. Vormeisen 1.Tekststructuur verslag Paper 1: Ontwerpplan 1. Probleembeschrijving A Probleem stelling 1. Onderbouwing aanleiding 2.Taalgebruik verslag 2. Probleemanalyse 2. Concretiseren praktijkrelevantie 3. Volledigheid ontwerp 3. Verkenning en keuze van oplossingen 3. Onderzoeksvragen en praktische relevantie A. Ontwerp Voorbereiding: 4 Analyse beginsituatie 4. Ontwerphypothese en ontwerpregels 4. Onderbouwing Hoofden deelvragen 5. Inhoudsanalyse 5. Vakinhoudelijke kwaliteit B. Theorie / Literatuur 5. Wetenschappelijke bronnen Verantwoording: 6. vanuit voorbereiding 6. Evaluatie- en tijdsplan 6. Verwerking theorie 7. vanuit theorie 7. Structuur paper C. Methode 7. Helderheid gegevensverzameling en - analyse 8. interne consistentie Paper 2: Ontwerp 8. Vakinhoudelijke 8. Validiteit kwaliteit Evaluatie: 9. aan de hand van de 9. Didactische kwaliteit 9. Onderbouwing uitvoering van de lesplannen Definitief 10. leerdoelen 10. Eigen keuzes in D. Resultaten 10. Presentatie Resultaten ontwerp: materiaal 11. evaluatie van 11. Onderbouwing keuzes 11. Beperkingen methode (toelichting lesplannen) 12. leerresultaten 12. Volledigheid, E. Conclusies 12. Formulering Conclusies overdraagbaarheid 13. Leeractiviteiten en 13. Structuur paper 13. Discussie werkvormen 14. rol van de docent Paper 3: Onderzoeksinstrumenten 14. Opzet evaluatie 14. Prakt aanbevelingen en vervolg B. Onderzoek Plan 15. leermaterialen 15. Keuze en onderbouwing van sinstrumenten 16. Probleemstelling 16. Uitwerking van de sinstrumenten F. Opbouw en Structuur 15. Reflectie op het 16. Stramien en schrijfstijl 17. Vraagstelling 17. Structuur paper G. Vorm en 17. Taal en zinsbouw 18. Relevantie Paper 4 : Analyse Uitvoering 18. Beschrijving uitvoering ontwerp Presentatie 18. Gebruik van bronnen, figuren en tabellen 19. Theoretisch kader 19. Analyse uitvoering 19. Privacy / plagiaatregels ontwerp 20. Methode: 20. Evaluatie uitvoering ontwerp H. Werkproces 20. Communicatie van het 21. Methode: dataanalyse 21. Uitvoering 21. Zelfstandigheid in opzet, uitvoering en beschrijving Resultaten 22. Resultaten 22. Analyse & Evaluatie 23. Conclusie en 23. Structuur paper discussie 24. Implicaties Paper 5: Evaluatie 24. Presentatie van analyse, resultaten en interpretaties C. Proces 25. Stiptheid 25. Suggesties voor heront-werp (van ontwerp én!) 26. Zelfstandigheid 26. Structuur paper 27. Leerhouding 28. Creativiteit 29. Samenwerking

7 Universiteit van Leiden In leiding 1,Probleemstellling Vormaspecten 1.Formulier compleet 1. Inleiding (aanleiding en context) Doel en vraagstelling 2,Inbeddin in Theoretisch kader Probleemstelling en svragen 2.Probleemstellng 2. Praktische en theoretische relevantie 3 Onderzoeksfunctie 3. Onderzoeksvragen 3.Theoretische achtergronden 4.Onderzoeksvraag 4.verwachte opbrengst 4.ontwerp, instrumenten Vergelijking van beoordelingscriteria splannen. Onderzoeks plan U Utrecht Onderzoeksplan TU Eindhoven TU Twente Vakdidactisch ontwerp Onderzoeksopzet 5,Verwachting/ hypotheses Theoretische inbedding 5.Theoretisch kader 5.Data verwerking en analyse 6.Praktische relevantie 6.Begrippen 6. verwachte resultate gedefinieerd 7.Persoonlijke relevantie Referenties 7.Referenties 7.Planning 8.Consistentie Methode 8.Repondenten 9.Selectie van respondenten 10.Variabelen 9.Variabelen 11. Onderzoeks 10.Instrumenten en 12.Instrumenten 13. Data analyse 11.Analyse 14. Tijdplan Globale 12. PLanning. tijdsplanning 15. Literatuur / Bronnen Consistentie 13. Consistentie van het plan Vergelijking van twee beoordelings scoringsformulieren Onderzoeksplan RU Groningen Rubric+form Methoden van Onderzoek TU Delft Score&feedback formulier Inhoud 1,Probleemstellling 1.Demarcating the Problem Schrijfkwaliteit Probleemstelling, Analyse omschrijving; Doel doelstelling / objectieven; Relev. centrale vraagstelling ; Logisch en coherent geheel 2,Methode 2. Theoretical background Oriëntatie op de literatuur; Eerder Relevante theorieën ; Vertaalslag ; Referentie systeem APA 3.Haalbaarheid 3. Demarcating the constructs Kernconcepten; Conceptueel model; Onderzoeksvraag en deelvragen; Onderzoeksfocus 4.Relevantie 4. Operationalisation Aspecten / deelaspecten items / dimensies; Indicatoren; Link 5,Helderheid en transparantie 5. Research method and justification Werkproces 6.Zelfstandigheid 6. Quality of the research proposal Kwalitatieve of kwantitatieve benadering; Motivatie instrument; Populatie; Steekproef Validiteit; Betrouwbaarheid; Bruikbaarheid; Ethisch handelen 7.Feedback 7. Planning Wanneer / Wat / Budget 8.Samenwerking 8. Rapport eigenschappen Titel; Taalgebruik; Structuur; Originaliteit en creativiteit; Inleiding; Vormgeving