Handleiding Delphi methode

Transcriptie

1 IJBURGCOLLEGE.NL Handleiding Delphi methode &

2 Inleiding Deze handleiding biedt een stapsgewijze beschrijving van de afname van de Delphi methode. Aan de hand van deze methode kunnen de ervaringen van leerlingen met betekenisvol leren tijdens de realistische opdrachten geïnventariseerd en teruggekoppeld worden. De Delphi methode (Gordon, 1994; Hasson et al, 2000; Linstone & Turoff, 2002) is geschikt als de oplossing van een vraagstelling niet objectief voorhanden is, maar onderhevig is aan individuele percepties van de leerlingen. Met de Delphi-methode wordt namelijk geprobeerd een conversatie op gang te brengen rond een kwestie. Doordat de informatie die de verschillende personen inbrengen telkens wordt teruggekoppeld, ontstaat er een gedeelde perceptie van de vraagstelling en de antwoorden. De methode zorgt er voor dat leerlingen met elkaar in discussie gaan over de ervaringen die zijzelf hebben gehad met betekenisvol leren tijdens de realistische opdrachten waarover ze geen overeenstemming hebben bereikt: hierdoor leren ze van elkaars mening en ervaring en dit biedt ze de kans om hun eigen mening aan te passen. Door de afname zal de gebruiker inzicht krijgen in de mate waarin kenmerken van betekenisvol leren terug komen in een realistische opdracht. Voor het onderzoeken van de realistische opdrachten op kenmerken van betekenisvol leren hebben wij de originele Delphi methode aangepast om toepasbaar te zijn binnen de digitale omgeving van het IJburgcollge. De Delphi methode bestaat uit verschillende rondes: 1. De Delphi expert ronde 2. De Delphi consensus ronde (kan herhaald worden) 3. Verwerken resultaten Figuur 1: Aangepaste Delphi methode

3 Het doel van de verschillende rondes zijn: 1. Inventariseren van de individuele ervaringen van een selecte groep leerlingen met betekenisvol leren tijdens de realistische opdracht (Delphi Expert ronde) 2. Voorleggen van de individuele ervaringen aan alle leerlingen die hebben deelgenomen aan de realistische opdracht en de leerlingen in gesprek laten gaan over de ervaringen waar ze geen consensus over bereikt hebben (Delphi Consensus ronde) 3. Verwerking van de resultaten zodat ontwikkelaars en leerlingen van het IJburgcollege inzicht krijgen in hoeverre de realistische opdrachten betekenisvol zijn geweest

4 1) Vragenlijst afnemen (expert ronde) De vragenlijst is opgesteld naar aanleiding van de kenmerken van betekenisvol leren uit de literatuur (Jonassen, 2011). Betekenisvol leren vindt plaats als leerlingen kennis opbouwen en vaardigheden opdoen die nodig zijn voor het succesvol oplossen van problemen. Het oplossen van problemen is iets wat ieder mens dagelijks in het leven tegenkomt en houdt in dat doelen worden bereikt die eerder nog niet bereikt zijn. Met betekenisvol leren wordt nagestreefd dat leerlingen naast leren gebruiken om te onthouden, leren voor transfer. Deze vragenlijst vindt je in bijlage 1. In Google-Docs kan heel eenvoudig een formulier gemaakt worden waarin deze vragen verwerkt kunnen worden in een digitale enquête. Na het invullen van de vragenlijst door de leerlingen worden de antwoorden automatisch beschikbaar in een overzicht. Deze manier van enquêteren levert veel tijdswinst op doordat hiermee voorkomen wordt dat antwoorden overgenomen dienen te worden. Let bij de afname op het volgende: Zorg voor 6 tot 8 leerlingen met verschillende achtergronden (havo/vwo, natuur/maatschappij, jongen/meisje, sterke leerling/zwakke leerling) Geeft aan dat het gaat om de mening van de leerling zelf en dat anoniem met hun mening wordt omgegaan, laat ze daarnaast de vragen in stilte maken (voorkom beïnvloeding van hun mening in de initiële ronde) Zorg ervoor dat leerlingen de materialen van de realistische opdracht beschikbaar zijn om in te zien tijdens het invullen van de vragenlijst Bespreek met de leerlingen elke vraag zodat zij weten wat er van ze gevraagd wordt en dat ze verduidelijking op de vraag kunnen krijgen. Stuur ze niet op een antwoord: elke mening is goed, er bestaan geen slechte antwoorden. Het afnemen van de vragenlijst kost ongeveer 30 minuten

5 Deze tweede stap in de Delphi Expert ronde bestaat uit twee delen: 1. Controleer of de antwoorden die leerlingen gegeven hebben op de vragen wel aansluiten bij de kenmerken van betekenisvol leren zoals vermeld op de ontwikkelkaart. Dit houdt in dat de antwoorden die zij gegeven hebben teruggevoerd dienen te worden op de vraag. Een antwoord op de vraag over de beoordeling van het eindproduct kan bijvoorbeeld niet gaan over de hoe leuk zij de realistische opdracht vonden. Als alle antwoorden van leerlingen onder de juiste kenmerken (actief, constructief, etc) gegroepeerd zijn kunnen de antwoorden omgezet worden naar stellingen. 2. De antwoorden van leerlingen moeten zodanig teruggevoerd worden dat het antwoord samen te vatten is in een stelling van 1 zin. Antwoorden die vrijwel hetzelfde zijn worden samengevat tot 1 stelling. Het analyseren van de vragen en formuleren van stellingen kost ongeveer een 60 minuten. Voorbeeld van initiële vraag over betekenisvol leren, antwoord van leerling en vertaling naar stelling: Vraag: Welke voorbeelden kun je noemen van opdrachten die geholpen hebben bij het maken van de eindproducten tijdens de verschillende realistische opdrachten? Dit kwam door (geef specifieke voorbeelden van opdrachten / activiteiten / leraargedrag / leerlinggedrag): Antwoord leerlingen: Bij RO Amusement park hebben we in de vaktijden lessen (aardrijkskunde) een opdracht gekregen en die heeft ons erg geholpen met de RO. Dat ging toen over culturen. World Amusement Park: Toen we een RO opdracht over cultuurgebieden gingen maken heb ik aan de hand van deze opdracht veel informatie op kunnen zoeken die handig was voor het eindproduct, de poster. Bij het thema world amusement park kregen we verschillende opdrachten voor biologie waar we ook feedback op hadden gekregen. Deze opdrachten hebben we uiteindelijk in het eindproduct verwerkt Stelling: Tijdens de RO World Amusement Park heb ik een deelopdracht gemaakt voor Aardrijkskunde die goed aansloot bij de eindopdracht

6 2) Stellingen afnemen tot er consensus is bereikt (consensus ronde) Als de stellingen geformuleerd zijn worden deze stellingen in een vragenlijst voorgelegd aan de volledige groep leerlingen. De vragenlijst bestaat uit de stellingen waar leerlingen via een vijf-punt Likertschaal (helemaal mee eens, mee eens, neutraal, mee oneens, helemaal mee oneens) op kunnen reageren. Net als bij de eerste vragenlijst biedt Google-Docs een handig instrument om formulieren digitaal op te sturen. Consensus is bereikt als 75% van de leerlingen het eens of oneens is met een stelling. Eens of oneens wordt bepaald door alle antwoorden met 4 of 5 (eens/helemaal mee eens) en 1 of 2 (oneens / helemaal mee oneens) bij elkaar op te tellen en het percentage te berekenen van het totaal aantal antwoorden. Het is mogelijk om snel te bepalen of er sprake is van consensus via een formule. Zie bijlage 2 voor een voorbeeldweergave van de antwoorden die terugkomen van de vragenlijst en hoe je deze kunt berekenen via een formule. Figuur 2: Voorbeeld vijf-punt Likertschaal Het percentage wanneer consensus bereikt wordt, is gebaseerd op de literatuur en is redelijk arbitrair: soms wordt meer dan 50% overeenstemming genomen als consensus. Wij raden aan om 75% te nemen: hiermee is de mate van consensus sterk en kun je ervan uitgaan dat de ervaring breed gedeeld is door de leerlingen. De vragen waar geen consensus over is onder de leerlingen moeten worden besproken in de groep. Laat de leerlingen de specifieke stelling na discussie weer opnieuw invullen. Doe dit voor alle stellingen waar geen consensus over is maar stel ook de vragen ter discussie waarbij een 3 is ingevuld. Doordat de Delphimethode meningen en ervaringen aan het inventariseren is, lijkt het niet mogelijk te zijn om geen mening te hebben. Het gaat om het wel of niet ervaren van kenmerken van betekenisvol leren.

7 In principe ga je net zo lang door met terugvragen totdat over alle stellingen consensus is bereikt. Let bij het afnemen van de stellingen op: Laat zo alle leerlingen die hebben deelgenomen aan de realistische opdract de stellingen beoordelen. Als na een aantal rondes nog steeds geen duidelijke consensus is over stellingen, dan is er blijkbaar geen consensus bereikt. Dit is ook een resultaat! De tijd die deze stap in beslag neemt hangt af van het aantal rondes die gehouden moeten worden om consensus te verkrijgen. Maar verwacht dat één ronde ongeveer een 30 minuten duurt.

8 3) Opstellen overzicht kenmerken Als er consensus is bereikt over de stellingen kan er een overzicht gemaakt worden. Stellingen waarvan 75% of meer van de leerlingen het over eens of juist oneens zijn geven aan welke kenmerken van betekenisvol leren door een ruime meerderheid van de leerlingen ervaren of niet ervaren zijn tijdens de realistische opdracht. Groepeer de stellingen die positief ervaren zijn met behulp van de ontwerpregels van betekenisvol leren naar kenmerk (actief, constructief, intentioneel, authentiek en coöperatief). Bijlage 3 laat een overzicht zien van kenmerken die zijn ingedeeld naar kenmerk van betekenisvol leren. Om realistische opdrachten onderling met elkaar en van verschillende jaren met elkaar te vergelijken biedt dit overzicht een uitkomst. Voorbeeld van stelling waarover consensus ( 75% van de leerlingen hebben 4: eens of 5: helemaal mee eens geantwoord) bereikt is en die vertaald is naar specifiek kenmerk van betekenisvol leren: Stelling: Tijdens de RO World Amusement Park heb ik een deelopdracht gemaakt voor Aardrijkskunde die goed aansloot bij de eindopdracht Kenmerk: Tijdens World Amusement Park hebben de leerlingen een deelopdracht gemaakt voor Aardrijkskunde die goed aansloot bij de eindopdracht Het mak en van een overzicht en deze indelen naar ontwerpprincipe van betekenisvol leren duurt ongeveer 60 minuten. Koppel na afloop van de deze ronde de uitkomsten terug naar leerlingen en ontwikkelaars. De resultaten kunnen gebruikt worden voor verder discussie en (her-)ontwerp van realistische opdrachten.

9 Aanbevelingen: Elke realistische opdracht dient door middel van de aangepaste Delphi methode geëvalueerd te worden: reflectie op wat geleerd en gedaan is, is een onderdeel van betekenisvol leren Zorg ervoor dat de tijd voor evaluatie een vast onderdeel wordt tijdens een realistische opdracht en er voldoende tijd voor wordt vrijgemaakt Pas deze handleiding na elke evaluatie aan indien er nieuwe inzichten zijn met betrekking tot kenmerken van betekenisvol leren, Delphi-methode e.d. Laat de Delphi methode uitvoeren door 2 ontwikkelaars: door samen in overleg naar de antwoorden en stellingen te kijken ontstaat een beter begrip van betekenisvol leren en de Delphi methode

10 Literatuur Gordon, T.J. (1994). The Delphi Method. Millenium Project: AC/UNU. Hasson, F. et al (2000). Research guidelines for the Delphi survey Technique. In: Journal of Advanced Nursing. Vol.32(4), p Jonassen, D.H. (2011), Goal of technology Integrations: Meaningful Learning In: Howland, J.L et al (2011). Meaningful Learning with Technology 4th edition. Pearson Education: Boston. Linstone, H.A. & Turoff, M. (2002). The Delphi Method: techniques and applications. Murray Turoff and Harold A. Linstone.