door Henri Pragt (Hondsrug College te Emmen) en Jeroen Wester (begeleider) datum: 26 april 2016 Inleiding Sinds het begin van 2015 voeren we een experiment uit in het vak Onderzoek en ontwerpen, onderdeel van het Technasium op het Hondsrug College te Emmen. Het doel van dat experiment is te bepalen op welke manier het onderwijs in dit vak op de behoefte van een leerling toegesneden kan worden, en te bepalen welke rol informatietechnologie daarbij speelt. In het vak Onderzoek en ontwerpen leren Technasiumleerlingen opdrachten van klanten of opdrachtgevers uit te voeren. Een voorbeeld van zo'n opdracht is "Ontwerp een levensbestendige woning waarin mensen van verschillende leeftijden prettig in kunnen wonen. De opdrachtgever - een werkelijk bestaande projectontwikkelaar - licht de opdracht toe aan de hele klas waarna de leerlingen in groepen de opdracht uit. Ze doen onderzoek, maken een plan van aanpak, maken een ontwerp, presenteren hun ontwerp aan de opdrachtgever en maken tot slot een verslag. In een schooljaar maken de leerlingen drie of vier van dit soort opdrachten. Competenties Bij Onderzoek en ontwerpen wordt de ontwikkeling van leerlingen gevolgd door scores bij te houden op acht competenties. Voorbeelden van competenties in dit vak zijn samen, procesgerichtheid en doorzetten. De vraag bij de start van de pilot was nu op welke manier die ontwikkeling het best bijgehouden kan worden. Het uitgangspunt bij het beantwoorden van de vraag was de wens is elke leerling precies te kunnen volgen in zijn of haar ontwikkeling op al deze competenties met als doel leerling, docent en ouder te kunnen informeren over de voortgang van de ontwikkeling. Het competentiemodel is aangeleverd door de stichting en bestaat uit acht competenties. Zie het onderstaande overzicht. INVENTIVITEIT INDIVIDUEEL PROCESGERICHT KENNISGERICHT DOORZETTEN PLANNEN EN ORGANISEREN PRODUCT- GERICHT SAMEN
Niveaus We hebben gekozen elke competentie meetbaar te maken door niveaus expliciet te beschrijven. Dit heeft ten eerste het voordeel dat met die expliciete beschrijving het gedrag van leerlingen makkelijker getypeerd kan worden. Het tweede voordeel is dat het scoren overdraagbaar wordt tussen docenten en minder afhankelijk van de specifieke invulling door één docent. Hieronder als voorbeeld de competentie. Tabel 1. Uitwerking van Competentie Niveaus Omschrijving 1. Beginner Je vraagt aan andere mensen een klant en klare oplossing. [Het creatief en vindingrijk bedenken van vernuftige oplossingen.] 2. Gevorderd De meeste oplossingen die je hebt bedacht bestaan al. 3. Vergevorderd Je hebt een eigen oplossing bedacht. 4. Expert Je brengt jouw oplossing in de groep en gaat met je groep discussiëren over de verschillende oplossingen. Je werkt mee aan een gezamenlijke oplossing. Beoordelen Het beoordelen van een leerling bestaat uit het kiezen van een niveau voor elke competentie. Deze beoordeling wordt opgeslagen met een koppeling aan een opdracht die de leerling op dat moment uitvoert of heeft uitgevoerd. Hieronder een voorbeeld van een gedeelte van die scores van een tweede klas halverwege het schooljaar. Een 1 staat in die tabel voor laagste niveau (beginner), en een 4 voor het hoogste (expert). Tabel 2. Beoordeling door docent van opdracht 2 Individueel Procesgericht Kennisgericht Plannen en organiseren Productgericht Samen Leerling 1 2 2 2 2 2 1 2 1 Leerling 2 3 3 2 2 3 2 2 3 Leerling 3 2 3 3 2 3 2 2 3 Leerling 4 3 3 3 2 3 2 2 4 Leerling 5 3 2 2 2 3 2 2 3 pagina 2
Docenten leken in staat leerlingen te beoordelen met dit competentiemodel. Daarbij hielp het dat de niveaus per competenties expliciet beschreven waren. Docenten rapporteerden bijna allemaal dat het veel werk is leerlingen op deze manier te beoordelen, en dat de hulpmiddelen 1 die gebruikt werden om de scores vast te leggen nog niet goed werkten. Ondanks deze bezwaren wordt de wens meer data over de leerling te verzamelen en te analyseren breed gedeeld. Tijdens het schooljaar ontstond het idee leerlingen zichzelf te laten beoordelen. De beoordeling van docent en leerling werden in een voortgangsgesprekken met elkaar vergeleken. Dit gaf twee positieve effecten. Ten eerste leert de leerlingen kijken naar zichzelf en naar andere leerlingen. Dat lijkt 2 de betrokkenheid bij het leerproces te vergroten. Ten tweede leert de docent door die vergelijking van docent- en zelfbeoordeling de leerling beter kennen. Hieronder een voorbeeld van de zelfscores van dezelfde leerlingen. Tabel 3. Beoordeling door leerling van opdracht 2 Individueel Procesgericht Kennisgericht Plannen en organiseren Productgericht Samen Leerling 1 3 4 3 4 4 4 4 4 Leerling 2 3 3 3 2 4 3 2 4 Leerling 3 2 3 4 2 3 3 4 3 Leerling 4 4 3 4 4 3 4 4 4 Leerling 5 3 3 4 4 4 4 4 3 Het viel op dat met enige oefening leerlingen in staat waren zichzelf te beoordelen, die beoordeling te bespreken met docenten en te vergelijken met de docentbeoordeling, en zichzelf te vergelijken met andere leerlingen. Analyses Nadat de scores van leerlingen verzameld waren, werd het tijd de data te analyseren. We hebben drie eenvoudige analyses gebruikt: gemiddelde scores om een algemeen beeld van een leerling te krijgen, vergelijking met groepsscores, en het scoreverloop om een beeld van de ontwikkeling van een leerling te krijgen. 1 We gebruikten in dit experiment bestaande middelen: een spreadsheet voor de verwerking van scores en online formulierenprogramma voor het verzamelen van data. 2 Het effect van grotere betrokkenheid hebben we niet gemeten. Het is de indruk van de docent. pagina 3
1. Gemiddelde scores Door de beoordelingen van verschillende opdrachten te middelen en een algemeen gemiddelde per leerling te berekenen ontstaat een beeld over de leerling. Hieronder een voorbeeld van die gemiddelde scores. De gemiddeldes van leerling 2 en 4 zijn hoger dan die van de anderen. Leerling 5 scoort laag. Tabel 4. Gemiddelde scores opdracht 1 t/m 4 Individueel Procesgericht Kennisgericht Plannen en organiseren Productgerich t Samen Gemiddelde Leerling 1 1,8 2,0 2,0 1,7 1,8 2,0 2,0 1,5 1,9 Leerling 2 2,5 2,0 2,0 2,3 2,5 2,0 2,0 2,5 2,2 Leerling 3 1,3 1,7 1,3 1,3 1,7 1,3 1,7 1,7 1,5 Leerling 4 2,8 2,3 2,0 1,7 2,5 2,3 2,0 2,8 2,3 Leerling 5 1,0 1,3 1,3 1,0 1,3 1,0 1,3 1,3 1,2 2. Vergelijking met groep Door de scores van de leerling te vergelijken met het gemiddelde van de groep ontstaat een beeld over het niveau van de leerling. Het bleek handig deze data in een grafiek te tonen. In de grafiek staat in het oranje de gemiddelde score van een leerling en in het grijs de gemiddelde score van de groep. De geselecteerde leerling doet het bijvoorbeeld voor Plannen en organiseren iets beter dan de groep. De gele stippellijn is een arbitraire norm die door de docent is ingesteld. De scores van de leerling moeten eigenlijk boven die stippellijn liggen. Voor deze leerling is dat alleen voor Samen niet het geval. 4 Diagram 1. Competentiescores per leerling vergeleken met gemiddelde klas (en norm) 3 2 1 0 Individueel Procesgericht Kennisgericht Plannen en organiseren Productgericht Samen Geselecteerde leerling Gemiddelde klas Norm pagina 4
3. Ontwikkeling gedurende het schooljaar Door de scores van leerlingen op de verschillende opdrachten van het hele schooljaar in een grafiek te tonen ontstaat een beeld van de ontwikkeling van de leerling op een competentie. Het bleek handig ook deze data in een grafiek te tonen. Hieronder de data voor een van de gemeten competenties. In het groen staan de scores van docenten op een competentie; in het paars de zelfscores van een leerling. Op deze manier wordt het scoreverloop gedurende het schooljaar gevisualiseerd. Daarnaast worden de scoringsverschillen tussen docent en leerling duidelijk. Die verschillen waren het startpunt van een gesprek tussen docent en leerling over verdere ontwikkeling. In onderstaand voorbeeld wordt duidelijk dat de leerling vond dat Samen bij opdracht 1 prima verliep maar de docent was daar minder van overtuigd. Bij opdracht 4 - aan het einde van het jaar - was dat juist andersom. 4 Diagram 2. Ontwikkeling per competentie van de geselecteerde leerling 3 2 1 0 Opdracht 1 Zelfscore 1 Opdracht 2 Zelfscore 2 Opdracht 3 Zelfscore 3 Opdracht 4 Zelfscore 4 Samen pagina 5
Bevindingen Het is goed mogelijk leerlingen te scoren in het competentiemodel wanneer de niveaus geoperationaliseerd zijn. Zonder die operationalisatie zijn scores niet te vergelijken. De meest pragmatische aanpak daarbij is elke beoordeling van een leerling te verwelkomen, ook als de data incompleet is omdat bijvoorbeeld een deel van de competenties is gescoord. Meer data geeft een completer beeld. Wacht dus niet tot alle opdrachten zijn afgerond, maar beoordeel veel en vooral ook tussentijds. De opmerkingen bij beoordelingen zijn belangrijk. Ze geven informatie waarom een beoordeling is gegeven. Het vastleggen van die opmerkingen is verstandig. Het kost best veel tijd leerlingen te scoren. De discussie daarover polariseert snel. Tegenstanders melden dat het er bij komt, voorstanders melden dat het noodzakelijk is om een compleet beeld te krijgen. Betere hulpmiddelen om makkelijk te kunnen scoren zijn gewenst. De leerling zichzelf laten scoren was een goed idee. Die data kon goed gebruikt worden tijdens de gesprekken met leerlingen. Omdat deze doorkregen dat de beoordelingen van de docent slechts momentopnames waren ontstond tussen docent en leerling een ontwikkelingsgesprek. Het idee ook anderen dan de docent en de leerling te laten scoren is aantrekkelijk. Het leidt waarschijnlijk tot een robuustere dataset over de leerling. Mogelijk kunnen andere docenten ook een rol spelen in dit proces. Zelfs als het niet hun vak is. Dit we volgend schooljaar uit. De competenties voor het vak Onderzoek en ontwerpen vormen geen eiland. Ze spelen vast ook een rol in andere vakken. Hoe de relatie gelegd kan worden met andere vakken is nog niet duidelijk. pagina 6