Paper 5 Ontwerponderzoek De Zwitserse Taal en Cultuur 1 als onderdeel van het vak Duits. Thomas Langbroek Studentnummer: 5617367 Universiteit van Amsterdam - Interfacultaire Lerarenopleidingen Schoolvak: Duits Vakdidacticus: Hanneke Beneden Onderzoeksbegeleider: Jantina Huizenga Onderzoeksbeoordelaar: Mark Hoeksma Doelgroep: 5 vwo Juni 2013 1 Voornamelijk het Duitstalige gedeelte van Zwitserland.
Inhoudsopgave Beginpunt: Samenvatting Paper 1... 2 Presentatie en evaluatie van de resultaten... 2 De quiz... 2 Het learner report... 4 De logboekjes... 4 Conclusies en discussie... 4 Suggesties voor herontwerp... 5 Terugblik... 6 Motivatie... 6 Succes... 7 Keuzes... 7 Taalverwerving... 7 Samenvattend... 8 Bijlagen... 8 1
Beginpunt: Samenvatting Paper 1 Het probleem waar dit onderzoek uit voortkomt is het gebrek aan inzicht in de culturele identiteit van Zwitserland in 5 vwo. Mijn hypothese is als volgt: Als ik in 5 vwo de leerlingen in een lessenserie van 4 lessen laat werken aan een taak volgens de regels van de TABASCO-Taakcyclus en rekening houdend met onderstaande ontwerpregels, die zich richt op de verschillende aspecten beschreven in de matrix, dan zullen de leerlingen gemiddeld genomen op alle 4 aspecten een niveau stijgen ten opzichte van een eerste meetmoment vóór de interventie. Deze matrix staat centraal, niet de bijkomstige taalverwerving en bevat deze aspecten: de houding t.o.v. interculturele communicatie en inzicht in de geschiedenis en het culturele landschap en taal(verschillen). De HOT-ontwerpregels betreffen Motivatie, Succes, Keuzes en Taalverwerving. Om het verschil in kennis te meten zal ik voor- en achteraf een quiz met learner report afnemen en door de leerlingen geschreven logboekjes raadplegen. Presentatie en evaluatie van de resultaten Als voormeting en als nameting is er een quiz gedaan, waar een learner report in verwerkt was. Achteraf hebben de leerlingen ook logboekjes ingeleverd, die als een extra evaluatie kunnen dienen van de lessenserie. Eerst zullen hier de resultaten besproken van de quiz, vervolgens van het learner report dat daarin verwerkt zat en uiteindelijk de logboekjes. De quiz De quiz was opgedeeld in gesloten vragen, open vragen en het learner report, die de houding ten opzichte van interculturele communicatie zou moeten meten. De open en gesloten vragen richtten zich op verschillende gebieden, namelijk Taal, Cultuur en Geschiedenis. De antwoorden hiervan zijn geplaatst in de matrix inzicht in de culturele identiteit van Zwitserland, waar de leerlingen op vier niveaus konden scoren, waarvan 1 het laagste niveau is en 4 het hoogste niveau. De analyse van data is gebeurd op het niveau van de scores in de matrix en met behulp van het programma SPSS. De open en gesloten vragen en de verschillende gebieden zijn apart geanalyseerd omdat de resultaten daarin wat verschillen. Mijn hypothese was dat de leerlingen gemiddeld genomen een niveau zouden stijgen op alle vier de verschillende gebieden na het uitvoeren van de lessenserie. We zullen hier kunnen zien dat aan de hand van de resultaten van de metingen niet gezegd kan worden dat deze hypothese uitgekomen is. Een significant verschil tussen de eerste meting en de tweede meting is bij de gesloten vragen alleen geconstateerd bij het gebied Taal. Daar is de verplaatsing helaas negatief. Van gemiddeld niveau 1,94 zijn de leerlingen gezakt naar gemiddeld niveau 1,31, met standaarddeviaties van respectievelijk 0,639 en 0,480. 2
Bij de gesloten vragen op het gebied van cultuur of geschiedenis is geen significant verschil geconstateerd tussen de voor- en nameting. Een significant verschil tussen de eerste meting en de tweede meting is bij de open vragen geconstateerd op het gebied van Taal en bij Geschiedenis. Bij beide was deze verplaatsing positief, bij Taal gaat de toename van 1,71 naar 2,31 (Std. Dev. van resp. 0,470 en 0,947), bij Geschiedenis gaat de toename van 1,71 naar 2,46 (Std. Dev. van resp. 0,686 en 0,776). De grootste toename is dus op het vlak van Geschiedenis te zien, namelijk een toename van 0,75, alhoewel deze niet bij de gesloten vragen geconstateerd was. De precieze verschuiving van de verschillende scores kan in de bijlage nagelezen worden, maar de verdeling van de verschuiving zag er in de gunstigste situatie (Open vragen op het gebied van geschiedenis) er zo uit: Aan deze grafieken, links de scores bij de eerste meting en rechts van de tweede meting, is bijvoorbeeld te zien hoe met name het aantal leerlingen dat op niveau 1 scoort sterk is afgenomen, ten gunste van niveau 3 en 4. Een ander beeld levert de vergelijking tussen de eerste meting en tweede meting op het gebied van taal, de open vragen: 3
Aan deze grafieken is juist weer geen algehele verschuiving te zien, maar eerder een groep leerlingen die zich heeft losgemaakt van de rest en weet te scoren op niveau 3 en 4. Enkelen zijn vooruit gegaan, veel anderen juist niet. Het learner report Het learner report was het gedeelte van de quiz waarin de leerlingen werd gevraagd zinnen af te maken die zich richtten op hun houding ten opzichte van bepaalde culturele aspecten die anders zijn in de Zwitserse cultuur dan in de onze. Er waren een paar verschillende gebieden waar deze zinnen zich op richtten. Deze waren bij de eerste meting niet gelijk aan die van de tweede meting, omdat de gekozen thema s door de leerlingen uiteindelijk anders waren dan verwacht en de tweede meting zich naar de producten van de leerlingen richtte. Bij de eerste meting waren de thema s: muziek, taal, oorlog en financiën. Bij de tweede meting waren dat: muziek, taal, cultuur en algemeen. De alpha-waarde van de verschillende gebieden samen was hoog genoeg (.884) om ze samen te voegen om tot een duidelijke vergelijking te komen van de eerste en de tweede meting op het gebied van houding. Daar was echter geen significant verschil te constateren. Als er overigens een significant verschil te constateren was geweest, was dat negatief geweest: gemiddeld gingen de scores in houding op alle gebieden iets omlaag in de tweede meting. De logboekjes De logboekjes gelden als een kwalitatieve meting om te kijken welke aspecten uit de serie goed gingen en welke slechter. Niet alle logboekjes zijn uiteindelijk ingeleverd. Uit de ingeleverde logboekjes blijkt dat: Niet elk groepje duidelijk voor ogen had wanneer de presentatie af moest zijn Twee groepjes in ieder geval effectief hebben samengewerkt, goed taken hebben verdeeld en goed hun planning hebben aangehouden Er relatief weinig aan de presentaties is gewerkt in de stageweek tussen de derde en de vierde les. De logboekjes waren over het algemeen niet zo uitgebreid als ik had verwacht. Daardoor heb ik er niet meer informatie uit kunnen halen dan hierboven staat. Van één groepje, waarvan ook het logboekje ontbreekt, was uit observaties tijdens de lessen makkelijk te zeggen dat de samenwerking niet goed functioneerde. Het eindproduct van dit groepje was dan ook een samenraapsel van wat individuele arbeid. De overige groepjes lieten meer samenwerking zien, in het ene geval meer gericht op een effectieve taakverdeling en in het andere geval meer gericht op daadwerkelijke samenwerking: samen aan het product werken en veel overleggen. Conclusies en discussie Opvallend is dat op veel fronten er geen significant verschil is tussen de eerste meting en de tweede meting. Waar de open vragen nog op twee gebieden wel een significant verschil laten zien, zorgen de scores op de gesloten vragen ervoor dat er niet gezegd kan worden dat de leerlingen op die gebieden 4
vooruit zijn gegaan. Een deel van de individuele scores is zelfs negatief verschoven. De hypothese is dus aan de hand van deze metingen niet uitgekomen. Observatie van de lessen en de gemaakte producten suggereert echter niet dat de leerlingen minder zijn gaan weten of over het geheel een slechter beeld van Zwitserland hebben. Dit zet met name vraagtekens bij de metingen. Het is daarbij niet duidelijk of de eerste meting, de tweede, of juist allebei niet betrouwbaar waren. Het meest voor de hand liggende is dat er een probleem met de tweede meting heeft plaatsgevonden. De tweede meting verliep rommelig en in twee fases. Omdat er te weinig tijd was om de quiz helemaal af te ronden zijn de open vragen en het learner report op papier en een les later gemaakt dan het eerste deel van de tweede quiz. Er waren minder leerlingen aanwezig dan bij de eerste quiz en er heerste geen serieuze sfeer in de klas. Het project was wellicht gevoelsmatig voor de leerlingen met de presentaties van de producten afgerond en ze wisten dat de quiz niet in de beoordeling meegenomen zou worden. Als de tweede quiz voor een cijfer was geweest zou dat de gelijkwaardigheid met de eerste meting geen eer aan gedaan hebben, maar de vrijblijvendheid die nu de quiz omgaf bleek bij de tweede quiz een groter probleem dan bij de eerste. Als de metingen nader bekeken worden zijn met name vraagtekens te stellen bij de gesloten vragen. De gesloten vragen zijn ingevoegd om makkelijker een groter aantal vragen te kunnen creëren en om de meting meer het karakter van een quiz te geven. Bij de open vragen konden de leerlingen echter veel vrijer opschrijven wat ze wisten en minder leunen op toevallige weetjes. Bij de gesloten vragen konden de leerlingen niet laten merken of ze iets voor een deel wisten, of juist iets dat er mee te maken had, maar alleen of ze iets specifieks wisten, terwijl dat niet helemaal aansluit bij de omschrijvingen in de matrix. Het niet uitkomen van de hypothese kan echter niet geheel aan de meetinstrumenten geweten worden. Het is erg goed denkbaar dat in het geval van een andere meting met een hypothetische honderd procent betrouwbaarheid ook de uitkomst was geweest dat er op de meeste gebieden geen significant verschil was tussen het moment voor de lessenserie en het moment erna. De leerlingen hebben relatief kort tijdens de les de mogelijkheid gehad om aan de opdracht te werken (bij elkaar zo'n anderhalf uur) en zijn in dezelfde periode ook met veel andere dingen bezig geweest, zoals de stageweek die tussen de derde en de vierde les zat. Ze vonden het grappig om naar elkaars presentaties te kijken, maar werden niet gedwongen daar op een of andere manier iets van op te steken en zijn daardoor wellicht veel alweer snel vergeten. Tevens was niet alle informatie die tijdens de presentaties werd gegeven relevant, makkelijk te onthouden of overzichtelijk. Zo kan het zijn dat de presentatie over talen in Zwitserland eerder meer verwarring bracht dan duidelijkheid, vanwege een overvloed aan statistieken en percentages. Suggesties voor herontwerp Voor een herontwerp zou in eerste instantie duidelijker nagedacht moeten worden over beide metingen. Op dit moment heb ik nog geen bruikbare suggestie om het resultaat met zekerheid te verbeteren, behalve dat er simpelweg genoeg tijd genomen moet worden voor het doen van beide metingen. Toch lijkt het me zaak om iets anders uit de denken, omdat zowel de voormeting als de nameting me achteraf gezien niet geheel betrouwbaar lijken. De vrijblijvendheid was waarschijnlijk een probleem, maar het kan geen oplossing zijn om beide metingen voor een cijfer mee te laten tellen, dan 5
krijgen de leerlingen immers bij de eerste meting een cijfer voor iets waar ze zich niet op hebben kunnen voorbereiden. Verder waren de producten van de leerlingen niet zoals ik me had voorgesteld, zowel de individuele opdrachten als de eindproducten van de groepjes. Het was leuk dat een groepje een lied had gemaakt en een ander groepje zelf chocolade had gemaakt, maar daar zit niet de inhoud in die ik had verwacht. De andere groepjes hadden vooral informerende presentaties met informatie die weinig aansluiting vond bij het de overige leerlingen en daardoor niet erg leerzaam was. Het was mooi geweest als een groepje bijvoorbeeld een bepaald thema had omgezet in een toneelstuk of filmpje waardoor ze een aspect van het thema blijvend in de herinnering van het publiek (en van zichzelf) hadden kunnen brengen. Wellicht had er in de opdracht meer op dat soort creatieve producten aangestuurd kunnen worden, in combinatie met wat meer tijd om aan de opdracht te werken en een extra moment als tussentijdse evaluatie. Bij het ontwerpen van de lessenserie heb ik erg getwijfeld of ik in aan het begin van de serie zelf een deel van de stof in de les zou behandelen om een eerste aanzet te geven en de leerlingen wegwijs te maken in de mogelijkheden die er zijn om nader onderzoek naar te doen. Uiteindelijk heb ik toen besloten om toch de beschikbare tijd bijna volledig in dienst van de taak te stellen die de leerlingen hebben gekregen, er vanuit gaande dat ze zelf de basisinformatie zouden vinden en de verdieping in zouden gaan op een bepaald front. Er is gebleken dat een paar groepjes erg aan de oppervlakte zijn gebleven en daardoor presentaties hebben gegeven waar oppervlakkige informatie werd aangereikt die geen aansluiting vond bij de overige leerlingen en wellicht ook niet eens bij de leerlingen die de presentaties zelf hebben gegeven. Na een introductie van een les of twee waarin de basis van de Zwitserse cultuur behandeld is hadden de leerlinge waarschijnlijk een stuk interessantere producten kunnen maken, ook als ze daar eventueel minder tijd voor gehad zouden hebben. De individuele opdrachten waren zoals gezegd over het algemeen ook niet zoals ik me had voorgesteld. De meeste leerlingen zagen het als een kleine verplichting die erbij kwam en voerden de opdrachtjes uit naar het minimum van wat er beschreven stond of eventueel nog wat minder. Daarbij was het goed geweest om voorbeelden aan te dragen van documenten zoals ik ze verwachtte, zodat ik tussendoor daarnaar had kunnen verwijzen als richtlijn. Terugblik De terugblik op deze lessenserie zal ik aan de hand van de gestelde ontwerpregels doorlopen. De ontwerpregels voor deze lessenserie waren Motivatie, Succes, Keuzes en Taalverwerving. Bij alle vier de ontwerpregels is wel een kanttekening te plaatsen. Ik zal ze op deze volgorde langslopen om terug te kijken op de verwachtingen aan het begin van de lessenserie. Motivatie De motivatie van de leerlingen was voldoende, maar had eventueel beter gekund als de opdracht duidelijker was geweest, met duidelijke voorbeelden waar de leerlingen zich naar konden richten. Ook als er een gemeenschappelijke basiskennis van Zwitserland was gecreëerd en de leerlingen de 6
verdieping hadden kunnen zoeken was dat waarschijnlijk beter geweest voor de motivatie. Ik had van te voren de verkeerde verwachtingen over de uitvoering van de opdracht. Succes De planning was om de succesbeleving van de leerlingen te stimuleren doordat ze een concreet product zouden maken en door de tussentijdse opdrachten die ingeleverd moesten worden. Ik heb het idee dat bij twee van de vijf groepjes dit goed gewerkt heeft. Bij deze twee groepjes is er tussentijds gezamenlijk aan de opdrachtjes gewerkt, waarbij ze duidelijk verheugd waren als er weer een stukje ingeleverd kon worden en goed werd bevonden. Het zijn ook deze twee groepjes die iets concreets hebben gemaakt aan het eind en daar duidelijk trots op waren: het lied en de chocolade. De andere drie groepjes hadden minder concrete eindproducten (Een Powerpoint- of Prezipresentatie, in enkel geval uitgebreid met een hand-out) en hebben de tussentijdse opdrachtjes minder serieus gemaakt en niet of niet geheel naar wens gemaakt. Wellicht had ik dit aspect beter kunnen ondersteunen met meer tussentijdse feedback op het proces en de producten. Daar is het een nadeel dat de leerlingen relatief veel tussen de derde en de vierde les in moesten doen, waar ik geen zicht meer had op de activiteiten. Keuzes De leerlingen waren bij deze opdracht erg vrij gelaten en konden wat inhoud en vorm betreft redelijk vrij bepalen wat ze zouden doen. Ook het vormen van de groepjes was vrij gelaten, waarbij alleen de groepsgrootte vaststond. Ik heb het idee dat ik daar de leerlingen bij deze keuzes meer basis had kunnen geven om daar vanuit een betere afweging te maken. Het was opvallend dat de leerlingen relatief weinig creatieve uitspattingen lieten zien en over het algemeen voor een traditionele presentatie gingen om informatie en voorbeelden te laten zien. Het was waarschijnlijk goed geweest de leerlingen meer voorbeelden te laten zien van de mogelijkheden die de opdracht bood. Taalverwerving De bedoeling van de opdracht was dat de leerlingen alle vaardigheden in het Duits zouden gebruiken bij het maken van hun product Daar ben ik achteraf gezien best tevreden over. De groepjes hebben grotendeels Duitstalige bronnen gebruikt om hun informatie vandaan te halen, hebben in meerdere gevallen Duitstalige filmpjes gebruikt in hun presentaties, hebben de tussentijdse opdrachtjes in het Duits geschreven en hun presentaties in het Duits gehouden. Er is wel een deel van de leerlingen geweest die daaraan heeft proberen te ontkomen. Tijdens het werken aan de opdrachten was te zien dat er toch ook regelmatig op Nederlandstalige websites informatie werd gezocht en niet alle leerlingen hebben audiomateriaal gebruik bij het verzamelen van hun informatie, maar dat stond dan ook niet expliciet vermeld. Van de verschillende punten die aan de lessenserie verbeterd zouden kunnen worden zou mijns inziens het minste aan de ontwerpregel van de Taalverwerving gesleuteld hoeven te worden. 7
Samenvattend Al het bovenstaande samenvattend zou ik zeggen dat de opzet van de lessenserie niet gelukt is. Er kan niet gezegd worden dat de leerlingen duidelijk vooruit zijn gegaan in hun inzicht in de culturele identiteit van Zwitserland, ook als er rekening mee wordt gehouden dat de tweede meting niet geheel naar wens is verlopen. Bovenstaand zijn suggesties voorbij gekomen om tot een verbetering van de lessenserie te komen. Er kan echter niet gezegd worden dat het verspilde tijd is geweest. Enerzijds was het aspect van de taalverwerving helemaal niet zo slecht uit de verf gekomen en hebben de leerlingen zich wel getraind in de meeste vaardigheden die horen bij het leren van de Duitse taal, inclusief het presenteren voor een groep. Daarnaast kan het niet anders of de leerlingen hebben toch wel weer wat opgepikt over Zwitserland en zijn zich in ieder geval er weer bewust van geworden dat Zwitserland bij het Duitse taalgebied en daarmee bij het onderwijs in de Duitse taal hoort. Daarmee is natuurlijk ook iets moois bereikt. Bijlagen 1. Eerste Quiz, inclusief Learner Report 2. Tweede Quiz, inclusief Learner Report 3. Antwoordmodel van de eerste quiz 4. Toelichting bij eerste quiz 5. Antwoordmodel van de tweede quiz 6. Toelichting bij tweede quiz 7. Reacties eerste quiz 8. Reacties tweede quiz 9. Resultaten quizzen samen in Excel document 10. Resultaten quizzen zoals in SPSS ingevoerd 11. Uitdraai resultaten SPSS 12. Scan Logboekje groepje Ferienland Schweiz 13. Logboekjes overige groepjes 14. Matrix inzicht culturele identiteit (bijgewerkt ten opzichte van matrix bij paper 1) 15. Auftrag Schweiz 8