Leren met VAL Junior. Tilburg, september Irma van der Neut Kirsten de Ries. met medewerking van: Mireille Jans. IVA beleidsonderzoek en advies

Transcriptie

1 Leren met VAL Junior Tilburg, september 2012 Irma van der Neut Kirsten de Ries met medewerking van: Mireille Jans IVA beleidsonderzoek en advies

2 ii Leren met VAL Junior Uitgever: IVA Warandelaan 2 Postbus LE Tilburg Telefoonnummer: Telefax: IVA is gelieerd aan de UvT 2012 IVA Niets uit deze uitgave mag worden verveelvoudigd en/of worden openbaar gemaakt door middel van druk, fotokopie, microfilm, of op welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van het IVA. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning bij artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

3 IVA beleidsonderzoek en advies iii Inhoudsopgave 1 Inleiding Opzet van het onderzoek Vraagstelling Onderzoeksopzet en populatie Onderzoeksinstrumenten Deelstudie 1 "Frankrijk" Inzet VAL junior in deelstudie 1: module 'Frankrijk' Analyse van de leervragen Reflectie op leervragen deelstudie Analyse van de antwoorden op leervragen Reflectie op antwoorden deelstudie Analyse van feedback Reflectie op feedback deelstudie Analyse van aangepaste producten Reflectie op aangepaste producten deelstudie Ervaren meerwaarde van VAL junior in deelstudie Samenvatting van deelstudie Deelstudie 2 Mijn Lijf Inzet VAL junior in deelstudie 2: module 'Mijn Lijf' Analyse van de leervragen Reflectie op leervragen deelstudie Analyse van de antwoorden op leervragen Reflectie op antwoorden deelstudie Analyse van feedback Reflectie op feedback deelstudie Analyse van aangepaste producten Reflectie op aangepaste producten deelstudie Ervaren meerwaarde van VAL junior in deelstudie Samenvatting van deelstudie Samenvatting en conclusies...49

4 iv Leren met VAL Junior 5.1 Leervragen stellen en beantwoorden Feedback geven en gebruiken Aangepaste producten Ervaren meerwaarde volgens de leerkracht Conclusie en discussie...52 Literatuurlijst...55 Bijlagen...56 Bijlage 1: Achtergrondtheorie bij VAL junior...56 Bijlage 2: Beoordelingsformat leervragen, antwoorden, tips en producten...63 Bijlage 3: Interviewleidraden...67

5 IVA beleidsonderzoek en advies 5 1 Inleiding Virtual Action Learning (VAL) is ontworpen en ontwikkeld vanuit de gedachte dat het (formeel) leren op school als gevolg van de inzet van ICT zal evolueren naar een heel nieuwe benadering. In de traditionele benadering van formeel leren selecteert de school informatie (welke leerstof op welk moment), analyseert hoe de leerstof samenhangend en didactisch verantwoord wordt aangeboden, en toetst de aangeboden leerstof. Formeel leren gebeurt in een stabiele leeromgeving met bronnen die door de leerkracht geselecteerd zijn en waarbij kennisoverdracht het belangrijkste is. VAL gaat uit van een nieuwe benadering van formeel leren waarbij informatieselectie een vast onderdeel van het leerproces wordt en waarbij de informatieselectie wordt opgevat als een voor ieder verschillend proces dat afhankelijk is van iemands Persoonlijke Leerinterface (Baeten, 2009). Het leerproces is gericht op het maken van leerproducten waarbij het leren vooral gebeurt in de (virtuele) leerinteractie met mede-lerenden. Lerenden gaan in dit productieproces meer samenwerken en leren meer van elkaars vragen en antwoorden, van elkaars argumenten en van feedback die ze op elkaars leerproducten uitbrengen en van elkaars waardering voor die leerproducten. De leerkracht krijgt andere taken zoals het ontwerpen van leeropdrachten, het modereren van de virtuele leerinteractie, het valideren van de leerproducten die de lerenden als groep voordragen, het valideren van feedback en het beoordelen en terugkoppelen van de leerontwikkeling. Op zijn best zorgt de leerkracht ervoor dat er een betekenisvolle dialoog tussen de studenten onderling en met hem plaatsvindt, stimuleert hij het diep leren en faciliteert hij de reflectie van de lerenden op de zelfgeleverde leerprestaties. Een dergelijke manier van leren vraagt om een transformatie naar een heel ander opleidingsconcept: met nieuwe methodieken, nieuwe (virtuele) werkvormen, andere leerkrachtrollen en een nieuwe leeromgeving. Sociaal-constructivistische leertheorieën vormen hiervoor een theoretische basis, met ruimte voor het sociale aspect van leren inclusief betekenisvolle dialoog tussen lerenden. Ook de zone van naaste ontwikkeling en de balans tussen zelfsturing en de rol van de leerkracht zijn hierbij relevant (zie bijlage 1). De theorie gaat uit van individuele kennisconstructie die zich in interactie met mede-lerenden ontwikkelt en waarbij ICT als animator kan dienen (Baeten, 2009). VAL is een opleidingsconcept dat is ontwikkeld om deze nieuwe benadering van formeel leren te faciliteren. VAL junior is ontwikkeld voor groep 5 tot en met groep 8 in het basisonderwijs. In VAL wordt uitgegaan van een basisleerproces bestaande uit elf flexibel in te vullen stappen. Deze stappen starten met virtuele activiteiten in een virtuele leeromgeving (VLC), gevolgd door afwisselend fysieke en virtuele activiteiten. VAL wordt als opleidingsconcept vooral toegepast in het beroepsonderwijs. Om het toepasbaar te maken voor het primair onderwijs zijn de stappen uit het leerproces omgezet naar twaalf

6 6 Leren met VAL Junior stappen in VAL junior die een iets meer sturende werking hebben en in hun taalgebruik dichter bij kinderen staan (figuur 1). Figuur 1 Het leerproces volgens VAL junior Sociaal constructivistisch leren met VAL junior De methode VAL junior, waarbij leerlingen interactief leren in de klas én in een virtuele leeromgeving (VLC, Virtual Learning Community) pretendeert het sociaal constructivistische leren door leerlingen te faciliteren. Dat leren kenmerkt zich door een leerproces waarin de lerende: Verantwoordelijkheid neemt voor het eigen leerproces; Concrete leervragen stelt; Zijn kennis expliciteert rondom een bepaald kennisobject; Het kennisobject relateert aan vergelijkbare objecten die hij al kent; Originele oplossingen bedenkt, zowel qua inhoud als vorm; Nieuwe kennis construeert; Zelf bronnen aanboort, die aansluiten bij zijn voorkennis; Leert van medeleerlingen (peers)/ kennis deelt met zijn peers; Publieksgerichte presentaties maakt. Deze kenmerken voor het leerproces in VAL junior komen overeen met de kenmerken voor het leren zoals beschreven in het boek Virtual Action Learning: een opleidingsconcept over Samenlerend produceren met ICT' (J.J.M. Baeten, 2009). Dit di-

7 IVA beleidsonderzoek en advies 7 dactisch concept hangt nauw samen met de leertheoretische principes van het sociaal-constructivistisme zoals beschreven in het artikel Constructivist Learning Theories and complex learning environments van P.R.J. Simons en S. Bolhuis (2004). Onderzoek naar het rendement van VAL junior VAL junior beoogt er met toepassing van de VLC toe bij te dragen dat leerlingen in staat zijn meer regie te voeren over hun eigen leerproces, dat zij zelf kunnen bepalen welke stappen zij zetten om te komen tot een bepaald eindproduct en dat zij samen met en van anderen kunnen leren. Leerlingen zijn in staat om relevante leervragen te stellen, feedback te geven op producten van anderen en gebruik te maken van de feedback van anderen om te komen tot een kwalitatief goed eindproduct. Dit onderzoek brengt in beeld of VAL junior er toe bijdraagt dat leerlingen in staat zijn om relevante leervragen te stellen, in staat zijn om feedback te geven op producten van anderen en zelf de feedback gebruiken om hun eigen producten te verbeteren. Andere aspecten van VAL junior, zoals regie over het leerproces, de verbinding leggen met voorkennis, kennisconstructie, etc. zijn een nader onderzoek waard. Dit onderzoek is echter gericht op leervragen, feedback en het gebruik ervan, omdat Simons dit beschouwt als een van de meest unieke aspecten van VAL junior en omdat feedback en reflectie de kern van het leren vormen (Baeten, 2009).

8

9 IVA beleidsonderzoek en advies 9 2 Opzet van het onderzoek Dit hoofdstuk bevat de onderzoeksvragen, de onderzoeksopzet en het gebruikte onderzoeksinstrumentarium. 2.1 Vraagstelling Het onderzoek is uitgevoerd op basis van de volgende onderzoeksvragen, die in nauw overleg met de ontwikkelaar van VAL junior tot stand zijn gekomen: Zijn leerlingen die werken met VAL junior in staat om kwalitatief goede leervragen te stellen en een adequaat antwoord te geven op de leervragen van anderen? Zijn leerlingen die werken met VAL junior in staat om kwalitatief goede feedback te geven en de feedback die zij krijgen van hun medeleerlingen te gebruiken om hun product te verbeteren? Wat is volgens de leerkracht de meerwaarde van het werken met VAL junior ten opzichte van een meer traditionele wijze van (formeel) leren? 2.2 Onderzoeksopzet en populatie Het onderzoek is uitgevoerd in twee onderzoeksperiodes. Aanvankelijk bestond de opzet van het onderzoek uit één periode van dataverzameling (deelstudie 1), analyses en interviews. Bij de analyse van de resultaten bleek dat leerlingen moeite hadden met de complexiteit van VAL junior en dat de frequenties en de kwaliteit van leervragen, antwoorden en feedback zo minimaal waren, dat hierover nauwelijks uitspraken gedaan konden worden. In overleg met Kennisnet, de ontwikkelaar van VAL junior en de leerkracht is besloten tot een wijziging in de aanpak van VAL junior en aansluitend daarop een tweede ronde van dataverzameling (deelstudie 2). Beide deelstudies omvatten zowel een stuk kwantitatief onderzoek als een stuk kwalitatief onderzoek. Het kwantitatieve onderzoek betreft de analyse van de in de VLC beschikbare gegevens van alle leerlingen uit de betrokken klas. Alle leervragen, antwoorden, feedback en producten die zij gedurende de deelstudies hebben ontwikkeld zijn meegenomen in deze analyses. Het tweede deel van beide deelstudies bestaat uit een interview met de leerkracht en interviews met in totaal veertien leerlingen, zeven uit groep 7 en zeven uit groep 8.

10 10 Leren met VAL Junior Participanten Het onderzoek is uitgevoerd bij leerlingen van groep 7/8 van een basisschool in het zuiden van Nederland. Het gaat om een combinatieklas, waar twaalf leerlingen vanuit groep 7 zitten en dertien leerlingen vanuit groep 8. Er is één leerkracht betrokken bij de uitvoering van VAL junior in deze combinatieklas. De leerkracht benoemt over de betrokken leerlingen dat zij een relatief laag (taal)niveau hebben; op één na hebben alle leerlingen vmbo TL advies. In het schooljaar 2010/2011 hebben deze leerlingen voor het eerst gewerkt met VAL junior. De leerlingen hebben de basismodule van VAL junior doorlopen en vervolgens een inhoudelijke module Op reis door Suriname. In de basismodule staat het leren werken met de virtuele leeromgeving en het uitvoeren van VAL junior leeractiviteiten centraal. De leeropdrachten zorgen ervoor dat de leerlingen stapsgewijs kennismaken met de virtuele leeromgeving: inloggen, profielinformatie invullen, lezen en herkennen van de structuur van leeropdrachten, plaatsen van leerproducten in het portfolio. Tijdens de basismodule wordt in groepsbijeenkomsten met de leerkracht aandacht besteedt aan onderwerpen rondom mediawijsheid. Methode In de inhoudelijke module maken de leerlingen leerproducten die na negen weken het eindproduct een weblog vormen. Ze maken deze weblog voor Jason, die zogenaamd bij zijn familie op bezoek gaat in Suriname en zich vooraf wil voorbereiden en laten informeren over het land. Ze verdiepen zich in het weer en het klimaat van Suriname en maken een kledingadvies. Ze verzamelen wetenswaardigheden over het land en schrijven informatieteksten over verschillende bevolkingsgroepen in Suriname. In andere leerproducten wordt aandacht besteed aan nationale feestdagen, het landschap, het Topisch Regenwoud en de aanwezige flora en fauna in Suriname. Daarnaast wordt gewerkt aan de VAL junior leerdoelen (o.a. het geven van tips, het stellen van leervragen en het verbeteren van leerproducten) en wordt op de voortgang daarvan gereflecteerd tijdens de groepsbijeenkomsten. Dataverzameling en analyse Alle leervragen, antwoorden en feedback van de leerlingen zijn per leerling geregistreerd binnen de virtuele leeromgeving van VAL junior (de VLC). Met behulp van deze registratie is een kwantitatief databestand opgebouwd. Vervolgens zijn de leervragen, antwoorden en feedback gescoord door de leerkracht en de onderzoeker met behulp van het beoordelingskader (bijlage 2). Zij hebben dit onafhankelijk van elkaar gedaan. De onderzoeker heeft beide scores met elkaar vergeleken. De onderzoeker en de leerkracht hebben van elkaar afwijkende scores met elkaar besproken en zijn tot een gemeenschappelijk oordeel gekomen. De kwantitatieve gegevens uit de VLC hebben ten grondslag gelegen aan de paragrafen in de beschrijvingen die ingaan op de analyse. Semigestructureerde interviews Nadat de leerlingen tien weken aan de module 'Frankrijk' (deelstudie 1) hadden ge-

11 IVA beleidsonderzoek en advies 11 werkt, zijn interviews uitgevoerd met veertien leerlingen uit groep 7/8 en de leerkracht. De leerlingen zijn geselecteerd op grond van de registratiegegevens. Er zijn drie groepen leerlingen geselecteerd: (1) leerlingen met veel leervragen, antwoorden en feedback, (2) leerlingen met zeer weinig leervragen, antwoorden en feedback en (3) leerlingen die tussen beide groepen in zitten. Deze indeling is gemaakt op basis van het gemiddeld aantal leervragen, antwoorden en feedback dat door de leerlingen in deze klas is gegeven gedurende de eerste deelstudie. In de tweede deelstudie zijn dezelfde leerlingen geïnterviewd. De informatie uit de interviews is benut voor de paragrafen waarin de reflectie op de analyse is beschreven. 2.3 Onderzoeksinstrumenten Bij het onderzoek zijn de volgende onderzoeksinstrumenten gebruikt: een beoordelingskader voor de analyse van leervragen, feedback en de producten van de leerlingen en de leidraden voor de interviews met leerlingen en leerkracht. Beoordelingskader voor data Ter voorbereiding op het onderzoek hebben de onderzoekers, Innofun en de leerkracht gezamenlijk de begrippen 'kwalitatief goede leervragen', 'kwalitatief goede feedback' en 'verbetering eindproduct' nader geoperationaliseerd en op basis hiervan een beoordelingskader ontwikkeld waarmee de kwaliteit van de leervragen, antwoorden, feedback en producten is bepaald. Bij de ontwikkeling van het beoordelingskader zijn de volgende uitgangspunten gehanteerd: Aansluiten bij de uitgangspunten en beoordelingsmethodiek van VAL junior; Bij de beoordeling van producten moet nagegaan worden in welke mate producten voldoen aan de eisen die in de leeropdrachten van VAL junior aan producten gesteld worden; Aansluiten bij de praktijk van de leerkracht; Het kader moet een zo veel mogelijk eenduidige beoordeling door de leerkracht mogelijk maken. Het beoordelingskader kent met betrekking tot leervragen, antwoorden en feedback meer precisie dan de beoordelingsystematiek van VAL junior. Onderstaand is de voor dit onderzoek gebruikte indeling weergegeven. Voor de leervragen is een indeling ontwikkeld naar de aard van de vraag, namelijk technische vragen, vragen gericht op het proces en vragen gericht op kennis. De vragen gericht op het proces zijn onderverdeeld in vragen gericht op het proces binnen VAL junior, het proces van de leeropdracht en het proces met betrekking tot het zoeken van bronnen. In de denkwijze van VAL is er een hiërarchie in de kwaliteit van leervragen, waarbij vragen gericht op kennisontwikkeling (vooral inhoud en bronnen) gezien worden als kwalitatief goede vragen.

12 12 Leren met VAL Junior Wat betreft de antwoorden is er een indeling gekozen met onderscheid naar een wedervraag over de vraag, concrete richtlijnen voor technische of procesgerichte problemen, het aandragen van kennis, verwijzen naar een ander voorbeeld of een niet zinvol of fout antwoord. Ook hierbij is in de zienswijze van VAL zijn alle antwoorden die bijdragen aan kennisontwikkeling kwalitatief goed. Dit betekent dat antwoorden waarin (nieuwe) kennis wordt aangedragen en antwoorden die concrete richtlijnen bevatten kwalitatief goed zijn. Voor de analyse van de feedback is een indeling gemaakt naar mening, een mening met uitleg, een vraag, een (niet concreet bruikbare) suggestie voor verbetering, een concreet bruikbare suggestie voor verbetering en nieuwe informatie (van een externe bron). Hierbij is sprake van een gradatie in kwaliteit. Feedback die alleen een mening bevat is kwalitatief het minst goed en feedback waarin bruikbare suggesties worden gedaan of nieuwe informatie wordt aangedragen is kwalitatief het best. Per deelstudie zijn van de categorieën die voorkwamen in het databestand voorbeelden gegeven in de paragrafen over de analyse. Semigestructureerde interviews De interviews die onderdeel uitmaken van zowel deelstudie 1 als deelstudie 2, zijn gehouden aan de hand van een gestructureerde interviewleidraad. De thema s die bij deze interviews aan de orde zijn gekomen zijn bijgevoegd in bijlage 3. Responsgegevens De verzamelde gegevens uit de VLC met betrekking tot leervragen, antwoorden, feedback en producten heeft betrekking op alle leerlingen die binnen de VLC aan VAL junior hebben gewerkt. De interviews zijn gehouden met veertien van deze leerlingen (zeven uit groep 7 en zeven uit groep 8). Besloten is om voor de tweede deelstudie dezelfde groep leerlingen te interviewen als tijdens deelstudie 1, zodat nagegaan kon worden of deze leerlingen hun opvattingen hebben aangepast. De leerlingen die hebben deelgenomen aan de interviews, zijn geselecteerd op basis van hoe actief ze waren in de digitale leeromgeving gedurende deelstudie 1 (zie het einde van paragraaf 3.5), waarbij zowel actieve als niet actieve leerlingen hebben deelgenomen aan de interviews. In het volgende hoofdstuk worden de vormgeving van VAL junior en resultaten van deelstudie 1 weergegeven, gevolgd door een hoofdstuk met betrekking tot de vormgeving van VAL junior tijdens deelstudie 2 en de hieraan gerelateerde uitkomsten.

13 IVA beleidsonderzoek en advies 13 3 Deelstudie 1 "Frankrijk" In het najaar van 2011 hebben de leerlingen uit groep 7/8 gedurende tien weken gewerkt aan de module 'Frankrijk'. Dit hoofdstuk bevat de beschrijving van de vormgeving van VAL junior tijdens deelstudie 1, gevolgd door de analyse van gegevens uit de VLC en de reflectie op deze gegevens, die op basis van de interviews is geformuleerd. In dit hoofdstuk is er bij de analyses van de gegevens achtereenvolgens aandacht voor de leervragen, de antwoorden, de feedback en de producten die de leerlingen hebben aangepast en de kwaliteit van deze producten. Daarna wordt ingegaan op de visie van de leerkracht ten aanzien van de meerwaarde van VAL junior ten opzichte van de vorige onderwijsmethode die de leerkracht heeft benut voor wereldoriëntatie. Tot slot worden de belangrijkste resultaten samengevat. 3.1 Inzet VAL junior in deelstudie 1: module 'Frankrijk' Bij de beschrijving van de manier waarop VAL junior is ingezet tijdens deelstudie 1, is er aandacht voor de leeropdrachten en de rol van de leerlingen en leerkracht. Daarbij ligt de focus op de gehanteerde werkwijze gedurende deelstudie 1. Leeropdrachten De module 'Frankrijk' telt in totaal achttien opdrachten. De leeropdrachten variëren in moeilijkheidsgraad. Dit wordt aangegeven in de vorm van sterren. Opdrachten met één ster zijn het makkelijkst, opdrachten met drie sterren het moeilijkst. Er zijn drie opdrachten met één ster, acht opdrachten met twee sterren, vier opdrachten met drie sterren en drie opdrachten waarin leerlingen zichzelf moeten beoordelen. De leeropdrachten zijn opgebouwd uit de volgende componenten: Korte introductie op de opdracht; Leerpad: omschrijving van de stappen die de leerlingen moet zetten. Hierin zitten ook de eisen ten aanzien van het product verweven. Deze eisen kunnen betrekking hebben op de inhoud (wat moet er in staan), de opmaak (hoe de informatie gepresenteerd moet worden en of er tekeningen / afbeeldingen in moeten staan). Het leerpad kan ook inhouden dat de leerling zichzelf moet beoordelen. Per leerdoel geeft de leerling aan in welke mate hij dit kan. De leerling moet dit op drie momenten doen; Leerproduct: omschrijving van het op te leveren product. Soms staan hierin opnieuw de eisen waaraan het product moet voldoen; Samen leren: omschrijving van de stappen die de leerling kan zetten om samen te leren. Bijvoorbeeld: "als je een vraag hebt, stel die dan bij leervragen" of "bekijk 2 andere begrippenlijsten en geef tips"; Informatie: verwijzingen naar te gebruiken VLC documenten, websites of andere bronnen;

14 14 Leren met VAL Junior Topwerk: opdracht om het eigen product te verbeteren met de tips van anderen, het product in het portfolio te plaatsen en voor te dragen bij Topwerk en/of om in Topwerk de producten van anderen waarderen; Productbespreking: tip om in de agenda te kijken wanneer de volgende productbespreking plaatsvindt; Enkele tips, stimulerende opmerkingen. Topwerk was niet verplicht voor de leerlingen en de Etalage (zie figuur 1) is niet benut. In totaal kunnen de leerlingen vijftien leerproducten maken, zoals een begrippenlijst over Frankrijk, een reisplan, informatiepagina, een stripverhaal, een tijdsbalk en een website. Onderstaand ter illustratie een voorbeeld van een opdracht van Frankrijk : Figuur 2: Een opdracht bij het thema Frankrijk Rol van de leerlingen Na de introductie zijn de leerlingen zelfstandig aan de slag gegaan met de oriëntatieopdracht (een begrippenlijst over Frankrijk). Pas nadat ze deze opdracht gemaakt hadden, mochten de leerlingen zelf bepalen welke opdrachten ze gingen maken, met als enige beperking dat niet alle opdrachten aan het begin van de periode al beschikbaar waren. De leerkracht heeft het aantal opdrachten waaruit leerlingen konden kiezen bewust ingeperkt, zodat "het iets overzichtelijker wordt voor de kinderen". Bovendien was er voor bepaalde opdrachten wel een vaste volgorde (de opdrachten

15 IVA beleidsonderzoek en advies 15 die betrekking hadden op de geschiedenis zijn genummerd en moeten de kinderen ook in die volgorde maken). Tot slot geeft de leerkracht ook aan wanneer de leerlingen een bepaalde opdracht af moeten hebben. Rol van de leerkracht De leerkracht heeft de leerlingen regelmatig gestimuleerd om leervragen te stellen, leervragen te beantwoorden en tips te geven. Dat heeft de leerkracht zowel tijdens de groepsbesprekingen, als in de VLC gedaan. "Dan zeg ik dat er bijvoorbeeld weinig tips zijn gegeven op een product, dat het mij opvalt dat er weinig leervragen worden gesteld". De leerkracht constateert dat deze groep leerlingen elkaar het liefst mondeling vragen stelt, maar dat hij gezegd heeft dat dit niet mag. Desondanks ziet hij dat de leerlingen mondeling met elkaar overleggen. De leerlingen mochten ook geen leervragen stellen aan de leerkracht. Indien nodig geeft de leerkracht in de VLC een antwoord op de vraag (dit is overigens nauwelijks voorgekomen). Daarnaast besteedt de leerkracht één keer per week aandacht aan de kwaliteit van de leervragen. Hij bespreekt de leervragen die de leerlingen gesteld hebben. Hij geeft van bepaalde leervragen aan dat het goede leervragen zijn en waarom dat zo is. Hij laat als voorbeeld ook een aantal slechte leervragen zien en kijkt dan samen met de leerlingen hoe die vragen beter te stellen zijn. De leerkracht besteedt ook aandacht aan de kwaliteit van de feedback. Hij geeft de leerlingen het volgende advies: " Benoem altijd iets van je goed vindt en benoem ook wat je niet goed vindt. Geef zo duidelijk mogelijk aan wat iemand nog meer kan doen (zo concreet mogelijk)". De leerkracht heeft hieraan minder aandacht besteed dan aan de leervragen. In drie à vier groepsbijeenkomsten is hij hierop ingegaan. Volgens de leerkracht is het heel moeilijk voor de leerlingen om dingen die zijn afgesproken toe passen of regels goed te onthouden."dat heeft continu herhaling nodig. En ook wel eens voordoen." Hierboven is al ingegaan op de rol van de leerkracht bij het stellen van leervragen en geven van tips. De leerkracht biedt daarnaast de volgende begeleiding: Aangeven wanneer een opdracht af moet zijn (planning); Stimuleren dat leerlingen terugkijken naar de eisen van de opdracht. Volgens de leerkracht doen de leerlingen dit nog te weinig. Hij heeft dit met ze besproken aan de hand van de opdracht over Versailles. Leerlingen moesten daar hun eigen mening over het paleis geven, maar gingen in plaats daarvan informatie over het paleis geven die zij van het internet haalden; Bespreken van producten: De leerkracht bespreekt "goede" producten. Zo heeft hij bijvoorbeeld een product besproken dat door de leerlingen hoog beoordeeld werd, maar dat niet voldeed aan de eisen van de opdracht. Hij doet bij één product voor hoe hij te werk gaat bij de beoordeling: kijken of het product voldoet aan de eisen (opmaak, taal, informatie). En vervolgens beoordeelt hij twee producten samen met de leerlingen. Op deze wijze heeft hij tien producten besproken;

16 16 Leren met VAL Junior Ontwijkend gedrag bespreken met leerlingen: Een van de leerlingen frustreerde het proces in VAL junior door steeds negatieve feedback te geven. De leerkracht heeft dit met deze leerling besproken. 3.2 Analyse van de leervragen Tijdens het werken aan de module Frankrijk hebben acht leerlingen in totaal 17 leervragen gesteld. Het aantal vragen dat zij stellen varieert van één tot vijf. Het merendeel van de leerlingen (17) heeft in de tien weken geen enkele leervraag gesteld. Aard van de leervragen De vragen zijn gecategoriseerd volgens het beoordelingskader (bijlage 2), dat is gebaseerd op de driedeling die de ontwikkelaar gebruikt voor leervragen, namelijk gericht op het proces of op kennis/inhoud en technische leervragen. De enige categorie uit het beoordelingskader die niet voorkwam, is de categorie gericht op het proces binnen VAL junior. Van de andere categorieën staan voorbeelden in onderstaand kader. De teksten van leerlingen zijn ongecensureerd overgenomen. Voorbeeld leervraag gericht op het proces van de leeropdracht "Hallo allemaal, ik snap de opdracht van de Berg niet wat je moet doen kan iemand me helpen bij die opdracht. Alvast bedankt" Voorbeeld leervraag gericht op het proces van brongebruik "Hallo allemaal, ik weet niet waar ik een plattegrond van west-europa kan vinden, ik hoop dat jullie mij kunnen helpen. Met vriendelijk groet" Voorbeeld van een technische leervraag Hallo allemaal hoe doe je een e met puntjes erop Voorbeeld leervraag gericht op kennis "Hallo allemaal ik heb een vraag en die is: weten jullie hoe je het woord intergouvernementele eenvoudiger kunt maken?" Onderstaande tabel geeft weer hoeveel leervragen er per categorie zijn gesteld: Tabel 3.1 Aard van leervragen deelstudie 1 Frankrijk Aard van de leervraag Aantal Percentage Het proces binnen VAL junior 0 0 Het proces van de leeropdracht 3 18% Het proces van brongebruik 4 24% Technische vragen 8 47% Vragen naar kennis / inhoud 2 12% Totaal %

17 IVA beleidsonderzoek en advies 17 De leerlingen stellen vooral technische leervragen, die betrekking hebben op de werking van de computerprogramma s Word, Powerpoint, internet en VAL junior. Ze willen weten hoe ze een plaatje in Word kunnen zetten, een mooie achtergrond kunnen maken, puntjes op de -e kunnen zetten of een opdracht in Topwerk kunnen plaatsen/vinden. Daarnaast stellen de leerlingen ook enkele vragen die betrekking hebben op het proces. Het kan daarbij gaan om vragen waar zij bepaalde informatie kunnen vinden (proces bron) of vragen om nadere uitleg van de leeropdracht in VAL junior (proces leeropdracht). De leerlingen stellen nauwelijks vragen die gericht zijn op het verwerven van aanvullende kennis of informatie, terwijl dit type vraag in VAL junior juist wordt beschouwd als meest belangrijk in relatie tot kennisconstructie. In totaal worden er in deze periode twee min of meer kennisgerichte vragen gesteld. 3.3 Reflectie op leervragen deelstudie 1 Het aantal leervragen dat de leerlingen hebben gesteld, valt de leerkracht tegen. De verwachting voorafgaan aan het onderzoek was dat alle leerlingen bij iedere opdracht wel een vraag zouden hebben. Deze verwachting is gebaseerd op het aantal vragen dat de leerlingen normaliter in de klas aan de leerkracht stelden. Indien alle leerlingen bij iedere opdracht een vraag zouden hebben, dan zouden er ongeveer 250 leervragen zijn gesteld. Leerlingen noemen verschillende redenen om geen leervragen te stellen, namelijk de wachttijd, het gebrek aan vertrouwen in de antwoorden, het schriftelijke aspect en het feit dat leerlingen dan liever iets zelf uitzoeken. De belangrijkste reden dat leerlingen nauwelijks leervragen stellen is dat zij te lang moeten wachten (soms wel een week) op een antwoord en ze er dan voor kiezen om met iets anders aan de slag te gaan of zelf een oplossing te bedenken. De helft van de geïnterviewde leerlingen noemt dit aspect als reden waarom zij en andere kinderen geen leervragen stellen. Het feit dat er soms gedurende een hele week geen antwoord wordt gegeven op een vraag, heeft weer te maken met het feit dat de leerlingen voornamelijk met het maken van eigen producten bezig zijn; Leerlingen stellen soms geen vragen, omdat ze denken dat andere kinderen daar het antwoord ook niet op weten. Sommige leerlingen stellen vragen daarom het liefst aan de leerkracht. Eén leerling benoemt dat in groep 6 de juffrouw antwoorden gaf en ze daarom toen wel leervragen stelde; Er zijn leerlingen die vragen liever mondeling stellen. Daar komt bij dat veel leerlingen het lastig vinden om via de VLC leervragen te stellen (typen) omdat ze het lastig vinden zichzelf goed uit te drukken en bang zijn dat andere kinderen hun vragen niet begrijpen. De leerkracht beaamt dat het taalniveau van de leerlingen niet hoog is en zij echt moeite hebben met het formuleren van leervragen.

18 18 Leren met VAL Junior Er zijn leerlingen die liever eerst zelf informatie opzoeken op internet die hen verder helpt. Bovendien lezen sommige de leerlingen opdrachten nog een keer na als ze het niet snappen, of kiezen eerder een andere opdracht die ze snappen om mee verder te gaan, dan dat ze een leervraag stellen. 3.4 Analyse van de antwoorden op leervragen In onderstaand kader is een weergave van de categorisering van de antwoorden weergegeven met per categorie een voorbeeld uit deelstudie 1: Voorbeeld van een wedervraag over de vraag Vraag: Hallo allemaal ik heb een vraag,ik een wepsites gevonden maar ik kan niks kopieeren kunnen mij alsjeblieft tips geven Antwoord: " wat wil je kopiëren want het is allemaal anders Voorbeeld van een concrete richtlijn op een technische vraag Vraag: Ik heb een vraag ik heb in word een begrippenlijst en ik wil er plaatjes bij maar ik weet niet hoe dat moet en als ik het probeer dan komt het op de hele achtergrond kunnen jullie mij helpen groetjes (...) alvast bedankt Antwoord: "Je moet op het plaatje klikken. En dan moet je het plaatje slepen naar Word. En dan laat je het los op de plaats waar je het wilt hebben." Voorbeeld van een concrete richtlijn op een procesgerichte vraag Vraag: hallo dames en heren,ik snap opdracht 1 niet kan iemand me helpen alvast bedankt, veel groeten (...) Antwoord: " hallo (...), je moet naar google dan typ je franse begrippen en dan moet je een pen en kladblok paken en dan schrijf je het over of kopier maar dat kan helaas niet doei" Voorbeeld van het verwijzen naar een ander voorbeeld Vraag: Wie weet waar je informatie vindt over wijnbouw in Frankrijk. Antwoord: " bijv: op wikki kids Bovenstaande categorieën geven een beeld van de kwaliteit van het antwoord. Antwoorden waarin bruikbare richtlijnen worden gegeven voor opmaak en techniek en antwoorden waarin kennis worden aangedragen worden beschouwd als kwalitatief goed. Waarbij aangedragen kennis nog wat hoger wordt gewaardeerd. Alleen foute of niet bruikbare antwoorden hebben geen kwaliteit. Uit de analyse van de antwoorden blijkt dat de leerlingen vooral antwoorden geven die concrete en bruikbare richtlijnen bieden om een technisch of procesmatig probleem op te lossen (zie tabel 3.3). Dit sluit aan op de gestelde technische of procesmatige vragen. Twee keer wordt gevraagd om een nadere verduidelijking van een gestelde vraag, die niet eenduidig te beantwoorden was. Geen van de leerlingen

19 IVA beleidsonderzoek en advies 19 draagt bruikbare kennis of inhoud aan in een antwoord op een leervraag. Er zijn echter ook nauwelijks leervragen naar kennis/inhoud gesteld. Tabel 3.2 Aard van antwoorden deelstudie 1 "Frankrijk" Aard van het antwoord Aantal antwoorden Percentage Nadere informatie over de vraag 2 11% Concrete en bruikbare richtlijnen om een 16 84% technisch/proces probleem op te lossen Aandragen van bruikbare kennis/inhoud 0 0% Verwijzen naar een ander voorbeeld (bijv. bron) 1 5% Niet zinvol/niet bruikbaar 0 0% Totaal % Variatie in activiteit van leerlingen Uit de gegevens blijkt dat acht leerlingen leervragen stellen en negen leerlingen leervragen beantwoorden. Met betrekking tot het al dan niet stellen en beantwoorden van leervragen kunnen we de volgende typen leerlingen onderscheiden: Leerlingen die leervragen stellen en beantwoorden (3 leerlingen); Leerlingen die alleen leervragen stellen, niet beantwoorden (5 leerlingen); Leerlingen die alleen leervragen beantwoorden, niet stellen (6 leerlingen); Leerlingen die geen leervragen stellen en beantwoorden (11 leerlingen). Bijna de helft van de leerlingen (44%) stelt geen leervragen en geeft geen antwoorden. Een heel klein aantal leerlingen (12%) stelt leervragen en beantwoord deze. Op het gebied van het stellen en beantwoorden van leervragen zijn de leerlingen nauwelijks actief binnen VAL junior. 3.5 Reflectie op antwoorden deelstudie 1 Volgens de leerkracht is het formuleren van een juist antwoord voor de leerlingen net zo moeilijk als het formuleren van een goede leervraag. Leerlingen geven tijdens de interviews aan dat zij niet het verkeerde antwoord willen geven en vragen alleen beantwoorden als zij het goede antwoord weten. Deze vragen, die vaak betrekking hebben op concrete zaken, zoals Hoe moet je puntjes op de e zetten? krijgen wel een antwoord en de lastigere vragen, waar niemand het goede antwoord op weet, of die onduidelijk zijn, blijven vaak langer onbeantwoord. Uiteindelijk zijn de meeste vragen beantwoord en daarover is de leerkracht wel tevreden. Daarbij maakt hij wel de kanttekening dat de kwaliteit van de antwoorden hierbij buiten beschouwing is gelaten en er ook vrijwel altijd maar één antwoord is gegeven op een vraag.

20 20 Leren met VAL Junior 3.6 Analyse van feedback Op basis van de gegevens uit de VLC blijkt dat er in deelstudie 1 door de leerlingen in totaal 180 keer feedback is gegeven. Daarvan is 29 keer gereageerd op een tip, bijvoorbeeld Oke, ik ga het verbeteren of Nee, ik heb het niet gekopieerd. Daarnaast zijn er aanvullingen gegeven op eerdere reacties, zoals Ow, ik dag alleen die eerste dia en beschreven technische problemen Ik zie helemaal niks het is grijs. Deze zijn niet meegenomen in de analyses van feedback, omdat alleen de feedback op producten is meegenomen. De leerlingen hebben 151 keer feedback gegeven op de producten. Van de 25 leerlingen hebben 21 leerlingen feedback gegeven op producten, dat is 84% van de leerlingen. Aard van de feedback Leerlingen kunnen verschillende soorten feedback geven. Hierbij is sprake van een gradatie (zie paragraaf 2.3), variërend van het geven van een mening (laagste vorm) tot het geven van een concreet bruikbare suggestie voor verbetering en het aanreiken van nieuwe informatie (hoogste vorm). Voorbeeld van mening " de oprdacht is wel heel goed en echt alles is over frankrijk" Voorbeeld van mening en uitleg Hallo (...), Het is een goed Product en leuke plaatjes alleen by Dia Kan ik sommige stukjes niet goed lezen naar dan moet ik er met me muis overheen goed Product (..). Voorbeeld van een vraag over de criteria van de opdracht "hallo(...), ik vind dat je het goed gedaan hebt! alleen is het franse producten bij mij thuis. ik had ook in nederland maar dat is fout..groetjes (...). Voorbeeld van een (niet concrete) suggestie voor verbetering (opmaak) hallo (...),heel leuk maar de opmaak is een beetje mislukt ja kan je dat verbeteren dan is het prima Voorbeeld van een concreet bruikbare suggestie voor verbetering (opmaak) Hoi (...) ik vind je infomatie goed maar je kon nog een foto opzetten hoe het huis er van binnen ziet als je die kon vinden In onderstaande tabel staan de verschillende vormen van gegeven feedback met de percentages per categorie van het totaal aantal keer dat er feedback is gegeven tijdens deelstudie 1.

21 IVA beleidsonderzoek en advies 21 Tabel 3.3 Feedback deelstudie 1 Frankrijk Aard feedback Aantal Percentage Mening 53 35% Mening + uitleg mening 22 15% Vraag bron 6 4% Vraag criteria opdracht 6 4% Vraag aanpak 0 0% Suggestie voor verbetering opmaak 21 14% Suggestie voor verbetering taal 8 5% Suggestie voor verbetering inhoud 17 11% Concreet bruikbare suggestie voor verbetering opmaak 4 3% Concreet bruikbare suggestie voor verbetering taal 5 3% Concreet bruikbare suggestie voor verbetering inhoud 10 7% Suggestie voor nieuwe informatie, afkomstig van externe bron 0 0% Totaal % De laagste vorm van feedback (mening geven) komt het meest voor. Van de gegeven feedback is 50% een mening. Leerlingen geven aan dat zij een product waarderen of uiten kritiek. Meestal is wordt alleen de mening gegeven, maar soms wordt deze ook nader uitgelegd. Enkele voorbeelden van meningen zijn "dit is wel weinig, weinig weinig" en "Het is mooi, je hoeft niks te verbeteren" en "De 1 e dia was goed alleen de 2 e had er niet zo heel veel mee te maken, maar ik vind dat je het heel goed hebt gedaan". De daarop volgende vorm van feedback (het stellen van een vraag) komt veel minder vaak voor. Van de gegeven feedback is 8% een vraag. Deze kan betrekking hebben op de bron waar de informatie van afkomstig is ("hoe heb jij die achtergrond gevonden, want die wil ik namelijk ook") of de criteria van de opdracht ("je moest 7 dingen doen" of "je moest een brief maken"). Een vorm van feedback die verder gaat dan de voorgaande vormen is het geven van een suggestie voor verbetering. Echter de suggesties voor verbetering zijn niet altijd concreet bruikbaar. Van de gegeven feedback is 30% een niet concreet bruikbare suggestie voor verbetering en 13% een concreet bruikbare suggestie voor verbetering. Niet concreet bruikbare suggesties voor verbetering hebben vooral betrekking op de opmaak en de inhoud en in veel mindere mate op de spelling. Met betrekking tot de opmaak geven leerlingen aan dat er meer of andere plaatjes bij zouden kunnen, een andere achtergrond of een andere kleur. Suggesties tot verbetering van de inhoud hebben vooral betrekking op de hoeveelheid informatie. Leerlingen suggereren dat er

22 22 Leren met VAL Junior meer informatie in het product zou kunnen staan, maar geven niet aan welke informatie zij missen. Suggesties gericht op taal betreffen vooral de constatering dat er spelfouten in het product staan, maar niet welke spelfouten het betreft en hoe die verbeterd kunnen worden. Van de gegeven feedback is 13% een concreet bruikbare tip. Deze hebben vooral betrekking op de inhoud en in mindere mate op de opmaak of de spelling. Voorbeelden van concreet bruikbare suggesties zijn: "Het is goed,maar er staat niet hoe je naar Parijs gaat" en "je moet ook wel uitlegen hoelang het duurt en hoe je er heen gaat en hoe ver het is". Concreet bruikbare suggesties voor de verbetering van de opmaak hebben vaak betrekking op een soort plaatje of foto, die de leerling aan het product kan toevoegen ("een foto van een huis van binnen"). De concreet bruikbare suggesties voor verbetering op het gebied van taal gaan over de verbetering van een specifieke spellingfout ("Frankrijk moet met een hoofdletter"). De bruikbaarheid van feedback neemt toe naar mate deze concretere aanknopingspunten biedt voor verbetering van zowel opmaak, taal als inhoud. Het grootste deel van de feedback is een mening, een vraag/suggestie of niet concreet bruikbare suggestie voor verbetering. Deze feedback bevat weinig of geen concrete aanknopingspunten op basis waarvan leerlingen hun product dan kunnen aanpassen. Slechtst 13% van de gegevens tips is goede kwaliteit, omdat het een tip is die andere leerlingen een handvat biedt om hun product te verbeteren. 3.7 Reflectie op feedback deelstudie 1 Uit de kwantitatieve gegevens blijkt dat leerlingen veel actiever zijn in het geven van tips. In totaal hebben ze elkaar 151 keer een tip gegeven op een eerste versie van een product. De leerkracht heeft het idee dat leerlingen elkaar graag tips geven, hoewel wederom de kwaliteit en bruikbaarheid van deze tips te wensen overlaat. Volgens de leerkracht zijn er wel tips met een suggestie voor verbetering, maar deze zijn vaak niet concreet genoeg. Verder waren het vooral positieve meningen, of tips over de lay-out of spelfouten. Dit komt volgens de leerkracht vanwege het feit dat de leerlingen niet goed onder woorden kunnen brengen wat ze precies bedoelen, wanneer ze het in de VLC moeten opschrijven. Bovendien vinden de leerlingen de opmaak erg belangrijk en vaak zelfs belangrijker dan de inhoud. Er zijn volgens de leerkracht dan ook vrijwel geen tips die betrekking hebben op de mate waarin een opdracht aan de eisen van de opdracht voldoet. Er bestaan volgens de leerkracht behoorlijke verschillen tussen leerlingen wat betreft de hoeveelheid gegeven en ontvangen tips. Volgens de leerkracht is er een bepaald groepje vriendinnen dat elkaar vooral tips geeft en daarnaast is er een groepje leerlingen met een wat hoger niveau dan de rest van de klas, zij hebben de meeste en beste opdrachten gemaakt en geven ook de meeste feedback aan anderen. De leerlingen die wat minder snel zijn, hebben volgens de leerkracht zoveel meer tijd nodig

23 IVA beleidsonderzoek en advies 23 voor het maken van hun producten, dat ze nauwelijks toekomen aan het geven van feedback. Daarnaast is er een leerling die veel negatieve en zinloze feedback gaf op feedback. Hierover heeft de leerkracht met hem gesproken en hij hoopt dat deze leerling zich bij het volgende thema beter gedraagt. Acht van de veertien geïnterviewde leerlingen vindt het goed dat ze elkaar tips kunnen geven. Dit vinden zij omdat ze dan andere leerlingen kunnen helpen en vertellen hoe zij hun product nog kunnen verbeteren. Daarnaast kunnen andere leerlingen hen ook tips geven om hun eigen producten te verbeteren. De leerlingen weten allemaal waar een goede tip uit bestaat, namelijk een compliment en een verbeterpunt, zodat de ontvanger van de tip zijn product aan de hand van de tip ook kan verbeteren. De leerlingen benoemen dat zij vooral tips geven over de opmaak, spelfouten, de informatie en of het product klopt met de opdracht. 3.8 Analyse van aangepaste producten Binnen de module Frankrijk kon elke leerling maximaal 15 producten maken. De volgende analyses geven inzicht in of de leerlingen hun producten verbeteren (aan de hand van ontvangen feedback) en of dit dan ook leidt tot een product dat beter wordt beoordeeld. In het volgende stuk wordt het aantal eerste versies gepresenteerd, waarna wordt ingegaan op de aanpassingen van producten en de daarbij behorende nieuwe beoordeling in relatie tot de beoordeling van de eerste versie (of de tweede versie beter, even goed of slechter is dan de eerste versie van dat product). Bovendien wordt gekeken in hoeverre leerlingen leervragen hebben gesteld over deze producten of tips hebben gekregen op deze producten, om de onderzoeksvragen over het benutten van leervragen en feedback voor de verbetering van producten te beantwoorden. Aantal en kwaliteit producten (eerste versie) In totaal hebben de leerlingen 142 verschillende producten gemaakt (eerste versie). De leerkracht heeft de producten op vier criteria beoordeeld, te weten: De mate waarin het product voldoet aan de eisen van de opdracht; De mate waarin de informatie in het product klopt; De opmaak van het product; De correctheid van het taalgebruik. Per criterium waren vijf scores mogelijk, namelijk voldoet geheel (1), grotendeels (2), deels (3), een beetje (4) of niet (5) aan de eisen van het criterium. In onderstaande tabel zijn de categorieën 1 en 2 samengenomen en de categorieën 4 en 5. Per overgebleven categorie is aangeven hoeveel procent van de door de leerlingen gemaakte producten binnen deze categorie valt.

24 24 Leren met VAL Junior Tabel 3.4 Percentage opdrachten dat per criterium aan de eisen voldoet Criteria Voldoet geheel of grotendeels aan de eisen Voldoet deels aan de eisen Voldoet een beetje of niet aan de eisen Eisen opdracht Informatie klopt Opmaak Taalgebruik Elke opdracht in VAL junior bevat eisen, die opgenomen zijn in de tekst van de opdracht. Iets meer dan een kwart van de producten voldoet geheel of grotendeels aan die eisen, meer dan de helft van de producten voldoet een beetje of niet aan de eisen van de opdracht. Een belangrijk aspect van het werken binnen VAL junior is het construeren van nieuwe kennis. Deze kennis wordt in de vorm van informatie opgenomen in de producten. De beoordeling van de producten wijst uit dat de informatie in iets minder dan de helft van de producten geheel of grotendeels klopt. Echter in 43 procent van de producten is er sprake van informatie die niet of een beetje klopt. Dit kan betekenen dat leerlingen niet kloppende kennis verwerven. Bijna een derde van de producten voldoet geheel of grotendeels aan de criteria voor de opmaak; 47% voldoet hier een beetje of niet aan. Ruim een derde van de producten voldoet geheel of grotendeels aan de criteria voor taalgebruik; de helft voldoet hier een beetje of niet aan. Aantal en kwaliteit eindproducten (tweede versie) Leerlingen kunnen feedback geven op de eerste versies van producten zodat andere leerlingen hun producten daarmee kunnen verbeteren en daar een eindversie van kunnen maken. Op een derde van de eerste versies van producten is geen feedback gegeven. Leerlingen hebben voor die producten dus geen handvatten van andere leerlingen gekregen om hun eerste versie van het product te verbeteren en hier een eindproduct van te maken. Op iets meer dan tweederde (68%) van de eerste versies van producten is wel feedback gegeven. Alle leerlingen die producten hebben gemaakt, hebben op minimaal één eerste versie van een product feedback ontvangen. Vier kinderen hebben op al hun eerste versies van producten feedback gekregen en het aantal producten dat zij hadden varieert van drie tot zes producten. Daarnaast is er een leerling met vijf eerste versies van producten, waarvan één product (20%) feedback heeft ontvangen. Dit is het laagste percentage producten met feedback. Het percentage producten per leerling met feedback varieert dus van 20% tot 100%. Hoewel 97 eerste versies van producten (68%) feedback hebben gekregen, zijn er in totaal 24 eindproducten opgeleverd. Feedback wordt dus niet altijd gebruikt om de eerste versie van het product te veranderen en een eindversie te maken. Dit is niet

25 IVA beleidsonderzoek en advies 25 vreemd gezien het feit dat lang niet alle gegeven feedback hiervoor handvatten biedt. In totaal is iets meer dan één op de zes producten (16%) veranderd, maar leidt verandering ook tot verbetering? In onderstaande tabel zijn alleen de aangepaste producten meegenomen en daarbij is gekeken hoeveel van de aangepaste producten in vergelijking met de eerste versie zijn verbeterd, gelijk gebleven of zelfs zijn verslechterd op de vier eisen waarop de opdrachten zijn beoordeeld. Tabel 3.5 Aangepaste producten (N=24) en het resultaat per criterium Criterium % verbeterd % gelijk % verslechterd Eisen opdracht Informatie klopt Opmaak Taalgebruik Uit bovenstaande tabel blijkt dat verandering van producten nauwelijks leidt tot een verbetering. Bij enkele producten is sprake van een verbetering in de mate waarin het product voldoet aan de eisen van de opdracht, de correctheid van de informatie, de opmaak of het taalgebruik. In totaal hebben de leerlingen 24 producten aangepast. Op 18 van deze producten hebben zij één of meerdere tips ontvangen. De leerlingen hebben zes producten aangepast, zonder dat zij daarop feedback kregen. De leerlingen hebben vier producten aangepast, waarop zij concreet bruikbare feedback hebben ontvangen op de eerste versie van het product. Van deze vier producten is er zelfs één product waarop twee keer concreet bruikbare feedback is gegeven op inhoud. Ondanks de feedback was de aangepaste versie van dit product niet beter dan de eerste versie. Ook twee andere aangepaste producten met concreet bruikbare feedback, zijn niet in kwaliteit toegenomen. Er is in deelstudie 1 één product met concreet bruikbare feedback op opmaak, die qua opmaak ook een hogere beoordeling heeft gekregen. Het is aannemelijk dat voor dit ene product de gegeven bruikbare feedback is benut om de kwaliteit van het product te verbeteren. Van de drie producten die in de eindversie een hogere beoordeling hadden voor het voldoen aan de eisen van de opdracht, is er geen enkele eerste versie waarop feedback is gegeven over de eisen van de opdracht. Van de twee producten die in de eindversie hoger scoren op de beoordeling van de informatie is wat betreft de ontvangen feedback een vraag over de bron gesteld en een suggestie voor de inhoud gegeven op de eerste versies. Van de twee producten die in de eindversie hoger scoren op opmaak, hebben beide producten wel tips gehad met betrekking op opmaak. Het ene product had een suggestie over opmaak en de het andere product een concreet bruikbare suggestie over opmaak ( Hoi (...) ik vind je infomatie goed maar je kon nog een foto opzetten hoe het huis er van binnen ziet als je die kon vinden ). Mogelijk hebben deze tips geleid tot een hogere beoordeling van de aangepaste versie op opmaak. Het enige product dat hoger scoort op taal, heeft geen feedback ontvangen die hierop ingaat.

26 26 Leren met VAL Junior Op basis van bovenstaande analyse is te stellen dat de (concrete) tips met betrekking tot de opmaak bij de eerste versies van producten, hebben geleid tot een verbetering van deze producten op dat beoordelingsaspect. Bovendien blijkt dat een tip over de bronnen of inhoud kan leiden tot een betere beoordeling van de informatie. Op basis waarvan de andere aangepaste producten zijn verbeterd, is niet te achterhalen. 3.9 Reflectie op aangepaste producten deelstudie 1 Iets meer dan een kwart van het totaal aantal producten voldoet aan de eisen van de opdracht. De meeste producten voldoen hier niet of gedeeltelijk aan. De leerkracht geeft als voorbeeld een opdracht waar de leerlingen hun mening mochten geven over het Paleis van Versailles. De leerlingen gaven geen mening, maar vrijwel alle leerlingen hebben de geschiedenis van het paleis beschreven. Volgens de leerkracht kijken de leerlingen bij het maken van de opdrachten te weinig terug naar wat de opdracht precies inhoudt, waardoor veel producten niet aan de eisen van de opdracht en de informatie voldoen. Bij de beoordeling van producten door leerlingen ziet de leerkracht hetzelfde; er was een product dat totaal niet aan de eisen van de opdracht voldeed, maar dat wel heel hoog door de andere leerlingen is gewaardeerd. Dit heeft volgens de leerkracht voornamelijk te maken met het niveau van de leerlingen, het niveau begrijpend lezen en de woordenschat. Bovendien heeft het volgens de leerkracht met slordigheid te maken en het niet kritisch genoeg terugkijken naar het eigen werk of het werk van anderen. Alle geïnterviewde leerlingen geven aan dat ze wel tevreden zijn over de producten die ze hebben gemaakt. Meestal kunnen ze wel één product noemen waar ze echt tevreden over zijn en een aantal producten waar ze minder tevreden over zijn. Ontevredenheid met producten heeft meestal te maken met het feit dat ze informatie letterlijk hebben gekopieerd van internet en ontevredenheid over hun werk is meestal gekoppeld aan het (geringe) aantal producten dat de leerlingen hebben gemaakt. Het gebruik van de tips ter verbetering van producten is volgens de leerkracht heel beperkt gebeurd. Dit blijkt ook uit de kwantitatieve cijfers. Dit heeft volgens de leerkracht vooral te maken met het feit dat de meeste tips niet inhoudelijk van aard waren en sommige tips zelfs helemaal niet klopten. De leerkracht betreurt het vooral, dat bepaalde producten die niet goed waren, hele goede tips hebben gekregen en dat ondanks dat, deze producten niet (goed) zijn verbeterd. Hier heeft de leerkracht tijdens de klassikale sessies beperkt aandacht aan besteed, omdat eerst de feedback van voldoende niveau moet zijn, voordat het gebruik van de feedback aan de orde kan komen volgens de leerkracht. Iets minder dan de helft van leerlingen geeft aan dat zij een tweede versie van een product hebben gemaakt en meestal hebben zij één of twee producten verbeterd en vrijwel altijd hebben ze dit gedaan op basis van de tips van anderen. De reden die ze aangeven waarom ze niet alle producten hebben verbeterd, is dat ze niet op alle producten feedback hebben ontvangen. De leerlingen die geen producten hebben verbeterd hebben dit vaak niet gedaan vanwege tijdgebrek.

27 IVA beleidsonderzoek en advies Ervaren meerwaarde van VAL junior in deelstudie 1 De leerkracht beschrijft de didactiek van VAL junior als volgt: " dat leerlingen dingen zelf uitzoeken en via de VLC elkaar helpen". Het is volgens de leerkracht niet de bedoeling dat hij de leerlingen te veel helpt: Ik kan overal wel groepsbijeenkomsten voor houden,"(...). Dan is het al bijna instructie en dat is juist niet de bedoeling." De leerkracht denkt dat sociaal constructivistisch leren inhoudt dat leerlingen vooral van elkaar moeten leren en dat zij daarin begeleid worden door de leerkracht. De leerlingen staan volgens de leerkracht wel positief tegenover het leren van elkaar als proces en het elkaar verder helpen. Dat blijkt ook uit de interviews met de leerlingen, maar door de manier waarop dat binnen de VLC is georganiseerd (namelijk digitaal), komt het leren van elkaar in deze klas niet tot nauwelijks van de grond volgens de leerkracht. Hij overweegt om de leerlingen meer structuur in de volgorde van de opdrachten en in de opdrachten zelf te bieden en mogelijk het aantal opdrachten te beperken. Een andere optie die hij overweegt, is het indelen van de groep leerlingen in drie niveaus en de begeleiding op die niveaus af te stemmen. "Je zou het wel in niveaus kunnen opdelen en dan is het mogelijk bepaalde kinderen meer zelfstandig te laten doen, bepaalde kinderen redelijk wat instructie en andere kinderen echt veel instructie". De leerkracht vraagt zich af of het bij deze groep leerlingen wel werkt om "begeleidend' bezig te zijn, passend bij de didactiek van VAL. Of dat het beter is om zich als leerkracht meer "leidend' op te stellen. Volgens de leerkracht zijn het niveau en de voorkennis van de leerlingen duidelijke indicatoren voor het succes van een thema. De voorkennis van leerlingen moet voldoende zijn om van elkaar te kunnen leren. Wanneer er een thema aan de orde komt waar leerlingen nog erg weinig vanaf weten, dan zeggen alle leerlingen volgens de leerkracht wel dat ze veel hebben geleerd, maar dat er beperkt sprake is geweest van het leren van elkaar. Volgens de leerkracht is het dus relevant een thema te kiezen waar de meeste leerlingen al voorkennis van hebben, zodat er sprake kan zijn van het leren van elkaar. De leerkracht is vooral tevreden over de motivatie en inzet van de leerlingen en over het feit dat ze "goed kunnen verwoorden waar het om draait in VAL". Hij leidt dat af uit interviews met leerlingen en filmopnames die zijn gemaakt door Innofun. De volgende punten bemoeilijken volgens de leerkracht het leerproces binnen VAL junior: Te veel opdrachten in relatie tot de beschikbare tijd; Te weinig structuur (voor leerlingen met specifieke problemen, zoals autisme); De eis van de VLC dat leerlingen schriftelijk leervragen stellen; Het (taal)niveau van de leerlingen; Te weinig begeleiding door de leerkracht; Technische problemen met de internetverbinding en te lage snelheid van de laptops.

28 28 Leren met VAL Junior De leerkracht kan niet zeggen of het werken met VAL junior een (positief) effect op het pedagogisch klimaat binnen de klas. Wel stelt hij dat de leerlingen bereid zijn elkaar te helpen. Uit de interviews met de leerlingen blijkt dit ook. Sommige leerlingen focussen daarbij wat meer op het helpen van bevriende leerlingen, maar de meeste leerlingen zeggen dat ze iedereen wel willen helpen. Volgens de leerkracht hebben de leerlingen veel meer begeleiding nodig dan hij ze nu biedt. Hij wijt dit onder meer aan hun algemene niveau en hun taalniveau. Ze weten niet hoe ze een opdracht moeten maken. Ze gaan informatie zoeken maar weten bijvoorbeeld niet hoe ze met die informatie om moeten gaan. Ze kunnen ook niet beoordelen of een product aan de eisen voldoet." De leerkracht begeleidt ze daar niet bij, want "dat is niet de bedoeling, dat moeten ze zelf doen. Ik heb nu het idee dat ik zo veel met ze bespreek dat het meer voordoen en nadoen wordt, dan dat ze het zelf gaan doen. Als ik ze stap voor stap meeneem dan zullen de producten wel beter worden, maar dat is niet de didactiek van VAL." Volgens de leerkracht is de didactiek van VAL "dat leerlingen dingen zelf uitzoeken en via de VLC elkaar helpen. Ik kan overal wel groepsbijeenkomsten voor houden, maar dan is één per onderwerp ook niet genoeg. Dan is het al bijna instructie en dat is juist niet de bedoeling." De leerkracht worstelt met zijn rol. Hij wil de leerlingen veel meer begeleiding bieden, maar weet niet waar te beginnen. De leerkracht heeft niet zo veel begeleiding geboden als nodig zou zijn, "omdat je ook zo veel wilt verbeteren dat het de vraag is waar je gaat beginnen. Dat is een beetje wat ik in deze module heb ervaren. Ik heb wel groepsbijeenkomsten gedaan, maar het is de vraag of dat effect heeft gehad". De leerkracht constateert dat de door hem geboden begeleiding er niet toe heeft geleid dat de leerlingen beter zijn gaan werken in VAL junior. Hij vraagt zich af of hij zich meer moet focussen: "Misschien moet ik me meer concentreren op één aspect". De leerlingen willen volgens de leerkracht liever niet via de VLC werken, omdat ze het lastig vinden schriftelijke leervragen aan elkaar te stellen. Mondeling doen ze dit wel. De leerlingen moesten elkaar wel helpen omdat de leerkracht tijdens het werken aan VAL junior met de andere groep bezig was. De leerkracht wil interventies plegen om de kwaliteit van leervragen en tips te verbeteren. Volgens hem is zijn rol, of de begeleiding die de leerlingen krijgen, cruciaal voor het slagen van een dergelijk onderwijsconcept. In het afgelopen schooljaar konden de leerlingen mondeling vragen stellen aan de leerkracht. Nu was dit niet mogelijk, omdat de leerkracht de groep in tweeën heeft opgesplitst. Op het moment dat het ene deel van de groep in VAL junior werkt, geeft de leerkracht les aan het andere deel van de groep. De leerkracht denkt dat het beter is om wel rond te lopen en ook de verrichtingen van de leerlingen in de VLC te volgen. "Vorig jaar ging ik zelf achter de VLC en dan volgde ik de vragen en berichten en daar reageerde ik ter plekke op als het nodig was. Dan zit je er wat korter op en dat wil ik voortaan wel doen." Bij het werken aan de opdrachten viel het de leerkracht op dat de leerlingen niet voldoende in staat waren zelfstandig met de opdrachten aan de slag te gaan. Niet al-

29 IVA beleidsonderzoek en advies 29 leen deden zich problemen voor in de selectie en het gebruik van informatie op internet, ook bleek dat de leerlingen onvoldoende in staat waren leervragen te stellen, feedback te geven en de producten van andere leerlingen te beoordelen. De leerkracht benoemt tijdens het interview dat hij, volgens de principes van VAL junior, is uitgegaan van het idee dat de leerlingen daar, door interactie op de VLC, gezamenlijk uit zouden moeten komen. Hij heeft zo min mogelijk ingegrepen, omdat instructie en voordoen principes zijn die volgens de leerkracht niet passen bij het concept van VAL junior. Als leerkracht was hij wel geneigd meer uitleg te geven en zaken voor te doen, zeker gezien het volgens de leerkracht relatief lage cognitieve en taalkundige niveau van de leerlingen en de mate waarin ze in staat zijn zelf sturing te geven aan hun leerproces Samenvatting van deelstudie 1 Leervragen stellen Er is tijdens het werken aan de module Frankrijk een beperkt aantal leervragen gesteld en beantwoord door een beperkt aantal leerlingen. Leerlingen zijn op dit gebied weinig actief in de VLC. De gestelde leervragen zijn vooral gericht op de bediening van computerprogramma's en de leeropdrachten binnen VAL junior. Er zijn slechts twee leervragen gesteld over kennis of de inhoud van een opdracht. De kwantiteit en de kwaliteit van de leervragen is laag. De meeste antwoorden op de leervragen zijn bruikbaar; leerlingen kunnen ze in principe gebruiken om technische problemen op te lossen of om de opdrachten in VAL junior beter te begrijpen. Leerlingen stellen beperkt leervragen, omdat ze te lang op een antwoord moeten wachten, het antwoord niet vertrouwen, liever zelf uitzoeken wat ze moeten doen of het lastig vinden om schriftelijk leervragen te stellen. Daarnaast ontbreekt het hen ook aan tijd. Ze zijn zo druk bezig met het maken van hun opdrachten, dat ze niet stil staan bij het stellen en beantwoorden van leervragen en het geven van feedback. Feedback geven De leerlingen geven elkaar regelmatig feedback. Echter het betreft vooral meningen (goed of niet goed gedaan) of niet-concrete suggesties voor verbetering van de inhoud, de taal of de opmaak (meer informatie toevoegen, spelfouten verbeteren, andere achtergrond). Bruikbare concrete suggesties, die leerlingen een handvat bieden om hun product te verbeteren, worden maar weinig gegeven. Volgens de leerkracht ligt de focus van de leerlingen te veel op de opmaak en te weinig op de inhoud van producten. De mate waarin leerlingen in staat zijn om goede feedback te geven en van elkaar te leren is volgens hem afhankelijk van hun niveau en de voorkennis die zij van een thema hebben. Aangepaste producten In totaal hebben de leerlingen 142 eerste versies van producten gemaakt. Op 97 van deze eerste versies van producten (68%) is feedback gegeven. Toch zijn er in totaal slechts 23 eindproducten opgeleverd. Dit betekent dat veel van de producten waarop feedback is ontvangen, niet zijn aangepast. Bovendien zijn er ook producten

30 30 Leren met VAL Junior aangepast, waarop geen feedback is gegeven. Na de analyse van de verbeterde producten en de feedback die daarop is gegeven, blijkt dat er nauwelijks samenhang bestaat tussen de soort feedback die is gegeven en het beoordelingsaspect waarop de eindversie beter scoort. Alleen bij tips over de opmaak scoort de eindversie hoger op opmaak. Bovendien leiden een vraag naar de bronnen en een tip met betrekking tot de inhoud, tot betere informatie in de eindversie van het product. Het gebruik van de tips ter verbetering van producten gebeurt volgens de leerkracht heel beperkt. Dit heeft volgens de leerkracht vooral te maken met het feit dat de meeste tips niet inhoudelijk van aard zijn en sommige tips zelfs helemaal niet kloppen. De feedback moet van voldoende niveau zijn, voordat het gebruik van de feedback aan de orde kan komen volgens de leerkracht. De reden die leerlingen aangeven waarom ze niet alle producten hebben verbeterd, is dat ze niet op alle producten feedback hebben ontvangen. De leerlingen die geen producten hebben verbeterd hebben dit vaak niet gedaan vanwege tijdgebrek.

31 IVA beleidsonderzoek en advies 31 4 Deelstudie 2 Mijn Lijf In het voorjaar van 2012 hebben de leerlingen uit groep 7/8 gedurende tien weken minimaal 2,25 uur per week gewerkt aan de module 'Mijn Lijf'. Dit hoofdstuk start met een beschrijving van de vormgeving van VAL junior tijdens het werken aan deze module, gevolgd door een weergave van de analyse en een reflectie op de analyse die op basis van de interviews is opgesteld. Daarbij wordt achtereenvolgens ingegaan op gestelde leervragen, gegeven antwoorden, feedback en producten. Vervolgens is er wederom een paragraaf met betrekking tot de door de leerkracht ervaren meerwaarde van VAL junior en een samenvatting van deelstudie Inzet VAL junior in deelstudie 2: module 'Mijn Lijf' Innofun heeft op basis van de eerste analyses aangepaste ontwerpprincipes geïmplementeerd in VAL junior voorafgaand aan de vormgeving van deelstudie 2. Eerder werd in een leeropdracht aangestuurd op het hele proces (maken opdracht, stellen leervragen, geven tips, etc.). Nu krijgen de leerlingen veel meer deelopdrachten, dus bijvoorbeeld een aparte opdracht om feedback te geven of een leervraag te stellen. De opdrachten zijn ook genummerd, zodat leerlingen ze in dezelfde volgorde maken. Wat wel overeind blijft is dat leerlingen zelf bepalen "hoe ga ik een product maken". Dit is al uitgewerkt in de module 'Bestuur en NL' (voor groep 7/8) en de module 'Mijn Lijf' (voor groep 5/6). Besloten wordt om in de komende periode te gaan werken met de module 'Mijn Lijf', omdat groep 7/8 dezelfde leerdoelen heeft. Andere wijzigingen in de aanpak in deelronde 2 zijn: De leerlingen maken bij 'Mijn Lijf' minder producten dan bij de module 'Frankrijk'. Innofun heeft een aparte leeropdracht ingebouwd "hoe geef ik feedback". Leerlingen werken tegelijkertijd aan dezelfde opdrachten, zodat ze op zoek zijn naar soortgelijke informatie. Leerlingen mogen met elkaar overleggen en elkaar ook mondeling leervragen stellen, tips geven. Leerlingen worden gestimuleerd om dit overleg na afloop in de leeromgeving te zetten (dus de leervraag en het antwoord, of de tip). Een deel van het groepsgesprek wordt gewijd aan strategie en het toepassen daarvan (feedback geven, leervragen /tips geven). Deze keuze van het onderwerp is afhankelijk van wat er gebeurt / wat de leerlingen doen. De leerkracht gaat een meer modererende rol (in productbesprekingen) vervullen: becommentariëren leervragen (bijvoorbeeld leerling met slechte leervraag stimuleren om betere leervraag te stellen, leerlingen stimuleren om bruikbare antwoorden te geven, etc.). Goed nadenken over de wijze waarop dit kan gebeuren. Leerlingen worden uitgenodigd om meer dan een antwoord op leervragen te geven of meer tips bij één product.

32 32 Leren met VAL Junior Leeropdrachten De module 'Mijn Lijf' telt in totaal vijfentwintig leeropdrachten en zes extra leeropdrachten. De leeropdrachten variëren in moeilijkheidsgraad. Dit wordt aangegeven in de vorm van sterren. Opdrachten met één ster zijn het makkelijkst, opdrachten met drie sterren het moeilijkst. Er zijn twaalf opdrachten met één ster, zeven opdrachten met twee sterren, vier opdrachten met drie sterren en vier opdrachten waarin leerlingen zichzelf moeten toetsen of beoordelen. De leeropdrachten zijn opgebouwd uit de volgende componenten: Korte introductie op de opdracht; Leerpad: omschrijving van de stappen die de leerlingen moet zetten. Hierin zitten ook de eisen ten aanzien van het product verweven. Deze eisen kunnen betrekking hebben op de inhoud (wat moet er in staan), de opmaak (hoe de informatie gepresenteerd moet worden en of er tekeningen / afbeeldingen in moeten staan). Het leerpad kan ook inhouden dat de leerling zichzelf moet beoordelen. Per leerdoel geeft de leerling aan in welke mate hij dit kan. De leerling moet dit op drie momenten doen; Leerproduct: omschrijving van het op te leveren product. Soms staan hierin opnieuw de eisen waaraan het product moet voldoen; Informatie: verwijzen naar te gebruiken VLC documenten, websites of bronnen; Enkele tips, stimulerende opmerkingen. Figuur 3: Een opdracht bij het thema 'Mijn Lijf'