Naam auteur(s) Vakgebied Titel Onderwerp Profiel Opleiding B.P. Verhagen, MA Kunstgeschiedenis/CKV/KuA Profielproduct Erfgoedprogramma Cultuur en Erfgoed Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Doelgroep - Sleuteltermen Bibliografische referentie Profielproduct; onderzoeksrapport; erfgoedprogramma; SMART; learner report Verhagen, B.P.(2013). Profielproduct. Amsterdam: Interfacultaire Lerarenopleidingen UvA. Studentnummer 5656842 Begeleider(s) A.M. van der Vlies C.M.G.A. Weststrate Beoordelaar(s) indien bekend T.M. Janssen A.M. van der Vlies Opdrachtgever - Datum 20 juni 2013
Profielproduct: Plan van aanpak Profiel: Cultuur en erfgoed Vakgroep: Kunstgeschiedenis, CKV en Kunst Algemeen Student: B.P. Verhagen (5656842) Opdrachtgever: [ ] Begeleider: [ ], Educational Expert bij [ ] en coördinator van het erfgoedprogramma [ ] Inleiding De opdrachtgever voor mijn profielproduct is de afdeling educatie van [ ]. [ ] Aanleiding van de opdracht [ ] biedt verschillende educatieprojecten aan, zoals aanvullende programma's bij de tentoonstellingen, rondleidingen, workshops en een educatief erfgoedprogramma. Dit erfgoedprogramma is genaamd [ ]. Een onderdeel hiervan is het programma [ ]. Dit programma kan door scholen worden besteld als een uitgewerkt lespakket dat op school wordt behandeld of als in huis variant die bij [ ] wordt gevolgd. Daar krijgen de leerlingen een compilatie van korte filmfragmenten te zien. Dit wordt ingeleid door een educatiemedewerker, wordt afgesloten met een quiz en is voorzien van lesmateriaal. Belangrijke doelen van dit programma zijn het ontsluiten van de collectie en het enthousiasmeren van leerlingen voor filmcultuur. Daarnaast zijn er ook leerdoelen opgesteld die aansluiten bij bepaalde vakken. Het programma wordt aangeboden voor alle jaarlagen en niveaus, variërend van onderbouw vmbo tot bovenbouw havo/vwo, en voor verschillende vakken. Het wordt aangeboden als programma dat aansluit op de vakken CKV, geschiedenis en (in mindere mate) maatschappijleer ([ ], persoonlijke communicatie, 18 maart 2013). Vanuit [ ] kwam daarom de vraag of ik zou kunnen onderzoeken in hoeverre de in huis variant van het programma [ ] daadwerkelijk aansluit bij deze vakken die de leerlingen op school krijgen.
Probleemanalyse De vraag die dus aanvankelijk vanuit [ ] bij mij werd neergelegd was: In hoeverre sluit het erfgoedprogramma [ ] aan op de vakken die de leerlingen op school krijgen? In gesprek met [ ] (persoonlijke communicatie, 18 maart 2013), educational expert bij [ ] en coördinator van het programma, bleek echter dat dit al zeer goed in kaart is gebracht. De leerdoelen van het programma zijn door [ ] afgestemd op de eindtermen van de vakken waar het programma op aan dient te sluiten: CKV, geschiedenis, en (in mindere mate) maatschappijleer. De aansluiting zou op deze manier dus gewaarborgd moeten zijn. Een van de leerdoelen is bijvoorbeeld: Leerlingen maken kennis met filmerfgoed uit 1895-1930 en krijgen inzicht in wat er werd vertoond en hoe film werd vertoond ([ ]). Dit leerdoel sluit aan bij domein B ( Kennis van kunst en cultuur ) van het vak CKV voor havo/vwo: De kandidaat kan [...] historische achtergronden aangeven van kunstuitingen (Examenprogramma culturele en kunstzinnige vorming havo/vwo). Tevens sluit het aan bij het domein A ( Historisch besef ) van het vak geschiedenis voor havo/vwo: "De kandidaat kan [...] gebeurtenissen uit zijn eigen leven alsmede verschijnselen, gebeurtenissen en personen uit de geschiedenis met behulp van een tijdbalk of een andere vorm van chronologische schematisering ordenen" (Examenprogramma geschiedenis havo/vwo). Het probleem zit hem dus in iets anders. Het is namelijk mogelijk dat de leerdoelen van het programma op papier goed aansluiten bij de leerdoelen/eindtermen van deze vakken, maar dat de leerdoelen van het programma niet worden behaald. Als dat het geval is, betekent het in feite dat de aansluiting alsnog mist. [ ] evalueert uiteraard alle educatieve programma s die worden aangeboden. Deze evaluaties vinden plaats in samenwerking met de scholen die een programma hebben gevolgd en richten zich voornamelijk op vragen als: Voldeed het programma aan de verwachtingen?; Waren de leerlingen enthousiast over het programma?; Was het aantal begeleiders afdoende?; etc. [ ] beschikt helaas niet over de tijd en middelen om te evalueren of de leerdoelen van een programma al dan niet worden behaald. [ ] hecht hier uiteraard wel veel belang aan en ziet deze vraag dan ook graag beantwoord. Het vaststellen in hoeverre de leerdoelen van het programma worden behaald, zal daarom de basis van mijn onderzoek vormen. Binnen het erfgoedprogramma [ ] is geen evaluatiemoment ingebouwd om te achterhalen of de leerdoelen zijn behaald. De leerlingen dienen wel een tweetal quizzen te maken waarin wordt getoetst in hoeverre zij de inhoud van het programma hebben begrepen. De leerling die de meeste antwoorden goed heeft, ontvangt daarvoor een door [ ] samengestelde goodiebag. Deze quizzen worden echter schriftelijk gemaakt en door de begeleiders van de school nagekeken. [ ] heeft dus geen inzicht in de resultaten ervan.
Probleemomschrijving Het probleem is dus dat [ ] geen zicht heeft op het al dan niet behalen van de leerdoelen van het erfgoedprogramma [ ]. Het is hierdoor mogelijk dat de leerdoelen van het programma op papier goed aansluiten bij de leerdoelen/eindtermen van de vakken waar het programma op dient aan te sluiten (CKV, geschiedenis en maatschappijleer), maar dat de leerdoelen van het programma niet worden behaald. Als dat het geval is, betekent het in feite dat de aansluiting met deze vakken alsnog mist. Er zal dan gekeken moeten worden naar mogelijke verbeteringen in het programma om ervoor te zorgen dat de leerdoelen wel worden behaald. Onderzoeksdoel Het doel van het onderzoek is in de eerste plaats om vast te stellen in hoeverre de leerdoelen van het erfgoedprogramma [ ] worden behaald. Mocht blijken dat de leerdoelen niet voldoende worden behaald, zal ik de onderliggende redenen hiervoor proberen te achterhalen en te kijken naar mogelijke verbeteringen op dit gebied. Onderzoeksvraag De onderzoeksvraag luidt dus: In hoeverre worden de leerdoelen van het erfgoedprogramma [ ] van [ ] behaald en is er eventueel ruimte voor verbetering? Deelvragen Wat zijn de leerdoelen van het programma [ ] en zijn deze leerdoelen SMART geformuleerd? Worden de leerdoelen behaald (en zo niet, waarom niet)? Is er ruimte voor verbetering?/hoe kunnen de leerdoelen wel worden behaald? Groepen en instrumenten De onderzoeksgroepen zullen bestaan uit een aantal klassen 1 die in de komende periode het programma [ ] gaan volgen bij [ ]. De instrumenten die gebruikt zullen worden zijn onder andere 1 Het niveau en leerjaar van deze klassen is mij nog onbekend. Deze informatie ontvang ik z.s.m. van [ ].
het SMART-model. Aan de hand van dit model zal getoetst moeten worden of de leerdoelen van het erfgoedprogramma SMART zijn geformuleerd. Dat wil zeggen, zijn de leerdoelen: Specifiek Meetbaar Acceptabel Realistisch Tijdgebonden Het al dan niet behalen van de leerdoelen zal gemeten worden aan de hand van zogenaamde leerlingverslagen of learner reports (De Groot, 1974). Een learner report bestaat uit een aantal zinnen die de leerling moet aanvullen, zoals: Ik heb geleerd dat. Door middel van deze learner reports kan niet alleen worden vastgesteld in hoeverre de meetbare leerdoelen worden behaald, maar ook in hoeverre niet direct meetbare onderwijsdoelstellingen als het enthousiasmeren van leerlingen voor filmcultuur, worden behaald. Tevens zal een observatie-instrument in de vorm van een time-on-task worden ingezet om te kijken in hoeverre de leerlingen die deelnemen aan het programma [ ] daadwerkelijk bezig zijn met de taken die ze binnen dit programma krijgen aangereikt. Mocht blijken dat de leerdoelen niet voldoende worden behaald, zal dit instrument inzicht kunnen bieden in een mogelijke reden daarvoor. Ten slotte zal ik het erfgoedprogramma analyseren op de werkvormen die worden aangeboden en de bijbehorende leeractiviteiten door middel van de kennis uit Ebbens & Ettekoven (2009); Marzano & Miedema (2011); en de herziene taxonomie van Bloom (Krathwohl, 2002). Mocht blijken dat de leerdoelen niet voldoende worden behaald, zal aan de hand van deze literatuur naar redenen daarvoor worden gezocht. Tevens zal naar aanleiding van de methoden die deze auteurs bespreken, gezocht worden naar werkvormen en leeractiviteiten waarmee de leerdoelen wel zullen worden behaald. Product Het eindproduct zal dus een onderzoeksrapport zijn, eventueel aangevuld met een advies. Tijdsplanning: Week 13: Indienen plan van aanpak (PvA): PP1.
Week 14: Week 15: Week 16: Week 17: Week 18: Week 19: Week 20: Week 21: Week 22: Week 23: Week 24: Week 25: Week 26: (Aanpassingen PP1). (Indienen herkansing PP1). Observeren programma, time-on-task, en afnemen learner reports. Observeren programma, time-on-task, en afnemen learner reports. Analyse van learner reports, time-on-task en programma. Uitwerken van product. Indienen eerste versie aan opdrachtgever. Presentatie product aan opdrachtgever. Indienen PP2: (1) abstract, (2) verantwoording. Tentamen PP: (1) beoordeling opdrachtgever, (2) profielproduct. (Aanpassingen PP2). (Indienen herkansing PP2). (Herkansing tentamen profielproduct). Literatuur De Groot, A.D. (1974). Hoe stelt men eindtermen op? Universiteit en Hogeschool. 20 (5). Ebbens, S., & Ettekoven, S. (2009). Effectief leren. Basisboek. Houten: Noordhoff Uitgevers Groningen. Examenprogramma culturele en kunstzinnige vorming havo/vwo. Examenprogramma geschiedenis havo/vwo. Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy. An Overview. In: Theory into Practice (41) 4. p. 212-218. Marzano, R. & Miedema W. (2007). Leren in vijf dimensies. Moderne didactiek voor het voortgezet onderwijs. Assen: Koninklijke van Gorcum. [ ]
Profielproduct: abstract De opdrachtgever voor het onderzoek is de afdeling educatie van [...]. [...] biedt verschillende educatieprojecten aan. Een daarvan is het erfgoedprogramma [...]. Dit programma kan door scholen worden besteld als een uitgewerkt lespakket dat op school wordt behandeld of als in huis variant die bij [...] wordt gevolgd. Dit onderzoek is gericht op de in huis variant. Het programma wordt aangeboden voor alle jaarlagen en niveaus, variërend van onderbouw vmbo tot bovenbouw havo/vwo. Het wordt aangeboden als programma dat aansluit op de vakken CKV, geschiedenis en maatschappijleer. De leerdoelen van het programma zijn door [...] afgestemd op de eindtermen van deze vakken. De aansluiting met deze vakken zou op deze manier gewaarborgd moeten zijn. Het is echter mogelijk dat de leerdoelen van het programma op papier goed aansluiten bij de eindtermen van de vakken, maar dat de leerdoelen van het programma niet worden behaald. Als dat het geval is, betekent het in feite dat de aansluiting alsnog mist. [...] beschikt helaas niet over de tijd en middelen om te evalueren of de leerdoelen van een programma al dan niet worden behaald. [...] hecht hier uiteraard wel veel waarde aan en ziet deze vraag dan ook graag beantwoord. Het vaststellen in hoeverre de leerdoelen van het programma worden behaald, vormt daarom de basis van dit onderzoek. Wanneer de leerdoelen niet voldoende blijken te worden behaald, zal gezocht worden naar de onderliggende redenen daarvoor en gekeken worden naar mogelijke verbeteringen. Het eindproduct is dus een onderzoeksrapport (aangevuld met een advies). Om vast te stellen of de leerdoelen worden behaald is in de eerste plaats aan de hand van het SMART-model getoetst of de leerdoelen van het erfgoedprogramma SMART zijn geformuleerd. Dat wil zeggen, zijn de leerdoelen: Specifiek Meetbaar Acceptabel Realistisch Tijdgebonden Hieruit blijkt dat de leerdoelen vooral op de punten specifiek en meetbaar tekortschieten. De leerdoelen zijn vervolgens zo geformuleerd dat ze wel aan het SMART-model voldoen. Het al dan niet behalen van de leerdoelen is gemeten aan de hand van zogenaamde learner reports. De leerlingen doen hierin verslag van hun fundamentele ervaringen. Een ervaring is fundamenteel als die door de leerling wordt herinnerd en gerapporteerd als belangrijk in de eigen
ontwikkeling. De learner reports zijn geanalyseerd op fundamentele ervaringen die door de leerlingen genoemd worden en betrekking hebben op de (SMART geformuleerde) leerdoelen van het programma. Uit deze analyse blijkt dat de genoemde fundamentele ervaringen slechts betrekking hebben op de helft van de leerdoelen en dat slechts met betrekking tot één leerdoel door meer dan de helft van de leerlingen fundamentele ervaringen worden beschreven. Om vast te stellen waarom de leerdoelen onvoldoende worden behaald, zijn de leerdoelen geanalyseerd op de bijbehorende leeractiviteiten en is het programma geanalyseerd op de werkvormen die worden aangeboden en de daarbij behorende leeractiviteiten. Hieruit blijkt dat een van de aangeboden werkvormen slechts aansluit op de helft van de leerdoelen (en wel gericht is op alle leerdoelen). Deze werkvorm staat geheel in het teken van de leeractiviteit onthouden en in de learner reports worden ook alleen fundamentele ervaringen genoemd die betrekking hebben op de leerdoelen die gericht zijn op onthouden. Verder is het programma geobserveerd. Vragenronden zijn de belangrijkste werkvorm van het programma. Uit de observatie blijkt dat belangrijke voorwaarden voor deze werkvorm individuele aanspreekbaarheid, veiligheid en wachttijd onvoldoende aanwezig zijn. Hierdoor kan een groot deel van de leerlingen zich aan het leerproces onttrekken, hetgeen een verklaring zou kunnen zijn voor het onvoldoende behalen van de leerdoelen. Om de kans te vergroten dat de leerdoelen in de toekomst worden behaald, zijn enkele kleine wijzigingen in de aangeboden werkvormen raadzaam. Zo kan het bijvoorbeeld van groot belang zijn dat de belangrijke voorwaarden individuele aanspreekbaarheid, veiligheid en wachttijd in de vragenronden worden geïmplementeerd. In de andere werkvorm moeten naast de leeractiviteit onthouden ook de leeractiviteiten die voor de overige leerdoelen nodig zijn, aan bod komen. Er kan bij eventueel verder onderzoek gekeken worden in hoeverre deze aanpassingen invloed hebben op het al dan niet behalen van de leerdoelen.
Profielproduct: verantwoording 1. Inleiding De opdrachtgever voor het onderzoek is de afdeling educatie van [...].[...] biedt verschillende educatieprojecten aan. Een daarvan is het erfgoedprogramma [...]. Dit programma kan door scholen worden besteld als een uitgewerkt lespakket dat op school wordt behandeld of als in huis variant die bij [...] wordt gevolgd. Dit onderzoek is gericht op de in huis variant. Het programma wordt aangeboden voor alle jaarlagen en niveaus, variërend van onderbouw vmbo tot bovenbouw havo/vwo. Het wordt aangeboden als programma dat aansluit op de vakken CKV, geschiedenis en maatschappijleer. De leerdoelen van het programma zijn door [...] afgestemd op de eindtermen van deze vakken. De aansluiting met deze vakken zou op deze manier gewaarborgd moeten zijn. Het is echter mogelijk dat de leerdoelen van het programma op papier goed aansluiten bij de eindtermen van de vakken, maar dat de leerdoelen van het programma niet worden behaald. Als dat het geval is, betekent het in feite dat de aansluiting alsnog mist. [...] beschikt helaas niet over de tijd en middelen om te evalueren of de leerdoelen van een programma al dan niet worden behaald. [...] hecht hier uiteraard wel veel waarde aan en ziet deze vraag dan ook graag beantwoord. Het vaststellen in hoeverre de leerdoelen van het programma worden behaald, vormt daarom de basis van dit onderzoek. Wanneer de leerdoelen niet voldoende blijken te worden behaald, zal gezocht worden naar de onderliggende redenen daarvoor en gekeken worden naar mogelijke verbeteringen. Het eindproduct is dus een onderzoeksrapport (aangevuld met een advies). 2. Onderzoek Het doel van het onderzoek is dus in de eerste plaats om vast te stellen in hoeverre de leerdoelen van het erfgoedprogramma [...] worden behaald. Wanneer de leerdoelen niet voldoende blijken te worden behaald, zal gezocht worden naar de onderliggende redenen daarvoor en gekeken worden naar mogelijke verbeteringen. Om vast te stellen of de leerdoelen worden behaald is in de eerste plaats aan de hand van het SMART-model getoetst of de leerdoelen van het erfgoedprogramma SMART zijn geformuleerd. Dat wil zeggen, zijn de leerdoelen: Specifiek Meetbaar
Acceptabel Realistisch Tijdgebonden Hieruit blijkt dat de leerdoelen vooral op de punten specifiek en meetbaar tekortschieten. De leerdoelen zijn vervolgens zo geformuleerd dat ze wel aan het SMART-model voldoen. Het leerdoel: Leerlingen ontdekken welke (technologische) ontwikkelingen vooraf gingen aan de hedendaagse beeldcultuur, voldoet bijvoorbeeld niet aan de criteria specifiek en meetbaar. Met een paar kleine aanpassingen is het leerdoel echter wel SMART geformuleerd: Leerlingen kunnen benoemen welke (technologische) ontwikkelingen vooraf gingen aan de hedendaagse beeldcultuur (bijv.: van stomme film naar geluidsfilm; van zwart-wit, via tinting en toning en inkleuren naar kleurenfilm). De onderzoeksgroep bestaat uit een atheneum 5 klas van 28 leerlingen die het programma bij [...] hebben gevolgd. Het al dan niet behalen van de leerdoelen is gemeten aan de hand van zogenaamde leerlingverslagen of learner reports (De Groot, 1974). De leerlingen doen hierin verslag van hun fundamentele ervaringen. Een ervaring is fundamenteel als die door de leerling wordt herinnerd en gerapporteerd als belangrijk in de eigen ontwikkeling. Een learner report bestaat uit een aantal zinnen die de leerling moet aanvullen, zoals: Ik heb geleerd dat. De learner reports zijn geanalyseerd op fundamentele ervaringen die door de leerlingen genoemd worden en betrekking hebben op de (SMART geformuleerde) leerdoelen van het programma. Uit deze analyse blijkt dat de genoemde fundamentele ervaringen slechts betrekking hebben op de helft van de leerdoelen en dat slechts met betrekking tot één leerdoel door meer dan de helft van de leerlingen fundamentele ervaringen worden beschreven. Om vast te stellen waarom de leerdoelen onvoldoende worden behaald, zijn de leerdoelen geanalyseerd op de bijbehorende leeractiviteiten en is het programma geanalyseerd op de werkvormen die worden aangeboden en de daarbij behorende leeractiviteiten met behulp van de door Krathwohl (2002) ontworpen herziene taxonomie van de onderwijsleerdoelen van Bloom en de theorie uit Ebbens & Ettekoven (2009). Hieruit blijkt dat een van de aangeboden werkvormen slechts aansluit op de helft van de leerdoelen (en wel gericht is op alle leerdoelen). De leerlingen krijgen een aantal quizvragen die ze individueel schriftelijk moeten maken. De quizvragen bestaan louter uit multiple choice vragen en hebben betrekking op informatie die kort daarvoor is besproken. De quizvragen zijn daarom allen gericht op de leeractiviteit onthouden. Hoewel deze leeractiviteit aansluit bij de helft van de leerdoelen, sluit deze niet aan bij de overige helft. Neem bijvoorbeeld de volgende quizvraag: De actrice in Het Geheim van Delft klimt in de wieken. Is dat echt?
a. Ja b. Nee Deze vraag hoort bij het (SMART geformuleerde) leerdoel: Leerlingen kunnen enkele films uit de beginjaren analyseren op echtheid en trucage, en zou dus gericht moeten zijn op de leeractiviteit analyseren. De leerlingen hebben echter al te horen gekregen dat de actrice in Het Geheim van Delft echt in de wieken klimt. Deze vraag vergt dus louter de leeractiviteit onthouden van de leerlingen. Dat deze werkvorm louter gericht is op onthouden is terug te zien in de learner reports. In de learner reports worden namelijk alleen fundamentele ervaringen genoemd die betrekking hebben op de leerdoelen die gericht zijn op onthouden. Verder is het programma geobserveerd. In eerste instantie zou een time-on-task als observatie-instrument gebruikt worden, maar nadat het programma ter voorbereiding was bijgewoond, bleek een meer open observatie bruikbaarder te zijn. Vragenronden, waarbij de educatiemedewerker vragen voorlegt aan de leerlingen, zijn de belangrijkste werkvorm van het programma. In de observatie is onder andere geturfd hoeveel leerlingen antwoorden gaven op de vragen en is getimed hoeveel tijd er zat tussen een vraag en een antwoord. Uit deze observatie blijkt dat belangrijke voorwaarden voor deze werkvorm individuele aanspreekbaarheid, veiligheid en wachttijd (Ebbens & Ettekoven, 2009: p. 83) onvoldoende aanwezig zijn. Zo blijkt bijvoorbeeld dat slechts een handjevol leerlingen antwoord geeft op de gestelde vragen. De overige leerlingen kunnen zich dus makkelijk aan het leerproces onttrekken. Met andere woorden, de individuele aanspreekbaarheid mist. Dit komt vooral doordat er tijdens de vragenronden om vingers wordt gevraagd en er geen specifieke leerlingen worden aangewezen om een antwoord te geven op een vraag. Leerlingen weten dus al snel dat als ze hun vinger niet opsteken, ze ook niet om een antwoord gevraagd worden. Om de kans te vergroten dat de leerdoelen in de toekomst worden behaald, zijn enkele kleine wijzigingen in de aangeboden werkvormen raadzaam. Zo kan het bijvoorbeeld van groot belang zijn dat de belangrijke voorwaarden individuele aanspreekbaarheid, veiligheid en wachttijd in de vragenronden worden geïmplementeerd. In de andere werkvorm, de schriftelijke quizvragen, moeten naast de leeractiviteit onthouden ook de leeractiviteiten die voor de overige leerdoelen nodig zijn aan bod komen. 3. Discussie De onderzoeksgroep van de learner reports is vrij klein en wellicht te klein om definitieve conclusies aan te kunnen verbinden. Voor een vergelijkbaar onderzoek is het dus raadzaam om te zorgen dat de
onderzoeksgroep groter is. Het advies dat op basis van het onderzoek naar voren is gekomen, is echter goed bruikbaar en inpasbaar voor de opdrachtgever de afdeling educatie van [...]. De communicatie tussen mij en de opdrachtgever verliep goed en de wensen van de opdrachtgever zijn goed verwerkt in het uiteindelijke onderzoek, waardoor het profielproduct antwoorden geeft op de vragen die vanuit [...] zijn gesteld. Literatuur De Groot, A.D. (1974). Hoe stelt men eindtermen op? Universiteit en Hogeschool. 20 (5). Ebbens, S., & Ettekoven, S. (2009). Effectief leren. Basisboek. Houten: Noordhoff Uitgevers Groningen. Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy. An Overview. In: Theory into Practice (41) 4. p. 212-218. [...]