ICT-vaardigheden van startende studentleraren: validering van een online screeningsinstrument

Transcriptie

1 Academiejaar ICT-vaardigheden van startende studentleraren: validering van een online screeningsinstrument Masterproef II neergelegd tot het behalen van de graad van Master of Science in de Pedagogische Wetenschappen, afstudeerrichting Pedagogiek en Onderwijskunde Promotor: Begeleider: Prof. Dr. Johan van Braak Dr. Koen Aesaert Karlien De Jaeger

2 Ondergetekende verklaart dat de inhoud van deze masterproef geraadpleegd en/of gereproduceerd mag worden mits bronvermelding en enkel voor niet-commerciële doeleinden. Karlien De Jaeger blz. 2/70

3 Voorwoord Any growth requires a temporary loss of security (Madeline Hunter) Ik heb me al vaak verbaasd over het verloop van onderzoek: over hoe dat tegelijk zo traag en zo snel kan gaan Bedenkend dat de aha-erlebnis waardoor de ICT-starterskit er is gekomen, ondertussen dateert van het voorjaar 2011 en hoeveel tijd, overleg en werk er ondertussen is over gegaan om tot de constructie en vervolgens de validering ervan te komen, gaat onderzoek soms echt wel traag. Tegelijk zijn er momenten waarop de ideeën vloeien en alles plotseling met rasse schreden vooruitschiet. In het kader van de starterskit waren dat de momenten waarop zekerheden werden ingeruild voor exploratie, creativiteit, nieuwe kaders en durf. Tijdens al die momenten van onderzoek, traag of snel, opzienbarend of weer een stap terug, zoekend of becijferend, is het onmisbaar mensen rondom je te hebben die je passend begeleiden. Ik heb bij het schrijven van deze scriptie het geluk gehad op dergelijke mensen te kunnen rekenen. Vooreerst op mijn promotor, professor Johan van Braak, door wiens begeleiding ik grenzen verlegd heb, maar ze tegelijk ook heb kunnen bewaken. Zijn inhoudelijke expertise was tevens onontbeerlijk voor het tot stand komen van deze masterproef. Tijdens het tweede jaar waarin ik aan mijn masterproef werkte, kon ik bovendien en met name voor het werken met de itemresponstheorie een beroep doen op de knowhow van Koen Aesaert. Hij heeft tijd noch moeite gespaard om me deze testtheorie concreet te leren toepassen op mijn eigen onderzoek. Uiteraard verdienen ook de opleidingsinstellingen, de verantwoordelijken voor de afnames van de screening en de studenten zelf een woord van dank: zonder hun data was er immers geen onderzoek geweest. Verder zijn er tal van mensen teveel om bij naam te noemen, maar ze zullen zich wel herkennen in deze beschrijving die me, gewoon door te vragen hoe het vlotte, door te geloven dat het goed kwam, door me praktische zaken uit handen te nemen, geholpen hebben bij het tot stand brengen van dit werk. Mijn gezin verdient in dit plaatje een bijzondere vermelding, omwille van de tijd en de energie die in deze masterproef is gegaan en niet rechtstreeks naar hen. Ik denk dat zij met mij blij zijn dat deze scriptie geschreven is. Tegelijk is dergelijke studie het soort werk dat ik graag doe en dat me zin geeft in meer. Ik zit dan ook alweer vooruit te denken hoe de optimalisering van de ICT-starterskit aan te pakken, wanneer en hoe de onderzoekspistes die nog open liggen te bewandelen, Het verloop van een onderzoek kan dan wel grillig en niet voorspellen te zijn, maar zeker is wel dat het nooit af is en dus steeds een mogelijkheid in zich houdt tot groei! Karlien, juli blz. 3/70

4 Abstract Deze studie omvat de validering van de ICT-starterskit voor (aspirant)leraren, een online screenings- en remediëringsinstrument ICT-vaardigheden, bedoeld om in te zetten bij de instroom aan de lerarenopleiding. In dit onderzoek wordt gefocust op de basis-itemset uit het screeningsgedeelte van het instrument. Daartoe werkten 412 studenten deze 140 items af. De items werden vooreerst beoordeeld aan de hand van een klassieke itemanalyse op moeilijkheidsgraad en discriminatievermogen. Vervolgens werd een niet-lineaire exploratorische factoranalyse uitgevoerd op de 105 verder in de analyses opgenomen items. Hieruit bleek dat één onderliggende factor de correlaties tussen de items kan verklaren. Daarna werd de itemresponstheorie gehanteerd om na te gaan welk model het best aansluit bij de data. Het 2 Parameter Logistisch Model, dat zowel de moeilijkheids- als de discriminatieparameter gebruikt voor de constructie van een vaardigheidsschaal, past het best bij de 90 finaal overgebleven items. De vaardigheidsscores van de studenten blijken significant te correleren met de zelfinschatting van hun ICT-vaardigheden. Er is dus convergente validiteit met de zelfgerapporteerde ICTbekwaamheid. De studenten oordelen dat de toets een vrij correct beeld weergeeft van hun ICTvaardigheden en van hun sterktes en zwaktes, wat wijst op een goede indruksvaliditeit. We kunnen dus besluiten dat we door dit onderzoek over een valide schaal beschikken die de ICTvaardigheid van startende student-leraren kan meten. Vervolgonderzoek zou zich kunnen toespitsen op het toetsen van de voorwaarde van lokale onafhankelijkheid (naast dimensionaliteit) voor het gebruik van een unidimensioneel IRT-model. Bovendien zouden de kwaliteit van de afleiders uit de meerkeuzevragen, de itemset voor hertesting, het screeningsgedeelte van de ICT-starterskit, alsook de vaardigheidsscores van de studenten voorwerp van verder onderzoek kunnen zijn. Sleutelwoorden: screeningsinstrument ICT-vaardigheden, validering, itemresponstheorie, startende student-leraren blz. 4/70

5 Inhoudsopgave Inhoudsopgave... 5 Figuren- en tabellenlijst... 7 Inleiding... 8 Theoretisch kader en situering ICT-starterskit... 9 ICT(-assessments) en de lerarenopleiding... 9 ICT-assessments (bij de aanvang van de lerarenopleiding) en de ICT-starterskit Constructie van de ICT-starterskit: funderingen Bestaande meetinstrumenten Inhoudelijke constructie van de ICT-starterskit voor (aspirant-)leraren Fase Fase Fase Fase Validering van de ICT-starterskit De itemresponstheorie als testtheorie Convergente validiteit Indruksvaliditeit Probleemstelling en onderzoeksvragen Methodologie Design en instrumentarium Participanten Data-analyse Klassieke itemanalyse Dimensionaliteit Het juiste model kiezen voor de data blz. 5/70

6 Convergente validiteit Indruksvaliditeit Resultaten Schaalontwikkeling Klassieke itemanalyse Dimensionaliteit Het juiste model kiezen voor de data Convergente validiteit Indruksvaliditeit Discussie en conclusie Referenties Bijlagen Bijlage 1: ICT in de lerarenopleiding: discussietekst + aanvullingen Bijlage 2: Toetsmatrijs ICT-vaardigheden en attitudes Bijlage 3: Vragenlijst gebruikerservaringen Bijlage 4: Vragenlijst gebruikersgegevens en zelfinschatting Bijlage 5: Presentatie ICT-starterskit Bijlage 6: Tabel 3: Itemkarakteristieken volgens de klassieke itemanalyse Bijlage 7: Tabel 4: Factorladingen van de NLFA blz. 6/70

7 Figuren- en tabellenlijst Figuur 1: Voorbeeldvraag (Bestandsbeheer, niveau 1) Figuur 2: Spreiding vaardigheidsscores Figuur 3: Plot vaardigheidsscore gebruikerservaring Tabel 1: Tabel 2: Overzicht van de onderliggende inhoudelijke structuur van de screening d.m.v. de ICT-starterskit op basis van Ananiadou en Claro (2009) en van Deursen (2010) Aantallen en percentages studenten in de steekproef naar de onderwijsniveaus en -vormen gevolgd voorafgaand aan de lerarenopleiding Tabel 3: Itemkarakteristieken volgens de klassieke itemanalyse Tabel 4: Factorladingen van de NLFA Tabel 5: Tabel 6: Weerhouden items met discriminatie- (a-waarde) en moeilijkheidsparameter (bwaarde) Aantallen en percentages studenten volgens het zelf ingeschatte niveau qua kennis en vaardigheden met ICT-toepassingen Tabel 7: Gebruikerservaringen ICT-starterskit blz. 7/70

8 Inleiding In de context van het Expertisenetwerk (ENW) School of Education-project 2011/5 (met een looptijd van 1 september 2011 tot en met 31 augustus 2013) werd een ICT-starterskit voor (aspirant-)leraren ontwikkeld. Een uitgebreide beschrijving van de doelen, het ontwikkelproces en de resultaten van dit project, is terug te vinden in het eindverslag (De Jaeger, Awouters, Palmaers, Vandeputte, & Janssen, 2013). Door middel van de ICT-starterskit, een online screenings- en remediëringsinstrument voor informatie- en communicatietechnologie (ICT) afgestemd op de Vlaamse lerarenopleidingen, krijgen studenten/cursisten de kans om zich bij instroom in de lerarenopleiding een spiegel voor te houden op het vlak van ICT-vaardigheden en computerattitudes. Bovendien kunnen zij via het instrument de gedetecteerde hiaten wegwerken, zodat zij op dit vlak geen belemmering ondervinden om te participeren aan de lerarenopleiding waarvan ICT-integratie een algemeen kenmerk is. Bij de instroom in de lerarenopleiding wordt van de kandidaat-student (impliciet) een heel aantal competenties verondersteld voor wat betreft het omgaan met ICT. Tondeur, van Braak, Vanderlinde, De Roo en Thys (2010) benoemen deze begincompetenties van studenten ook als één van de elementen om een goede vertrekbasis te creëren voor ICT-integratie in de lerarenopleiding. De ervaring leert echter dat een niet te verwaarlozen aantal studenten niet aan deze verwachtingen voldoet. Diverse auteurs bevestigen die bevinding (zie o.a. Banister & Ross, 2005; Forster, Dawson, & Reid, 2005; Katz & Macklin, 2007; So, Choi, Lim, & Xiong, 2012; Teczi, 2011). Het opzet van de starterskit is daarom de instromende studenten zicht geven op hun ICTbekwaamheid (de verwachtingen van de opleiding communiceren), alsook de studenten de mogelijkheid bieden om die bekwaamheid op te tillen indien nodig. Tegen het einde van de looptijd van het project waren het online screeningsinstrument en de er aan gekoppelde remediëringstrajecten klaar voor gebruik. Omdat het ontwikkelproces meer tijd gekost heeft dan gedacht, kon het instrument echter niet meer getest worden in zijn globaliteit. Er zijn dus geen psychometrische gegevens voorhanden voor de finale versie (dd. augustus 2013). Enkel voor de pilootversie dd. oktober 2012 werden zowel kwalitatief als kwantitatief gegevens verzameld die richting gaven aan de herwerking en verdere uitwerking van het screeningsgedeelte van het instrument. Als promotor van bovengenoemd project zorgde ik zowel tijdens als na afloop van het project reeds op diverse fora voor de disseminatie van onze projectresultaten, doch het feit dat er geen antwoorden voorhanden waren op een aantal hamvragen voor wat betreft de psychometrische kenmerken van de ICT-starterskit, voelde telkens als een zwakke schakel in het verhaal. Deze masterproef heeft tot doel deze vragen minstens gedeeltelijk te beantwoorden. blz. 8/70

9 Theoretisch kader en situering ICT-starterskit De ICT-starterskit is een bestaand instrument waarvan de validering onderwerp is van deze studie. Vooraleer in te gaan op de theoretische achtergrond met betrekking tot de methodologie die gehanteerd werd om die validering te verrichten, wordt hieronder eerst kort in gegaan op het concept van ICT-assessment in de lerarenopleiding. In een tweede punt worden de theoretische kaders toegelicht die gehanteerd werden voor de constructie van de ICT-starterskit, alsook hoe die concreet vertaald werden in een online screenings- en remediëringsinstrument. Ten slotte wordt stilgestaan bij validering van de ICT-starterskit, met name bij de itemresponstheorie als testtheorie, alsook bij de concepten convergente en indruksvaliditeit. ICT(-assessments) en de lerarenopleiding Een leraar van de 21 ste eeuw kan de informatie- en communicatietechnologie niet meer wegdenken uit zijn onderwijspraktijk. Hij moet zijn leerlingen immers voorbereiden op de eisen van de (kennis)maatschappij waaraan digitale media inherent zijn. Bovendien kan ICT een substantiële bijdrage leveren aan het rendement van onderwijzen en leren (zie o.a. Cooper & Brna, 2002; Huggins, Ritzhaupt, & Dawson, 2014; Zhang & Martinovic, 2008). Opdat leraren zich didactisch ICT-bekwaam zouden kunnen tonen, moeten zij hiertoe specifiek opgeleid worden (zie o.a. Markauskaite, 2007; Sang, Valcke, van Braak, & Tondeur, 2010; Zhang & Martinovic, 2008). In deze paragraaf wordt daarom achtereenvolgens ingegaan op de wijze van ICT-integratie in de lerarenopleiding en hoe een screening van ICT-vaardigheden daar een plaats kan in hebben. Studies zoals die van Barton en Haydn (2006) wijzen op het belang om ICT niet (enkel) in een afzonderlijk lessenpakket aan te bieden, maar op een geïntegreerde wijze aan bod te laten komen gedurende de opleiding (Tondeur, van Braak, Voogt, & Fisser, 2011, p. 184). In de lerarenopleiding moet in het curriculum, naast de focus op hoe de technologie werkt, ook aan bod komen hoe ze gebruikt kan worden in functie van leren en onderwijzen (Tondeur, van Braak, Sang, Voogt, Fisser, & Ottenbreit-Leftwich, 2012). Tondeur et al. (2012) brengen in een SQDmodel de kritische factoren bij het vormgeven van dergelijk curriculum in kaart. Deze zijn onder andere dat student-leraren veel voorbeelden van goede praktijk binnen specifieke inhoudelijke contexten kunnen observeren, dat die voorbeelden gelinkt worden aan conceptuele en theoretische informatie, dat studenten zelf kunnen proberen om technologie in hun praktijk te integreren, hierover kritisch kunnen reflecteren bijvoorbeeld aan de hand van het TPACK (Technological Pedagogical Content Knowledge)-model (Koehler & Mishra, 2009) en dat studenten kunnen samenwerken aan het (her)ontwerpen van lessen met ICT. Om het didactisch gebruik van ICT op dergelijke geïntegreerde wijze aan bod te kunnen laten komen doorheen de lerarenopleiding, rekent men op het feit dat studenten over de basisvaardigheden beschikken met betrekking tot het gebruik van de technologie. Banister en Ross (2005) rapporteren in dit kader over een oudere publicatie over de ACOT-studies (ACOT staat voor Apple Classrooms of Tomorrow ) waarin vijf fasen van technologiegebruik blz. 9/70

10 door leraren geïdentificeerd werden, namelijk de intrede, het gebruiken, het aanpassen, de toe-eigening en het uitdenken (Sandholtz, Ringstaff, & Dwyer, 1997). Opdat leraren tot effectieve ICT-integratie zouden komen in de klas, zo stellen zij, moeten ze eerst de vaardigheden verwerven die voor de intrede en het gebruik zorgen. Ook Mat-jizat en McKay (2011) stellen dat leraren een intensieve training in het gebruik van informatietechnologie nodig hebben om te evolueren naar ICT-geletterde leraren die zich comfortabel voelen bij het gebruik van technologie in het ontwerp en de uitvoering van hun lessen. Zhang (2008) volgt een soortgelijke redenering: hij schrijft dat terwijl een inleidende cursus de ICT-vaardigheden zou moeten bijbrengen, het vervolg een ICT pedagogical content knowledge training zou moeten zijn. Markauskaite (2007) stelt in dit kader dat in de lerarenopleiding zou moeten voorzien worden in niet-verplichte modulaire cursussen die kunnen gevolgd worden naargelang de behoefte van de student op het vlak van ICT-gerelateerde technische capaciteiten. Opdat studenten die behoeften correct zouden kunnen inschatten, kan gebruik gemaakt worden van een task- of performancebased assessment (Banister & Ross, 2005; Goldhammer, Naumann, & Keßel, 2013; Huggins et al., 2014; Mat-jizat & McKay, 2011). In een dergelijk assessment kunnen de studenten via betekenisvolle opdrachten testen in hoeverre zij over de nodige ICT-bekwaamheid beschikken. Alhoewel ook beargumenteerd wordt dat dergelijke tests niet in de lijn liggen van de focus op geïntegreerde strategieën voor het curriculum van de lerarenopleiding en van het hogere ordedenken en ze er ook niet aan bijdragen (zie o.a. Barton & Haydn, 2006), geven andere auteurs evenveel argumenten om er vanwege hun nut wel gebruik van te maken (zie o.a. Banister & Ross, 2005; Huggins et al., 2014) en dit ten voordele van zelfevaluatie-instrumenten of potlood-enpapier tests aan de hand van meerkeuzevragen (Goldhammer et al., 2012). Alhoewel zelfrapportering eveneens inzicht kan verschaffen in de actuele vaardigheden, is er toch vaak een tendens van onder- of overschatting aanwezig (zie o.a. Ballantine, Larres, & Oyelere, 2007; Boud & Falchikov, 1989; Katz & Macklin, 2007). Bovendien blijkt dat studenten niet altijd goed zicht hebben op wat het betekent ICT-competent te zijn. Dit maakt zelfevaluatie ontoereikend om ICTvaardigheden en/of competenties te meten (zie o.a. Banister & Ross, 2005; Mat-jizat & McKay, 2011). Hét grote nadeel van de tests op papier is dat er geen authentieke interactieve taak mee kan gecreëerd worden (Goldhammer et al., 2012). Hiermee zijn meteen ook de belangrijkste criteria voor een op performantie gebaseerde test van ICT-vaardigheden bepaald: die is digitaal en maakt gebruik van interactieve simulaties of authentieke taken. ICT-assessments (bij de aanvang van de lerarenopleiding) en de ICT-starterskit Zoals in de inleiding reeds aangegeven, ontbreekt het bij een deel van de instromende studenten aan de lerarenopleiding aan de nodige/verwachte ICT-bekwaamheid. De niveaus van studenten variëren op dit vlak sterk (Banister & Ross, 2005): daar waar sommigen er in slagen een opdracht die ICT-gebruik vereist, zonder problemen af te werken, hebben anderen een enorme hoeveelheid aan ondersteuning nodig bij bijvoorbeeld het creëren van een eenvoudige presentatie of een bescheiden rekenblad. Dit gegeven lijkt tegenstrijdig aan het feit dat de huidige generatie instromende studenten behoort tot de zogenaamde net-generatie (Tapscott, 1998, 2009) of de generatie digital natives (Prensky, 2001) en dus opgegroeid is met technologie. Bovendien volgden zij allen een curriculum dat aan dezelfde standaarden moet voldoen: in Vlaanderen zijn dit de ICT-eindtermen die sinds 2007 van kracht zijn. Mogelijke verklaringen zijn dat veelvuldig blz. 10/70

11 in contact komen met technologie niet noodzakelijk leidt tot sterke ICT-vaardigheden (Katz & Macklin, 2007), dat slechts een beperkt aantal toepassingen intensief wordt gebruikt (Margaryan, Littlejohn, & Vojt, 2011) en dat ook binnen deze generatie een grote variatie bestaat (So et al., 2012). Daarnaast zijn er ondanks de uniforme standaarden ook nog grote verschillen in de manier waarop ICT geïntegreerd wordt in het onderwijs (zie o.a. Pynoo, Kerckaert, Goeman, Elen, & van Braak, 2013 voor het Vlaamse onderwijs). Om tegemoet te komen aan het tekort aan ICT-vaardigheden en/of computerattitudes bij de instroom aan de lerarenopleidingen in Vlaanderen, werd een ICT-starterskit ontwikkeld: een online screeningsinstrument met ingebouwde remediëring dat tevens (bijvoorbeeld naar aanleiding van erg zwakke resultaten) aan de basis kan liggen van differentiële trajecten of zelfs flankerende opleidingen om de discrepantie tussen de resultaten van de screening en het door de opleiding verwachte beginniveau te overbruggen. Het instrument is geenszins bedoeld als uitsluitingstoets, maar kan gezien worden als een oriënteringsinstrument en in functie van gerichte bijsturing. Daar deze bijsturing kan leiden tot meer succeservaringen in computergebruik, kan dit op zijn beurt ook zorgen voor een sterker vertrouwen en vaardigheden in het gebruik van ICT in het kader van leren en onderwijzen (Teo, 2008 in Sang et al., 2010). De conceptualisatie van de ICT-starterskit sluit dus aan bij de in de literatuur beschreven modellen die uitgaan van de vereiste voor studenten om over een aantal ICT-basisvaardigheden te beschikken vooraleer te kunnen instappen in een opleiding die op een geïntegreerde manier het didactisch vraagstuk van ICT-integratie aanpakt. Er moet immers van uitgegaan worden dat ICT geïntegreerd gebruikt wordt in de opleidingsonderdelen en dat de focus vrijwel onmiddellijk ligt op hoe ICT-gebruik kan bijdragen aan het realiseren van bepaalde leerdoelen, het verhogen van de motivatie, het faciliteren van het leerproces, het ondersteunen van gedifferentieerd leren, het bereiken van betere leerresultaten, Wanneer de lerarenopleiding daarenboven afstandsonderwijs organiseert en/of gebruik maakt van blended learning, worden ICTvaardigheden van bij de start van de opleiding onmisbaar, bijvoorbeeld om te kunnen werken binnen een elektronische leeromgeving. Constructie van de ICT-starterskit: funderingen Bestaande meetinstrumenten De zoektocht naar een valabel screeningsinstrument voor de Vlaamse lerarenopleidingen leverde diverse manieren/instrumenten op waarop lerarenopleidingen ICT-geletterdheid, -competenties en/of -vaardigheden proberen af te tasten. Lerarenopleidingen doen dit onder andere door studenten erover te bevragen via checklists of door gebruik te maken van toetsen die ontwikkeld zijn binnen andere contexten. Een screeningsinstrument ICT-vaardigheden specifiek voor startende student-leraren binnen de Vlaamse context was echter niet voorhanden. Uiteraard waren er wel zaken die konden inspireren. Zo waren er een aantal checklists terug te vinden die als bedoeling hebben ICT-vaardigheden/- competenties in kaart te brengen. Twee voorbeelden uit Nederland zijn de Pabotool, een instrument dat toelaat om via zelfevaluatievragenlijsten de eigen ICT-competenties te monitoren (te raadplegen via blz. 11/70

12 laatst geraadpleegd 25 augustus 2014, niet meer bereikbaar vanaf 1 januari 2015) en de Assessmenttool, een vragenlijst als hulpmiddel om ICT succesvol te integreren (zie laatst geraadpleegd 25 augustus 2014, eveneens niet meer bereikbaar vanaf 1 januari 2015). Een Engelstalig voorbeeld is de ICT Self-Efficacy Scale (Markauskite, 2007). De schaal van Compeau en Higgins (1995) waarop deze schaal onder andere is gebaseerd, is online beschikbaar (via 03.html, laatst geraadpleegd 15 juli 2015). Via dergelijke schalen kan men aangeven in hoeverre men zich vaardig acht in het omgaan met ICT. Zoals reeds beschreven, voldoet zelfevaluatie via checklists echter niet om een volledig correcte weergave van de vaardigheden te krijgen. Ook informatie rond een aantal tools om ICTbekwaamheid te meten was echter beschikbaar. In eigen land bestaan bijvoorbeeld de online tests die de Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding ter beschikking stelt (zie /informaticatesten.shtml#, laatst geraadpleegd 15 juli 2015). Niet alleen de context (het doel) waarvoor de tests opgemaakt zijn, maar ook het feit dat het sterk aan een besturingssysteem gerelateerde (Microsoft) tests zijn, vormt een nadeel. Wel binnen de context onderwijs, maar niet rechtstreeks voor de lerarenopleiding is er de ICT-DIA. Het Vlaams Verbond van het Katholiek Secundair Onderwijs werkte de ICT-DIA (VVKSO, 2012) uit, een tool die met name kan ingezet worden bij de overgang van het lager naar het secundair onderwijs om de bij de leerlingen aanwezige ICTvaardigheden in kaart te brengen ( /Forms/AllItems.aspx, laatst geraadpleegd 15 juli 2015). Verder is er de website klaar voor hoger onderwijs (zie Dienst Studieadvies Arteveldehogeschool , laatst geraadpleegd 15 juli 2015), een digitaal instrument dat leerlingen sensibiliseert over de verwachtingen die het hoger onderwijs stelt op het vlak van studiekeuze-, leer-, ICT- en taalcompetenties. Via deze website kunnen leerlingen, onder begeleiding van hun leerkracht of CLB-medewerker, deze vier instapcompetenties zelf testen. In de website zit voor elk van de vier startcompetenties een module. De ICT-module is vooral complementair aan wat met de starterskit beoogd wordt. De mogelijkheden om de starterskit te integreren in deze tool worden dan ook nagegaan. Nog binnen de context van hoger onderwijs is er de website een portaal van de Associatie KU Leuven over persoonlijk informatiebeheer (informatie en zelftest). Momenteel loopt er ook een enquête ( laatst geraadpleegd 15 juli 2015) waarin zowel de zelfinschatting ICTvaardigheden als een effectieve test van relevante basisvaardigheden ICT voor het hoger onderwijs worden opgenomen. In Nederland kon lang gebruik gemaakt worden van een gratis online tool die door Stichting Kennisnet, Cito en European Computer Driving Licence (ECDL) Nederland werd ontwikkeld om de ICT-vaardigheden van leraren te meten, namelijk de Quickscan. Uitgangspunt waren echter enkel de vaardigheden die nodig zijn voor het behalen van het Europees Computer Rijbewijs (ECR): het gebruik van Windows, Word, Powerpoint, internet en . Bovendien wordt de website(applicatie) sinds eind 2009 niet meer bijgewerkt. Via de website kan je wel nog je vaardigheden testen en het ECR halen, maar nu tegen betaling. blz. 12/70

13 Bovendien zijn er een aantal Engelstalige screeningsinstrumenten, zoals bijvoorbeeld de Northstar Digital Literacy Assessment (via laatst geraadpleegd 15 juli 2015). Verder zijn er uiteraard de studies door de International Association for the Evaluation of Educational Achievement (IEA) waarbij ook gebruik gemaakt wordt van online tests (en waarvan een aantal voorbeelden te bekijken zijn via de website laatst geraadpleegd 15 juli 2015). Katz (2007) rapporteert over (het onderzoek naar de validiteit van) het ICT Literacy Assessment nu The iskills Assessment (zie laatst geraadpleegd 15 juli 2015) ontwikkeld door de Educational Testing Service (ETS). Inhoudelijke constructie van de ICT-starterskit voor (aspirant-)leraren Vooraleer nog verder in te zoomen op het doorlopen ontwikkelproces van de ICT-starterskit, wordt hieronder eerst scherp gesteld wat in het kader van het project precies verstaan werd onder (het meten van) ICT-vaardigheden of ICT-bekwaamheid. Zoals ook uit bovenstaande valt af te leiden, worden er binnen het domein immers zeer diverse concepten gaande van ICTbasisvaardigheden tot digitale geletterdheid en definities gehanteerd. Basisvaardigheden met betrekking tot gebruik van ICT, ook wel aangeduid als basis computervaardigheden of breder digitale vaardigheden worden algemeen beschouwd als de vertaling van competenties of geletterdheid op het vlak van informatie, ICT en media naar meer praktische en meetbare taken (zie ook van Deursen, 2010). Goldhammer et al. (2013) definiëren ze als de fundamentele capaciteit om basisacties met een zekere snelheid te volbrengen in een digitale omgeving en dit in functie van het toegang krijgen tot, verzamelen van en delen van informatie. Op de website van het Vlaams Ministerie van Onderwijs en Vorming staat volgende omschrijving van ICT-competentie: ICT-competentie kunnen wij omschrijven als de capaciteit om op een creatieve wijze ICT-kennis, -inzicht, -vaardigheden en - attitudes te benutten, in functie van de concrete, dagelijkse en veranderende leer- en werksituatie en in functie van de persoonlijke ontwikkeling en de maatschappelijke participatie ( ict/ondersteuning/ondersteuning-competenties/, laatst geraadpleegd 15 juli 2015). In veel bijdragen wordt echter niet (langer) over ICT- maar over digitale competentie gesproken. Het concept digitale competentie blijkt breder en noodzakelijk om mee te nemen in het discours rond ICT en leraren (in opleiding). Digitale competentie is één van de acht sleutelcompetenties die het Europees Parlement in 2006 als volgt formuleerde: Digital competence involves the confident and critical use of information society technology (IST) and thus basic skills in information and communication technology (ICT) (gevonden via: education_training_youth/lifelong_learning/c11090_en.htm, laatst geraadpleegd 15 juli 2015). De begrippen ICT- of digitale geletterdheid worden meestal geconceptualiseerd als een omvattend geheel van ICT- dan wel digitale competenties en benoemd als critical 21st century skill (zie bijvoorbeeld Klieme, Hartig & Rauch, 2008; The Partnership for 21st Century Skills, 2009). Onder de in het vorig punt beschreven instrumenten zijn er zowel die ICT-competenties beogen te meten, als tools die zich specifiek op de basisvaardigheden richten. De ICT-starterskit wil kennis, vaardigheden en attitudes met betrekking tot ICT-gebruik meten. Voor de inhoudelijke constructie blz. 13/70

14 werd echter in een eerste fase bewust vertrokken van het competentieniveau. Dit zowel vanuit theoretische overwegingen via competenties als overkoepelende gehelen werd een meer inhoudelijke focus behouden en een meer geïntegreerde ICT-benadering bij het in de tweede fase vastleggen van de bouwstenen ervan (de nodige kennis, inzichten, vaardigheden en attitudes) als vanwege de Vlaamse beleidscontext (het is via competenties, in casu de leergebied- en vakoverschrijdende eindtermen en ontwikkelingsdoelen en de basiscompetenties van de leraar, dat de overheid een kader biedt om ICT een plaats te geven in het onderwijscurriculum). Fase 1 Zoals hierboven reeds gesteld, startte de constructie van de starterskit vanuit het concept ICTcompetenties. In het kader van het project werd volgende omschrijving van dit begrip gehanteerd: ICT-competenties zijn het geheel van kennis, inzicht, vaardigheden en attitudes dat ingezet wordt om op een vertrouwensvolle, zelfredzame en kritische manier een keuze te maken tussen digitale toepassingen in functie van het bereiken van een doel (dat op allerlei vlak kan liggen: informatief, communicatief, ) op een effectieve en efficiënte manier (zie Bijlage 1 Bijlage 4 bij eindverslag project ENW SoE 2011/5, p. 2). Drie sets standaarden waren in deze fase richtinggevend. In de eerste plaats zijn dat uiteraard de ICT-competenties die door de lerarenopleidingen als minimumvereisten worden beschouwd om de opleiding succesvol te kunnen opstarten. Deze werden vastgelegd door de lerarenopleidingen (binnen het ENW SoE) te bevragen: er vonden zowel verkennende gesprekken plaats met ICTverantwoordelijken binnen een aantal instellingen uit het ENW SoE, als een samenkomst met een zo breed mogelijk samengestelde adviesgroep. Tijdens deze bijeenkomst werd gewerkt rond een door de projectgroep opgestelde discussietekst (zie Bijlage 1) en de centrale vraag welke ICTcompetenties wil men minimum aanwezig zien bij instromende kandidaat-leraren. De opgelijste ICT-competenties bleken onder te brengen in een viertal dimensies die (op basis van onder andere de ICT-diamant ( laatst geraadpleegd 15 juli 2015), Ananiadou en Claro (2009), Jenkins (2009) en van Deursen (2010)) benoemd werden als respectievelijk de medium gerelateerde, de informatie-, communicatie- en sociaal-ethische dimensie (zie ook verder, Tabel 1). De grenzen waarbinnen de nodige startcompetenties konden worden geformuleerd, werden getrokken door de vakoverschrijdende eindtermen en ontwikkelingsdoelen (VOET) ICT (2007) en de VOET mediawijsheid (2010). Een derde kader dat gehanteerd werd, was dat van de basiscompetenties van de leraar. Met name die ICT-competenties die aan het einde van de lerarenopleiding c.q. van iedere beginnende leraar worden verwacht in het bijzonder basiscompetentie uit de basiscompetenties voor de leraar lager en secundair onderwijs: ICT functioneel kunnen integreren in functie van het ontwerpen van een krachtige leeromgeving werden gehanteerd en geoperationaliseerd als een referentiepunt om van bij de start al naartoe te werken. Fase 2 Zoals in het bovenstaande gesteld, werden in een tweede fase de door de opleidingen minimaal nodig geachte ICT-vaardigheden en attitudes bij instroom gedestilleerd, de elementen dus die blz. 14/70

15 zouden gescreend en geremedieerd worden via de ICT-starterskit. Dit gebeurde door de projectgroep, gevolgd door een bekrachtiging door de adviesgroep. De voor de lerarenopleidingen relevante vaardigheden en attitudes met betrekking tot ICT bij instroom vonden vervolgens hun neerslag in een toetsmatrijs (zie Bijlage 2 Bijlage 5 bij eindverslag project ENW SoE 2011/5). Deze matrix heeft attitudes en vijf categorieën vaardigheden enerzijds en vier niveaus ( levels ) waarop de vaardigheden zich kunnen manifesteren anderzijds als ingangen. Het vertrekpunt voor het bepalen van de gewenste ICT-vaardigheden en -attitudes bij instroom waren in eerste instantie de in fase 1 vastgelegde startcompetenties, maar ook enkele kaders uit de literatuur (Ananiadou & Claro (2009), van Deursen (2010)), het raamplan ICT en informaticaleerplannen, datgene wat destijds werd vastgelegd in het Vlaams ICT-attest als basiskennis, -vaardigheden en -attitudes m.b.t. ICT, de Kennisbasis ICT (ADEF, 2009),. Deze vaardigheden werden ondergebracht in vijf categorieën (zie ook Tabel 1), categorieën die ontleend zijn aan de classificatie van Van Deursen (2010) voor digitale vaardigheden. Van Deursen (2010) hanteert deze indeling dan wel voornamelijk in functie van het in kaart brengen van de wijze waarop men internet gebruikt, doch ze kan probleemloos gegeneraliseerd worden naar het geheel van digitale vaardigheden. De (overkoepelende) rubriek attitudes werd hier nog aan toegevoegd. Operationele vaardigheden verwijzen naar de basisvaardigheden (technische, instrumentele (Steyaert, 2000)) die men nodig heeft om digitale media te gebruiken. Formele vaardigheden (van Dijk, 2005) hebben betrekking op het begrijpen van en kunnen omgaan met de structuren en kenmerken van een medium. Informatievaardigheden verwijzen naar de capaciteit om media-inhoud op te zoeken en te evalueren, terwijl strategische vaardigheden gezien moeten worden in termen van het bereiken van een specifiek doel. De vijfde categorie zijn de communicatievaardigheden omdat online communicatie een hele reeks vaardigheden vereist die niet terug te vinden zijn in één van de vier vorige categorieën (van Deursen & van Dijk, 2009). Ook al ligt de klemtoon van de screening met de ICT-starterskit op de medium gerelateerde dimensie, anders gezegd op de onderste trede van de eskills pyramid (Kennisnet, 2012), ook de andere categorieën vaardigheden komen aan bod. Tabel 1: Overzicht van de onderliggende inhoudelijke structuur van de screening d.m.v. de ICTstarterskit op basis van Ananiadou en Claro (2009) en van Deursen (2010) 4 Dimensies competenties Attitudes en 5 Categorieën vaardigheden Sociaal-ethische Attitudes Medium gerelateerde Operationele vaardigheden Formele vaardigheden Inhoud gerelateerde Informatievaardigheden Strategische vaardigheden Communicatie Communicatievaardigheden De vier niveaus elementair, basis, gevorderd en extra werden aan de hand van de curricula en studiemateriaal van ICT-opleidingen bepaald. Computeropleidingen krijgen immers vaak dergelijke opdeling mee. Het niveau extra werd toegevoegd om tegemoet te komen aan studenten die reeds sterk onderlegd zijn qua ICT-vaardigheden, maar werd in het uiteindelijke blz. 15/70

16 instrument voor vier van de vijf inhoudsgebieden opnieuw samengevoegd met het niveau gevorderd daar beide niveaus bij het opstellen van de toetsitems toch te weinig onderscheidend bleken. De achterliggende idee van het werken met niveaus is het willen inbouwen van een mogelijkheid om gedifferentieerd te werken. Daar waar het instrument initieel verschillend zou worden opgesteld naar het soort lerarenopleiding, differentieert het nu via de niveaus en op basis van de individuele beginsituatie van de student. Binnen de opleidingen zijn de individuele verschillen immers vaak groot en ook de vereisten die aan een student binnen een bepaalde opleiding worden gesteld, verschillen (studenten met hoogstens een diploma secundair onderwijs aan de specifieke lerarenopleiding (SLO) komen bijvoorbeeld in een heel andere werkcontext met andere vereisten voor wat betreft ICT-competenties terecht dan studenten met een diploma hoger onderwijs, van een student Bachelor Secundair Onderwijs Lichamelijke Opvoeding zullen andere ICTcompetenties verwacht worden dan van een student Bachelor Secundair Onderwijs Informatica, ). Bedoeling is dat op basis van een zelfinschatting en/of de gecommuniceerde verwachtingen vanuit de opleiding, de student de starterskit doorwerkt (eventueel vanaf een bepaald niveau), zijn ICT-bekwaamheid in kaart brengt en op het einde van de starterskit bijvoorbeeld aan de hand van de ingebouwde remediëringsmogelijkheden minimaal het vanuit de opleiding verwachte startniveau bereikt. Fase 3 Op basis van een toetsmatrijs (zie ook Fase 2, zie Bijlage 2) werd vervolgens een eerste reeks toetsitems uitgewerkt binnen vijf inhoudsgebieden, zijnde bestandsbeheer, schrijfprogramma s, presentatiemiddelen, rekenblad en internet en e-communicatie. De toetsmatrijs fungeerde hierbij als een soort blauwdruk op basis waarvan een representatieve verdeling van items over de vaardigheden en niveaus werd nagestreefd. Nadat een honderdtal items geprogrammeerd was, werd een pilootafname georganiseerd (oktober 2012). Een ruime proefgroep werd bereikt binnen zowel geïntegreerde als specifieke lerarenopleidingen die de items uittestten (N = 107) en een vragenlijst naar hun beleving van het instrument (zie Bijlage 3) invulden (n = 53). Analyses wezen uit dat de interne consistentie van de items binnen (de verschillende niveaus van) de inhoudsgebieden goed was voor de inhoudsgebieden bestandsbeheer, schrijfprogramma s en rekenblad (Cronbach s alpha >.70), maar onvoldoende voor de inhoudsgebieden presentatiemiddelen en internet. De somscores wezen niet overtuigend op een oplopende moeilijkheidsgraad van niveau 1 naar 3 (of 4). Op itemniveau werd telkens de gemiddelde score (en de standaarddeviatie) op het item bekeken, de correlatie van het item met het geheel en de frequentie waarmee antwoordmogelijkheden werden gekozen. Op basis hiervan werden items en antwoordmogelijkheden beoordeeld en behouden, aangepast of verwijderd. Studenten gaven via de vragenlijst een gemiddelde score van (op 10) voor wat betreft hun beleving bij het instrument (duidelijkheid instructies, lengte, aard van de opdrachten, ) zoals het toen voorlag. Vooral de duidelijkheid van de instructies en de vraagstelling kon volgens hen beter. Op basis van deze gegevens werden verbeteracties voor de eerste reeks items en aandachtspunten om mee te nemen bij de uitwerking van de nog nieuw te creëren items naar voren geschoven. Bovendien werden op basis van deze pilootafname de instructies herdacht. blz. 16/70

17 Nadat een tweede reeks toetsitems werd uitgewerkt, werd opnieuw een testfase georganiseerd. De bereikte proefgroep was echter te klein (N = 10) om statistische analyses uit te voeren. Op basis van de resultaten en de kwalitatieve gegevens uit de afname en het oordeel van de adviesgroep met betrekking tot deze items durven we echter voorzichtig stellen dat de verbeteracties op basis van de conclusies bij de eerste pilootafname hun vruchten afwierpen. Zo bleken de vragen duidelijker en kwam de logica van de niveaus ook beter tot zijn recht. In het totaal zitten er nu zo n 275 vragen in de database, verdeeld over 2 series (test- en hertestmogelijkheid). Bij elke vraag verschijnt een situatie waarvoor je een oplossing moet vinden (voor een voorbeeld, zie Figuur 1). De oplossing wordt gekozen uit de knoppen onder de situatie. Wanneer men het antwoord niet kent, kiest men de knop Ik weet het niet. Figuur 1: Voorbeeldvraag (Operationele vaardigheid, Bestandsbeheer, niveau 1) Daar waar het oorspronkelijk de bedoeling was een omgeving te simuleren waarin de studenten vaardigheden moesten demonstreren, werd wegens tijd- en budgetrestricties voor bovenstaand format gekozen. Hierbij werden de vragen inhoudelijk zo contextrijk mogelijk opgemaakt. De vragen kaderen zoveel mogelijk binnen de context van het leraar (in opleiding) zijn, het werken met hedendaagse media in de klas, Hierbij worden zowel de vaardigheden (bijvoorbeeld Hoe download je een programma vanop internet? ) als de attitudes (bijvoorbeeld bij het downloaden van dergelijke programma s kan je ongewild zaken mee downloaden die je eigenlijk niet op je computer wil hebben; kijk steeds goed na wat aan- of afgevinkt staat, lees steeds goed de instructies, de voorwaarden die je onderschrijft, ) getoetst. Verder werd bewust aandacht besteed aan het visualiseren van contexten binnen diverse soorten software. Daar waar zinvol, werden bovendien generieke antwoordknoppen gegenereerd, waardoor het redeneren over het juiste antwoord voorop staat en niet de specifieke handeling in een bepaald pakket. blz. 17/70

18 Fase 4 Deze fase bestond uit de uitbouw van de remediëringsmogelijkheden in de vorm van pop-ups met informatie, kwantitatieve en kwalitatieve feedback bij de antwoorden op de toetsitems, fiches met info, instructiefilmpjes en oefeningen, een hertestingsmogelijkheid, Daar het remediëringsluik niet de focus vormt van deze masterproef, verwijzen we voor meer informatie hierover naar het eindverslag bij het project (De Jaeger, Awouters, Palmaers, Vandeputte, & Janssen, 2013, p ). De adviesgroep boog zich op het einde van deze fase over het eindproduct van het project en op basis van hun raadgevingen werden de laatste aanpassingen gemaakt. De ICT-starterskit is zo een screenings- en remediëringsinstrument geworden dat zo uitgewerkt is dat studenten er in principe volledig zelfstandig mee aan de slag kunnen. Reeksen vragen worden aangeboden volgens inhoudsgebied en vaardigheidsniveau en na elk niveau dat werd doorlopen, verschijnt kwantitatieve en kwalitatieve feedback alsook de mogelijkheid om te remediëren. Validering van de ICT-starterskit De itemresponstheorie als testtheorie Deze studie vertrekt vanuit de itemresponstheorie (IRT). Deze moderne testtheorie werd verkozen boven de klassieke testtheorie (KTT) omwille van de sterkte ervan. Moderne testtheorieën zoals IRT kunnen de beperkingen van de KTT overwinnen (Aesaert, van Nijlen, Vanderlinde, & van Braak, 2014). Een eerste beperking van de KTT is dat ze niet kan aangeven hoe een (groep) perso(o)n(en) zal antwoorden op een bepaald item (Hambleton, Swaminathan & Rogers, 1991 in Aesaert et al., 2014) daar klassieke testmodellen zich toespitsen op het niveau van de testscores. Bovendien is er het probleem van de circulaire afhankelijkheid: iemands vaardigheid wordt vastgesteld aan de hand van een welbepaalde test en de interpretatie is enkel mogelijk in de context van die beide en de testgroep (Hambleton et al in Reniers- Mullié, 2006 en in Aesaert et al., 2014). Verder volgt uit de theorie niet of het zinvol is een verzameling items tot een toets samen te voegen (Verhelst, 1992 in Reniers-Mullié, 2006). Sijtsma (2009) haalt aan dat om de interne consistentie van een toets te onderzoeken, men beter dan de Crohnbach s alpha berekenen, gebruik kan maken van factoranalyse en IRT. IRT-modellen spitsen zich bovendien toe op het niveau van de itemscores, genereren scores die niet test- of itemafhankelijk zijn en leveren teststatistieken op die niet testgroep-afhankelijk zijn (Aesaert et al., 2014). Convergente validiteit Hoewel zelfevaluatie niet toereikend is om zicht te krijgen op het werkelijke niveau van ICTvaardigheden, rapporteren verschillende auteurs (zie o.a. Goldhammer, 2012; Katz & Macklin, 2007) dat een correlatie rond.30 verwacht kan worden tussen zelf gerapporteerde ICTbekwaamheid en een performantietoets met betrekking tot hetzelfde construct. Het is dus interessant ter confirmatie van de validiteit van de screening om na te gaan of een correlatie van die grootte-orde kan gemeten worden. blz. 18/70

19 Indruksvaliditeit De validiteit op het eerste gezicht of face-validity zegt iets over in hoeverre het er op lijkt dat een toets iets correct meet. In deze studie wordt aan de participanten zelf gevraagd om daarover een waarde-oordeel uit te spreken met betrekking tot de ICT-starterskit. Bij het uitzetten van de gebruikerservaringen ten opzichte van de toetsscores zou het verband zich kunnen tonen als een omgekeerde U-curve, waarbij deelnemers met gemiddelde scores een positiever waarde-oordeel uitspreken dan wie faalt of erg goed scoort: positieve fenomenen bereiken [bij dergelijke omgekeerde U-vormeffecten] een punt waarbij hun effecten negatief worden (Grant & Schwartz, 2011). Probleemstelling en onderzoeksvragen Alhoewel de constructie van de starterskit gebaseerd is op nationale en internationale voorbeelden en theoretische kaders uit de literatuur, hierbij ook rekening houdend met de context van het onderwijsbeleid inzake ICT in Vlaanderen (en daarbuiten), stelt huidig onderzoek de vraag of het screeningsinstrument meet wat het hoort te meten. Zoals reeds aangehaald, zijn er immers tot nu enkel psychometrische gegevens voorhanden uit de beginfase van de constructie én werd het instrument op basis daarvan grondig aangepast. Vraag is dus of het instrument studenten kan helpen te bepalen of ze de ICT-gerelateerde instroomvereisten voor de lerarenopleiding halen. Concreter geformuleerd: wanneer studenten die voor het eerst instromen in een geïntegreerde dan wel specifieke lerarenopleiding in Vlaanderen bij de aanvang van die opleiding de ICT-starterskit doorlopen, krijgen zij dan een correct beeld van hun positie op het vlak van ICT-vaardigheden en - attitudes ten opzichte van het verwachte instroomniveau? Binnen deze masterproef staat met andere woorden de vraag naar de validiteit van het instrument centraal. Bovendien zou de vraag kunnen gesteld worden of het instrument met inbegrip van het remediëringsgedeelte doet wat het hoort te doen, namelijk studenten optillen tot aan het verwachte startniveau ICT-vaardigheden. Het beantwoorden van deze vraag zal echter buiten het bestek van deze masterproef vallen; dit werk zal zich beperken tot het validatie-onderzoek van het screeningsgedeelte. Het bovenstaande vertaalt zich in volgende concrete onderzoeksvragen: 1. Is er voldoende face-validity (validiteit op het eerste gezicht, indruksvaliditeit): scoort het instrument goed met betrekking tot de mate waarin het op het eerste gezicht correct lijkt te meten? 2. Naar de bruikbaarheid van de individuele vragen: Hoe zijn de itemkarakteristieken, met name de itemmoeilijkheid en discriminerend vermogen? 3. Naar de constructie van de toets als geheel: - Welke onderliggende factoren verklaren de correlaties tussen de items? blz. 19/70

20 - Welke valide meting van ICT-vaardigheden voor startende student-leraren kan aan de hand van IRT geconstrueerd worden? 4. Is er convergente validiteit met een zelfinschatting door studenten met betrekking tot de door de ICT-starterskit getoetste vaardigheden? Methodologie Design en instrumentarium Bovenstaande onderzoeksvragen werden benaderd via dataverzameling bij (grote) groepen instromende studenten aan de lerarenopleiding. Zij werkten (minimaal) de eerste serie vragen van de ICT-starterskit af, hetgeen leidde tot de nodige kwantitatieve data (testscores) met betrekking tot de eerste serie vragen. Te weinig studenten maakten gebruik van de mogelijkheid zich te hertesten. Deze studie beperkt zich dan ook tot de eerste serie van 140 items van het screeningsgedeelte van de ICT-starterskit. Voorafgaand aan de afnames werd aan de studenten gevraagd online een korte vragenlijst (zie Bijlage 4) in te vullen waarin een aantal gegevens worden opgevraagd (gebruikersnaam in de starterskit (voor de koppeling van de gegevens uit deze bron aan de testresultaten), geslacht, leeftijd, voorafgaand onderwijsniveau en studierichting/opleiding, gehanteerde besturingssysteem) en waarin de studenten zichzelf beoordelen op het vlak van de inhoudsgebieden die in de ICTstarterskit getoetst worden. Vooraleer de ICT-starterskit te doorlopen, schatten de studenten dus voor zichzelf in in hoeverre ze onderlegd waren in bestandsbeheer, schrijfprogramma s, presentatiemiddelen, rekenblad en internet en e-communicatie (de inhoudsgebieden binnen de starterskit). Er werd hen gevraagd per (groep) ICT-toepassing(en) in te schatten of ze er op een elementair niveau, basisniveau, gevorderd niveau of expertniveau mee konden werken (naar de levels binnen de inhoudsgebieden). Ook de mogelijkheid geen kennis/vaardigheden kon aangeduid worden. Dit in functie van het nagaan van de convergente validiteit. Na afloop werd gevraagd via een korte vragenlijst de beleving met betrekking tot (het gebruik van) het instrument weer te geven. Binnen de starterskit werd dergelijke vragenlijst naar gebruikerservaringen opgenomen (zie Bijlage 3). Met een cijfer van 1 tot 10, eventueel aangevuld met kwalitatieve feedback, gaven de studenten aan hoe ze de instructies hebben ervaren (duidelijkheid), wat ze vonden van de lengte van de test en van de aard van de opdrachten, of de test volgens hen een correct beeld geeft van hun ICT-vaardigheden en in hoeverre ze door de test inzicht krijgen in hun sterktes en zwaktes met betrekking tot het gebruik van ICT. Dit om de indruksvaliditeit na te gaan. blz. 20/70

21 Participanten In juli 2014 werden een aantal lerarenopleidingen via aangeschreven met de vraag om deel te nemen aan het onderzoek in het kader van deze masterproef. In sommige gevallen gaat het om instellingen die gedurende het voorbije werkjaar reeds aan de slag gingen met de starterskit, in andere niet. Ook het feit dat een contactpersoon (een lid van de adviesgroep bij het project, een deelnemer aan een workshop rond de ICT-starterskit op een studiedag, ) reeds interesse toonde voor het gebruik van het instrument, was een criterium om te vragen naar deelname aan huidig onderzoek. Met de opleidingsinstellingen werd vervolgens bekeken hoe alles praktisch gezien in zijn werk zou gaan en welke ondersteuning zij hierbij nog nodig hebben. De meeste lerarenopleidingen gingen zelf aan de slag en integreerden de afname van de ICT-starterskit bij hun studenten binnen de bestaande leerlijn ICT in de opleiding. Zij stelden de studenten hierbij op de hoogte van het feit dat de data anoniem zouden verwerkt worden in het kader van deze scriptie. Een korte presentatie met betrekking tot het concept en de werkwijze van de starterskit (zie Bijlage 5) was ter beschikking en via of telefonisch contact werden eventuele problemen in samenwerking opgelost. De studenten namen bij het begin van het academiejaar deel aan het onderzoek. Zij vulden de vragenlijst voor het survey-onderzoek in, liepen de starterskit door en scoorden achteraf de vragenlijst met betrekking tot (het gebruik van) het instrument. Op 31 oktober 2014 werd de dataverzameling afgesloten en werd gestart met de data-analyse in functie van de geformuleerde onderzoeksvragen. Volgende onderwijsinstellingen namen met (een deel van) hun instroom deel aan het onderzoek: Specifieke Lerarenopleidingen (n = 184): - Hogeschool Universiteit Brussel, Faculteit Economie en Bedrijfswetenschappen, Campus Brussel (HUBrussel) en Antwerpen (Lessius) (n = 8) - CVO VIVO reguliere opleiding (cursisten met maximaal een diploma HO, n = 76) eenjarige opleiding (cursisten met een bachelordiploma die de opleiding in 1 jaar afwerken, n = 43) - CVO Limlo, reguliere opleiding (cursisten met maximaal een diploma HO, n = 37) - HBO5 Antwerpen, versnelde opleiding (cursisten met een diploma HO, n = 20) Geïntegreerde Lerarenopleidingen (n = 228): Groep T - opleiding Bachelor Kleuteronderwijs (n = 62) - opleiding Bachelor Lager onderwijs (n = 56) - opleiding Bachelor Secundair onderwijs (n = 110) blz. 21/70