Eindrapport vooronderzoek civiele testen

Transcriptie

1 Eindrapport vooronderzoek civiele testen 1

2 Inhoudsopgave 1. Opdracht 2. Werkwijze 2.1. Criteria voor testmateriaal 2.2. Verkenning 2.3. Inventarisatie 2.4. Analyse 2.5. Conclusie 2.6. Criteria nieuw testmateriaal 3. Referenties Bijlage 1: Verslag stuurgroep 25 april Bijlage 2: Verslag stuurgroep 20 juni Bijlage 3: Fiche Bureau ICE - TOA Bijlage 4: Fiche Uitgeverij Boom TANG toetsen Bijlage 5: Fiche CNaVT - profielexamens Bijlage 6: Fiche CITO Begintoets Taal en NT2-toets Online Bijlage 7: Fiche CITO en Bureau ICE - Staatsexamens Bijlage 8: Fiche elao 2

3 1. Opdracht Vanuit verschillende beleidsdomeinen wordt aan Huis van het Nederlands gevraagd bewijzen van taalkennis Nederlands af te leveren. Vreemdelingen die de Belgische nationaliteit willen verwerven dienen aan te tonen dat ze niveau A2 hebben, voor bestuurszaken zijn er per aanwervingsniveau bepaalde taalvereisten, voor inburgering wordt het taalniveau opgetrokken naar niveau A2 (voor analfabeten blijft dit A1), Huis van het Nederlands heeft heel wat ervaring met het afnemen van niveautesten in functie van het instappen in een NT2-cursus. De niveautesten die het Huis gebruikt, zijn echter ontwikkeld samen met de regionale NT2-partners en daardoor niet overal in Vlaanderen dezelfde. Zij resulteren bovendien in een eerst inschatting van het niveau en kunnen dus niet gebruikt worden als highstake testen. Huis van het Nederlands hebben daarom nood aan een aangepast instrumentarium om high-stake testen af te nemen en zo taalniveaus op een uniforme en gestandaardiseerde manier te valideren. Het opzet van dit vooronderzoek is te bekijken of er aan de slag kan gegaan worden met reeds bestaand testmateriaal. 2. Werkwijze 2.1. Criteria voor het testmateriaal In samenspraak met de betrokken overheden werd eerst bepaald welk soort toets noodzakelijk is op vlak van vaardigheden, niveaus en profielen. Aan de hand van een literatuurstudie en de praktijkervaring van Huis van het Nederlands werden praktische en inhoudelijke criteria voor het te gebruiken testmateriaal opgesteld. De testen moeten een alternatief bieden voor kandidaten die geen certificaat van een onderwijsinstelling kunnen voorleggen. De verkregen attesten dienen ingezet te kunnen worden op meerdere beleidsdomeinen. De testen moeten kwaliteitsvol zijn en gerelateerd aan het ERK. Het materiaal moet ook inpasbaar zijn in de decretale werking van Huis van het Nederlands. Het is gebruiksvriendelijk voor alle kandidaten zowel hoog- als laaggeschoolden) en bij voorkeur digitaal. Het materiaal wordt verder geanalyseerd op vlak van kostprijs, mogelijkheid tot gebruik in een Vlaamse context, opdeling in vaardigheden en profielen, Aan de hand van deze criteria werd een fiche opgesteld waaraan bestaande testen afgetoetst kunnen worden en vergeleken. Op basis van deze analyse neemt de stuurgroep dan een beslissing over het te gebruiken toetsmateriaal in een testfase. In tabel 1 ziet u de blanco fiche. 3

4 Tabel 1: Blanco fiche Toets Ontwikkelaar naam Naam Ontwikkelaar Contactpersoon: Jaar van uitgave Doel Ontwikkeld in functie van Vaardigheden en niveaus A1 A2 B1 B2 C1 C2 Lezen Luisteren Schrijven Spreken Gesprekken voeren Profielen/rollen Validiteit Welke contexten komen aan bod? In welke niveaus? Voor welke vaardigheden? Meet de test enkel ERK-niveaus? Worden geen andere kennis/vaardigheden getest? Hoe is de ERK-relatering gebeurd? Authenticiteit: is het materiaal authentiek? Betrouwbaarheid Wordt er voldoende uitgebreid getest? Wordt objectiviteit gegarandeerd? Is er een duidelijke handleiding van hoe de test wordt afgenomen? Is er geen invloed van omgevingsfactoren of afnemers mogelijk? Is er een duidelijk beoordelingsmodel dat geen discussie toelaat? Ontwikkeld door: Goedgekeurd door: Efficiëntie Is de test inpasbaar in de decretale werking van de HvN? Correctie: Is een snelle correctie mogelijk, zijn er duidelijke richtlijnen bij het bepalen van de score? Tijdsinvestering consulent: hoeveel tijd spendeert de consulent aan het afnemen van de test? 4

5 Gebruiksvriendelijkheid Toegankelijk voor: (laaggeschoold, hooggeschoold?)(aandacht voor alfa-cursisten, dyslectische deelnemers etc?) Zijn pc-vaardigheden nodig? Afnameduur: hoeveel tijd spendeert de klant aan het maken van de test? Instructies: duidelijk? Resultaat: direct/nadien? Advies voor vervolgtraject/feedback voor remediëring? Bruikbaar in Vlaamse context Luisterfragmenten: Woordenschat: Context: Aanpassingen Nodig? Mogelijk? Benodigdheden Systeemvereisten: pc, internet Materiaal: koptelefoons, microfoons, aparte ruimtes Kosten Licentie: Prijs per test: Kostprijs voor eventuele aanpassingen: Kostprijs voor opleiding: Opmerkingen Deze fiche is gebaseerd op: - Telefonisch contact/mailverkeer met - Handleiding bij de toets - De eigenlijke toets/een gelijkaardige voorbeeldtoets - Eigen bedenkingen (cursief) - 5

6 Op aanraden van de stuurgroep werd er ook een ideale fiche opgesteld. Hierin werd er per criterium omschreven aan welke eisen de ideale test moet voldoen. Op die manier werd het uiteindelijke doel nog eens duidelijk gesteld. In Tabel 2 ziet u de ideale fiche. Tabel 2: De ideale fiche Toets Ontwikkelaar naam Naam Ontwikkelaar Contactpersoon: Jaar van uitgave Doel Bij voorkeur niet ouder dan 5 jaar Highstake test, moet bepalen of de klant het beoogde ERK-niveau heeft behaald in functie van: - Inburgering: vrijstelling NT2: A1 voor analfabeten, A2 voor andere inburgeraars - Nationaliteitsverwerving: A2 - Bestuurszaken: Aanwervingsniveau D en E: A2 - Bestuurszaken: Aanwervingsniveau D (administratieve en verzorgende functies): B1 - Bestuurszaken: Aanwervingsniveau C (technische en verzorgende functies): B1 - Eventuele toekomstige beleidsbeslissingen Vaardigheden en niveaus A1 A2 B1 B2 C1 C2 Lezen x x x x x x Luisteren x x x x x x Schrijven x x x x x x Spreken/Gesprekken voeren x x x x x x Profielen/rollen Validiteit Toetsbatterij waarin rollen, domeinen en profielen geselecteerd kunnen worden. De testen zijn ERK-gerelateerd en testen geen andere kennis/vaardigheden. Er wordt bij 6

7 voorkeur gebruik gemaakt van authentiek materiaal. Betrouwbaarheid Er wordt voldoende getest. Er is een duidelijke handleiding van hoe de test wordt afgenomen. De invloed van omgevingsfactoren of afnemers wordt tot een minimum beperkt. Het beoordelingsmodel laat geen discussie toe. Ontwikkeld door: betrouwbare ontwikkelaars Goedgekeurd door: betrouwbare instanties Efficiëntie De test is inpasbaar in de decretale werking van de HvN Er is een snelle correctie mogelijk. Er zijn duidelijke richtlijnen bij het bepalen van de score. De afnemer spendeert een minimum aan tijd voor het geven van instructies, het afnemen en corrigeren van de test. Gebruiksvriendelijkheid De test en instructies zijn toegankelijk voor zowel hoog- als laaggeschoolden. Er is aandacht/mogelijkheid tot een aangepaste afname voor alfacursisten en personen met een beperking (dyslexie, slechtziend, ). De nodige pc-vaardigheden zijn beperkt tot de basiskennis. Resultaat: bij voorkeur onmiddellijk. De test voorziet ook advies voor vervolgtraject/feedback voor remediëring Bruikbaar in Vlaamse context Luisterfragmenten: bruikbaar zonder aanpassingen Woordenschat: geen uitgesproken Noord-Nederlandse woorden Context: bruikbaar zonder aanpassingen Aanpassingen Benodigdheden Kosten Zo weinig mogelijk Zo weinig mogelijk Zo laag mogelijk 7

8 2.2. Verkenning Om een inventaris te maken van bestaand toetsmateriaal werd contact opgenomen met gekende toetsontwikkelaars en gezocht naar andere aanbieders. Er werd ook gewerkt met het principe van de sneeuwbalmethode (aanbieders van toetsen en andere organisaties uit het veld vragen of ze nog andere ontwikkelaars kennen). Verder is er contact opgenomen met het Provinciaal Documentatiecentrum Atlas gezien hun jarenlange expertise in het NT2-veld. Vervolgens werd aan alle ontwikkelaars gevraagd welk materiaal zij precies ter beschikking hadden. Indien het enigszins in aanmerking kwam voor nader onderzoek, werd gevraagd een deel van het materiaal ter beschikking te stellen ter inzage. Met deze organisaties werd contact opgenomen: Toetsontwikkelaars Uitgeverij Boom, Bureau ICE, CNaVT, Selor, CINOP, CITO, AMN, Mister Dutch, Advies- en onderzoeksbureau Sardes, Studiecentrum voor Bedrijf en Overheid (SBO), Expertisecentrum KCH Examens, Teelen Kennismanagement, Uitgeverij Edu-Actief, Uitgeverij Deviant, Kennisinstituut voor taalontwikkeling ITTA, IVIO-Examenbureau, Stichting APS, Leerlingvolgsysteem Diataal. Hun referenties vindt u achteraan dit rapport Inventarisatie De bevindingen bij het inkijken van het testmateriaal werden genoteerd in fiches en afgetoetst aan de ideale fiche. De fiches werden aangevuld aan de hand van het ingekeken materiaal, de informatie op de websites, de informatie verschaft door de contactpersonen van de toetsontwikkelaars enz. Waar bleek dat het materiaal onvoldoende aan onze eisen voldeed, werd de fiche enkel beknopt aangevuld. Deze fiches zijn terug te vinden in bijlage 3 tot Analyse Een aantal ontwikkelaars liet al onmiddellijk weten geen bruikbaar materiaal te kunnen leveren. Voor deze organisaties werd daarom geen fiche ingevuld. CINOP Ontwikkelaar CINOP gaf bij het eerste contact al aan geen bruikbaar testmateriaal voorhanden te hebben voor dit doel. Men liet wel weten bereid te zijn om nieuw materiaal te ontwikkelen. Selor Selor gaf aan geen items te kunnen verspreiden via andere organisaties. Bovendien hebben zij geen materiaal voor niveau A1 en A2. Men is wel bereid Huis van het Nederlands te begeleiden in het ontwikkelen van eigen items. 8

9 Bij het opstellen van de fiches voor de andere ontwikkelaars werd al vrij snel duidelijk dat een aantal van de bekeken testen niet in aanmerking komen voor verder onderzoek. Zij testen namelijk niet de gevraagde vaardigheden of niveaus. Deze testen zijn de volgende: De Begintoets taal en de NT2 Toets online van CITO CITO meldt zelf dat de toetsomgeving en de testen verouderd zijn. Op 1 oktober 2013 is de ontwikkelaar met de verkoop gestopt van de toets NT2 Online en sinds 1 mei 2014 wordt de Begintoets Taal niet meer verkocht. Bovendien worden enkel de vaardigheden lezen en luisteren van niveau A1 en A2 getest. Gebruik van het bestaande materiaal is dus uitgesloten. elao Deze toets test enkel woordenschat, grammatica en luistervaardigheid en is dus onvoldoende geschikt. De staatsexamens NT2 van CITO en Bureau ICE Het gebruik van deze Nederlandse staatsexamens kan niet verantwoord worden in Vlaanderen. Materiaal laten ontwikkelen op basis van bestaande en gebruikte staatsexamens voor Nederland is daarom geen optie. De ontwikkelaars die na deze selectie overbleven, hebben materiaal dat enkel bruikbaar is mits aanpassingen. Met hen hebben we een gesprek gehad om de mogelijkheden tot aanpassingen te bekijken. TOA van Bureau ICE Het materiaal van Bureau ICE is zeker bruikbaar, maar het Noord-Nederlandse aspect vormt nog een struikelblok. Na gesprekken liet Bureau ICE weten een aangepaste versie van hun bestaande materiaal te willen ontwikkelen voor een Vlaamse context. Profielexamens van CNaVT De werking van het CNaVT is heel specifiek en moeilijk te verenigen met de werking van Huis van het Nederlands. Men test namelijk slechts op één moment (of bij uitbreiding een aantal momenten) per jaar. Een onmiddellijke correctie van de resultaten door medewerkers van Huis van het Nederlands is voor hen geen optie. Bovendien is er geen materiaal voor niveau A1 voorhanden en is er momenteel voor A2 enkel materiaal beschikbaar dat de focus legt op toeristische taalvaardigheid. Na een gesprek bleek dat nieuw materiaal ontwikkelen op basis van het bestaande materiaal voor CNaVT geen optie is. Zij geven er de voorkeur aan volledig nieuw materiaal te ontwikkelen. TANG toetsen van Uitgeverij Boom 9

10 Het oorspronkelijke materiaal van Uitgeverij Boom is niet bruikbaar gezien het Noord- Nederlandse aspect van de testen. Er wordt bijvoorbeeld gewerkt met authentieke kijk- en luisterfragmenten van de Nederlandse omroep die niet zomaar vervangen kunnen worden. Bovendien werd het materiaal in eerste instantie ontwikkeld voor de doelgroep midden- en hogeropgeleiden. Vertrekken vanuit het bestaande materiaal is daarom geen optie. Zij zijn wel geïnteresseerd om een versie voor Vlaanderen te ontwikkelen Conclusie We kunnen concluderen dat er voor alle bestaand materiaal grote aanpassingen nodig zijn. Er is bij verschillende ontwikkelaars bereidheid en expertise om iets nieuws te ontwikkelen, al dan niet op basis van bestaand materiaal. De stuurgroep heeft op 20 juni criteria opgesteld waaraan het nieuw ontwikkelde testmateriaal moet voldoen. Samen met het Agentschap voor Binnenlands Bestuur werd afgesproken dat Huis van het Nederlands een prospectie zal uitvoeren bij de mogelijke testontwikkelaars. Huis van het Nederlands zal de ontwikkelaars bevragen om een goed bestek te kunnen opmaken en beter in te schatten welke procedure er verder moet gevolgd worden. Op basis van deze prospectie bespreken Huis van het Nederlands en het Agentschap voor Binnenlands Bestuur in de loop van augustus welke procedure het best gevolgd kan worden. 2.6 Criteria nieuw testmateriaal In onderstaande Tabel ziet u de fiche met criteria waaraan het nieuw ontwikkelde materiaal moet voldoen. Deze werd in kader van de prospectie aan de mogelijke testontwikkelaars bezorgd. Bureau ICE, CITO, CINOP, CNaVT, Selor en Uitgeverij Boom werden gevraagd een voorstel te doen. Tabel 3: Criteria testen civiel effect Doel van de toetsen De toetsen zullen een doorslaggevende rol spelen bij het toekennen van staatburgerschap en worden gebruikt bij aanwerving tot bepaalde openbare functies. Ze worden ook ingezet voor een vrijstelling van de Nederlandse les voor inburgeraars. Per niveaupaar worden er toetsen in twee contexten ontwikkeld. Het gaat in totaal om vier soorten combinatietoetsen: - A1/A2 maatschappelijke context - A1/A2 professionele context - B1/B2 maatschappelijke context - B1/B2 professionele context De moeilijkheidsgraad van examens binnen een verschillende context maar hetzelfde ERK-spectrum moet gelijk zijn. De ontwikkelaar dient ook mechanismen te voorzien waardoor de moeilijkheidsgraad van de toetsen van versie tot versie en domein tot 10

11 domein constant gehouden kan worden. Er worden twee versies van de vier toetsen opgesteld. In totaal worden er dus acht toetsen opgeleverd. Vaardigheden en niveaus De toetsen meten luister-, lees-, spreek- en schrijfvaardigheid apart. Gesprekken voeren en/of spreken geldt als 1 vaardigheid. De kandidaat krijgt een ERK-gerelateerd resultaat per vaardigheid. Er zijn per toets drie scoremogelijkheden per vaardigheid: - onder het minimale niveau (bv. minder dan A1 bij de A1/A2-toets) - op het minimale niveau (bv. A1 bij de A1/A2-toets) - op of boven het hoogste meetniveau (bv. A2 of meer bij de A1/A2-toets) De toetsen zijn digitaal en moeten in staat zijn om een gedifferentieerd profiel op te stellen in termen van vaardigheden en in termen van ERK-niveau. Per vaardigheid moet er een A1/A2 of B1/B2-oordeel gegeven worden. Een kandidaat krijgt dus vier resultaten per toets. De resultaten worden duidelijk en ondubbelzinnig gerapporteerd in ERK-termen. Validiteit Betrouwbaarheid De toetsen dienen de vaardigheden te meten op de beoogde niveaus binnen de beoogde context. De toetsen moeten aantoonbaar geschikt zijn voor het beoogde doelpubliek binnen de beoogde context. Het moet duidelijk zijn hoe de ontwikkelaar inhouds- en constructvaliditeit garandeert en hoe construct-irrelevante variantie vermeden wordt. Als eindresultaat krijgen de Huizen van het Nederlands gevalideerde toetsen. Ontwikkeling: Er zijn mechanismen die parallellie garanderen tussen: - verschillende versies van eenzelfde toets - verschillende toetsen van hetzelfde niveau Afname: De toetsen laten een parallelle afname toe en bieden voldoende houvast (zoals een handleiding, een scenario voor het mondelinge gedeelte) om die parallellie te garanderen. Er wordt opleiding voorzien voor de toetsafnemers. Beoordeling: Het beoordelingsmodel laat een snelle, accurate en consistente beoordeling toe die in lijn is met het construct en het doel van de toets. Er wordt opleiding voorzien voor de beoordelaars. Analyse: Gezien de toetsresulaten dadelijk bekendgemaakt moeten worden, is een postanalyse niet mogelijk. De preanalyse moet minimaal bestaan uit een klassieke itemanalyse, een IRT-analyse en een DIF-analyse. De analyse is gebaseerd op een pilot bij een 11

12 substantiële representatieve populatie. Eens live moet de toets statistisch robuust zijn. Het geautomatiseerde beoordelingssysteem moet de toetsafnemer en/of beoordelaars in staat stellen om zonder verdere bewerkingen tot een resultaat te komen in termen van een ERK-niveau. Efficiëntie De toetsen zijn inpasbaar in de decretale werking van de Huizen van het Nederlands, dit betekent: Er is een snelle, onmiddellijke correctie nodig. Kandidaten krijgen dadelijk hun definitieve score. De kandidaat spendeert maximum een halve dag aan het afleggen van de test. Er zijn minimaal twee versies per toetstaak. De receptieve vaardigheden worden automatisch beoordeeld door de computer. Voor de productieve vaardigheden is er een digitaal beoordelingsmodel dat automatisch een eindscore berekent per vaardigheid. Gebruiksvriendelijkheid Bruikbaar in Vlaamse context De test en instructies zijn toegankelijk voor zowel hoog- als laaggeschoolden. De nodige pc-vaardigheden zijn beperkt tot de basiskennis. De teksten en fragmenten voor de receptieve vaardigheden bestaan uit (semi-) authentiek Vlaams materiaal (vb. tv-programma s, brieven, ) De gebruikscontext van het examen is Vlaams. Dit is niet enkel merkbaar in de teksten en de setting van de taken, maar eveneens op lexicaal niveau en op vlak van uitspraak. Werkwijze/samenwerking Er wordt intensief samengewerkt met de opdrachtgever. Timing Start najaar 2014 Er wordt op regelmatige basis gerapporteerd en er worden in overleg tussentijdse resultaten vastgelegd. Tijdens de ontwikkeling wordt er op gestructureerde wijze feedback gegeven. Duur: maximum een jaar Kosten 1 offerte voor een toets die overgedragen wordt en 1 offerte voor een toets die in beheer blijft van de ontwikkelaar en met een licentie (richtprijs 1000 afnames per jaar, voor 3 jaar) 12

13 Referenties Geraadpleegde websites:

14 Geraadpleegde werken: Abell, O., Jepma, I., Kieswijzer toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen (pdf) (mei 2012), Utrecht: Sardes Abell, O., Jepma, I., Fukkink, H., Bijlage bij de kieswijzers voor taaltoetsen en taalcursussen, Herbeoordelingen en gebruikerservaringen Evaluatie geëvalueerd, een checklist CTO KULeuven Opleiding Taalbeleidsexpert Taalneutraal evalueren, checklist voor toets- en examenvragen Huis van het Nederlands Antwerpen De Backer, F., Philips, I. (2013). Toolkit Competenties Nederlands Breed Evalueren. Leuven : Centrum voor Taal en Onderwijs, Leuven : Steunpunt voor Diversiteit en Leren. CTO/SDL Toolkit Competenties Nederlands Breed Evalueren Lager Onderwijs

15 Bijlage 1: Verslag stuurgroep 25 april VERSLAG STUURGROEP PROJECT CIVIELE TESTEN Datum vergadering 25 april 14 Verslaggever Frieke Datum volgende vergadering 20 juni van u Aanwezig: Sabine Steemans (Linguapolis), Wouter Dumont (HvN W-Vlaanderen), Joke Vispoel (Agentschap Binnenlands Bestuur, team Inburgering), Philippe Vangeneugden (HvN Bru), Bart Deygers (CT&O), Els Pauels (Kind en Gezin), Marieke Van Keirsbilck, Eva Van Herck en Frieke Van Zundert (HvN) Verontschuldigd: Bart Colpaert (AHOVOS) VERSLAG 1. Toelichting aanpak en werkwijze Zie ppt en projectfiche als bijlage. Fiche Marieke licht het voorstel van fiche toe (zie bijlage). Opmerkingen: Objectiveren naar welk soort test je op zoek bent (naar welke toets ben je op zoek en voor welk doelpubliek) welke testen heb je nodig met welk civiel effect? o Context/niveau moet scherper zijn o Niveau: in hoeverre is de relatering valide genoeg goed bekijken hoe ERK-relatering gebeurd is o Het moeten generische testen zijn waarin ruime rollen (dagelijks leven, opleiding, werk) aan bod komen Veld profielen en rollen gedetailleerder opmaken; voor elke vaardigheid en elk niveau ook de rollen koppelen Het gaat echt om high stake testen Niet alle testaanbieders zullen spreken en gesprekken voeren expliciet apart vermelden o We maken van spreken/gesprekken voeren één onderdeel Je kan niet werken met een Nederlandstalige test in een Vlaamse context o Framework van Nederlandse testcentra gebruiken 15

16 o We zullen de testen na aanpassing sowieso opnieuw moeten valideren Idee is grondige voorbereiding vooraleer er gestart wordt met de ontwikkeling van testen Doel van de test toevoegen aan de fiche Waarom tot B1: de huidige testen die nu nodig zijn voor de HvN, zijn maar nodig tot B1. Als we ze toch bekijken, kunnen we ook de hogere niveaus meenemen. Dit kan nuttig zijn ikv eventuele nieuwe vragen in de toekomst. Het luik van waar moet de test voor dienen, hoe moet die inpassen in de decretale werking moet verder uitgewerkt worden. Fiche wordt bijgestuurd op basis van de opmerkingen. Inventaris bestaand toetsmateriaal (zie bijlage) Marieke overloopt de inventaris. Zijn er nog andere testen die we nog kunnen bekijken? Selor: Joke vraagt na of we de toetsen van SELOR mogen opvragen. CNAVT: wordt mee opgenomen in het overzicht. Deze vraag moet aan het CTO gericht worden. Een mogelijke werkwijze zou zijn dat de HvN de CNAVT-testen ook kunnen afnemen en dat de overheid deze testen erkent. AKOV: toetsen voor onderwijzend personeel opvragen A2 tem C1? Joke zal dit ook opvragen. Philippe geeft test van Actiris nog door (ELAO), incl. beschrijving en bevindingen die HvN Bru al gemaakt heeft. Matrix Matrix is teveel werk als je de testen nadien nog moet aanpassen. Je moet eerder kijken naar het geraamte: hoe gaan ze te werk, wat kan het kosten op langere termijn, hoe flexibel kan je met de toetsontwikkelaar samenwerken,. Wat na eerste afname, in hoeverre is er een itembank, hoe gaat men om met beoordeling, Je kan niet kijken naar taken die nu geoperationaliseerd zijn (luisteren/spreken) omdat je ze later toch nog verandert. Meijerink ERK We houden ons aan het ERK en nemen testen die gelinkt zijn aan Meijerink niet op. 2. Planning vervolg Feedback wordt verwerkt in de fiche en bijkomende testen worden opgenomen. Er wordt ook een fiche opgemaakt van de ideale test. Op beide zaken vragen we feedback via mail. Bij de contacten met de toetsontwikkelaar vragen we meteen al een inschatting van de kosten die nodig zullen zijn voor de aanpassingen aan de testen. Joke kijkt nog na hoe dit juist geformuleerd moet worden opdat het juridisch correct is. Agenda volgende stuurgroep: Bespreking van de aanzet tot aanbevelingen die het HvN opmaakt op basis van de bevindingen in de matrix. 16

17 Bijlage 2: Verslag stuurgroep 20 juni VERSLAG OVERLEG CIVIELE TESTEN Datum vergadering 20 juni 14 Verslaggever Frieke Aanwezig: Joke Vispoel (ABB), Bart George (Akov), Bart Deygers (CnavT), Sabine Steemans (Linguapolis), Eva Van Herck, Marieke Van Keirsbilck en Frieke Van Zundert (HvN) Verontschuldigd: Els Pauels (K&G), Wouter Dumont (HvN West-Vlaanderen), Philippe Vangeneugden (HvN Brussel) 1. Toelichting aanpak en werkwijze en bevindingen per ontwikkelaar Zie ppt als bijlage. 2. Conclusie en aanbevelingen Er zal nieuw materiaal ontwikkeld moeten worden, want het bestaande is onvoldoende bruikbaar/niet meteen inzetbaar. Marieke heeft de criteria opgelijst waaraan een nieuwe test dan moet voldoen. Opmerkingen/aanvullingen: Vaardigheden worden apart getoetst, ook niveaus moeten kunnen worden opgesplitst. Vaardigheden worden niet geïntegreerd getoetst, zodat je kan differentiëren in niveaus/vaardigheden. 2 niveaus samen nemen is ook handig naar het motivationele aspect. We geven de voorkeur aan combinatietoetsen van 2 niveaus. Er kunnen attesten behaald worden op verschillende niveaus en vaardigheden. In het schema maken we geen onderscheid tussen spreken en gesprekken voeren. Efficiëntie: onmiddellijke correctie is vereist (ipv mogelijk) De doelen van de testen zijn er voor erg verschillende contexten we zoeken naar een algemeen maatschappelijke context. Hoe hoger je gaat, hoe meer je de opdeling zou kunnen maken, maar dat zal afhankelijk zijn van het aantal taken dat er ontwikkeld wordt (cfr rollen die opgelijst staan). o A1: algemeen maatschappelijk o Vanaf A2: algemeen maatschappelijk en werk 17

18 Op basis van het intakegesprek wordt er samen met de kandidaat besproken welke versie van de test er gekozen wordt o Hierover moet de klant duidelijk geïnformeerd worden dit moet mee opgenomen worden in het communicatieplan Termijn hertesten? Dit kunnen we later beslissen. Hoe sneller je hertest, hoe meer toetstaken je moet voorzien. We vragen minimaal 4 versies per toetstaak. In Noorwegen hebben ze net hetzelfde proces gedaan (VOX) we kunnen hier contact mee opnemen om te bekijken hoe ze het hebben aangepakt. We kunnen bij hen checken hoeveel versies zij hebben. Wordt bij de kosten het soort onderhoudscontract voorzien? Zowel voor kwaliteitscontrole als voor bijkomende ontwikkelingen? Of voorzie je overdracht voor beheer bij de HvN? o Je zou moeten gaan naar 2 offertes die beide opties weergeven Suggesties validiteit/betrouwbaarheid zal Bart nog doorsturen, incl. het aantal weken tot maanden tijd dat voorzien moet worden. De toets dient digitaal afgenomen en beoordeeld te worden. Testfase: Zal de toetsontwikkelaar of HvN het materiaal uittesten bij Vlaamse kandidaten? Dit kan een groot verschil maken in het budget. Bij offertes moet je een maximaal budget meegeven dit moeten we met de administratie verder bekijken. HvN gaat een vergelijking maken met ontwikkelde test op A1 door CTO aantal versies, ontwikkelingsduur, kostprijs Vergelijking met ontwikkeling van instaptoetsen voor de CVO doel hier is om te komen tot een uniformere werkwijze o Er moet wel uitwisseling zijn tussen de twee trajecten de ontwikkeling van de instaptoetsen en de ontwikkeling van de civiele testen o De civiele testen zullen niet de instaptesten vervangen Werkwijze/samenwerking: kwaliteitscriteria zullen we pas opnemen bij het uitwerken van het bestek. Ook over onderhoud en beheer zal nog meer nagedacht moeten worden. o Onderhoud digitaal, kwaliteitsgaranties, moet duidelijker gesteld worden. Misschien loont het de moeite om dit nog op te vragen bij de bestaande testen. o Concreter uitwerken rond training voor toetsafnemers, beoordelaars dit moet in het proces gebeuren in samenwerking met de ontwikkelaars. Je moet ook de mogelijkheid hebben om mensen zelf verder te trainen. Wat met dyslectici, slechtzienden en slechthorenden? Als dit wordt opgenomen, zal de prijs de pan uitswingen. We moeten uitklaren of we het er al dan niet inlaten. High-stake luik: het feit dat mensen ook binnen de CVO en CBE hun certificaat kunnen behalen,relativeert het high-stake luik. Conclusie stuurgroep: Er moet een nieuwe toets ontwikkeld worden die moet voldoen aan de criteria die we hebben opgesteld. HvN bekijkt verder met de administratie hoe dit proces best aangepakt kan worden. Hvn maakt een eindrapport en bezorgt dit aan alle leden. 18

19 Bijlage 3: Fiche Bureau ICE TOA Toets Ontwikkelaar TOA (=Toolkit Onderwijs en Arbeidsmarkt), online toetsenbank Bureau ICE Contactpersoon: Stan Broos (Manager verkoop) Jaar van uitgave Doel van de test In 2009 werd de toetsenbank opgericht. De TOA bevat een groot aantal toetsen met een verschillende doelstelling en voor verschillende niveaus. De TOA beschikt over combinatietoetsen (=intaketoetsen) op de lagere niveaus (A1-A2, A2-B2) en hogere niveaus. Deze meten een combinatie van twee niveaus (B1-B2, B2-C1). Daarnaast zitten er niveautoetsen (=voortgang- en/of afsluitingstoetsen) in de TOA. Deze zijn altijd gericht op één niveau(a1, A2, B1 etc.). Vaardigheden en niveaus NIVEAUTOETSEN Lezen A1 A2 B1 B2 C1 OGO Alg Alg 1 Alg 1 Alg W OGO Alg 2 Alg 2 W Luisteren OGO OGO Alg 1 Alg 1 Alg W W Alg 2 Alg 2 Schrijven OGO OGO / / / W W Spreken / / / / / Gesprekken voeren B (x2) W (x1) B (x1) W (x1) / / / W/B (x2) W/B (x3) OGO/B (x3) OGO/B (x3) Vaardigheden en niveaus COMBINATIETOETSEN Lezen A1-A2 I A2-B1 I B1-B2 I B2-C1 I A1-A2 J A2-B1 J B1-B2 J B2-C1 J Luisteren A1-A2 I A2-B1 I B1-B2 I B2-C1 I 19

20 A1-A2 J A2-B1 J B1-B2 J B2-C1 J Schrijven A1-A2 HS A2-B1 HS B1-B2 HS B2-C1 HS A1-A2 J A2-B1 J B1-B2 J B2-C1 J A1-A2 MC A2-B1 MC B1-B2 MC B2-C1 MC A1-A2 W A2-B1 W B1-B2 W B2-C1 W Spreken / / B1-B2 J B1-B2 UV B1-B2 V B1-B2 W B2-C1 J B2-C1 UV B2-C1 V B2-C1 W Gesprekken voeren A1-A2 J A1-A2 UV A2-B1 J A2-B1 UV B1-B2 J B1-B2 UV B2-C1 J B2-C1 UV A1-A2 V A2-B1 V B1-B2 V B2-C1 V A1-A2 W A2-B1 W B1-B2 W B2-C1 W Gesprekken/sp reken A2-B1 J A2-B1 UV A2-B1 V A2-B1 W Profielen/rollen Er is materiaal voor verschillende profielen, met onderwerpen en thema s die verschillende doelgroepen aanspreken. Afkortingen uit bovenstaande schema s: Alg: Algemeen B: Burgerschap HS: Hobby/Sport I: Intake J: Jongeren (doelgroep 12- tot 16-jarigen) MC: Maatschappij/Cultuur 20

21 OGO: Opvoeding, Gezondheidszorg en Onderwijs UV: Uitgaan/Vrije tijd V: Vakantie W: Werk Lezen en Luisteren: Voor de niveaus A1 en A2 zijn er toetsen afgestemd op de inburgeringsprofielen OGO en Werk. Speciaal voor jongeren zijn er toetsen die qua onderwerpen en aanspreekvorm aansluiten op de doelgroep van 12- tot 16-jarigen. Daarnaast zijn er toetsen geschikt als intake instrument. Schrijven: Deze toetsen hebben als thema hobby/sport, maatschappij/cultuur en werk. Voor jongeren zijn er toetsen die qua onderwerpen en aanspreekvorm aansluiten op de doelgroep van 12- tot 16-jarigen. Voor de niveaus A1 en A2 zijn er ook toetsen afgestemd op de inburgeringsprofielen OGO en Werk. Voor de toetsen Nederlands Spreken, Gesprekken en Spreken/Gesprekken zijn er toetsen met als thema uitgaan/vrije tijd, werk of vakantie. Hier zijn ook toetsen speciaal voor jongeren. Validiteit Alle taalvaardigheidstoetsen zijn gekoppeld aan de niveaus van het ERK. Elke toets is ontwikkeld op basis van een toetsmatrijs die de eisen weergeeft die worden gesteld in het Referentiekader. In de toetsmatrijs is opgenomen welke vaardigheden, taken of (sub)domeinen getoetst worden, wat voor soort vragen in de toets voorkomen en op welke manier die vragen verdeeld zijn over de gehele toets. Deze opbouw is gebaseerd op een analyse van centraal ontwikkelde examens (indien van toepassing), zodat ook aansluiting op die centrale examens geborgd kan worden. Daarnaast vergroot een toetsmatrijs de vergelijkbaarheid tussen verschillende versies van een toets (voor opbouw en inhoud). De toetsmatrijs bewaakt de validiteit door ervoor te zorgen dat de juiste stof wordt getoetst. De TOA bevat toetsen Lezen en Luisteren voor de ERK-niveaus A1 tot en met C1. De combinatietoetsen bevatten 30 items in totaal (15 items per niveau). De niveautoetsen bevatten 20 items. Er zijn toetsen Schrijven voor de ERK-niveaus A1 tot en met C1. Er zijn toetsen Gesprekken voor de ERK-niveaus A1 tot en met C1. Deze meten twee opeenvolgende niveaus. Er zijn toetsen Nederlands Spreken voor de ERK-niveaus B1 tot en met C1. Ook deze toetsen meten twee opeenvolgende niveaus. Daarnaast zijn er gecombineerde toetsen Spreken/Gesprekken voor de ERK-niveaus A2-B1. Betrouwbaarheid Bureau ICE zegt een onafhankelijke aanbieder van betrouwbare en kwalitatief goede toetsen te zijn, een koploper in de markt en hét expertisebureau als het gaat om toetsing en examinering. Om de toets- en itemkwaliteit inhoudelijk te borgen, worden alle toetsvragen onderworpen aan 21