ONL Standpunt. ONL richtlijnen bij toetsing en scoren (inclusief aannamecriteria) Versie 3, augustus 2015

Transcriptie

1 ONL Standpunt ONL richtlijnen bij toetsing en scoren (inclusief aannamecriteria) Versie 3, augustus 2015 Op de diverse evaluatiemomenten gedurende de behandeling worden vaste toetsen afgenomen. Deze toetsgegevens worden in de eerste plaats gebruikt voor de individuele monitoring van het kind en het bijstellen van het handelingsplan. Daarbij vindt echter ook onderzoek in groot verband plaats om de effectiviteit van behandelingen te kunnen meten en de regeling dyslexiezorg als geheel te kunnen evalueren. Daarvoor levert ONL gegevens aan Stichting Benchmark GGZ (SBG) en het Kwaliteitsinstituut Dyslexie (KD). Op ONL niveau zijn toetsgegevens en de evaluatieprocedure onderdeel van de eigen kwaliteitszorg. Het is van belang dat het versturen van deze gegevens eenduidig gebeurt en dat iedereen op dezelfde wijze toetsen nakijkt en scoort. Bij enkele toetsen / testen kan discussie ontstaan op welke wijze de uiteindelijk scoring tot stand komt. Bijvoorbeeld in het geval van doublure. Om op ONL-niveau zoveel mogelijk eenduidige interpretatie van gegevens mogelijk te maken, is het volgende afgesproken: 1. Aandachtspunten bij aanname in de zorg ten aanzien van scores - De eerste eis voor het toelaten van een kind tot de zorg, is dat op drie meetmomenten middels genormeerde meetinstrumenten een hardnekkige achterstand in de lees- en spellingsontwikkeling wordt aangetoond. Deze hardnekkigheid wordt tevens onderbouwd door onvoldoende resultaten vanuit adequate extra begeleiding op school gedurende twee periodes van 12 weken. (bron: o.a. Masterplan Dyslexie / Expertisecentrum Nederlands. - Voor leerlingen in groep 3 en 4 gaan we uit van in ieder geval drie hoofdmetingen (M3, E3, M4) om de ernst en hardnekkigheid vast te kunnen stellen. Als toelatingscriterium is 3x E op de totaalscore van de DMT voldoende (ook wel de DMT score op de uitdraai LVS). Het gaat niet om scores op de losse kaarten. 1 (bron: Masterplan Dyslexie / Expertisecentrum Nederlands. Tevens door hen gecommuniceerd aan NIP/NVO en met ONL hoofdbehandelaars afgesproken op de intervisie d.d. 10 februari 2012.) - In uitzonderlijke gevallen kunnen ook leerlingen oktober groep 4 instromen. Zij hebben dan de volgende metingen: M3, E3 en de herfstmeting groep 4. Mits voldaan wordt aan de uitvoering van 2x 12 weken begeleiding op zorgniveau 3 ( Continuüm van zorg voor lezen, Struiksma, 2005). Om bij de herfstmeting groep 4 een genormeerd instrument te gebruiken moet screeningsinstrument CITO zijn afgenomen. - Na drie hoofdmetingen (dus vanaf M4) kunnen tussenmetingen (okt/nov en april) meetellen, opnieuw mits voldaan wordt aan de uitvoering van 2x 12 weken begeleiding op zorgniveau 3en afgezet tegen de voorafgaande norm. Hierbij is het mogelijk dat een patroon EDE goedgekeurd wordt bij aanname in zorg. Dit geldt alleen indien de tweede meting (D) geen hoofdmeting is en derhalve met een voorgaande norm is vergeleken. De derde meting (mits E) laat zien dat die tweede meting tevens illustreert en aantoont dat het kind bij de 10% zwakst scorende behoort. 1 In februari 2014 is door de SDN aanvullende informatie uitgebracht met betrekking tot het aantal meetmomenten. Drie keer meten met 2x een interventieperiode wordt in deze toelichting extra benadrukt. Twee keer meten is onvoldoende om de ernst en hardnekkigheid te kunnen aantonen /1534 1

2 - In april 2015 is een nieuwe leidraad verschenen van het KD/NRD voor het leerlingdossier van het Masterplan Dyslexie. Een belangrijk aspect van deze leidraad is dat in principe moet worden uitgegaan van drie hoofdmeetmomenten. In de meest gestelde vragen bij de leidraad is o.a. opgenomen in welke situaties hiervan kan worden afgeweken. 2. 3x E versus EDE In februari 2014 is een aanvullende informatie door de SDN uitgebracht ten aanzien van het aantal meetmomenten (minimaal 3) en het belang van goede ondersteuning op school (minimaal 2x 12 weken). Vanuit het Kwaliteitsinstituut Dyslexie is in navolging hierop in een nieuwsbrief (uitgave Nieuwsbrief voorjaar 2014 ) gecommuniceerd dat in het nieuwste protocol uitgegaan wordt van een EEE- of EDE-patroon. Deze onderbouwing is volgens ONL niet terug te vinden in het protocol (versie 2.0) alsmede niet onderbouwd door de SDN. Daarbij is de eigen ervaring van ONL dat met name de kinderen waarbij over een periode van twee keer drie maanden op de voor-, tussen en nameting sprake is van een E- score, er echt sprake is van een hardnekkig leesprobleem met grote kans op ernstige (enkelvoudige) dyslexie. Daarbij is en blijft het van belang dat het toelaten van kinderen tot de zorg gereguleerd moet gebeuren om te veel aanmeldingen te voorkomen en ook het onderwijs duidelijk te maken dat verwijzing naar de zorg pas aan de orde is indien sprake is van een persistentie van geconstateerde leesproblemen na herhaalde interventies. ONL is daarom van mening dat het toelatingscriterium 3x E het meest verantwoord is, waarbij het bekend is dat het KD ook een D als tweede score akkoord vindt. Het standpunt in deze is besproken binnen de werkgroep Diagnostiek & Behandeling, de projectleiders, directie en intervisie. Unaniem wordt dit standpunt gedragen waarbij als voornaamste motivatie daarvoor wordt gegeven dat het belangrijk is dat ONL als landelijke organisatie: - Duidelijke criteria communiceert die goed zijn uit te leggen en te begrijpen - Scholen en ouders weten waar ze aan toe zijn - De diagnosticus niet als robot denkt maar gewogen afwegingen maakt - School de verantwoordelijkheid neemt in het voortraject 3. Hoe om te gaan met doublure? In het geval van een doublure wordt vaak afgeweken van de normeringen waarbij het kind wel of niet met de eigen klasgenoten wordt vergeleken. Het komt hier veelal aan op individuele keuzes door de (hoofd)behandelaar of er worden twee scores genoteerd. Echter, in het kader van onderzoek naar o.a. behandeleffecten heeft een dubbele score doorgeven aan het KD en SBG geen zin. De keuze at random laten maken door de behandelaar zorgt voor een variabele die niet te controleren valt. Daarom is op ONL niveau besloten om vanuit het uitgangspunt van dataverzamelen een basisafspraak te maken over het meewegen van een doublure bij het scoren van de lees- en spellingsvaardigheden. N.B. het gaat dus om een standpunt waardoor notatie van scores in het systeem (Care4) op gelijkwaardige overwegingen zijn gebaseerd. Als behandelaar kan op individueel niveau in bijvoorbeeld het handelingsplan altijd een extra score worden opgenomen indien gewenst. Echter, als het gaat om wat we als ONL doorgeven aan het KD en SBG, dan geldt het standpunt zoals dat hieronder wordt uitgelegd. Het is voor te stellen dat op kindniveau bij jonge kinderen met lezen bij een doublure wel in didactische leeftijd / vaardigheidsscore doorgeteld wordt, maar bij spelling niet. Dit is ook gangbaar binnen het onderwijs. Echter hoe langer het geleden is dat de doublure plaats had, hoe minder het zegt of toevoegt op de leesontwikkeling van het kind. Het is ook bekend dat er dan ruis ontstaat over wanneer de doublure wel, en wanneer de doublure niet meer meetelt. Bv. een doublure groep 3 voor een kind dat nu in groep 7 zit, zegt veel minder op scoreniveau dan bij een kind dat nu in groep 5 zit en groep 4 heeft gedoubleerd. We willen als ONL dit toch nader nuanceren, alleen wat lezen betreft. (zie volgende pagina voor uitleg) /1534 2

3 Bij lezen wordt het volgende onderscheid gemaakt: Kinderen aangemeld in de middenbouw groep 3, 4 en 5: Rekening houden met doublure, dus bij doublure in groep 3, 4 of 5 deze doublure meetellen. We doen anders kinderen tekort, als het gaat om vaststellen van ernstige dyslexie. Wanneer eenmaal van de didactische leeftijd wordt uitgegaan en niet van de groep waar het kind in zit: dit ook doorvoeren tijdens de behandeling. Met andere woorden, wanneer een doublure bij aanvang van de zorg wordt meegeteld dan wordt deze bij ieder evaluatiemoment opnieuw meegerekend. Kinderen aangemeld in de bovenbouw groep 6, 7 of 8: Bij een doublure van 3 jaar of langer geleden: de doublure niet meetellen. Dit dan ook tijdens de behandeling aanhouden. Dit houdt in: Aanmelding zorg in: Groep 6 Groep 7 Groep 8 Meetellen doublure bij aanmelding en gedurende de behandeling? Doublure in groep : meetellen? NEE want het tweede jaar groep 3 is drie jaar geleden (3; 3; 4; 5; 6) Doublure in groep 4: meetellen? JA want het tweede jaar groep 4 is twee jaar geleden (3; 4; 4; 5; 6) Doublure groep 5: meetellen? JA want het tweede jaar groep 5 is één jaar geleden (3; 4; 5; 5; 6) Doublure groep 3: meetellen? NEE want het tweede jaar groep 3 is > drie jaar geleden (3; 3; 4; 5; 6; 7) Doublure groep 4: meetellen? NEE want het tweede jaar groep 4 is drie jaar geleden (3; 4; 4; 5; 6; 7) Doublure groep 5: meetellen? JA want het tweede jaar groep 5 is twee jaar geleden (3; 4; 5; 5; 6; 7) Doublure groep 3: meetellen? NEE want het tweede jaar groep 3 is > drie jaar geleden (3; 3; 4; 5; 6; 7; 8) Doublure groep 4: meetellen? NEE want het tweede jaar groep 4 is > jaar geleden (3; 4; 4; 5; 6; 7; 8) Doublure groep 5: meetellen? NEE want het tweede jaar groep 5 is twee jaar geleden (3; 4; 5; 5; 6; 7; 8) Bij spelling betekent dit: Bij een doublure wordt altijd vergeleken met kinderen op groepsniveau. Dit omdat het vergelijken op leeftijdsniveau niet eerlijk is aangezien een gedoubleerd kind nu eenmaal nog niet de stof heeft gehad van de groep erna. 4. Wanneer worden blokken van het PI-dictee overgeslagen? Bij 80% beheersing van een blok (= 12 woorden goed) hoeft dit blok de volgende keer niet meer te worden afgenomen. Wel alleen de categorieën die fout werden gescoord in dat blok, de volgende keer weer afnemen. 5. Welke hulpmiddelen mogen gebruikt worden bij het PI-dictee? Bij afname van het PI-dictee mag het kind wel de stappenplannen gebruiken maar niet de steunkaarten. Bij de toegestane hulpmiddelen gaat het er om dat daarin niet wordt besproken welke regel(s) het kind zou kunnen gebruiken maar gaat het alleen om het nadenken of er een regel moet worden gebruikt. Voor map A gaat het dan om het stappenschema (stripje) en voor map B/C (versie 2013) om de stappen die vanaf behandeling 31 worden geïntroduceerd. Dit ten behoeve van objectieve meetresultaten. Bij het afnemen van toetsen worden geen andere hulpmiddelen zoals een vergroot lettertype, leeslineaal etc. ingezet /1534 3

4 Aanvullend is het aan te raden, mits de tijd het toelaat, om aan het einde van het toetsmoment spelling, het kind zelf met de steunkaarten de afgenomen blokken na te laten kijken. 6. Te gebruiken normeringen van toetsen (welke norm op welk moment in het jaar): Geen doublure: Afname EMT, Klepel, DMT en PI-dictee in november tot en met maart: Afname EMT, Klepel, DMT en PI-dictee in april tot en met oktober: midden (M) normering einde (E) normering Wel doublure: (alleen indien deze < 3 jaar geleden is bij aanmelding van de zorg; eenmaal de doublure meegeteld? Dan blijft deze gedurende het behandeltraject meetellen. Zie uitgebreide toelichting onder punt 3) Bij EMT, DMT, Klepel (lezen) bij doublure de ss/het niveau/percentielscore van de volgende groep aanhouden. Bij diagnostiek en bij evaluaties tijdens de behandeling wordt de doublure meegeteld. Dus opnieuw de ss/niveau/percentielscore van de volgende groep aanhouden. N.B. Wat als gedurende de behandeling de score een belangrijke reden tot overweging wel/niet doorgaan met behandelen wordt? Vooral de vooruitgang bij een gedoubleerde leerling: indien dit kind op groepsniveau presteert (maar rekening houdend met bovenstaande nog een achterstand heeft wat bij het berekenen van de leesvaardigheid het geval kan zijn) dan kan dit zeker wel een reden zijn om te stoppen. Immers het kind kan meedoen met het groepsniveau. Bovenstaande afspraken zijn van belang voor eenduidigheid in scoren en de zorg voor regelmaat in aanlevering en verantwoording aan SBG en KD. Vooral dat iedereen qua notatie dezelfde gegevens aanhoudt, is van groot belang. Dat op individueel niveau in behandelingsplannen ook een andere score wordt bijgehouden is geen probleem. 7. Welke toetsen zijn verplicht af te nemen? In het kader van de aanlevering aan KD en SBG is Care4 voor de gebruikers zo ingericht dat alle toetsresultaten maar één keer worden ingevoerd. Vanuit die invoer komen ze terug in de verslaglegging en bij het maken van de export voor het KD en die voor SBG. Welke gegevens precies en uitgebreid verplicht zijn wordt in de instructie voor Care4 helemaal uitgelegd. Van belang voor de toetsdata is dat behandelaars en onderzoekers weten dat een aantal testen verplicht moeten worden afgenomen en bijgehouden. Naar SBG en KD worden gestuurd: - PI dictee (ruwe score en percentiel) - EMT (ruwe score (aantal goed gelezen woorden) en standaard score) Naar KD wordt aanvullend ook gestuurd: - AVI - Klepel De DMT is geen verplichte toets vanwege veelvuldig gebruik in de onderwijssituatie waardoor de validiteit als uitkomstmaat voor dyslexiezorg gecompromitteerd is. 8. Bewaren ruwe toetsgegevens De eisen rond het bewaren van dossiergegevens gaan veelal over de algemene verslagen en cliëntgegevens. Zie hiervoor de toelichting in het Kwaliteitshandboek van ONL. Aanvullend is het nodig om ruwe toetsgegevens omtrent de testen EMT en PI tot in ieder geval een half jaar te bewaren in verband met mogelijke steekproeven door SBG in het kader van kwaliteitscontrole /1534 4

5 Extra toelichting AVI nieuw Niveaus van technische leesvaardigheid Voor een niveau-indeling van de technische leesvaardigheid volgen we het nieuwe AVI-systeem. Het aanvankelijk lezen omvat de niveaus M3 t/m M4, het voortgezet technisch lezen de niveaus E4 t/m Plus. In bijlage 4 staan beknopt de inhoudelijke tekstkenmerken beschreven die typerend zijn voor elk niveau. Aan het eerste niveau, M3, is een niveau M3.extra toegevoegd. De tekst van AVI-toetskaart M3.extra heeft alle kenmerken zoals beschreven in bijlage 4. De tekst van kaart M3 heeft uitsluitend klankzuivere KM-, MK- en MKM-woorden, zonder tweetekenklanken. Op woordniveau maken we onderscheid in niveau I, II en III. Onder niveau I verstaan we klankzuivere woorden van de structuur MKM. Een tekst op niveau M3 bestaat ook vrijwel geheel uit woorden van deze structuur. Met woordniveau II bedoelen we woorden met een dubbele medeklinker, dus met een structuur MMKM (bijvoorbeeld bloem), MKMM (kast) of MMKMM (krant) en eenvoudige tweelettergrepige woorden. Maar tekst op niveau E3 bestaat voor ongeveer 80% uit woorden van niveau I en 20% woorden van niveau II. Niveau M4 betreft woorden met clusters van drie medeklinkers of meer, moeilijke tweelettergrepige woorden en eenvoudige drie- en meerlettergrepige woorden. Maar een tekst van niveau M4 bestaat voor maximaal 10-15% uit woorden van niveau III, de overige woorden zijn van niveau II en I. Wordt niveau M4 eenmaal beheerst, dan is de leerling uit de gevarenzone. Wordt niveau E6 eenmaal beheerst, dan is het niveau van functionele geletterdheid bereikt. In teksten van niveau E6 kunnen alle mogelijke typen woorden voorkomen. Hogere niveaus van technische leesvaardigheid onderscheiden zich slechts door steeds langere woorden en zinnen, maar vooral door een steeds hogere leessnelheid. Wanneer we spreken over het technisch leesniveau dat een leerling beheerst, zijn beheersingsniveau, dan zijn daarvoor zowel de accuratesse (aantal fouten) als het leestempo (tijd) belangrijk. Met het beheersingsniveau bedoelen we: Het niveau waarop de leerling vrijwel foutloos leest. Als vuistregel voor accuratesse wordt gehanteerd, dat minder dan ± 5% van de woorden fout gelezen wordt. Dit percentage geldt in het bijzonder voor de lagere leesniveaus. Naarmate het leesniveau hoger is, daalt het percentage fouten nog. Het niveau waarop de leerling in een behoorlijk tempo kan lezen. Het leestempo wordt met het toenemen van de leesvaardigheid steeds hoger. Van rond de 40 woorden per minuut op niveau E3 tot meer dan 100 woorden per minuut vanaf niveau E6. Leerlingen hebben teksten nodig op een niveau dat ze beheersen als zij informatieve teksten moeten lezen of lezen voor hun plezier. Maar teksten op dit niveau zijn niet geschikt om leerlingen instructie te geven, het niveau wordt immers al beheerst. Als een tekst te moeilijk is, zal dat blijken doordat er te veel fouten gelezen worden, het leestempo te laag is of beiden. Wanneer een leerling in een tekst veel woorden fout gaat lezen en/of in een zo laag tempo leest, dat de context verloren gaat, spreken we van frustratieniveau. Het heeft geen zin leerlingen teksten aan te bieden die voor hen op frustratieniveau liggen. We spreken globaal van frustratieniveau wanneer een leerling ruim meer dan de gewone 5% van de woorden fout leest, maar vooral als een tekst te langzaam gelezen wordt, wat leidt tot een langere leestijd dan gemiddeld, afnemend van rond de 30% meer leestijd in de onderbouw naar maximaal 15% meer leestijd aan het eind van de basisschool. Tussen beheersingsniveau en frustratieniveau ligt het instructieniveau. Het lezen van teksten op dit niveau kost wel moeite, maar onder instructiecondities zal de leerling dit toch aankunnen. We kunnen hierbij denken aan Vygotsky s zone van de naaste ontwikkeling. De technische leesvaardigheid van de leerling zal door het oefenen toenemen en hij kan dit niveau na verloop van tijd gaan beheersen /1534 5

6 Tabel 3 Basisschema voor de beoordeling van AVI-toetskaarten. Accuratesse Beheerst Instructie Frustratie Beheerst B I F Snelheid Instructie I I F Frustratie F F F Voor de nieuwe AVI-toetskaarten bleek voor het aantal fouten in de normeringssteekproef geen zinvol onderscheid te maken tussen instructie- en frustratieniveau Voor het aspect accuratesse gold daarom slechts beheerst of niet-beheerst. Alleen de leessnelheid was bepalend voor het onderscheid tussen instructie- en frustratieniveau. Dit heeft in de praktijk een onvoorzien probleem gegeven. Leerlingen die zeer snel lezen met heel veel fouten, halen kaart na kaart op instructieniveau. In de steekproef uit de totale schoolbevolking zal dit relatief weinig voorgekomen zijn. Onder leerlingen met leesproblemen, de groep voor wie DTLAS bedoeld is, zijn zij daarentegen ruim vertegenwoordigd. Daarom is in deze druk voor elke kaart ook voor het aantal fouten weer een maximaal aantal opgenomen voor de grens tussen instructie- en frustratieniveau. Deze waarden zijn niet aan de normeringsgegevens ontleend, dat kon immers niet, maar zijn berekend 2. Het instructieniveau is dus het niveau dat geschikt is voor het oefenen van het technisch lezen onder instructiecondities. Een leerling beheerst een niveau pas, als hij op beide aspecten beheersing scoort. Scoort hij bijvoorbeeld voor accuratesse op beheersingsniveau, maar qua tijd op instructieniveau, dan heeft hij de kaart op instructieniveau gelezen. Hetzelfde geldt als hij de kaart qua tijd op beheersingsniveau leest, maar qua fouten op instructieniveau. Ook dan leest hij de kaart op instructieniveau. 2 Goede lezers lezen aanvankelijk zo'n 5% van alle woorden fout, dit loopt af naar ongeveer 2% in groep 8. Deze percentages zijn ontleend aan de normeringsgegevens van de oude AVI-kaarten. We verbinden 5% met toetsmoment M3 en 2% met toetsmoment M8 en gaan ervan uit, dat het percentage fouten dat goede lezers maken enige tijd rond de 5% blijft hangen, dan gaat dalen en vervolgens afvlakt naar 2%. De curve heeft dan de vorm van een gespiegelde, uitgerekte S (een vierdemachts vergelijking) waarmee de percentages voor de tussenliggende toetsmomenten zijn geschat. Van elke kaart ligt vast hoeveel fouten maximaal nog op beheersingsniveau gemaakt mogen worden. De berekende percentages zijn een schatting van het percentage fouten dat goede lezers maken. Vermenigvuldiging van de berekende percentages met het aantal woorden van de bijbehorende kaart, levert het aantal extra fouten dat binnen het instructieniveau gemaakt mag worden. Wordt de som van beide overschrede overeen te komen met de percentiel.99 waarden voor de accuratesse /1534 6

7 serie A serie B /1534 7