Jaarverslag 2015 Toezicht RDW op IBKI RDW Divisiemanager Voertuigtechniek Drs. R.G. Labordus Opsteller G Konings Versie 1.0 Versie datum Maart 2016
Inhoud Inleiding... 2 Algemeen... 2 Examenreglementen... 3 Toezicht... 3 Toezicht op de uitvoering... 3 Examenvragen en praktijkopdrachten... 5 Klachten... 6 1
Inleiding De RDW houdt toezicht bij de examens en bevoegdheidsverlengingen APK en examen LPG technicus op basis van de beleidsregels sturing van en toezicht op Stichting VAM van 18 december 2012, de Regeling erkenning en keuringsbevoegdheid APK en de Regeling aanpassing voertuigen toezicht op de uitvoering van de APK- en LPG- taken door IBKI. Op dit moment is er onvoldoende juridische basis voor het toezicht door de RDW, maar beide partijen hechten er belang aan toezicht uit te oefenen op de uitvoering van examens en bevoegdheidsverlengingen van de APK keurmeester en LPG technici. De RDW houdt toezicht op de volgende onderdelen: - Examens APK-keurmeester - Bevoegdheidsverlengingen APK-keurmeester - Examen LPG-technicus - Bevoegdheidsverlenging LPG technicus Afgesproken is dat de RDW jaarlijks de Minister van Infrastructuur en Milieu zal informeren over het toezicht van de RDW op IBKI over de volgende onderwerpen. o De in dat jaar geldende, door de RDW goedgekeurde, examenreglementen. o Een overzicht van de locaties en data van toezicht door gecommitteerden. o Het aantal goedgekeurde examenvragen en opgaven. o Het aantal klachten en behandeltijden van die klachten. Algemeen Per 1 januari 2014 is de normering voor het examen APK-keurmeester en de bevoegdheidsverlenging APK-keurmeester aangescherpt. De aanscherping van de normering heeft ook in 2015 gevolgen gehad voor het slagingspercentage van APK 1 en APK 2. Gedurende 2015 zijn de resultaten continu gemonitord en heeft er afstemming plaatsgevonden tussen de RDW en het IBKI. Overzicht slagingspercentage 2015 Aantal Aantal percentage deelnemers geslaagd 2015 2014 Examen APK 1 keurmeester 110 57 52% 52% Examen APK 2 keurmeester 631 296 47% 38% Bevoegdheidsverlenging APK 1 456 427 94% 93% Bevoegdheidsverlenging APK 1bep 10 7 70% 86% Bevoegdheidsverlenging APK 2 3211 3003 94% 90% Examen LPG technicus 0 0 - - Bevoegdheidsverlenging LPG technicus 1 1 100% - 2
Examenreglementen In 2015 zijn er geen examenreglementen aangepast. Toezicht De volgende verantwoordelijkheden en bevoegdheden vallen onder het toezicht: - Verantwoordelijk voor het toezicht tijdens de APK-examens, bevoegdheidsverlenging APK, LPGexamens en bevoegdheidsverlenging LPG technicus - Het stellen van regels voor het toezicht van door de RDW aangewezen gecommitteerden; - Het goedkeuren van en verantwoordelijkheid voor de examenreglementen voor de APK- en LPGexamens; Het toezicht door de RDW omvat de volgende onderdelen: - Toezicht op de uitvoering van APK- en LPG-examens; - Goedkeuren van examenvragen en opdrachten; - Behandeling van klachten die direct bij de RDW ingediend worden. De RDW heeft dit jaar op basis van het Service Level Agreement toezicht gehouden op de volgende punten: - Procedures - Infrastructuur - Uniformiteit en borging van examens - Uitvoering - Evaluatie. Het toezicht door de RDW wordt gecoördineerd door de afdeling APK van de Divisie Voertuigtechniek. Het toezicht op de examens wordt uitgevoerd door 5 gecommitteerden en de contactpersoon die de contacten met IBKI onderhoudt. Toezicht op de uitvoering Het toezicht op de examens APK en LPG vindt op de volgende wijze plaats: eerste examen APK1 eerste examen APK2 examen LPG-technicus altijd een gecommitteerde aanwezig altijd een gecommitteerde aanwezig altijd een gecommitteerde aanwezig verlenging bevoegdheid APK1 jaarlijks 4 bevoegdheidsverlengingen verlenging bevoegdheid APK2 jaarlijks 12 bevoegdheidsverlengingen verlenging bevoegdheid APK1 aanhangwagen gecombineerd met APK 1 verlenging bevoegdheid LPG 10% van het aantal bevoegdheidsverlengingen De verschillende examenlocaties worden steekproefsgewijs bezocht. Jaarlijks vindt er een evaluatiegesprek plaats tussen de contactpersoon van de RDW en Teamleider Uitvoering Examens IBKI, waarin de opmerkingen van de gecommitteerden besproken worden. In 2015 is er diverse keren een overleg geweest tussen de RDW en IBKI en er is een overleg geweest waar ook de gecommitteerden bij aanwezig waren. De gecommitteerden hebben aangegeven dat, door de vergaande automatisering, de huidige inzet en toezicht bij de bevoegheidsverlengingen. APK-keurmeester maar een beperkte toegevoegde waarde heeft. Door de vergaande automatisering bij de bevoegdheidsverlengingen is de kans dat er zaken mis 3
gaan erg klein en dit geven de ervaringen uit het verleden ook aan. Toch vinden zowel IBKI als RDW het belangrijk dat er toezicht bij de bevoegdheidsverlengingen wordt gehouden. Om het toezicht zo zinvol en efficiënt mogelijk te organiseren, is afgesproken om bij de bevoegdheidsverlengingen maximaal 12 maal een bevoegdheidsverlenging APK 2 bij te wonen en 4 maal een bevoegdheidsverlenging APK 1, verdeeld over de diverse locaties. Voor de bevoegdheidsverlengingen, is het niet noodzakelijk dat de gecommitteerde en hele dag aanwezig is en is de dag verdeeld in drie tijdsblokken waarbij de aanwezigheid van de gecommitteerde zich beperkt tot een van die tijdsblokken. De gecommitteerde kan wanneer hij dit nodig acht langer aanwezig zijn dan bepaald in een tijdsblok. De gecommitteerde zal op de prestatieverklaring aangeven in welk tijdsblok hij aanwezig is geweest en indien langer aanwezig zal de reden aangegeven worden. Bij de examens zal de 100% aanwezigheid van een gecommitteerde gehandhaafd blijven. Toezicht gecommitteerden Bij IBKI in Nieuwegein worden de volgende examens afgenomen: - Examen Keurmeester APK2 - Examen Keurmeester APK1 - Bevoegdheidsverlenging Keurmeester APK2 - Bevoegdheidsverlenging Keurmeester APK1 - Examen LPG-technicus - Bevoegdheidsverlenging LPG technicus Op de Regionale Praktijk Centra van de Innovam Groep te Dordrecht, Zaandam, Best en Zwolle wordt alleen de bevoegdheidsverlenging APK2 afgenomen. In 2015 zijn door de RDW de volgende personen aangewezen als gecommitteerde: - Dhr. B. Kippers - Dhr. C. van Vliet - Dhr. A. Verbaan - Dhr. J. Pelgrom - Dhr. B. Hoogendoorn - Dhr. G. Konings (tevens contactpersoon IBKI). In augustus 2015 is de heer Pelgrom met pensioen gegaan en er is nog geen opvolger aangesteld. Opmerking gecommitteerden Tijdens de uitvoering van de examens is in een enkel geval een opmerking gemaakt door de gecommitteerde. Het betreft een afwijking of interpretatieverschil in vraagstelling of de bijbehorende antwoorden. De opmerkingen zijn door de gecommitteerde direct met de examencommissie besproken en indien nodig zijn de opmerkingen ook met de afdeling ontwikkeling van het IBKI besproken. In 2015 zijn de zaken die door de gecommitteerden zijn geconstateerd vastgelegd in een verslag en zijn direct met IBKI besproken en opgelost. De opmerkingen van de gecommitteerden hebben geen gevolgen gehad voor de examenkandidaten. Een aandachtspunt vanuit de gecommitteerde blijft het verschil van inzicht binnen de examencommissie en is er gewezen op de uniformiteit van handelen door de examinatoren. Om interpretatie verschillen tot een minimum te beperken, is IBKI een traject gestart ter verbetering van, het verder digitaliseren van, vraag en antwoord, zodat interpretaties in de toekomst niet meer voorkomen. 4
Gedurende een examen/bevoegdheidsverlenging is in een APK-boek (naslagwerk) van een van de kandidaten een bijlage gevonden waaruit bleek dat de examenvragen welke gesteld worden in het theorie-en praktijkexamen letterlijk bekend zijn bij een opleider en dat de lesstof op examen- en vraagniveau wordt behandeld. Een onwenselijke situatie die aantoont dat IBKI over een veel gevarieerde database met vragen moet beschikken en toepassen. Samen met IBKI is vervolgens goed gekeken naar de lijst met examenvragen en in hoeverre dat een relatie heeft met de IBKI-examenopdrachten. Het vermoeden was er al maar nu ligt er dan ook een lijst waarmee de indruk wordt gewekt dat de vragen op straat liggen. Op de gevonden lijst stonden geen antwoorden maar vooral examenvragen. De lijst is slechts een geheugensteun voor wat men kan verwachtten. Uit nader onderzoek door IBKI is gebleken dat de gevonden lijst verouderd was en niet meer van toepassing op de huidige examen vragen. Voor IBKI blijft het zaak om scherp te blijven op voldoende diversiteit van examenvragen, een voldoende grote vragenbank en scherp te blijven letten op opvallende slagingspercentages. Hiernaast zal de examencommissie alert moeten zijn tijdens de afname van een examen en er op toezien dat bij het beantwoorden van de examenvragen geen stukken worden geraadpleegd waar examenvragen en antwoorden nagenoeg letterlijk op staan. Ook de RDW zal tijdens het toezicht blijven toezien op dergelijke voorvallen. Tijdens het seminar voor de opleiders is er aandacht aan deze problematiek besteed en zijn de opleiders erop gewezen dat een lesdoelenlijst erg handig en zinvol kan zijn. Die lesdoelenlijst met vragen mag niet gebruikt worden tijdens het examen. Inzet gecommitteerden 2015 Examentype Aantal Gecommitteerden Percentage examendagen aanwezig APK keurmeesterexamens 83 83 100% Examen LPG technicus 5 5 100% APK-bevoegdheidsverlenging licht 275 27 10% APK-bevoegdheidsverlenging zwaar 63 5 8% APK-bevoegdheidsverlenging zwaar beperkt 0 0 0% Examenvragen en praktijkopdrachten Jaarlijks beoordeelt de RDW de nieuwe examenvragen en praktijkopdrachten voor de APK en LPG examens. Op verzoek van IBKI beoordeelt een deskundige van de RDW de opdrachten. Op dit moment is het beoordelen van de examenopdrachten onvoldoende gestructureerd. Beide partijen zijn van mening dat daar een betere invulling aangegeven moet worden en hebben besloten een commissie in te stellen die zich hier nadrukkelijker mee bezig zal houden. De commissie zal bestaan uit deskundigen van IBKI en RDW. Normering en Cesuur opdrachten In de vergaderingen van het SO-APK is meerdere malen gesproken over de resultaten, waarbij het SO- APK van mening is dat de normering zoals nu gehanteerd wordt, gehandhaafd moet blijven. Er is nog enige discussie ten aanzien van de nieuwe praktijk-ervaringsvragen. Begin 2015 was de cesuur van de vragen gesteld op 25%, wat erg laag is, maar wel een slagingspercentage heeft van meer dan 90%. 5
IBKI heeft voorgesteld de cesuur van de praktijk-ervaringsvragen stapsgewijs te verhogen: 1. Op 1 juli 2015 de cesuur te verhogen naar 34% (verwacht slagingspercentage 70 75%) 2. Op 1 januari 2016 de cesuur te verhogen naar 42% mits slagingspercentage >70% Het SO-APK is van mening dat een ophoging van de cesuur noodzakelijk is. IBKI heeft per 1 juli 2015 de eerste aanpassing doorgevoerd en de effecten in november 2015 geëvalueerd. Medio november bleken er nog onvoldoende cijfers beschikbaar voor een goede weergave van de resultaten en wordt de evaluatie doorgeschoven naar het voorjaar van 2016. Beoordeling opdrachten In december 2015 zijn de theorievragen bevoegdheidsverlenging APK licht en APK zwaar 2016 en beoordeling nieuwe praktijkvragen APK 2 examen voor de tablets opgesteld. APK 2 examen op tablets De verwachting is dat medio januari/februari 2016 proefgedraaid kan worden met de opdrachten op tablets. Hiermee komt de huidige beantwoording van de open vragen (met pen) te vervallen. Bij de open vraagstelling (bijvoorbeeld wat zijn de controlepunten voor banden en wielen) zijn een 8-tal mogelijke antwoorden gegeven waarbij meerdere juiste en onjuiste antwoorden zijn gegeven. (Zoals bij de praktijkervaring toets). De berekeningen remvertraging/ verschil/ roest zijn hetzelfde gebleven, maar de onderliggende formule hoeft niet meer te worden opgeschreven. Er zijn meerdere uitkomsten (ca 6 tot 8) waaruit de kandidaat 1 juiste combinatie moet kiezen. De invoering van tablets is een forse verandering in het afnemen van het examen. De discussie rond de beantwoording van de open vragen is hiermee over en zo kan er nu een examen worden afgenomen waarop de beoordelaars en commissie vrijwel geen invloed meer heeft. De vraagstelling zal per opdrachtwisseling van de kandidaat worden gewijzigd, zodat er continu een examen met random gestelde vragen wordt afgenomen. Voor stellingen is niet gekozen omdat CITO dat niet aanbeveelt. Aandachtspunten: De vragenbank moet dusdanig groot zijn dat herkenning van juiste antwoorden wordt voorkomen. De examinatoren worden meer procesbegeleiders en zijn minder betrokken met de gegeven antwoorden. Bij opdrachten met voertuigen/onderdelen die aan slijtage onderhevig zijn is dat een aandachtspunt, (denk daarbij aan een lampje wat stuk gaat). De examinator zal hier continu aandacht voor moeten hebben. Klachten In 2015 zijn er bij de RDW geen formele klachten binnen gekomen. Wel zijn er tijdens RDWbijeenkomsten met de keurmeesters (bijvoorbeeld AMT live en het opleiders seminar) opmerkingen en suggesties gedaan door keurmeesters ter verbetering van de examens en bevoegdheidsverlengingen. Deze zijn met IBKI besproken. 6