Jan Eggermont. Wannes Verheyen

Transcriptie

1 Agentschap voor Hoger Onderwijs, Volwassenonderwijs, Kwalificaties en Studietoelagen Toelatingsexamen Arts-Tandarts Koning Albert II-laan Brussel Tel Fax: Verslag Datum 28 augustus 2015 Aanwezig Jan Eggermont, Jan De Maeseneer, Wanda Guedens, Marcel Ameloot, Chantal Van Audenhove, Brigitte Velkeniers, Thierry Backeljau, Godelieve Moons, Kristiaan Temst, Stefaan Caenepeel, Johan Quaegebeur, Wannes Verheyen, Sarah Loi, Johan van Braak, Dominique Declercq, Isabel Van Driessche, Ward Dejaegher Verontschuldigd : Luc Martens, Wilfried De Backer Voorzitter Verslaggever Onderwerp Jan Eggermont Wannes Verheyen Deliberatievergadering examencommissie toelatingsexamen 28 augustus 2015 Agenda Deliberatievergadering examencommissie toelatingsexamen 2015, augustusexamen Bijlagen: Agenda 1. Verwelkoming 2. Goedkeuring deliberatieverslag examensessie juli Verloop van toelatingsexamen arts/tandarts 25 augustus Onregelmatigheden 5. Vaststelling van de examenresultaten toelatingsexamen arts/tandarts 25 augustus Kwaliteitszorg toelatingsexamen Varia

2 1. Verwelkoming Voor de vergadering wordt aangevat, deelt de voorzitter mee dat het rondgestuurde verslag van de deliberatievergadering niet de finale versie is. De finale versie wordt ter zitting uitgedeeld. Op de doorgestuurde agenda worden nog twee punten aangevuld onder 7. Varia, met name: a. Behandeling interne beroepen b. Afspraken communicatie naar aanleiding van de inzagemomenten. 2. Goedkeuring deliberatieverslag examensessie juli 2015 Opmerkingen: - De commissie wil graag aan het verslag toevoegen dat de gebruikte methodologie voor de itemresponsanalyse enkel van toepassing is op het huidige werkingsjaar van het toelatingsexamen en dat dit dus geen voorafname doet op toekomstige edities. Het deliberatieverslag wordt goedgekeurd. 3. Verloop van toelatingsexamen arts/tandarts 25 augustus 2015 Het examenmoment van 25 augustus 2015 is zonder noemenswaardige incidenten verlopen. 4. Onregelmatigheden Sarah Loi en Ward Dejaegher verlaten de vergadering. ID kandidaten 3 kandidaten hadden geen geldig ID 1 kandidate heeft zich de volgende dag aangemeld. 2 kandidaten zijn zich niet meer komen aanmelden. Zij worden geschrapt van de lijst van effectieve deelnemers aan het examen. 3 kandidaten hebben aantekeningen gemaakt op het tafelpapier/instructieblad. Een kandidaat schreef tijdens het chemie-deel een aantal elementen over uit een tabel. Een kandidaat schreef tijdens communicatieproef deel 1 enkele woorden op het tafelpapier. De tekst was niet meer goed leesbaar aangezien er over werd getippext. De woorden Nederland en Eindhoven konden nog worden gelezen. De kandidaat wist niet dat dit een probleem kon opleveren. Een kandidaat schreef tussen Biologie en de communicatieproef deel 1 op haar instructieblad dat zij 10 minuten tijd per tekst had. Bovenstaande gebeurtenissen worden zonder gevolg geklasseerd. Gebruik GSM Een kandidaat zat tijdens het examen aan haar gsm. Naar eigen zeggen was de kandidaat vergeten om die uit te zetten. Dit wordt bevestigd door een toezichter die na het examen mailde over dit incident. De gsm ging af tijdens het examen en kandidaat heeft getracht deze zo snel mogelijk uit te zetten. Deze gebeurtenis wordt zonder gevolg geklasseerd.

3 5. Vaststelling van de examenresultaten toelatingsexamen arts/tandarts 25 augustus 2015 Methodologie Op de resultaten van elke vraag werden itemanalyses uitgevoerd die een indicatie geven van de psychometrische kwaliteit en de moeilijkheidsgraad van elke vraag. Volgende criteria werden gebruikt om de psychometrische kwaliteit van een vraag te beoordelen: 1. Criterium 1: frequentie van het juiste antwoord en de afleiders a. Wordt het juiste antwoord meer frequent gekozen dan de afleiders? 2. Zo Criterium 1 negatief, dan Criterium 2: vergelijking van de antwoordpatronen van de hoogst scorenden (top 27%, H-groep) met deze van de laagst scorenden (onderste 27%, L-groep). a. Wordt de frequenter gekozen afleider vooral gekozen door de laagst scorende deelnemers? 3. Criterium 3: de relatie van de vraag tot de totale toets (RIT score). a. Is de RIT score 0.15? 4. Aanvullend criterium indien 2 neen op criterium 1 tem 3: antwoordfrequentie van de hoogst scorende groep a. Kiest de hoogst scorende groep meer frequent het juiste antwoord? Bijkomend werd ook gebruik gemaakt van de input van de deelnemers via de briefjes die tijdens het examen aan de examencommissie overhandigd werden en van de input van deelnemers die na het examen aan de examencommissie overhandigd werd De vragen die aan de hand van bovenstaande analyse geïdentificeerd werden, werden vervolgens inhoudelijk geanalyseerd. Analyse 14 vragen werden op basis van de itemanalyse geïdentificeerd (zie onderstaande tabel voor de oplijsting van deze vragen); 7 vragen (WIS01, WIS13, FYS05, FYS06, BIO09, BIO12, BIO13) werden op basis van de feedback tijdens of na het examen gemerkt. vraag criterium 1 criterium 2 criterium 3 criterium 4 WIS08 neen ja ja nvt FYS07 neen neen ja neen FYS08 neen neen ja ja FYS14 neen neen ja neen CHE01 neen ja ja nvt CHE05 neen ja ja nvt CHE08 neen ja ja nvt CHE12 neen ja ja nvt CHE13 neen neen ja neen BIO07 neen ja ja nvt BIO10 neen neen ja neen GES15 neen neen neen neen STA07 neen ja ja nvt STB05 neen neen ja ja De opgelijste vragen werden inhoudelijk geanalyseerd. Voor de vragen WIS08, CHE01, CHE05, CHE08, CHE12, BIO07 en STA07 bleken er geen problemen te zijn. Deze vragen werden behouden in het examen.

4 De volgende vragen werden aan een meer diepgaande inhoudelijke analyse onderworpen. 1. Wiskunde Vraag 1 (WIS01) - Na het examen werd aan de commissie gemeld dat deze vraag zonder rekenmachine haast niet op te lossen was. Dit is in tegenspraak met het uitgangspunt van het examen, m.n. dat alles zonder rekenmachine kan worden opgelost. Deze vraag kan makkelijk zonder een rekenmachine opgelost worden. De vraag is inhoudelijk correct opgesteld en duidelijk geformuleerd. Vraag 13 (WIS13) - Na het examen werd aan de commissie gemeld dat deze vraag dubbelzinnig was en niet kon worden opgelost. De vraag is inhoudelijk correct opgesteld en duidelijk geformuleerd. De vermelde gegevens laten toe om de vraag eenduidig op te lossen. 2. Fysica Vraag 5 (FYS05) - Na het examen werd aan de commissie gemeld dat deze vraag dubbelzinnig was aangezien twee wagens nooit op hetzelfde moment op dezelfde plaats kunnen staan. Wanneer de ruimtelijke uitgebreidheid van de wagens in rekening wordt gebracht kunnen de volgende scenario s worden beschouwd: de wagens kunnen botsen. de wagens kunnen in verschillende rijvakken rijden; het bestaan van verschillende rijvakken is duidelijk omdat op t = 0 wagen B de wagen A voorbijrijdt. Bij dergelijke vraagstelling is het de gewoonte de ruimtelijke uitgebreidheid niet in rekening te brengen en de voorwerpen als mathematische punten te beschouwen. In die zin kunnen punten zich wel degelijk op eenzelfde tijdstip in een ruimtelijk mathematisch punt bevinden.

5 Vraag 6 (FYS06) - Na het examen werd aan de commissie gemeld dat de oefening enkel kon worden opgelost mits kennis van de niet-eenparig versnelde lineaire beweging. Dit was echter geen onderdeel van de leerstof. De vraag peilt naar het inzicht hoe een snelheidsvector verandert door de aanwezigheid van een versnelling. De feitelijke, analytische tijdsafhankelijke uitdrukking van de versnelling dient in deze vraag niet te worden beschouwd. Daardoor is deze vraag ook niet te beschouwen als een vraag omtrent de niet-eenparig versnelde rechtlijnige beweging. Het goede antwoord kan worden gevonden op basis van een redenering waarmee de kandidaat vertrouwd wordt gemaakt in het secundair onderwijs bij de bespreking van de eenparig versnelde rechtlijnige beweging. Vraag 7 (FYS07) - De afleider C wordt frequenter gekozen dan het juiste antwoord A (834 versus 517). groep (laag scorenden): 250 versus De RIT-waarde van het item is goed (0,38). - De H-groep kiest meer frequent voor het juiste antwoord dan voor de afleider. De vraag is inhoudelijk correct opgesteld en duidelijk geformuleerd. Vraag 8 (FYS08) - De afleider A wordt frequenter gekozen dan het juiste antwoord C (922 versus 545). - De afleider A wordt frequenter gekozen door de L-groep (laag scorenden) dan de H- groep (hoog scorenden): 281 versus De afleider D wordt frequenter gekozen dan het juiste antwoord C (772 versus 545). - De afleider D wordt frequenter gekozen door de H-groep (hoog scorenden) dan de L- groep (laag scorenden): 194 versus De RIT-waarde van het item is laag (0,20). - De H-groep kiest meer frequent voor het juiste antwoord dan voor de afleider. Vraag 14 (FYS14) - De afleider C wordt frequenter gekozen dan het juiste antwoord B (1156 versus 554). groep (laag scorenden): 375 versus De RIT-waarde van het item is goed (0,31).

6 - De H-groep kiest meer frequent voor de afleider dan voor het juiste antwoord. 3. Chemie Vraag 13 (CHE13) - De afleider B wordt frequenter gekozen dan het juiste antwoord D (539 versus 346). - De afleider B wordt frequenter gekozen door de H-groep (hoog scorenden) dan de L- groep (laag scorenden): 189 versus De afleider C wordt frequenter gekozen dan het juiste antwoord D (414 versus 346). - De afleider C wordt frequenter gekozen door de H-groep (hoog scorenden) dan de L- groep (laag scorenden): 131 versus De RIT-waarde van het item is laag (0,21). - De H-groep kiest meer frequent voor de afleider B dan voor het juiste antwoord. 4. Biologie Vraag 9 (BIO09) - Na het examen werd aan de commissie gemeld dat de antwoordmogelijkheden niet eenduidig geformuleerd zijn wegens verwarring tussen spermatozoiden en spermatiden. De antwooordmogelijkheden verwijzen naar de overeenkomstige stadia tijdens de productie van de zaad- en eicellen, nl. het "-tide" stadium (spermatide vs oötide). Het is juist dat een spermatide nog geen spermatozoïde is, maar doordat de vraag consequent naar de "homologe" stadia tijdens de vorming van de gameten verwijst, kan er geen verwarring bestaan met betrekking tot de inhoud van de vraag (i.e. waarin verschillen de productie van zaad- en eicellen). Vraag 10 (BIO10) - De afleider B wordt frequenter gekozen dan het juiste antwoord C (1658 versus 950). groep (laag scorenden): 496 versus De RIT-waarde van het item is laag (0,28). - De H-groep kiest meer frequent voor de afleider dan voor het juiste antwoord.

7 Vraag 12 (BIO12) - Na het examen werd aan de commissie gemeld dat de betekenis van zuivere lijn niet duidelijk is en dat het aantal ouderlijke genotypen niet afgeleid kan worden. De zuivere lijn is een duidelijk gedefinieerde term in de erfelijkheidsleer die in het secundair onderwijs wordt gehanteerd. Uit het genotype van de nakomelingen (dubbel heterozygoot) kan afgeleid worden dat de ouders dubbel homozygoot dienen te zijn met 4 mogelijke ouderlijke genotypes. De vraag is inhoudelijk correct opgesteld en duidelijk geformuleerd. Vraag 13 (BIO13) - Na het examen werd aan de commissie gemeld dat de betekenis van DNA ligase niet duidelijk is. De term DNA ligase is een duidelijk gedefinieerde term die in het secundair onderwijs wordt gehanteerd. De vraag is inhoudelijk correct opgesteld en duidelijk geformuleerd. 5. Communicatie Vraag 15 (GES15) - De afleider C wordt frequenter gekozen dan het juiste antwoord B (2677 versus 474). groep (laag scorenden): 724 versus De RIT-waarde van het item is zeer laag (0,071). - De H-groep kiest meer frequent voor de afleider dan voor het juiste antwoord. De commissie besluit dat de vraag niet eenduidig op te lossen is. Er is bij 18-jarige jongeren blijkbaar een misvatting over wat opbouwende feedback is. Hoewel antwoord B effectief het enige antwoord is dat objectief geformuleerd is en om die reden het meest constructief voor de relatie, kan antwoord C vanuit het perspectief van een 18-jarige eerder vergoelijkend begrepen worden en antwoord B eerder confronterend. De commissie besluit deze vraag te schrappen 6. Stilleestekst Vraag 25 (STB05)

8 - De afleider B wordt frequenter gekozen dan het juiste antwoord A (1136 versus 731). groep (laag scorenden): 316 versus De RIT-waarde van het item is laag (0,257). - De H-groep kiest meer frequent voor het juiste antwoord dan voor de afleider. Er is bij deze vraag een discrepantie in de terminologie van de vraagstelling en de bijhorende tabellen. Er is potentieel een misverstand tussen de termen geluidshinder en percentage ernstig gehinderden. De commissie beslist deze vraag te schrappen. CONCLUSIE De commissie schrapt volgende vragen voor alle deelnemers: - Vraag 25 van de stilleesproef - Vraag 15 van de communicatieproef Hierdoor worden er 522 kandidaten geslaagd verklaard. Op een totaal van 3716 regelmatige deelnemers, bedraagt dit 14,1%. 6. Kwaliteitszorg toelatingsexamen 2015: De commissie behandelt het voorstel van een commissielid om bijkomende kwaliteitscontroles uit te voeren op basis van de datasets van het toelatingsexamen arts en tandarts Het betreft itemanalyses volgens de principes van Item Response Theory (IRT). De bedoeling is om naast de itemanalyse gebaseerd op de klassieke testtheorie de items verder te onderzoeken op onzuiverheden om zo een beter zicht te krijgen op de kwaliteit van de vragen en het antwoordpatroon van de deelnemers. Deze analyses zijn uitsluitend voor intern gebruik. Zij gebeuren post hoc en hebben geen invloed op de vaststelling van de examenresultaten zoals besproken in punt 5. De commissie gaat hiermee akkoord. 7. Varia Voorafgaand aan de behandeling van volgende punten verlaten mevrouw Wanda Geudens en mevrouw Chantal Van Audenhoven de vergadering 7.1 Behandeling interne beroepen De commissie behandelt de voorliggende beroepen en keurt het voorstel van antwoord goed. 7.2 Afspraken communicatie met kandidaten. De examencommissie neemt volgend standpunt in met betrekking tot de communicatie die zij voert met de kandidaten: - Briefjes met opmerkingen die tijdens het examen aan de commissie worden overhandigd, krijgen geen individueel antwoord, maar worden wel bekeken ifv de itemanalyse.

9 - De mails die na het examenmoment naar het mailadres van het toelatingsexamen worden gestuurd, krijgen geen individueel antwoord, maar worden wel bekeken ifv de kwaliteitscontrole van de vragen. - De opmerkingen die worden geformuleerd naar aanleiding van een inzagemoment krijgen geen individueel antwoord, maar worden wel bekeken ifv de kwaliteitscontrole van de vragen. Brussel, vrijdag 28 augustus 2015, De Voorzitter Prof. Jan Eggermont De Secretaris Wannes Verheyen