CAT Professionele Ontwikkeling en Wetenschap

Transcriptie

1 CAT Professionele Ontwikkeling en Wetenschap (Toetsdatum 31 mei 2013) Toelichting Amsterdam, 7 juni 2013 A.L. de Vries Algemeen EN Toets te lang De toets werd als te lang beschouwd. Het lukte niet alle studenten om binnen de tijd de toets af te maken. Daarnaast gaven studenten aan door tijdgebrek niet elke vraag de benodigde aandacht te hebben kunnen geven. Er was onduidelijkheid over de beschikbare tijd. In het oude curriculum werd de stof uit deze cursus getoetst in 2,5 uur. In het nieuwe curriculum is dat 2 uur geworden. Onduidelijkheid over de toegestane hulpmiddelen tijdens de toets Er was onduidelijkheid over de toegestane hulpmiddelen tijdens de toets. Tijdens de cursus was verteld dat studenten een rekenmachine en formuleblad met tabellen zouden mogen gebruiken. Daarbij was het toegestaan het in de cursusklapper verstrekte formuleblad van eigen aantekeningen te voorzien. Op het voorblad van de toets stond echter dat alle bronnen waren toegestaan. Dit zorgde voor verwarring over de toegestane hulpmiddelen tijdens de toetsafname. Omdat de toets in zes afzonderlijke zalen werd afgenomen, is er ongelijkheid gepercipieerd. Er was melding gedaan van het gebruik van boeken. Gebrek aan representativiteit van de oefen CATs Er waren twee oefencats (cursusafhankelijke toets). Dit waren de CAT en hercat van Algemene Methodologie van het Wetenschappelijk Focus Onderwijs Studenten vonden de huidige CAT veel moeilijker dan de twee oefencats. Bovendien bevatte de huidige CAT meer rekenopgaven. Statistiek en methodologie zijn moeilijk De onderwerpen statistiek en methodologie worden als moeilijk ervaren. Studenten hebben zich de stof niet helemaal meester kunnen maken. Een deel van de toets werd als lastiger ervaren dan van hen verwacht zou mogen worden. Toets te lang In de zaal waar de cursuscoördinator bij de toetsafname aanwezig was, viel op dat 80% à 90% van alle studenten de volledige tijd benutten. Uit de toetsanalyse bleek dat 25 van de 323 studenten (7,7%) niet alle vragen beantwoord hadden (19 studenten hadden 1 vraag overgeslagen, 1 student 2 vragen, 3 studenten 3 vragen en 2 studenten 8 vragen). Er was duidelijk gebrek aan tijd om de toets af te maken. In het oude curriculum werd voor het maken van de toets 2,5 uur toegekend. In het nieuwe curriculum is dat 2 uur geworden. De cursuscoördinator had de indruk dat in het verleden extra tijd nodig was, omdat alle mogelijke hulpmiddelen tijdens de toets gebruikt mochten worden. Er ging veel tijd zitten in het opzoeken van vragen in studieboeken. Daarom is dit jaar een formuleblad in gebruik genomen. Hierin zijn alle (relevante) formules uit Twisk 1

2 opgenomen. Het was de student toegestaan hierin aanpassingen aan te brengen. Door alleen het gebruik van het formuleblad en geen boeken toe te staan, werd beoogd het tijdverlies door het opzoeken in boeken te bestrijden. Die opzet is gelukt. Toch is er geen tijdwinst geboekt, omdat de huidige CAT meer vragen met SPSS output bevat. Deze vragen vergen meer tijd om kritisch te bestuderen en te beantwoorden. Onduidelijkheid over de toegestane hulpmiddelen tijdens de toets Door in het Word bestand het voorblad van de CAT te kopiëren van vorig jaar, stond er in de instructie dat alle hulpmiddelen waren toegestaan. Dit heeft de cursuscoördinator pas opgemerkt toen de toets al gedrukt was. Voor de toetsafname heeft de cursuscoördinator in alle zes de zalen de surveillanten geïnstrueerd dat alleen een rekenmachine en het formuleblad met tabellen gebruikt zou mogen worden. Het formuleblad mocht voorzien zijn van aantekeningen. De cursuscoördinator heeft daarbij een stapel reserve formulebladen achtergelaten en het mobiele telefoonnummer voor eventuele vragen. In twee zalen waren bij aanvang van de toets nog vragen over eventuele losse blaadjes met aantekeningen. Die waren niet toegestaan; dit gaf extra onrust bij aanvang van de toets. Het is de cursuscoördinator niet opgevallen dat er in een zaal boeken gebruikt zijn. Bij de toetsanalyse is nog onderzocht of in de zes verschillende zalen de toets verschillend gemaakt is. Deze verschillen waren niet statistisch significant. Mocht er in een individueel geval wel een boek gebruikt zijn, dan zal dit vermoedelijk niet tot een beter toetsresultaat geleid hebben, omdat dit het tijdgebrek alleen maar nijpender zal hebben gemaakt. Gebrek aan representativiteit van de oefen CATs De oefencats waren toetsen gebruikt voor Algemene Methodologie van het WFO. Ten opzichte van die cursus is in de huidige opzet een boek over Methodologie vervallen (Zielhuis). Op BlackBoard was aangegeven welke vragen betrekking op Zielhuis hadden en dus niet tot de studiestof behoorden. Op het responsiecollege is gevraagd wat voor vragen hiervoor in de plaats zouden komen. Daarop is geantwoord dat dit vooral vragen zouden zijn naar de interpretatie van SPSS output. Vragen hierover ontbraken dus in de oefencat, maar is in de colleges, studiegroepen en practica wel aan bod geweest. Statistiek en methodologie zijn moeilijk In de cursus was een college gepland over hoofdstuk 7 van Twisk: associatie- en predictiemodellen. Het was tijdens de colleges al duidelijk dat studenten de studiestof lastig vonden. Het tempo van de colleges is daarom omlaag geschroefd. Hoofdstuk 7 is daardoor niet meer in de colleges aan bod gekomen. In de toets waren wel vragen opgenomen uit hoofdstuk 7. Deze waren daardoor extra lastig. Compensatie in de cesuur Vanwege tijdgebrek, onrust door onduidelijkheid over de toegestane hulpmiddelen, een tekort aan oefenvragen over SPSS output en enkele vragen over studiestof die niet in de colleges aan bod gekomen zijn, is besloten de cesuur met twee punten te verlagen. Vraag 6 Wat voor analyse vergt dit onderzoek? a. t-toets b. lineaire regressie c. logistische regressie d. Cox regressie Juiste antwoord: B Bron: Twisk, Hfst. 4 2

3 i. Waarom zal hier geen gebruik gemaakt kunnen worden van een t-toets? Er zijn twee groepen patiënten (type 4 APOE en type 2 of 3 APOE), waarbij continue variabelen vergeleken worden (de F2-isoprostanenspiegel en de MMSE). Dit kan toch ook met een t-toets? Er wordt een relatie onderzocht tussen F2-isoprostanenspiegel en Mini-Mental State Examination. Dit levert een regressie- of correlatiecoëfficiënt. Die relatie is anders voor APOE type ε 4 dan voor APOE type ε 2 of ε 3. Er zijn dus twee verschillende regressie- of correlatiecoëfficiënten. Een t-toets kan niet, want er worden geen gemiddeldes vergeleken, maar twee lineaire relaties. Vraag 8 Is het voor een juiste interpretatie nodig om de twee patiënten met een F2- isoprostanenspiegel van ongeveer 30 pg/ml van de analyse uit te sluiten? a. Nee, want de metingen berusten niet op meetfouten. b. Nee, want de effectschatting is al conservatief (zonder deze patiënten zal het verschil tussen de APOE typen alleen maar toenemen). c. Ja, want dan is de effectschatting meer conservatief (zonder deze patiënten zal het verschil tussen de APOE typen alleen maar afnemen). d. Ja, want extreme waarden moeten altijd van verdere analyse uitgesloten worden. Juiste antwoord: B Bron: Twisk, Hfst. 4 i. Waarom kan A niet ook juist zijn? B leek mij in eerste instantie het goede antwoord, maar ik vond dat je dan wel moet hebben uitgesloten dat er geen fouten zijn gemaakt waardoor de twee waarden zo afwijken. Dat is door herhaalde chemische analyse gedaan waardoor A ook juist is lijkt mij. Naar mijn idee is antwoord A ook juist. Als een meting herhaalde keren een waarde geeft, die afwijkt van de steekproef, kan deze niet zomaar geëxcludeerd worden. Er is immers geen sprake van een fout in de meting, het excluderen zal dan er voor zorgen dat het resultaat 'richting' het gemiddelde van de steekproef gaat, terwijl er in de totaal populatie misschien meer van deze uitschieters aanwezig kunnen zijn. Doordat de chemische analyse herhaald wordt op materiaal dat is verkregen met dezelfde punctie wordt een meetfout niet uitgesloten. De verkregen liquor zelf kan doordat de punctie problematisch verliep, afwijkingen vertonen. Uit de figuur is echter de invloed van beide extreme waarden af te leiden. Het rondje ligt boven de steilere doorgetrokken lijn en 'trekt' op basis van het kleinste kwadraten principe de doorgetrokken lijn rechts 'omhoog'; hierdoor loopt deze lijn minder steil af dan zonder deze waarneming. Het driehoekje ligt onder de minder steile gestippelde lijn en 'trekt' deze dus naar beneden; hierdoor loopt deze lijn meer steil af dan zonder deze waarneming. Kortom het verschil tussen de APOE typen zal toenemen wanneer beide extremen weggelaten worden en met de extreme waarden is de effectschatting dus al conservatief. Toch is de informatie in de toetsvraag misleidend en maakt optie A verdedigbaar. Daarom is van deze vraag antwoord A ook goed gerekend. 3

4 Vraag 9 Een manier om de zoekstrategie voor een systematische review te verbeteren is om de gebruikte zoektermen van reeds gevonden artikelen in de zoekstrategie op te nemen. Hoe wordt deze aanpak genoemd? a. building block method b. pearl growing method c. backward citation chaining d. forward citation chaining Juiste antwoord: B Bron: practicum literatuur zoeken i. Ik vroeg me af waar ik in de leerstof het antwoord terug zou kunnen vinden. Ik kon het namelijk niet vinden in de sleutel die op BlackBoard staat in de map van dit practicum. Vraag ik me ook af. i Het staat in het practicum literatuur zoeken. Als je die handleiding online volgt, kom je bij deze termen (o.a. pearl growing en building block method) terecht. Opmerking i is correct, het staat in de handleiding. Vraag 19 Er wordt een lineaire regressie analyse uitgevoerd met geslacht (0: vrouw; 1: man) als determinant voor het HDL Cholesterol (mg/dl). Het blijkt dat het HDL scheef naar rechts verdeeld is. Daarom wordt een log-transformatie op het HDL toegepast. Wat is het effect dat wordt gerapporteerd? a b c d Juiste antwoord: C Bron: Twisk, paragraaf en i. Het is mij volstrekt onduidelijk welk effect ze bedoelen. Het effect van de regressiecoëfficiënt? Het effect op de t-toets? Etc. Doordat ik niet begreep wat er bedoeld werd, heb ik deze vraag willekeurig ingevuld. Er staat inderdaad niet bij welke effectmaat ze willen weten. Daarnaast had ik ook moeite met het woord: gerapporteerd. Voor moet je eerst de e macht van de coëfficiënt nemen, soms staat er ook een Exp(B) in te tabel, maar hier niet. Deze maat staat hier dus niet 'gerapporteerd'. i Ik vind het echt niet moeilijk om een tabel af te lezen, maar als de vraag zo slecht geformuleerd wordt... iv. Ik vond dit ook een hele vreemde vraag. Het enige antwoord die niet in de tabel staat (en die niet gerapporteerd staat), is antwoord C. De rest staat wel in de tabel. Daarom heb ik gegokt tussen de andere drie antwoorden, omdat ik dacht dat het sowieso niet C kon zijn (aangezien die dus wel gerapporteerd staat in de tabel). De vraagstelling was onduidelijk, waardoor ik niet begreep wat er gevraagd werd!! 4

5 v. Het was mij ook volledig onduidelijk op welk effect hier gedoeld werd en hoe (en of!) dat afgelezen zou kunnen worden. Ik heb daarom bij deze vraag het 'effect' maar opgevat als de verandering in de regressie, en ben daarom voor de regressie coefficient gegaan. Dan kom je op antwoord A uit. Opmerking i. en v. Er wordt bezwaar gemaakt tegen de term 'effect'. In de vraag zelf staat aangegeven dat een lineaire regressie analyse uitgevoerd wordt met geslacht als determinant voor het HDL Cholesterol (mg/dl). Het 'effect' is dus de invloed van geslacht op het HDL Cholesterol. De regressiecoëfficiënt is dan meestal de effectmaat. De student die het heeft over "Het effect van de regressiecoëfficiënt?" bedoelt daarmee te zeggen dat de regressie analyse zelf de relatie tussen geslacht en het HDL Cholesterol beïnvloedt. De student die 'effect' opvat als de verandering in de regressie bedoelt effectmodificatie. Hiervan kan geen sprake zijn, omdat er in de vraag slechts twee variabelen genoemd worden. In de colleges zijn vaak de termen effect en effectmaat gebruikt. Opmerking Er wordt een lineaire regressie uitgevoerd. Dan komt er helemaal geen Exp(B) in de output van SPSS. Opmerking i Het gaat er juist om dat de tabel aflezen in dit geval onvoldoende is. Opmerking iv. SPSS rekent en produceert output. De onderzoeker interpreteert en kiest wat relevant is en wat niet en dus wat er gerapporteerd wordt. Inhoudelijk Er is een log-transformatie op HDL Cholesterol (mg/dl) toegepast, omdat de verdeling niet normaal is. Wat betekent dan de ruwe regressiecoëfficiënt van 0.208? Dat is het verschil in ln[hdl Cholesterol (mg/dl)] van de mannen ten opzichte van de vrouwen. En dit is niet klinisch gemakkelijk interpreteerbaar. Het is dan zaak terug te transformeren: Exp(-0.208) = Dit is dan het gemiddelde HDL Cholesterol (mg/dl) van de mannen gedeeld door de vrouwen. NAGEKOMEN OPMERKING VAN STUDENT Ondanks dat de bespreking al geweest is (geloof ik) wil ik graag dit toevoegen: Ik snap volledig wat u hierboven zegt, en dit heb ik tijdens het tentamen ook allemaal bedacht. Ik weet dat als je iets gaat log-transformeren dat je de effectmaat krijgt als je terug transformeert en tevens dat er een lineaire regressie model geen Exp(B) wordt gerapporteerd. Ik ben in de war geraakt door uw vraagstelling. Mij gaat het niet zo zeer om hoe het moet, want ik kan gerust iets heen en weer transformeren, geen probleem. Ik wil bewust maken van de manier waarop u de vraag stelt. In mijn ogen was een geschikte vraag hier geweest: Wat is het verschil in HDL cholesterol (mg/dl) van de mannen ten opzichte van de vrouwen? Op deze manier had ik, en ik denk vele studenten met mij, geen enkele moeite met deze vraag gehad. In ieder geval bedankt voor het lezen, als u daar aan toe komt en ik hoop dat u er wat mee kan in de toekomst. REACTIE VAN DE DOCENT OP DE NAGEKOMEN OPMERKING Als de vraag geformuleerd wordt, zoals nu wordt voorgesteld: 5

6 "Wat is het verschil in HDL cholesterol (mg/dl) van de mannen ten opzichte van de vrouwen?" Dan staat het juiste antwoord niet in de antwoordopties (zie hiervoor ook mijn toelichting op de volgende vraag). Bovendien is deze vraag überhaupt niet met de in de vraag verstrekte gegevens te beantwoorden. Dit komt nu juist door de log-transformatie. Menig student denkt de principes van de log-transformatie te begrijpen, zonder dat er van werkelijk begrip sprake is. Ook bij rapportage van echte log-getransformeerde onderzoeksgegevens, wordt vaak óf de terugtransformatie óf de veranderde betekenis van de uitkomstmaat (zie volgende vraag) door de verantwoordelijk onderzoekers vergeten. Vraag 20 Wat is de interpretatie van de in de vorige vraag gerapporteerde effectmaat? a. gemiddelde HDL van de vrouwen min het gemiddelde HDL van de mannen b. gemiddelde HDL van de vrouwen gedeeld door het gemiddelde HDL van de mannen c. gemiddelde HDL van de mannen min het gemiddelde HDL van de vrouwen d. gemiddelde HDL van de mannen gedeeld door het gemiddelde HDL van de vrouwen Juiste antwoord: D Bron: Twisk, blz. 73 i. Zoals ik bij vraag 19 al aangaf, was mij daar volstrekt onduidelijk welke effectmaat bedoeld werd, waardoor ik, bij foute beantwoording van vraag 19, deze ook gelijk fout heb. Slechte vraagstelling bij vraag 19, en bij deze opdracht terugkoppeling naar vorige vraag. Ik had exact hetzelfde! Doordat ik de vorige vraag fout had beantwoord, heb ik daardoor vraag 40 ook verkeerd beantwoord. Uit de vorige vraag kwam ik uit op een negatief effect, waardoor ik bij het beantwoorden van deze vraag dus ook op het tegenovergestelde antwoord uitkwam: antwoord B. Het mag niet zo zijn dat je een vraag, door een doorberekende fout van een vorige vraag, fout beantwoord! Regressievergelijking voor de vrouwen: ln[hdl Cholesterol (mg/dl) VROUWEN ] = B0 + 0 x B1 = B0 {= 3.940} Regressievergelijking voor de mannen: ln[hdl Cholesterol (mg/dl) MANNEN ] = B0 + 1 x B1 = B0 + B1 {= ( 0.208) = 3.732} Dit betekent: B1 = B0 + B1 B0 B1 = ln[hdl Cholesterol (mg/dl) MANNEN ] ln[hdl Cholesterol (mg/dl) VROUWEN ] {= 0.208} B1 = ln[hdl Cholesterol (mg/dl) MANNEN / HDL Cholesterol (mg/dl) VROUWEN ] {= 0.208} Exp(B1) = HDL Cholesterol (mg/dl) MANNEN / HDL Cholesterol (mg/dl) VROUWEN {= Exp( 0.208) Opmerkingen i. en = 0.812} Geen van de afleiders van deze vraag passen bij de afleiders van de vorige vraag. Daarom kan het niet zo zijn dat je deze vraag fout hebt, doordat je de vorige vraag fout hebt. Andersom geldt wel dat je erachter kan komen dat je de vorige vraag fout beantwoord moet hebben, doordat de bijpassende interpretatie van die effectmaat niet tussen de antwoordopties van deze vraag staat. Uit de bespreking met de JVC-ers kwam naar voren 6

7 dat dit ook is gebeurd. De afhankelijkheid tussen deze twee vragen is niet per definitie slecht. Het beloont juist studenten die de betekenis van de log-transformatie goed begrijpen. Vraag 25 Welk onderzoek mag niet door een METc worden getoetst? a. Onderzoek in gehandicapte kinderen b. Gentherapeutisch onderzoek c. Onderzoek met geregistreerde geneesmiddelen d. Onderzoek in wilsonbekwame patiënten Juiste antwoord: B Bron: Ten Have HAMJ, Ter Meulen RHJ & Van Leeuwen E. Medische ethiek. [3e editie] Houten: Bohn Stafleu Van Loghum. Hoofdstuk 10. Wetenschap, p i. Uit Medische Ethiek pagina 239 citeer ik: "Toetsing wordt verricht door een medisch ethische toetsingscommissie (METc). Deze comissie is erkend door een landelijke, overkoepelende centrale commissie, de Centrale Commissie Medisch-wetenschappelijk Onderzoek (CCMO). Die commissie toetst zelf ook onderzoek, namelijk het innovatieve, grensverleggende onderzoek en onderzoeksvoorstellen met speciale groepen zoals kinderen en demente bejaarden (wilsonbekwamen)." Hier staat dus letterlijk dat het METc geen toetsing van onderzoeken naar wilsonbekwame patiënten doet maar het CCMO. Antwoord D lijkt mij daarom juist. Hier sluit ik me bij aan! Dit geeft ook aan dat de CCMO ook de onderzoeken in kinderen beoordeelt, en niet de METc. Antwoord A is daarmee ook goed. i Uit Medische Ethiek pagina 239 citeer ik: "Toetsing wordt verricht door een medisch ethische toetsingscommissie (METc). Deze comissie is erkend door een landelijke, overkoepelende centrale commissie, de Centrale Commissie Medisch-wetenschappelijk Onderzoek (CCMO). Die commissie toetst zelf ook onderzoek, namelijk het innovatieve, grensverleggende onderzoek en onderzoeksvoorstellen met speciale groepen zoals kinderen en demente bejaarden (wilsonbekwamen)." Hier staat dus letterlijk dat het METc geen toetsing van onderzoeken naar wilsonbekwame patiënten doet maar het CCMO. Antwoord D lijkt mij daarom juist. In Figuur 10.3 Wie toetst wat? staat in de eerste stap van de beslisboom weergegeven dat gentherapie, xenotransplantatie, en embryo-onderzoek door de CCMO getoetst wordt. Daaruit komt ook naar voren dat onderzoek bij minderjarige of wilsonbekwame personen door de METC getoetst wordt MITS het therapeutisch onderzoek betreft of niettherapeutisch observationeel onderzoek. Kortom optie b. is het enig juiste antwoord. Om te beslissen of optie a. of d. niet door een METC mag worden getoetst is te weinig informatie over de aard van het onderzoek gegeven. Opmerkingen i., en i In het citaat staat aangegeven wat de CCMO wel doet en niet wat de METC niet doet. Het gebruik van dit argument wordt binnen de logica herkend als een formele drogreden, namelijk de bevestiging van het consequens. Vraag 26 U vraagt een patiënt om informed consent voor het meedoen aan onderzoek. Wanneer voldoet deze informed consent procedure niet aan de vereisten? 7

8 a. Wanneer de patiënt gebrekkig Nederlands spreekt. b. Wanneer de patiënt mondeling en schriftelijk is geïnformeerd. c. Wanneer de patiënt minder dan 48 uur van te voren is geïnformeerd. d. Wanneer een wettelijke vertegenwoordiger toestemming verleent in het geval van wilsonbekwaamheid. Juiste antwoord: A Bron: Engberts DP & Kalkman-Bogerd LE. Gezondheidsrecht. [2e editie] Houten: Bohn Stafleu Van Loghum. Hoofdstuk 9. Wetenschappelijk onderzoek. i. Waar zou dit in de leerstof moeten staan? Ik heb heel medische ethiek en gezondheidsrecht gelezen en ben dit nergens tegengekomen. Ik ben van mening dat antwoord C ook goed is. Er wordt in de boeken medische ethiek en gezondheidsrecht gezegd dat een patiënt genoeg tijd moet krijgen om na te denken of hij/zij echt mee wil doen aan het onderzoek voordat hij de informed consent ondertekent. Er wordt in de boeken geen specifieke tijd gezegd, maar het lijkt mij dat 48 uur niet heel veel tijd is om er goed over na te denken. Door deze informatie in het boek heb ik bedacht dat ze met 48 uur niet genoeg tijd bedoelen en ben ik daarom voor antwoord C gegaan. Antwoord A is ook goed, maar had ook specifieker kunnen zijn. Wanneer de patiënt wel Engels spreekt en de arts ook en er een informed consent in het Engels is opgesteld lijkt het me dat die procedure wel heeft voldaan aan de vereisten. Ook wanneer er een tolk en een onpartijdig iemand bij is die er op toe ziet dat de patiënt wel alles begrijpt zou deze patiënt wel volgens de procedure het informed consent mogen ondertekenen dacht ik te hebben begrepen. i Toevoegingen die pleiten voor antwoord C: "De proefpersoon/wettelijk vertegenwoordiger krijgt een zodanige bedenktijd dat hij op grond van deze inlichtingen een zorgvuldig overwogen beslissing omtrent de gevraagde toestemming kan geven (art 6, lid 4 WMO)." (Link: Toestemmingsformulier Mensen die deelnemen aan medisch-wetenschappelijk onderzoek, moeten daar vooraf schriftelijk in hebben toegestemd. Tussen het informeren en het vragen van toestemming moet voldoende bedenktijd zijn gegeven om tot een afgewogen beslissing te hebben kunnen komen. Wat hiervoor een redelijke termijn is, hangt af van het soort onderzoek. (Link: 6. De inlichtingen worden op zodanige wijze verstrekt dat redelijkerwijs zeker is dat de betrokkene deze naar haar inhoud heeft begrepen. Hij krijgt een zodanige bedenktijd dat hij op grond van deze inlichtingen een zorgvuldig overwogen beslissing omtrent de gevraagde toestemming kan geven. Bij ministeriële regeling kunnen nadere eisen worden gesteld aan de inlichtingen die aan betrokkene worden verstrekt. (Link: Deze bronnen geven aan dat patiënten soms meer en soms minder (dan 48 uur) bedenktijd hebben, nadat ze geïnformeerd zijn. iv. Bovendien kan je vraag op twee manieren interpreteren waardoor je ook kan overwegen C goed te rekenen: 'U vraagt een patiënt om informed consent voor het meedoen aan onderzoek. Wanneer voldoet deze informed consent procedure niet aan de vereisten?' Kern van deze vraag lijkt mij 'Het voldoen van de informed consent procedure'. Maar gaat het hier of om puur en alleen het volgen van de juiste stappen om de informed consent te krijgen van de patiënt? Dan zou je juist voor antwoord C gaan. Het lijkt mij 8

9 namelijk dat in algemene zin het niet gewenst is om de patiënt toestemming te vragen binnen 48 uur. Zeker als het gaat om grote medische experimenten. Terwijl als de steller van de vraag over de inhoud van de procedure een antwoord wil hebben. Voor het gemak schaar ik daar even het antwoord in: 'Toestemming krijgen van een patiënt die gebrekkig Nederlands spreekt'. Zou je dus eerder antwoord A kiezen. Maar voor mij stond er niet duidelijk in de vraag welk aspect van de procedure ze precies bedoelden. Ik hoop dat men dus bereid is om een sleutelverdubbeling in overweging te nemen. Inhoudelijk In de leerstof staat: "In de code wordt nadrukkelijk gewezen op het vereiste van informed consent van de proefpersoon. Met informed consent wordt bedoeld dat een proefpersoon op de hoogte wordt gesteld van alle informatie over een onderzoek die voor hem van belang is om te kunnen besluiten wel of niet in te stemmen met deelname aan het onderzoek." (p. 171, midden 1e kolom) Verderop staat nader toegelicht wat met 'informed' bedoeld wordt: "De onderzoeker moet vervolgens nagaan of de proefpersoon de verstrekte informatie heeft begrepen en zich bewust is van de bedoeling en de uitvoering van het onderzoek." (p. 174, onderaan 2e kolom) Opmerkingen i., en i De enige andere plausibele afleider van deze vraag is optie C. Daarvan kan opgemerkt worden dat een patiënt minder dan 48 uur van te voren geïnformeerd hoeft te worden. In de studiestof staat weliswaar: "Een proefpersoon dient ten slotte na een redelijke bedenktijd een schriftelijke toestemmingsverklaring te tekenen waarmee hij aangeeft bereid te zijn om deel te nemen aan het onderzoek." (Het vervolg op vorig citaat) Maar de crux is natuurlijk dat er ten eerst niet vastgelegd is wat een redelijke bedenktijd is. Er is dus ruimte voor interpretatie door de toetsingscommissie om te bepalen of de bedenktijd voldoende is of niet. En ten tweede is er in de vraag geen informatie over de aard van het onderzoek, om te kunnen bedenken of 48 uur wel of niet voldoende bedenktijd is. Vraag 29 Wat is het aantal vrijheidsgraden dat hoort bij de in de vorige vraag (zie Casus 8 Vervolg I) bedoelde toets? a. 1 b. 2 c d Juiste antwoord: A Bron: Twisk, p. 197 OPMERKING STUDENT i. Er stond een fout in versie B, namelijk de vraag was tegenstrijdig. hij verwees naar de vorige vraag maar ook naar casus 8 wat een compleet andere vraag was. zeer verwarrend en ik wist niet nou naar welke vraag ik moest kijken. 9

10 Door het omgooien van de vraagvolgorde in versie B, en het achterwege blijven van een aanpassing van de verwijzing werd er in deze vraag verwezen naar een verkeerde vraag. Die verkeerde vraag paste niet bij een vraag over het aantal vrijheidsgraden. De hele Casus waarvan die verkeerde vraag deel uitmaakte betrof een 2 x 2 tabel. Als die in ogenschouw genomen werd, pasten de afleiders niet bij die andere casus, maar door een gelukkig toeval het juiste antwoord (df = 1) wel. Want ook voor de toets van een 2 x 2 tabel geldt dat het aantal vrijheidsgraden gelijk is aan 1. De verwarring leidt dus in beide gevallen tot hetzelfde juiste antwoord. Uit aanvullende toetsanalyse is ook geen statistisch significant verschil op deze vraag gevonden tussen beide toetsversies. Vraag 35 Bij 36 vrouwen wordt de lichaamslengte gemeten. Het gemiddelde is 172 cm en de standaarddeviatie (SD) is 12 cm. Wat is het 95% betrouwbaarheidsinterval van het gemiddelde? a cm b cm c cm d cm Juiste antwoord: C Bron: Twisk, H3 en H4 OPMERKING STUDENT i. Twisk p. 53: "Zoals eerder gezegd impliceert het 95% betrouwbaarheidsinterval dat men met 95% zekerheid kan stellen dat de werkelijke waarde ergens ligt tussen de grenzen van het interval." Uit de berekening van het BI 95% kwam bij mij 168,08 en 175,92. Als je met 95% zekerheid wil zeggen dat een waarde hiertussen valt moet naar mijn mening antwoord B als BI gegeven worden. Als je iemand hebt met een lengte van 168,2 cm of 175, 95 zou deze officieel namelijk niet in dit betrouwbaarheidsinterval vallen en kun je dus ook niet met 95% zekerheid stellen dat deze waarde tussen de grenzen van het interval ligt. Door de grenzen nauwkeuriger te nemen: cm; vallen de waarden hiertussen daadwerkelijk binnen de grenzen van het interval en kun je wel met 95% zekerheid stellen dat de waarde tussen de grenzen van het interval ligt. Ik heb lang getwijfeld of ik het inderdaad gewoon moest afronden en antwoord C moest geven of het als bovenstaand te interpreteren. Het is jammer om op deze manier het verkeerde antwoord in te vullen; maar sta met bovenstaande beredenering nog steeds achter mijn gegeven antwoord. Ik pleit dan ook voor een sleutelverdubbeling B en C. Er zijn een aantal argumenten tegen de bovenstaande interpretatie in te brengen. I. Het citaat komt uit paragraaf 3.5 Toetsen op basis van het betrouwbaarheidsinterval. Nu is het zo dat door het afronden van een betrouwbaarheidsinterval het soms niet duidelijk is of de nulhypothese wel of niet verworpen kan worden. Stel, bijvoorbeeld dat een betrouwbaarheidsinterval van een odds ratio (OR) loopt van 1.0 tot 4.7. Dan kan het zo zijn dat aan de linker grens een waarde van 0.99 of 1.01 ten grondslag ligt. In het eerste geval zou de nulhypothese niet verworpen worden; in het laatste geval wel. Dat betekent dat het 10

11 toetsen van de nulhypothese te lijden heeft van afrondingen in gerapporteerde 95% betrouwbaarheidsintervallen. Het betekent echter niet dat 95% betrouwbaarheidsintervallen ineens afwijkend moeten worden afgerond. Dit is nergens in de literatuur terug te vinden. Bovendien zijn de grenzen die de student zelf heeft berekend (168,08 en 175,92) ook afgeronde waarden (van de (ook) afgeronde waarden: 168,08007 en 175,91993). Analoog aan de redenering van de student zou het juiste antwoord dan 168,09 en 175,91 moeten zijn. II. Omdat het gemiddelde met de steekproef geschat wordt, moet eigenlijk in plaats van de normale verdeling de t-verdeling voor de berekening van het 95% betrouwbaarheidsinterval gebruikt worden. In de vraag zijn de waarden afgerond om aan die discussie te kunnen voorbijgaan en de student in staat te stellen het betrouwbaarheidsinterval uit het hoofd uit te rekenen. Formeel moet de t-waarde met df = 36 1 = 35 gebruikt worden bij een overschrijdingskans van Deze is gelijk aan: Dit betekent voor het betrouwbaarheidsinterval: x SEM tot x SEM SEM = SD/ n = 12/ 36 = 12/6 = 2 Het betrouwbaarheidsinterval is dan: x 2 tot x tot In dat geval zou de student op basis van de eigen impliciet geformuleerde afrondingsregel die foutief is: ondergrens naar boven afronden, bovengrens naar beneden afronden, op het juiste antwoord komen: cm. III. De t-waarde horende bij de gekozen antwoordoptie b is af te leiden uit de formule voor de bovengrens (of ondergrens, maar bovengrens is makkelijker) van het 95% betrouwbaarheidsinterval: bovengrens = gemiddelde + t-waarde x SEM bovengrens - gemiddelde = t-waarde x SEM t-waarde = (bovengrens gemiddelde)/sem = ( )/ 2 = 3/2 = 1.5 In de t-waarden tabel die de studenten bij het tentamen hadden, is te zien dat bij df = 35 de t-waarde tussen de twee getabelleerde waarden: en valt. De eerste past bij het 80% betrouwbaarheidsinterval, de tweede bij het 90% betrouwbaarheidsinterval. De verdedigde afrondingspraktijk levert dus een veel grovere afwijking, dan de afwijking van de juiste optie die uitgaat van een t-waarde van terwijl die in feite is. Vraag 36 Waardoor is het mogelijk dit betrouwbaarheidsinterval van het gemiddelde te berekenen? a. Omdat lichaamslengte normaal verdeeld is in de populatie vrouwen b. Omdat de centrale limietstelling geldt c. Omdat lichaamslengte een continue variabele is d. Omdat de kleinste kwadraten methode kan worden toegepast Juiste antwoord: B Bron: Twisk, p

12 i. Hoe is dit mogelijk bij een populatie van slechts 36 vrouwen? Dat is toch alleen bij een hele grote populatie? Ik had daarom voor antwoord A gekozen. Ik ben ook voor antwoord 'a' gegaan, wegens de kleine populatie. De centrale limietstelling geldt pas bij grote populaties, ik ging er van uit dat '36 vrouwen' niet als grote populatie door gaat. Het 95% BI wordt gecreëerd uitgaande van een normaalverdeling, hierom koos ik antwoord a. Op blz. 52 van Twisk wordt het begrip 'centrale limietstelling' uitgelegd. Er staat geen exact getal vermeld voor de definitie van een 'grote populatie', er staat wel dat hoe groter de populatie, hoe meer deze centrale limietstelling geldt. Ondanks dat er geen exact getal staat gegeven kunnen we er naar mijn idee van uit gaan dat 36 niet als een grote populatie door gaat. i Ik sluit mij volledig aan bij bovenstaand commentaar en ben om die beredenering ook voor A gegaan. Twisk p. 52: "In de centrale limietstelling wordt geteld dat bij een grote steekproef het steekproefgemiddelde een normale verdeling volgt." Een n van 36 zie ik zeker niet als grote steekproef! Ik zou het waarderen als hiernaar gekeken kan worden. iv. Daarnaast is antwoord a gewoon een goed antwoord: als de lengte scheef verdeeld is, moet je een log-transformatie of een andere transformatie toepassen en krijg je dus niet hetzelfde 95% BI. v. Ik heb inderdaad antwoord b als eerste doorgestreept: als er nou 360 vrouwen stond... Bij een écht grote populatie was er geen discussie geweest! Vervolgens ben ik voor antwoord a gegaan. vi. Helemaal mee eens! v Wat ik graag toe wil voegen aan het commentaar dat reeds gegeven is: De methoden om te controleren of er sprake is van een normale verdeling zijn: observeer het histogram vergelijk het gemiddelde en de mediaan (symmetrisch?) vergelijk het gemiddelde en de standaarddeviatie (alleen voor continue variabelen die alleen maar positieve waarden kunnen aannemen) Voor punt 1 en 2 heb je niet genoeg informatie dus blijf je achter met punt 3. Voor de breedte van de 'berg' geldt dat die bij een perfect normale verdeling 95% van de observaties ligt tussen het gemiddelde ± 2 x de standaarddeviaties. Verder kan er onmogelijk sprake zijn van een normale verdeling als de SD en het gemiddelde ongeveer hetzelfde zijn. Dit is hier niet het geval het gemiddelde is 172 en de SD is 12 impliceert een normale verdeling. Verder wil ik nog opmerken over de centrale limietstelling dat er in het boek op blz. 52 staat dat hoe groter de steekproef des te normaler wordt de verdeling. Ze nemen zelf als voorbeeld op deze bladzijde een steekproef van 100. Ik denk dat het meest juiste antwoord hier dus toch antwoord a is. Bron: blz. 28 en 29 van het boek en blz

13 vi Ik heb voor antwoord C gekozen. Je maakt gebruik van de formules die je kan gebruiken als je met een continue variabele werkt, dus dan is de lichaamslengte toch continue? ix. Bij vraag 35 ben ik uitgegaan van een t-verdeling, in plaats van een normale verdeling. Als je de t-waarde opzoekt in de tabel van het formuleblad komt hier een t-waarde van van (bij 35 vrijheidsgraden), (hier komt ook antwoord C uit). Ik ben er dus vanuit gegaan dat het hier niet om een normale verdeling gaat en wat zoals al eerder genoemd is de centrale limietstelling niet geldt omdat de populatie te klein is (p. 52 Twisk). Dus dat antwoorden A en B afvallen. Ik ben voor C gegaan omdat dit op de manier hoe ik de vraag geïnterpreteerd heb het enige antwoord is dat enigszins mogelijk is. Ik pleit voor het goed rekenen van antwoord C, of het schrappen van de vraag omdat deze niet beantwoord kan worden als vraag 35 wordt gezien als t-verdeling in plaats van een normale verdeling. Voor het berekenen van een betrouwbaarheidsinterval heb je een kansverdeling nodig. Als je niet weet hoe de kansen op de gemiddelde waarden verdeeld zijn, kun je geen betrouwbaarheidsinterval berekenen. Dan bestaat er immers geen formule voor. De formule voor het 95% betrouwbaarheidsinterval maakt gebruik van de Standard Error en die is gebaseerd op de centrale limietstelling. Dat is in het college aan de orde geweest, in het boek, en ook in het practicum Fraude. In het practicum hebben studenten zelfs kunnen zien dat al bij een steekproef van n = 25 (mits de populatie verdeling niet heel afwijkend is) er een vrij aardig normale verdeling van de gemiddeldes uitkomt. Hiervoor geldt dat de standaard deviatie (dit is dan de Standard Error) gelijk is aan de standaard deviatie in de bronpopulatie gedeeld door de wortel van de steekproefomvang. De verwarring die de kleine steekproefomvang van n=36 oplevert is wel terecht. Bij een kleine steekproefomvang wordt de verdeling van de steekproefgemiddeldes meer beïnvloed door de verdeling van de variabele in de populatie. Als die normaal verdeeld is, dan is de kleine steekproefomvang geen bezwaar. Vanuit die optiek is antwoordoptie A verdedigbaar. Niet omdat een scheve verdeling een log-transformatie vergt (opmerking iv.). Ook het gebruik van de t-verdeling als kansverdeling voor de toetsingsgrootheid (opmerking ix.) staat hier los van. Antwoordopties C en D zijn zeker fout. Bedenk dat antwoord C fout is, omdat het practicum liet zien dat de centrale limietstelling ook van toepassing is op dobbelsteenworpen. En een dobbelsteenworp kan niet als een continue variabele beschouwd worden, omdat een dobbelsteen alleen de waarden 1, 2, 3, 4, 5 en 6 oplevert. Vraag 43. Welke vorm van bias wordt met een intention-to-treat analyse tegengegaan? a. selectiebias b. informatiebias c. sampling bias d. confounding Juiste antwoord: A Bron: College RCT, responsie college, 2e Voorbeeldtoets, vraag 49 i. Die had ik fout, ik dacht juist weer dat het informatiebias moet zijn. Er kan uitval zijn in de studie doordat de patiënt bijv. door heeft dat hij een placebo krijgt, hij ervaart te weinig bijwerkingen bijvoorbeeld. Hij heeft informatie over de blootstelling door de hoeveelheid bijwerkingen (zie definitie uit powerpoint hieronder), informatiebias dus. Al met al vond ik het onderwijs over bias een beetje vaag, over 'informatiebias' vond ik 13

14 alleen in de slides "informatie over blootstelling verschilt tussen groepen". Bij ITT in het college over RCT staat alleen dat het "bias" voorkomt, niet wat voor bias. Dus wat is de bron voor deze vraag? Ik sluit me bij de vorige student aan. De patiënt kan door de ervaren bijwerkingen merken of hij een placebo krijgt of niet waardoor er informatiebias ontstaat. Als de patiënt dan met de studie stopt neem je hem mee d.m.v. de intention-to-treat analyse. Daarom pleit ik voor een sleutelverdubbeling: A en B Intention-to-treat analyse betekent dat de analyse wordt uitgevoerd conform de aselect toegewezen behandeling en niet de daadwerkelijk toegepaste behandeling. Selectieve uitval kan optreden door verschillende oorzaken, zoals de lichamelijke conditie van de patiënt (vooral bij vergelijking van chirurgische met niet-chirurgische behandelingen van belang). Het kan ook ontstaan doordat de groepen verschillen in de proportie patiënten die verhuizen, of door verschillen in bijwerkingen, waardoor selectieve deblindering optreedt. Ook in dat laatste door de studenten gegeven voorbeeld kan de intention-to-treat analyse selectie bias tegengaan. De intention-to-treat analyse kan echter niet corrigeren voor de informatiebias die dan ook ontstaat in patiënt gerapporteerde uitkomstmaten (bijv. vragenlijsten). Wanneer een groot aantal patiënten niet meer blind is voor de behandelingsconditie is informatiebias dan niet uit te sluiten en oncorrigeerbaar. De bron voor de vraag is lastig, omdat het RCT college dit inderdaad niet duidelijk aangaf. In het responsiecollege is er ruime aandacht voor geweest, maar hiervan bestaan geen schriftelijke bronnen. Het wordt wel als bekende kennis verondersteld, opgedaan in blok Leren dokteren 4. Een parafrasering van deze vraag is terug te vinden in voorbeeldtoets 2, vraag 49. Vraag 46 Met welke toets is na te gaan of het effect van de vorige vraag (zie Casus 13) statistisch significant is? a. F-toets b. t-toets c. Z-toets d. χ²-toets Juiste antwoord: D Bron: Twisk, Hfst. 5 OPMERKING STUDENT i. Ik had bij deze vraag begrepen dat het verschil in gemiddeld aantal suïcidale gedachtes tussen twee groepen (psychotisch en neurotisch) werd vergeleken, waardoor ik voor antwoord B: t-toets heb gekozen. Ik begrijp dat antwoord D ook goed is en heb hier zelf ook tussen getwijfeld. Toch ben ik van mening dat in de vraagstelling duidelijker geformuleerd had moeten worden welk effect precies bedoeld werd. Er staat namelijk 'een psychiater onderzoekt suïcidale gedachtes bij psychiatrische patiënten'. Dan had er naar mijn mening moeten staan: 'een psychiater onderzoekt het wel of niet aanwezig zijn van suïcidale gedachtes bij psychiatrische patiënten' en dan was D het enige goede antwoord geweest. In dit geval was het voor mij niet duidelijk genoeg en heb ik dus voor antwoord B gekozen. Ik pleit dan ook voor een sleutelverdubbeling B en D 14

15 Er staat een 2 x 2 tabel met als toelichting suïcidale gedachtes, ja versus nee. Dit kan niet als een aantal geïnterpreteerd worden. Dit geldt te meer omdat binnen dezelfde casus naar een attributief risico gevraagd wordt. Dit zou dan nergens op slaan. Vraag 47 Wie bepaalt of een onderzoek WMO plichtig is? a. de CCMO b. de DEC c. de METC d. de onderzoeker(s) zelf Juiste antwoord: C Bron: Engberts DP & Kalkman-Bogerd LE. Gezondheidsrecht. [2e editie] Houten: Bohn Stafleu Van Loghum. Hoofdstuk 9. Wetenschappelijk onderzoek. OPMERKING STUDENT i. De CCMO heeft als taak de METC's te erkennen en toezicht hier op te houden. Indien nodig wordt ook het 'hoger beroep' uitgevoerd door de CCMO als de uitspraak van een METC niet door de onderzoekers geaccepteerd wordt. Ook kan zij richtlijnen vaststellen ten aanzien van de werkwijze van de METC's. Dan is de CCMO toch de instantie die uiteindelijk bepaalt of een onderzoek WMO plichtig is? Het boek gezondheidsrecht heb ik niet zelf, dus kan deze niet als bron gebruiken. Bovenstaande staat wel op de site van CCMO genoemd: De vraag is inderdaad ambigu. Het doel van de vraag was eigenlijk bij welke instantie de onderzoeker een nieuw onderzoeksprotocol kan indienen om te toetsen of dit WMO plichtig is of niet. Het woord 'bepaalt' is in de vraag ongelukkig gekozen. Vanwege dit probleem met de validiteit van de vraag, wordt deze vraag uit de toets verwijderd. Vraag 48 Welke demografische risicofactor heeft in dit regressiemodel de sterkste invloed? a. geslacht b. leeftijd c. opleiding Juiste antwoord: B Bron: Twisk, Hfst. 7 i. Er wordt in de vraagstelling gesproken van de demografische risicofactoren: geslacht, leeftijd, en opleiding. De vraagstelling luidt: welk demografische risicofactor heeft in dit regressiemodel de sterkste invloed? Nou is leeftijd de enige risicofactor met positieve uitslagen van de regressiecoëfficiënt en dus de enige factor die belastend werkt op de factor hypertensie. Echter geeft deze niet de sterkste invloed, waar in de vraagstelling nadrukkelijk om gevraagd wordt. Dit is namelijk opleiding. Er word niet gevraagd om de sterkste positieve of negatieve invloed, dus heb ik voor de sterkste invloed genomen, nl. opleiding. Ik pleit voor een sleutelverdubbeling van b en c. 15

16 Yes precies wat ik ook vond! Alleen kan je niet een sleutelverdubbeling b/c doen, dan moet de vraag geschrapt worden (meer dan de helft van de antwoorden zijn goed). Dus ik zou eerder pleiten voor sleutelaanpassing naar c. i Mee eens, als er staat 'sterkste invloed' maakt het niet uit of dit een negatieve of positieve invloed is. Opleiding had de sterkste invloed en zal dus het juiste antwoord moeten zijn. Antwoord C dus. Met deze vraag wordt getoetst of de student zich realiseert dat leeftijd in jaren gemeten wordt en onderwijs met dummy variabelen die 0/1 gecodeerd zijn. In absolute zin is de ruwe regressiecoëfficiënt van leeftijd (ln(or age42vs41 ) = 0.055) veel kleiner dan van onderwijs (ln(or education2vs1 ) = , ln(or education3vs1 ) = en ln(or education4vs1 ) = ). Maar in een onderzoek dat een uitspraak wil doen over hypertensie is het van belang voldoende verschil in leeftijd te hebben; een verschil van 1 jaar is eigenlijk nauwelijks een verschil. Een verschil van 10 jaar geeft dan ineens een ln(or age51vs41 ) = x 10 = 0.55, en van 20 jaar een ln(or age61vs41 ) = x 20 = Dat dit effect van leeftijd dan zo sterk is, kan ook worden afgeleid uit de Wald toetsingsgrootheid. Die is voor leeftijd (met df = 1) veel groter ( ) dan voor opleiding (df = 3, ). 16