CAT-project begeleidingsdocument

Transcriptie

1 CAT-project begeleidingsdocument Tbv CAT-project 3e jaar Geneeskunde 1

2 Blokcoördinatoren Dr. Arno Roest, Kindergeneeskunde Mw. Prof. Dr. Saskia le Cessie, Klinische Epidemiologie/Medische Statistiek Projectondersteuner Mw. Priscilla Mol, DOO Blokcommissie Dr Bart Groen, AIOS gynaecologie & verloskunde Dr Erik Klok, internist Mw. Drs. Karin van der Hoorn, Walaeus Bibliotheek John O'Sullivan (Line Coordinator CIS), Communication in Science Prof. Dr. Friedo W. Dekker, Klinische Epidemiologie lijncoördinator Academische en Wetenschappelijke Vorming 2

3 Voorwoord Beste AIOS-promovendus, Het unieke aan het CAT- project is dat studenten onder begeleiding van een AIOS of promovendus gaan werken aan een probleem dat uit de praktijk komt, alle stappen zelf uitvoeren en uiteindelijk de CAT-presenteren op de afdeling van de AIOS of promovendus en hiervan een verslag schrijven, dat geldt als Bachelor scriptie. We kunnen als CAT-projectgroep niet genoeg benadrukken dat jullie rol essentieel is voor het welslagen van dit voor de opleiding geneeskunde vitale project. Het CAT-project gaat dit onderwijs jaar voor de 3 de keer van start. De evaluaties van de studenten die het project afgelopen keer gedaan hebben waren positief, met name over de begeleiding van en het feit dat ze bezig waren met een klinisch scenario uit de praktijk. In dit document vind je een beschrijving van de manier waarop we in de OOR Leiden en in de studie Geneeskunde van het LUMC de Critical Appraisal of a Topic (CAT) doceren, wat we van de studenten verwachten en wat jouw rol is in dit project. Alle informatie, waaronder dit document, het blok boek dat studenten krijgen en de opnames van de AIOS-informatiebijeenkomst zal te vinden zijn op de OORLeiden website: Een belangrijke tool in dit project is KL-APP, een software systeem waar ook de co-schappen mee beoordeeld gaan worden. De student is in dit systeem de beheerder van zijn eigen project en vanuit dit systeem zullen alle koppelingen, deadlines, te uploaden verslagen en beoordelingen worden geregistreerd en krijg je vanzelf een met een unieke link wanneer er wat van je verwacht wordt. Hierdoor hoef je geen papieren bij te houden, op te sturen etc. De bedoeling is dat we aan de AIOS/promovendus vragen om zelf haar/zijn begeleider in te vullen in KL-APP. Deze 2 de begeleider zal de 2 de inhoudelijke beoordeling van de scriptie uitvoeren. Daarnaast zullen ook meer dan andere jaren klinisch onderzoekers studenten begeleiden. Wanneer er in documenten of presentaties wordt gesproken van AIOS moet dit worden gelezen als AIOS of promovendus. De blokcommissie staat voor jullie klaar om er met zijn allen een goed project van te maken dat uniek is in Nederland en een brug slaat tussen de studie geneeskunde en de medische vervolg opleidingen. Als jullie vragen, problemen of commentaren hebben, schroom dan niet om contact op te nemen met ons. Namens de blokcommissie, Saskia Le Cessie en Arno Roest Blokcoördinatoren cat-project@lumc.nl 3

4 1. Inleiding: Critical Appraisal of a Topic (CAT ) Het huidige medisch handelen wordt bij voorkeur gebaseerd op wetenschappelijk bewijs verkregen uit goed opgezette studies. Daarnaast spelen patiëntkarakteristieken, voorkeur van de patiënt en de diagnostische en therapeutische mogelijkheden van de arts op de locatie waar hij/zij zich bevindt een rol in het bepalen van het medisch beleid ten aanzien van een klacht of ziekte bij de individuele patiënt. Een veelgebruikte manier om evidence based medisch handelen te bepalen naar aanleiding van een specifiek probleem bij een patiënt is de Critical Appraisal of a Topic (CAT) -benadering. De CAT is een manier om de resultaten uit onderzoeken kritisch te beschouwen en ons medisch handelen in de klinische praktijk te baseren op het beste beschikbare bewijs uit onderzoek. De CAT zoals die in de OOR-Leiden wordt gepropageerd is gebaseerd op het Maastrichtse 7-stappen model en gaat uit van een patiënt uit de eigen praktijk (klinisch scenario-stap 1). Vanuit dit klinisch scenario wordt een klinische vraag geformuleerd (stap 2). Op basis van de klinische vraag wordt een literatuuronderzoek (stap 3) verricht om het beste beschikbare onderzoek met betrekking tot de klinische vraag te vinden. Deze wordt vervolgens kritisch beoordeeld (stap 4). Hierna worden de onderzoeken samengevat (stap 5) en hieruit volgt de beoordeling in de specifieke omstandigheden van de patiënt (stap 6) om vervolgens tot een slotconclusie te komen. (stap 7). 4

5 Figuur 1 uit De Brouwer, C. P. M., Kant, IJ., Smits, L. J. M., & Voogd, A. C. (2009). Training Critical Appraisal of a Topic. Een onmisbare handleiding in het tijdperk van Evidence Based Medicine. Maastricht: Mediview BV. De CAT in de bachelorfase van de studie geneeskunde LUMC Wetenschappelijke vorming is een van de speerpunten van het geneeskunde curriculum 2012 in het LUMC. Het CAT-project is het eindproduct van de Academische Wetenschappelijk Vaardigheden van de bachelor Geneeskunde. Gezien de centrale plaats die de CAT inneemt in de medische vervolg opleidingen is het essentieel dat de student geneeskunde hier op voorbereid wordt. Het CAT-blok: januari 2017 Om de studenten de beginselen van het maken van een CAT bij te brengen zal er een 1-weeks CATblok worden georganiseerd om alle 7-stappen van de CAT stap voor stap te doorlopen met behulp van hoorcolleges, werkgroepen, e-learning modules en een afsluitende toets. Dit blok geldt als voorbereiding op het maken van de CAT (het CAT-project) en het cijfer van de toets van het blok vormt een deel van het eindcijfer van het CAT-project. Zie het Blokboek voor de studenten op de website. Het CAT-project: Uitgangspunten voor het CAT-project zijn: Op basis van een klinisch scenario van de AIOS, doorloopt de student de vervolg stappen van de CAT. Elke student moet een individueel verslag maken van het CAT-project. De studenten zullen naast de beoordeling van het verslag ook op de afdeling een presentatie moeten geven die beoordeeld wordt. Tevens zal het professionele gedrag van de student beoordeeld worden. Het CAT-project in Klinische Fase Applicatie (KL-APP)-software Om het CAT-project zo soepel mogelijk te laten verlopen is het geheel ingebed in het software pakket KL-APP. De student beheert zo zijn eigen CAT-project. In dit software pakket zullen alle informatie, deadlines en beoordelingsformulieren beschikbaar zijn. De beoordelingen zullen ook via dit systeem verlopen. Als AIOS hoef je niets te registreren, dit gebeurt allemaal in KL-APP. Vanuit KL-APP worden s verstuurd wanneer de student iets veranderd heeft, geupload heeft of wanneer er iets ter beoordeling aangeboden is. Dit laatste gaat per via unieke links, waarbij je automatisch in KL- APP en bij de benodigde beoordelingsformulieren komt. De eerste mail die je als AIOS zult krijgen is een mail met de namen van de studenten die aan je gekoppeld zijn en waarin gevraagd wordt de koppeling te bevestigen. Studenten uploaden de volgende documenten in KL-APP: Zoekverslag ter beoordeling voor de Walaeus Bibliotheek. De eindversie van de bachelorscriptie ter beoordeling. Wanneer het finale verslag ge-upload is krijg je van KL-APP een mail toegestuurd. In deze mail is een link geplaatst die toegang geeft tot het verslag en de beoordelingsformulieren voor het CAT-verslag, de CAT-presentatie en het CAT-proces. De 2 de beoordelaar zal een link krijgen voor de medebeoordeling van de scriptie in het kader van het 4-ogen principe. 5

6 2. Wat vragen we van jou als begeleider? December-Januari Zoek een thema dat past in je belangstelling / belangrijke vragen die leven op de afdeling / passen in je onderzoeksambitie in het domein diagnostiek, therapie of prognose en waarover voldoende literatuur beschikbaar is. Soms kan het voorkomen dat er te weinig artikelen gevonden worden. De studenten komen bij je terug voor een aangepast onderwerp. Benoem een klinische vraag. Eerste contact moment januari 2017: de studenten nemen contact op met de AIOS om het klinisch scenario te bespreken. Vervolgens kan via contact de student(en) verder worden begeleid. De Walaeus bibliotheek heeft spreekuren ingepland voor de studenten om hen te begeleiden in het formuleren van de klinische vraag en het opstellen van een zoekstrategie. Je kunt de studenten hier naar verwijzen. Februari-Maart-April Tijdens de periode februari-april maken de studenten elk individueel een scriptie. Hoe het verslag er precies uit moet zien staat in één van de bijlages. Het schrijfproces wordt intensief begeleid door Communication in Science (CiS) in twee werkgroepen, een individueel gesprek met de student en door middel van peer review (door de medestudenten). Vanwege deze intensieve begeleiding is het niet nodig dat de AIOS meerdere tussenversies van de scriptie uitgebreid becommentarieert. Half februari 2017 moeten de studenten ieder hun eigen zoekverslag inleveren bij de Walaeus bibliotheek. Hierna zal de Walaeus bibliotheek deze verslagen beoordelen. Bij een onvoldoende beoordeling moet de student het zoekverslag aanpassen om tot een voldoende te komen. Selecteer samen met de student 3-4 artikelen om te beoordelen. Alleen originele artikelen, geen systematic reviews of meta-analyses: dit kan per mail of in een contact. Contactmoment maart-april 2016: de studenten voeren zelfstandig de beoordeling en samenvatting van de gevonden literatuur uit, waarbij vragen in de responsiecolleges van de klinische epidemiologie kunnen worden gesteld. Als de studenten dit gedaan hebben zullen zij opnieuw een afspraak maken met de AIOS om de gevonden en samengevatte literatuur in de context van het klinisch scenario te bespreken en te komen tot een bottom-line (stap 7). Plan een presentatie op de afdeling. Duur van de presentatie is afhankelijk van de afdelingsvoorkeuren. Mei-juni Nakijken verslag en presentatie: De student(en) levert/leveren voor half mei een scriptie in bij de AIOS. De AIOS beoordeelt dit verslag. Verder geven ze ieder een presentatie van minuten op de afdeling van de AIOS. Aan de 2 de beoordelaar zal in het kader van het 4-ogen principe een medebeoordeling worden gevraagd (zie bijlage). De presentatie, het verslag en de beoordeling van het CAT proces worden door de AIOS voor half juni beoordeeld. 6

7 3. Wat mogen jullie van de student verwachten? Elke student voert een eigen CAT uit en schrijft zelf een scriptie. Detectie van plagiaat wordt gemeld aan de examencommissie. De studenten moeten zelf de PICO en klinische vraag formuleren en het daarop volgende literatuur onderzoek uitvoeren, en zorgt zo nodig zelf voor begeleiding vanuit de Walaeus bibliotheek. Het zoekverslag moet voor half februari via Kl-app worden ingediend en wordt door de Walaeus bibliotheek beoordeeld. De student maakt in overleg met de AIOS een selectie van de gevonden literatuur (3-4 artikelen) en zal vervolgens deze kritisch beoordelen en samenvatten. De student wordt intensief begeleid bij het schrijven en kan voor methodologische vragen terecht bij de klinische epidemiologie. De student schrijft zelf het verslag, inhoudelijke vragen kan hij aan de AIOS stellen. Het verslag levert de student voor half mei in. Van de student wordt een beleefde en professionele houding verwacht. De student wordt daar ook door de AIOS/promovendus op beoordeeld. Mochten hier ernstige zorgen over zijn meldt dit dan vroegtijdig aan de blokcoördinatoren. De studenten zullen het begeleidingsproces van de begeleider beoordelen (zie bijlage). Het formulier zal naar de opleider van de AIOS worden verstuurd. 7

8 4. Tijdspad CAT project* Wanneer Wat Wie December januari 2017 Voorbereiden onderwerp(en) voor de CAT Koppeling student AIOS/promovendus AIOS AIOS-student Begin januari CAT-blok Docenten Cat-blok, Walaeus Bibliotheek, Communication in Science (CIS) Januari-februari Contact AIOS student ter bespreking klinisch scenario (stap 1 en 2) AIOS-student Januari-februari Maken klinische vraag-zoekverslag (stap 2 en 3) Student half februari Inleveren zoekverslag en beoordeling door Student/Walaeus Walaeus Bibliotheek Bibliotheek Februari-maart Beoordelen en samenvatten literatuur (stap 4 en 5) Student Februari-maart Schrijven chapter 1 en chapter 2 van scriptie Student deadline begin mrt schrijven 1 e draft Ba-scriptie Student Maart-april Contact AIOS-student mbt literatuur vs klinische vraag-stap 6 en 7 AIOS-student voor half april Schrijven 2 e draft scriptie Student voor half mei Schrijven eindversie Student voor half juni Presentatie met beoordeling door AIOS en opleider Student/AIOS/opleider voor half juni Beoordeling CAT-proces en scriptie AIOS/opleider De exacte deadlines worden via Blackboard gecommuniceerd en dient de student zelf in de gaten te houden. Bovenstaande is een globaal overzicht. 8

9 In de bijlages staat een gedeelte van de informatie uit het blokboek van de studenten. Met name zijn de beoordelingsformulieren die jij als AIOS moet invullen van belang. Deze formulieren staan in KL-APP. Als er beoordelingen noodzakelijk is wordt er een link naar je gestuurd die direct toegang geeft tot de beoordelingsformulieren 1. De eindproducten: zoekverslag, CAT-verslag en de presentatie 1.1. Het zoekverslag De informatiespecialisten van de Walaeus bibliotheek hebben spreekuren gepland om je bij het zoeken van literatuur (stap 3 van de CAT) te helpen. Tijdens het CAT-blok en via Blackboard zal worden aangegeven hoe je je kunt inschrijven voor de spreekuren. Kom goed voorbereid met je zoekstrategie naar de spreekuren zodat de tijd die er voor je is gereserveerd door de informatiespecialisten goed wordt gebruikt. Uiteindelijk moet je een zoekverslag maken en dat door de Walaeus bibliotheek beoordeeld zal worden. Als je vanuit eenzelfde klinisch scenario werkt, vraag je elk apart een tijdstip aan. Een afspraak duurt maximaal 20 minuten. Dat is niet zo lang dus dat betekent dat je zelf al serieus gezocht moet hebben voordat je komt. Neem je zoekverslag mee naar de afspraak. Zorg dat je tijdig intekent op de afsprakenlijst. Slechts bij uitzondering is het mogelijk om een afspraak te maken buiten de gereserveerde tijden. Stuur hiervoor een naar cat-project@lumc.nl ovv je naam, studentnummer en de reden waarom je een afspraak wenst buiten de gereserveerde tijden. Zet bij het onderwerp van de mail: afspraak Walaeus Bibliotheek. Houd er rekening mee dat het enkele dagen tot weken kan duren voordat je via deze weg een afspraak hebt. Uiteindelijk maak je een zoekverslag en bied je dat ter beoordeling aan via KL-APP. Het literatuuronderzoek dient op systematische wijze te worden uitgevoerd, zoals behandeld is tijdens blok Vraagstukken Borst en Nieren en het CAT-blok. Voor de verslaglegging maak je gebruik van het Sjabloon voor het documenteren van literatuuronderzoek van de Walaeus Bibliotheek dat via KL-APP beschikbaar is. (deadline: zie Blackboard). Upload het document als Word document. Vanuit een PDF is het niet mogelijk om de zoekstrategieën in PubMed te controleren. Wie een onvoldoende heeft gehaald, moet aan de hand van de feedback een verbeterde versie inleveren. Wie in eerste instantie een onderwerp heeft waarover te weinig literatuur beschikbaar is en dus een nieuw onderwerp moet kiezen, kan een afspraak maken voor het extra spreekuur. Het zoekverslag van het oorspronkelijke onderwerp kan worden ingeleverd voor de beoordeling; het zoekverslag van het nieuwe onderwerp wordt niet meer beoordeeld. Meer informatie over de spreekuren (data en tijden) volgt via Blackboard De scriptie De CAT-scriptie wordt in het Engels geschreven en bestaat uit 3 hoofdstukken. In hoofdstuk 1 beschrijf je een algemene inleiding voor je onderwerp, gebaseerd op wetenschappelijke literatuur, en het klinisch scenario (stap 1 van CAT-proces). Vervolgens beschrijf je in dit hoofdstuk de verdere opzet van 9

10 je scriptie. In hoofdstuk 2 beschrijf je stap 2 t/m 7 van het CAT-proces. In hoofdstuk 3 schrijf je in de discussie wat volgens jou de volgende stappen zouden moeten zijn op basis van de gevonden uitkomst van de CAT. In hoofdstuk 3 kun je eventueel gevonden systematische reviews of meta-analyses betrekken bij je CAT Opbouw van de CAT-scriptie Hieronder volgen enkele richtlijnen voor de opbouw van de scriptie. Hierbij is de aangegeven hoeveelheid woorden vooral een gemiddelde. De lengte van je scriptie hangt af van je onderwerp en de hoeveelheid artikelen die je analyseert. layout: o o o o o o Titelpagina Chapter 1 General Introduction (ongeveer 600 woorden, 2-3 pagina s, regelafstand 1,5. ) Chapter 2 Critical Appraisal of a Topic (ongeveer 1500 woorden, 4-8 pagina s, regelafstand 1,5) Chapter 3 Discussion (maximaal 350 woorden, 1 pagina, regelafstand 1,5) References Appendix lettertype en lettergrootte: o zakelijk en leesbaar (bijv. 11-punt Calibri of Times New Roman) o regelafstand 1,5. refereren: Gebruik consequent de Vancouverstijl voor bronverwijzingen (zie Walaeuswebsite voor informatie over Vancouverstijl). Software voor referenties wordt aanbevolen, bijvoorbeeld EndNote.. De Walaeusbibliotheek verzorgt tutorials voor het gebruik van EndNote. Chapter 1 Algemene inleiding waarin je de volgende onderdelen in een lopend en samenhangend verhaal beschrijft: klinisch scenario, medisch-wetenschappelijke achtergrond, klinische vraag en opzet van het verslag klinisch scenario (stap 1): Beschrijf de medisch-wetenschappelijke achtergrond van het klinisch scenario, waarbij je het onderwerp in een breder wetenschappelijk perspectief plaatst voor de lezer. Geef achtergrondinformatie over de aandoening, zoals etiologie, symptomen, incidentie, prevalentie, morbiditeit, mortaliteit, leefstijlfactoren, risicofactoren en de meest recente ontwikkelingen. Beschrijf de huidige aanpak van diagnose, prognose en behandeling; geef aan of er een gouden standaard is of dat er nog onduidelijkheid bestaat over de beste behandeling. Bespreek afwijkende theorieën of tegenstrijdige onderzoeksresultaten. 10

11 Beschrijf de ontbrekende wetenschappelijke informatie die leidt naar de klinische vraag. Uiteindelijk moet alle achtergrondinformatie uit de inleiding aansluiten bij deze vraag; je laat de lezer zien waarom het belangrijk is dat de vraag beantwoord wordt. Uiteindelijk beschrijf je aan het eind van hoofdstuk 1 de klinische vraag (stap2) Chapter 2 In dit hoofdstuk beschrijf je de stappen 3, 4, 5, 6 en 7 van de CAT: Literature search (stap 3): In het verslag beschrijf je hoe je een systematisch literatuuronderzoek hebt uitgevoerd. Plaats de zoektermen in de Appendix. Noem de artikelen die je gaat gebruiken en geef duidelijk aan hoe je gekomen bent tot deze artikelen. Waarom heb je juist deze artikelen gekozen en de andere niet? Hoe heb je geselecteerd? Evaluation of articles (stap 4): Het is de bedoeling dat je 3 tot 4 artikelen beoordeelt. Dit moet primaire literatuur zijn, dus originele onderzoeken en geen reviews of meta-analyses. De gevonden literatuur beoordeel je vervolgens per artikel aan de hand van de JAMAbeoordelingscriteria voor artikelen en beoordelingsformulieren zoals bijgevoegd in de bijlage. Je beoordeling vormt een essentieel onderdeel van het overtuigen van je lezer in de bottom line (stap 7) Je beschrijft eerst kort wat het artikel onderzoekt. Daarna beschrijf je de validiteit van het artikel aan de hand van de JAMA-beoordelingscriteria en sluit af met jouw beoordeling van de validiteit om de lezer voor te bereiden op het Commentaar in stap 6. Beschrijf je beoordeling zo specifiek mogelijk: termen als goed of slecht zijn onduidelijk voor de lezer. Het kan soms lastig zijn om stap 4 en 5 uit elkaar te halen. In stap 4 staat het individuele artikel centraal en met name de beoordeling van de validiteit van het artikel en dus of je wel of niet de resultaten verder mag gebruiken om een antwoord te vinden op de klinische vraag uit stap 2. In stap 5 ga je in op de resultaten. Evidence (stap 5): Maak een samenvatting, eventueel (maar niet alleen) met een resultatentabel, van de belangrijkste bevindingen van de gevonden en beoordeelde artikelen om uiteindelijk tot een conclusie te komen welk bewijs er in de literatuur aanwezig is en of hierop beleid kan worden gebaseerd. Je trekt hierin nog geen conclusies over de patiënt; deze bewaar je voor stap 6. Commentary (stap 6): Bespreek je conclusies uit stap 4 en 5 in de context van de patiënt met diens eventuele voorkeuren, de setting waarin de patiënt gezien wordt en geef aan wat de uitkomsten van de CAT voor deze patiënt betekenen. Bottom Line (stap 7): 11

12 Een kort en bondig antwoord op de klinische vraag van stap 2. Dit kan in 1 á 2 zinnen. Chapter 3 Discussion: In de discussie plaats je de conclusies van de CAT in het bredere medisch wetenschappelijk perspectief dat je beschreven hebt in hoofdstuk 1 en in relatie tot eventueel beschikbare systematische reviews of meta-analyses in relatie tot de CAT en de besproken artikelen. Begin door kort de belangrijkste uitkomst(en) van de CAT samen te vatten en ga vervolgens in op de vervolgstappen. Hoe nu verder? Hierbij kun je bijvoorbeeld denken aan: o vervolgonderzoek: Welk soort onderzoek? Welke onderzoeksopzet? o behoefte aan nieuwe protocollen of aanpassing van protocollen o jouw verwachtingen over mogelijke toepassingen van beschreven medische ontwikkelingen Beschrijf dit alles zo concreet mogelijk en geef voorbeelden. Zorg voor een duidelijke alinea-indeling en geef de samenhang tussen de verschillende alinea s aan. Sluit af met een sterke inhoudelijke slotzin of slotalinea. Dit kan bijvoorbeeld je algemene conclusie zijn, maar ook een toekomstvisie of suggestie Presentatie van de CAT De CAT die je gemaakt hebt presenteer je op de afdeling van de AIOS. De duur van de presentatie wordt bepaald door de afdeling. In de presentatie bespreek je de stappen 1 tm 7 van je CAT. Let hierbij op het volgende: Bespreek stap 1 kort en bondig: achtergrondkennis mag bekend worden verondersteld Laat de zoekstrategie duidelijk naar voren komen en geef aan waarom je de keus gemaakt heb juist deze artikelen te beoordelen. Gebruik eventueel een evidence -tabel om overzichtelijk de validiteit en resultaten van de verschillende artikelen te presenteren. Je AIOS beoordeelt de presentatie. 12

13 2. Bijlagen 2.1. Beoordelingsformulieren kritisch lezen van artikelen Hieronder vind je beoordelingsformulieren voor het beoordelen van een therapeutisch onderzoek (een gerandomiseerde clinical trial, of observationeel onderzoek), een diagnostische studie en een prognostische studie. Beoordelingsformulier Therapeutisch onderzoek (Guyatt et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Waren de patienten gerandomiseerd? 2. Hoe was de randomisatie uitgevoerd? 3. Waren alle patienten die geincludeerd zijn, ook gerapporteerd? 4. Was de follow-up compleet? 5. Waren alle patienten geanalyseerd in de groep waaraan zij oorspronkelijk waren toegewezen? 6. Waren patienten, behandelaars en beoordelaars geblindeerd? 7. Waren de groepen vergelijkbaar aan het begin van het onderzoek? 8. Waren de groepen gelijk behandeld, afgezien van de experimentele behandeling? Resultaten 9. Hoe groot was het behandeleffect? 10. Hoe groot is het 95% betrouwbaarheidsinterval van het behandeleffect? Toepasbaarheid 11. In hoeverre zijn deze resultaten van toepassing op de patient uit de casus? 13

14 12. Zijn alle klinisch belangrijke uitkomsten onderzocht? 13. Zijn de verwachte voordelen van deze behandeling groter dan de nadelen? 14. Gaat U uw patient nu met deze therapie behandelen? (stap6) 14

15 Beoordelingsformulier Diagnostische test (Jaeschke et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Is er een valide referentietest (gouden standaard)? 2. Bestaat de patiëntengroep uit personen waarbij de test ook in de praktijk op toegepast wordt? 3. Zijn de test en de gouden standaard onafhankelijk van elkaar uitgevoerd? 4. Is de gouden standaard bij iedereen uitgevoerd, onafhankelijk van het testresultaat? 5. Zijn uitvallers gerapporteerd met de reden van uitval? Resultaten 6. Wat zijn de sensitiviteit, specificiteit en likelihoodratio s van de test? Toepasbaarheid 7. Kan de test op dezelfde manier uitgevoerd worden op de patiënt uit de casus? 8. Wat is de voorafkans en achterafkans op de ziekte voor de patiënt? 9. Zou de testuitslag het verdere medisch handelen beïnvloeden? 10. Wegen de voordelen op tegen de nadelen (mogelijke schade 15

16 en kosten)? 16

17 Beoordelingsformulier Prognostisch Onderzoek (Laupacis, et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Is er een representatieve duidelijk omschreven groep patiënten, op een gelijk moment in het ziekteverloop? 2. Is de follow-up voldoende compleet? 3. Zijn de uitkomst criteria objectief vastgesteld, onafhankelijk van de prognostische factoren 4. Zijn de uitkomsten apart vastgesteld voor mensen met verschillende prognostische factoren, of is er een prognostische score gemaakt? Resultaten 5. Wat is de kans op de uitkomst (in een bepaalde periode)? 6. Hoe nauwkeurig zijn de prognostische schattingen? Toepasbaarheid 7. Is de bestudeerde patiëntenpopulatie vergelijkbaar met de patiënt uit de casus? 8. Zullen de resultaten van invloed zijn op wat je de 17

18 patiënt zou vertellen, of de therapie die je zou voorschrijven? (stap 6) 18

19 Beoordeling CAT-project door AIOS: proces AIOS/promovendus:... Afdeling... Naam student:... Collegekaartnummer:... Proces gedurende het Cat-project 1. zelfstandigheid: de student is in staat zelfstandig te werken (voor betekenis van de schaalcijfers zie Instructie: punten C en D.) zelfstandigheid kennis van de stappen van de CAT initiatief: houdt zelf het initiatief voor het verloop van de CAT snel inwerken plannen zo nodig adviezen vragen aan AIOS benoemt sterke en zwakke kanten van zichzelf / eigen werkzaamheden / resultaten 2. sociale/contactuele vaardigheden: de student is in staat adequaat te functioneren samenwerking met AIOS adviezen AIOS gebruiken staat open voor kritiek / heeft zelfreflectie rapporteert regelmatig voortgang 3. motivatie van de student enthousiasme gedrevenheid bij het uitvoeren van de CAT onv. vold. goed. zeer goed uitmunt. Oordeel in woorden (sterke punten, verbeterpunten e.d.)

20 Concept Beoordeling CAT-project door AIOS: CAT-verslag AIOS/promovendus: Afdeling: Naam student:... Collegekaartnummer:... CAT- verslag: beoordeling AIOS onv. vold. goed. zeer goed Chapter 1: Background/klinisch scenario Adequate uitleg van de ziekte, patient en patient gerelateerd factoren Goede verdieping van achtergrond ten aanzien van diagnose, behandeling of prognose Relevante uitleg van het klinisch probleem waar de CAT zijn relevantie aan ontleent ten aanzien van diagnose, behandeling of prognose Chapter 2: Critical Appraisal of a Topic 1. Klinische Vraag Sluit goed aan op het klinisch scenario Formulering van de vraag is goed Vraag bevat alle elementen nodig voor de literatuur search 2. Literatuur search Beschrijving van de zoekstrategie, termen en keuzes die gemaakt zijn om tot relevante artikelen te komen Motivering van de keus van de artikelen, bijvoorbeeld aard van de populatie, primaire bron, taal, datum 3. Beoordeling artikelen Benoemen van belangrijkste sterke en zwakke methodologische punten Zijn de resultaten goed weergegeven en beoordeeld op klinische relevantie Kwaliteit van de beschrijving (helder, kort, bondig) 4. Samenvatting van de gevonden literatuur Samenvatting van de methodologische kwaliteit van gevonden literatuur Samenvatting van de belangrijkste uitkomstmaten (evt in tabel vorm) Conclusie op basis de samenvatting tav test, behandeling, prognose 5. Commentaar mbt bruikbaarheid Kritische kijk op bruikbaarheid tav patient uit klinsch scenario Vertaling van onderzoekspopulatie naar patient, gelet op kosteneffectiviteit, juridisch en/of ethische dilemma s Kwaliteit van de formulering 6. Bottom Line Zinvol antwoord op klinische vraag obv de literatuur Kwaliteit formulering bottom line Chapter 3: future perspective Relevante schets van waar het gevonden resultaat vanuit de CAT toe moet leiden Goede argumentatie waarom het gevonden resultaat van de CAT tot dit toekomst perspectief moet leiden uitmunt. Oordeel in woorden (sterke punten, verbeterpunten e.d.)

21 Beoordeling CAT-project door AIOS: CAT-presentatie AIOS/promovendus: Afdeling Naam student:... Collegekaartnummer:... Presentatie CAT 1. inhoud/opbouw lijn in betoog, samenhangend verhaal kwaliteit van de uitleg goede beschouwing van literatuur in het kader van klinisch scenario conclusie is echt antwoord op de klinische vraag Neemt inhoudelijk deel aan de discussie Kwaliteit van de argumentatie 2. presentatievaardigheden levendigheid (houding, enthousiasme) ondersteunend mediagebruik (powerpoint, dia s helder en niet te vol) contact met publiek (oogcontact, beantwoording van vragen, discussie, interactiviteit) tijdgebruik stemgebruik, intonatie en articulatie onv. vold. goed. zeer goed uitmunt. Oordeel in woorden m.b.t. I en II (sterke punten, verbeterpunten e.d.)

22 Instructie A. Beoordeling Bij ieder van de beoordelingsaspecten staat met liggende streepjes een aantal kernbegrippen aangegeven. Lees alle beoordelingsaspecten door voordat u de student op één betreffend aspect beoordeelt om te voorkomen dat de beoordeling "doorzingt" naar andere aspecten. Het is uitdrukkelijk de bedoeling om ieder beoordelingsaspect apart te beoordelen (dat wil zeggen: zonder te kijken naar wat u bij de andere aspecten heeft gegeven). B. Gebruik van het formulier Dit formulier dient enerzijds om de eindbeoordeling te uniformeren, anderzijds helpt het u om de student feedback te geven op zijn/haar prestaties. C. Schaalpunten Voor het geven van de schaalpunten kunt u het volgende in gedachten houden: 5: uitmuntend: behorend bij de top 2% van studenten, u ziet zo'n student wellicht niet meer dan eens in de 5 jaar. 4: zeer goed: behorend bij de top 20% van studenten, u ziet zo'n student wellicht niet meer dan eens per jaar. 3: goed: behorend bij 60% van studenten, u ziet zo'n student zeer regelmatig. 2: voldoende: 90% van de studenten hoort niet in deze categorie, Deze student komt u veel minder vaak tegen dan de goed-student. Het is de student die uitsluitend het strikt noodzakelijke doet om te slagen. 1: onvoldoende: 99% van de studenten hoort niet in deze categorie, De begeleiding zal de student in veel gevallen zodanig bijsturen dat deze voldoende leert en vaardigheden verwerft om toch (net) voldoende te scoren. D. Voorbeelden van interpretatie van de schaalpunten bij de diverse beoordelingsaspecten Beoordeling van het CAT-proces Onvoldoende voldoende goed. zeer goed uitmuntend 1. Zelfstandigheid: de student is in staat zelfstandig te werken De student werkt nauwelijks zelfstandig. De student moet sterk worden gestuurd door de begeleider, ziet eigen zwakke kanten nauwelijks. 2. Sociale en contactuele eigenschappen Iemand die geheel zijn Heeft moeite met eigen weg gaat en samenwerken. Treedt weinig adviezen van in overleg met begeleider. begeleider niet Hoort adviezen aan, maar opvolgt. gaat er selectief mee om. Reageert positief op kritiek, maar kan gedrag niet goed aanpassen. 3. Motivatie van de student Vindt het doen van een CAT niet nodig om een goede arts worden. Loopt de kantjes ervan af. Doet de CAT omdat het moet. Werkt netjes en doet de CAT in de lijn van wat in het blokboek staat. Toont geen interesse in de achtergrond van de CAT. De student kan zelfstandig werken, plannen en vraagt bijtijds adviezen. Werkt redelijk samen. Gebruikt adviezen en gebruikt kritiek bij verder handelen. Rapporteert over vorderingen. Is duidelijk geïnteresseerd in de CAT en ziet dit als een essentieel onderdeel van het (straks) arts zijn.. Ziet het kritisch beschouwen van medisch handelen als noodzakelijk om de geneeskunde verder te brengen. De student kan goed zelfstandig werken, heeft een goede planning. Is in staat te reflecteren op eigen werkzaamheden. Werkt goed samen. Vraagt adviezen alleen indien nodig en stimuleert anderen commentaar op zijn werk te geven. Weet commentaar goed te verwerken in verder handelen. Geeft regelmatig helderheid over voortgang. Werkt hard en ziet de CAT als een essentieel onderdeel van de geneeskunde. Is enthousiasmerend. Toont betrokkenheid, merkbaar aan de wens tot uitdragen van de gevonden CAT uitkomst middels presentatie en verslaglegging. De student werkt geheel zelfstandig, heeft een goede en realistische planning, reflecteert op eigen werkzaamheden en op eigen werkprocessen en vaardigheden. Werkt uitstekend samen en weet het voortouw te nemen. Vraagt aan begeleider en anderen adviezen indien nodig en stelt werk en zichzelf open voor kritiek. Weet commentaar te verwerken. Toont uitzonderlijke interesse In de achtergrond en uitkomsten van de CAT. Toont zich gedreven in het vergaren van kennis door o.a. alles te (willen) weten over het onderwerp. Gebruikt deze kennis en draagt deze uit. Kan in hoge mate mensen om zich heen enthousiasmeren. Beoordeling CAT verslag/bachelor scriptie onvoldoende voldoende goed. zeer goed uitmuntend Chapter 1: Background/klinisch scenario De student kan het De student beschrijft klinisch scenario niet oppervlakkig de achtergrond in een breder kader van het klinisch scenario en plaatsen en geeft niet geeft enig inzicht waarom dit aan waarom dit de de basis vormt voor de CAT basis vormt voor een CAT. Chapter 2: Critical Appraisal of a Topic 1. Klinische vraag De student kan niet de De student heeft de relevante relevante elementen elementen uit het klinisch van de CAT uit het scenario samengevat maar klinisch scenario in geen heldere vraag De student beschrijft op een heldere manier de achtergrond van het klinisch scenario en geeft goed aan waarom dit de basis vormt voor de CAT De student heeft de relevante elementen uit het klinisch scenario samengevat en hier acceptabele vraag De student beschrijft op een korte en heldere manier de achtergrond van het klinische scenario en toont inzicht te hebben in het mechanisme van klacht-ziekte en behandeling. Geeft goed aan waarom dit de basis vormt voor de CAT De student heeft de relevante elementen uit het klinisch scenario samengevat en een heldere vraag geformuleerd. De student beschrijft de achtergrond op review niveau in een internationaal tijdschrift en geeft uitstekend aan waarom dit de basis vormt voor de CAT. De student heeft de relevante elementen uit het klinisch scenario samengevat en een korte, bondige en heldere vraag 22

23 een korte en bondige vraag samenvatten 2. Literatuur search De student heeft niet de juiste zoekstrategie gebruikt zodat er geen of niet relevante artikelen zijn gevonden 3. Beoordeling artikelen geformuleerd. geformuleerd. geformuleerd. De student heeft zonder duidelijke kennis van PubMed een zoekstrategie geformuleerd waar wel enige relevante artikelen uit zijn gekomen De student heeft niet De student heeft aangegeven goed aangegeven wat wat de methodologische de methodologische kwaliteit van de artikelen is kwaliteit van de en geeft enig inzicht in de artikelen is en of de validiteit van de resultaten. resultaten valide of niet zijn. 4. Samenvatting van de gevonden literatuur De student is niet in staat om op overzichtelijke wijze de resultaten van de gevonden artikelen weer te geven en samen te vatten. 5. Commentaar bruikbaarheid De student is niet in staat op basis van de klinische vraag en de samenvatting van de literatuur tot een weloverwogen commentaar te komen. 6.Bottom Line De student geeft geen logisch antwoord op de klinische vraag De student heeft de resultaten op een onoverzichtelijke manier samengevat maar geeft wel een acceptabeleconclusie van de gevonden literatuur. De student is in staat op basis van de klinische vraag en de samenvatting van de literatuur tot een weloverwogen commentaar te komen. De student geeft een logisch antwoord op de klinische vraag. Chapter 3: future perspective De student kan de De student komt met een uitkomst van de CAT duidelijk en logisch vervolg niet in breder op de uitkomst van de CAT. perspectief plaatsen en niet aangeven wat er met de resultaten moet worden gedaan. De student heeft met goede kennis van PubMed een zoekstrategie geformuleerd waar wel relevante artikelen uit zijn gekomen De student geeft goed aan wat de methodologische kwaliteit aan van de gevonden artikelen en geeft goed inzicht in de validiteit van de resultaten. De student heeft de resultaten op een overzichtelijke manier samengevat en geeft een goede conclusie van de gevonden literatuur. De student is in staat de klinische vraag en de samenvatting van de literatuur goed te becommentariëren en een weloverwogen commentaar te komen in de juiste setting van het klinisch scenario. De student geeft een goed geformuleerd en logisch antwoord op de klinische vraag. De student kan de uitkomst van de CAT in breder perspectief plaatsen en goed aangeven wat eventuele vervolg stappen moeten zijn. De student heeft met heldere en uitgebreide zoekstrategie geformuleerd met gevorderde kennis van PubMed waar relevante artikelen uit zijn gekomen De student geeft uitgebreid aan wat de methodologische kwaliteit van de gevonden artikelen is en geeft uitstekend inzicht in de validiteit van de resultaten. De student heeft de resultaten op een overzichtelijke manier geanalyseerd en geeft een wel overwogen conclusie van de gevonden literatuur. De student is in staat de klinische vraag en de samenvatting van de literatuur in een breder perspectief te plaatsen en tot weloverwogen commentaar te komen in de juiste setting van het klinisch scenario. De student geeft een goed geformuleerd en bondig antwoord op de klinische vraag De student kan de uitkomst van de CAT in breder perspectief plaatsen en bespreken zodanig dat in een helder vervolgplan beschreven wordt wat de verdere stappen moeten zijn. De student heeft met heldere en uitgebreide zoekstrategie geformuleerd met professionele kennis van PubMed waar relevante artikelen uit zijn gekomen De student geeft uitmuntend aan wat de methodologische kwaliteit van de gevonden artikelen is en geeft met bijna professioneel inzicht in de validiteit van de resultaten aan. De student heeft de resultaten op meta-analyse niveau weer en geeft een weloverwogen en juiste conclusie van de gevonden literatuur. De student is in staat op editorial niveau een commentaar te geven op de klinische in relatie tot de gevonden literatuur. De student geeft een zeer scherp en helder antwoord op de klinische vraag De student kan de uitkomst van de CAT in breder perspectief plaatsen en geeft uitstekend weer wat de vervolg acties moeten zijn met bijvoorbeeld een uitgewerkt onderzoeksvoorstel, voorstel voor een richtlijn oid. Presentatie CAT onvoldoende voldoende goed. zeer goed uitmuntend 1. Inhoud en opbouw van de presentatie De presentatie heeft geen goede opening, de inhoud is niet onderbouwd, bottomline volgt niet duidelijk uit de gepresenteerde resultaten. Geen discussie. De presentatie geeft fragmentarisch beeld van de CAT. De CAT wordt wel goed gepresenteerd, maar de onderbouwing is matig. De lijn is niet altijd duidelijk en de bottom line volgt niet uit de gevonden en samengevatte literatuur. De discussie is zwak. 2. Presentatievaardigheden De student geeft een De student heeft een vlakke voorgelezen toon, veel stopwoorden, presentatie, geen dia's, matige dia's en geen contact met weinig contact met publiek, publiek, kan vragen loopt uit in tijd. Kan wel niet beantwoorden. vragen beantwoorden en de CAT toelichten. De presentatie geeft redelijk beeld van de CAT,geeft aan wat de kernpunten zijn, maar kan soms duidelijker. De samenhang kan beter. Uitleg hoe men aan de bottom line komt, is niet altijd helder en plaatsing in een groter kader ontbreekt. De student weet toehoorders wel te boeien, maar niet alert op reacties uit publiek. Nette dia's, die het publiek voor kennisgeving aanneemt. Net verstaanbaar, loopt uit in tijd. De presentatie geeft volledig beeld van de CAT heldere opbouw in inleiding resultaten en discussie. Goede en duidelijk presentatie van de verschillende stappen van de CAT in een pakkend verhaal. Weet plaats de CAT in een algemeen kader uit te leggen. Goede discussie. De student geeft een levendige en enthousiaste presentatie, heldere formulering, goed verstaanbaar, mooie dia's, goed (oog)contact met publiek, goede tijdsplanning. De presentatie heeft een zeer mooie en duidelijke opbouw, zeer goede inleiding, fraaie bespreking van verschillende CAT-stappen en uitstekende discussie met perspectief naar toekomstige implementatie. Heeft de status van "key note lecture" op een belangrijk internationaal congres. De student geeft een charismatische presentatie, prachtige audiovisuele ondersteuning, fraaie formulering, speelt in op publiek, laat ruimte voor discussie, goede tijdsplanning. 23

24 2 de Beoordeling CAT-verslag Datum: Naam student:.collegekaartnummer. Naam beoordelaar:... Afdeling: Naam AIOS. CAT- verslag: beoordeling Opleider/Opleidersgroep Oordeel in woorden (sterke punten, verbeterpunten e.d.) Eindoordeel CAT-verslag: cijfer

25 Beoordeling CAT-AIOS door Student AIOS:... Afdeling... Naam student:... Collegekaartnummer:... Bgeleiding gedurende het Cat-project 1. begeleiding: kennis van de stappen van de CAT houdt controle op het verloop van de CAT is makkelijk benaderbaar houdt zich aan afspraken reageert op vragen- s benoemt sterke en zwakke kanten van de student geeft goede feedback 2. sociale/contactuele vaardigheden: samenwerking met student staat open voor kritiek / heeft zelfreflectie vraagt regelmatig naar de voortgang onv. vold. goed. zeer goed uitmunt. 3. motivatie van de AIOS enthousiasme gedrevenheid bij het begeleiden van de CAT Oordeel in woorden (sterke punten, verbeterpunten e.d.)

26 Bijlage: Toetsprogramma CAT-project In overleg met de decaan, examencommissie en opleiders is besloten dat 1) elke student een individueel CAT-verslag moet maken dat geldt als bachelorscriptie en dat 2) gezien de beschikbaarheid van de AIOS vooralsnog is besloten dat een AIOS 2 studenten kan begeleiden, maar dat er dus separate 2 scripties geproduceerd moeten worden. Omdat het maken van de CAT verschillende vaardigheden vraagt, is een toetsprogramma opgesteld waarbij de afzonderlijke onderdelen los van elkaar worden beoordeeld. Het eindcijfer bestaat uit een gewogen gemiddelde van de verschillende deelcijfers elk deelcijfer moet afzonderlijk voldoende zijn. Beoordeling % van het eindcijfer Kennis en inzicht 1. Toets aan het eind van het CAT-blok 10% 1. AIOS beoordeling verslag (inhoud) Vaardigheid 2. AIOS beoordeling CAT-presentatie (vorm en inhoud) 3. CiS beoordeling verslag (structuur - redeneringwetenschappelijk taalgebruik (Engels)) Professioneel gedrag 4. AIOS beoordeling proces/samenwerking 5. CiS beoordeling werkgroep participatie/peer evaluatie 30% 20% 15% 20% 5% Totaal 100% 26