Begeleiders-document CAT-project Lijn Academisch Wetenschappelijke Vorming 3e jaar Bachelor Geneeskunde e-mail: cat-project@lumc.nl 1
Blokcoördinatoren Dr. Arno Roest, Kindergeneeskunde Mw. Prof. Dr. Saskia le Cessie, Klinische Epidemiologie/Medische Statistiek Projectondersteuner Mw. Patricia de Mol, DOO Blokcommissie Mw. Drs. Karin van der Hoorn, Walaeus Bibliotheek John O'Sullivan (Line Coordinator CIS), Communication in Science Prof. Dr. Friedo W. Dekker, Klinische Epidemiologie, lijncoördinator Academische en Wetenschappelijke Vorming 2
Voorwoord Beste Begeleider in het CAT-project, Het CAT project is uniek in Nederland en slaat een brug tussen de studie geneeskunde en de medische vervolg opleidingen. Het bijzondere aan het CAT- project is dat studenten onder begeleiding van een AIOS of klinisch onderzoeker gaan werken aan een probleem dat uit de praktijk komt, alle stappen zelf uitvoeren en uiteindelijk de CAT-presenteren op de afdeling van de begeleider en hiervan een verslag schrijven.. We kunnen als CAT-projectgroep niet genoeg benadrukken dat jullie rol essentieel is voor het welslagen van dit voor de opleiding geneeskunde vitale project. Het CAT-project gaat dit onderwijsjaar voor de 4 de keer van start. De evaluaties van de studenten die het project afgelopen keer gedaan hebben waren positief, met name over de begeleiding en het feit dat ze bezig waren met een klinisch scenario uit de praktijk. In dit document vind je een beschrijving van de manier waarop we in de OOR Leiden en in de Bachelor Geneeskunde van het LUMC de Critical Appraisal of a Topic (CAT) doceren, wat we van de studenten verwachten en wat jouw rol is in dit project. Alle informatie, waaronder dit document, het blok boek dat studenten krijgen en de opnames van de Begeleiders-informatiebijeenkomst is te vinden op de OORLeiden website: www.oorleiden.nl De blokcommissie staat voor jullie klaar om er met zijn allen een goed project van te maken. Als jullie vragen, problemen of commentaren hebben, schroom dan niet om contact op te nemen met ons. Namens de blokcommissie, Saskia Le Cessie en Arno Roest Blokcoördinatoren cat-project@lumc.nl 3
1. Inleiding: Critical Appraisal of a Topic (CAT ) Het huidige medisch handelen wordt bij voorkeur gebaseerd op wetenschappelijk bewijs verkregen uit goed opgezette studies. Daarnaast spelen patiëntkarakteristieken, voorkeur van de patiënt en de diagnostische en therapeutische mogelijkheden van de arts op de locatie waar hij/zij zich bevindt een rol in het bepalen van het medisch beleid ten aanzien van een klacht of ziekte bij de individuele patiënt. Een veelgebruikte manier om evidence based medisch handelen te bepalen naar aanleiding van een specifiek probleem bij een patiënt is de Critical Appraisal of a Topic (CAT) -benadering. De CAT is een manier om de resultaten uit onderzoeken kritisch te beschouwen en ons medisch handelen in de klinische praktijk te baseren op bewijs uit medisch wetenschappelijk onderzoek.de CAT zoals die in de OOR-Leiden wordt gepropageerd is gebaseerd op het Maastrichtse 7-stappen model en gaat uit van een patiënt uit de eigen praktijk (klinisch scenario-stap 1). Vanuit dit klinisch scenario wordt een klinische vraag geformuleerd (stap 2). Op basis van de klinische vraag wordt een literatuuronderzoek (stap 3) verricht om de beste studies met betrekking tot de klinische vraag te vinden. Deze worden vervolgens kritisch beoordeeld (stap 4). Hierna worden de onderzoeken samengevat (stap 5) en hieruit volgt de vertaling naar de specifieke omstandigheden van de patiënt (stap 6) om vervolgens tot een slotconclusie te komen. (stap 7). Figuur 1 uit De Brouwer, C. P. M., Kant, IJ., Smits, L. J. M., & Voogd, A. C. (2009). Training Critical Appraisal of a Topic. Een onmisbare handleiding in het tijdperk van Evidence Based Medicine. Maastricht: Mediview BV. 4
De CAT in de bachelorfase van de studie geneeskunde LUMC Wetenschappelijke vorming is een van de speerpunten van het geneeskunde curriculum in het LUMC. Het CAT-project is het eindproduct van de Lijn Academische Wetenschappelijk Vaardigheden van de Bachelor Geneeskunde. Gezien de centrale plaats die de CAT inneemt in de medische vervolg opleidingen is het essentieel dat de student geneeskunde hierop voorbereid wordt. Het CAT-blok: januari 2018 Als voorbereiding op het maken van de CAT (het CAT-project) is er in januari een 1-weeks CAT-blok. In dit blok worden alle 7-stappen van de CAT doorlopen met behulp van hoorcolleges, werkgroepen, e- learning modules en een afsluitende toets. Het cijfer van de toets van het blok vormt een deel van het eindcijfer van het CAT-project. Zie het Blokboek voor de studenten op de OOR-Leiden website. Het CAT-project: Uitgangspunten voor het CAT-project zijn: Op basis van een klinisch scenario van de AIOS/klinisch onderzoeker, doorloopt de student de stappen van de CAT Elke student moet een verslag maken van het CAT-project. De studenten moeten naast de beoordeling van het verslag op de afdeling van de begeleider een presentatie geven die beoordeeld wordt. Het professionele gedrag van de student gedurende het project wordt mede beoordeeld. Het CAT-project in Klinische Fase Applicatie (KL-APP)-software Om het CAT-project zo soepel mogelijk te laten verlopen is het geheel ingebed in het software pakket KL-APP. De student beheert zo zijn eigen CAT-project. In dit software pakket zullen alle informatie, deadlines en beoordelingsformulieren beschikbaar zijn. De beoordelingen zullen ook via dit systeem verlopen. Als begeleider hoef je niets te registreren, dit gebeurt allemaal in KL-APP. Vanuit KL-APP worden e- mails verstuurd wanneer de student iets veranderd heeft, geupload heeft of wanneer er iets ter beoordeling aangeboden is. Dit laatste gaat per e-mail via unieke links, waarbij je automatisch in KL- APP en bij de benodigde beoordelingsformulieren komt. De eerste mail die je als begeleider zult krijgen is een mail met de naam van de student die aan je gekoppeld is en waarin gevraagd wordt de koppeling te bevestigen. Studenten uploaden de volgende documenten in KL-APP: Zoekverslag ter beoordeling voor de Walaeus Bibliotheek De eindversie van de het CAT-verslag ter beoordeling. Wanneer het finale verslag ge-upload is krijg je van KL-APP een mail toegestuurd. In deze mail is een link geplaatst die toegang geeft tot het verslag en de beoordelingsformulieren voor het CAT-verslag, de CAT-presentatie en het CAT-proces. In verband met het 4-ogen principe bij het beoordelen van eindwerken in de Bachelor Geneeskunde is een 2 de inhoudelijke beoordeling erg belangrijk. We willen aan jullie als begeleider vragen om zelf de tweede beoordelaar in te vullen in KL-APP. Deze beoordelaar zal de 2 de inhoudelijke beoordeling van de scriptie uitvoeren. 5
De 2 de beoordelaar zal een link krijgen voor de medebeoordeling van de scriptie in het kader van het 4- ogen principe. 2. Wat vragen we van jou als Begeleider? December-Januari Zoek een thema dat past in je belangstelling / belangrijke vragen die leven op de afdeling / passen in je onderzoeksambitie in het domein diagnostiek, therapie of prognose en waarover voldoende literatuur beschikbaar is. Soms kan het voorkomen dat er te weinig artikelen gevonden worden. De studenten komen in dat geval bij je terug voor een ander onderwerp Benoem een klinische vraag Eerste contact moment december 2017-januari 2018: de studenten nemen contact op met de begeleider om het klinisch scenario te bespreken. Vervolgens kan via e-mail contact de student verder worden begeleid. De Walaeus bibliotheek heeft spreekuren ingepland voor de studenten om hen te begeleiden in het formuleren van de klinische vraag en het opstellen van een zoekstrategie. Je kunt de studenten hier naar verwijzen. Februari-Maart-April Tijdens de periode februari-april maken de studenten een CAT-verslag. Hoe het verslag er precies uit moet zien staat in één van de bijlages. Het schrijfproces wordt intensief begeleid door Communication in Science (CiS) in twee werkgroepen, een individueel gesprek met de student en door middel van peer review (door de medestudenten). Vanwege deze intensieve begeleiding is het niet nodig dat de begeleider meerdere tussenversies van de scriptie uitgebreid becommentarieert. Half februari 2018 moeten de studenten hun zoekverslag inleveren bij de Walaeus bibliotheek. Hierna zal de Walaeus bibliotheek deze verslagen beoordelen. Bij een onvoldoende beoordeling moet de student het zoekverslag aanpassen om tot een voldoende te komen. Selecteer samen met de student 3-4 artikelen om te beoordelen. Alleen primaire literatuur, geen systematic reviews of meta-analyses, komt in aanmerking om door de student beoordeeld te worden. Contactmoment maart-april 2018: de studenten voeren zelfstandig de beoordeling en samenvatting van de gevonden literatuur uit, waarbij vragen in de responsiecolleges van de klinische epidemiologie kunnen worden gesteld. Als de studenten dit gedaan hebben zullen zij opnieuw een afspraak maken met de begeleider om de gevonden en samengevatte literatuur in de context van het klinisch scenario te bespreken en te komen tot een bottom-line (stap 7). Plan tijdig een presentatie op de afdeling. Duur van de presentatie is afhankelijk van de afdelingsvoorkeuren. Mei-juni Nakijken verslag en presentatie: De student levert voor half mei een scriptie via KL-APP. De begeleider beoordeelt dit verslag. Verder geven ze ieder een presentatie van 15-30 minuten op de afdeling van de begeleider. Aan de 2 de beoordelaar zal in het kader van het 4-ogen principe een medebeoordeling worden gevraagd (zie bijlage) 6
De presentatie, het verslag en de beoordeling van het CAT proces worden door de begeleider voor half juni beoordeeld. 3. Wat mogen jullie van de student verwachten? De student moet zelf de PICO en klinische vraag formuleren op basis van het klinisch scenario dat je ze hebt gegeven, het daarop volgende literatuuronderzoek uitvoeren, en zo nodig zelf voor begeleiding vanuit de Walaeus bibliotheek zorgen. Het zoekverslag moet voor half februari via Kl-app worden ingediend en wordt door de Walaeus bibliotheek beoordeeld. De student maakt in overleg met de begeleider een selectie van de gevonden literatuur (3-4 artikelen) en zal vervolgens deze kritisch beoordelen en samenvatten. De student wordt intensief begeleid bij het schrijven en kan voor methodologische vragen terecht bij de klinische epidemiologie. De student schrijft zelf het verslag, inhoudelijke vragen kan hij aan de begeleider stellen. Het verslag levert de student voor half mei in. Van de student wordt een beleefde en professionele houding verwacht. De student wordt daar ook door de begeleider op beoordeeld. Mochten hier ernstige zorgen over zijn, meldt dit dan vroegtijdig aan de blokcoördinatoren De studenten zullen het begeleidingsproces van beoordelen (zie bijlage). Het formulier zal naar de opleider van de AIOS/promotor van de klinisch onderzoeker worden verstuurd. 7
4. Tijdspad CAT project* Wanneer Wat Wie December 2017- januari 2018 Voorbereiden onderwerp(en) voor de CAT Koppeling student begeleider CAT-begeleider - student Begin januari CAT-blok Docenten Cat-blok, Walaeus Bibliotheek, Communication in Science (CIS) Januari-februari Contact begeleider student ter bespreking klinisch scenario (stap 1 en 2) begeleider -student Januari-februari Maken klinische vraag-zoekverslag (stap 2 en 3) Student half februari Inleveren zoekverslag en beoordeling door Walaeus Student/Walaeus Bibliotheek Bibliotheek Februari-maart Beoordelen en samenvatten literatuur (stap 4 en 5) Student Februari-maart Schrijven chapter 1 en chapter 2 van scriptie Student deadline begin mrt schrijven 1 e draft Ba-scriptie Student Maart-april Contact begeleider -student mbt literatuur vs klinische vraag-stap 6 en 7 begeleider -student voor half april Schrijven 2 e draft scriptie Student voor half mei Schrijven eindversie Student voor half juni Presentatie met beoordeling door begeleider Student/ begeleider voor half juni Beoordeling CAT-proces en scriptie Begeleider en 2 de beoordelaar De exacte deadlines worden via Blackboard gecommuniceerd en dient de student zelf in de gaten te houden. Bovenstaande is een globaal overzicht. 8
In de bijlages staat een gedeelte van de informatie uit het blokboek van de studenten. Met name zijn de beoordelingsformulieren die jij als begeleider moet invullen van belang. Deze formulieren staan in KL-APP. Als er beoordelingen noodzakelijk is wordt er een link naar je gestuurd die direct toegang geeft tot de beoordelingsformulieren 1. De eindproducten: zoekverslag, CAT-verslag en de presentatie 1.1. Het zoekverslag De informatiespecialisten van de Walaeus bibliotheek hebben spreekuren gepland om je bij het zoeken van literatuur (stap 3 van de CAT) te helpen. Tijdens het CAT-blok en via Blackboard zal worden aangegeven hoe je je kunt inschrijven voor de spreekuren. Kom goed voorbereid met je zoekstrategie naar de spreekuren zodat de tijd die er voor je is gereserveerd door de informatiespecialisten goed wordt gebruikt. Uiteindelijk moet je een zoekverslag maken en dat door de Walaeus bibliotheek beoordeeld zal worden. Een afspraak duurt maximaal 20 minuten. Dat is niet zo lang dus dat betekent dat je zelf al serieus gezocht moet hebben voordat je komt. Neem je zoekverslag mee naar de afspraak. Zorg dat je tijdig intekent op de afsprakenlijst. Slechts bij uitzondering is het mogelijk om een afspraak te maken buiten de gereserveerde tijden. Stuur hiervoor een email naar cat-project@lumc.nl ovv je naam, studentnummer en de reden waarom je een afspraak wenst buiten de gereserveerde tijden. Zet bij het onderwerp van de mail: afspraak Walaeus Bibliotheek. Houd er rekening mee dat het enkele dagen tot weken kan duren voordat je via deze weg een afspraak hebt. Uiteindelijk maak je een zoekverslag en bied je dat ter beoordeling aan via KL-APP. Het literatuuronderzoek dient op systematische wijze te worden uitgevoerd, zoals behandeld is tijdens blok Vraagstukken Borst en Nieren en het CAT-blok. Voor de verslaglegging maak je gebruik van het Sjabloon voor het documenteren van literatuuronderzoek van de Walaeus Bibliotheek dat via KL-APP beschikbaar is. (deadline: zie Blackboard). Upload het document als Word document. Vanuit een PDF is het niet mogelijk om de zoekstrategieën in PubMed te controleren. Wie een onvoldoende heeft gehaald, moet aan de hand van de feedback een verbeterde versie inleveren. Wie in eerste instantie een onderwerp heeft waarover te weinig literatuur beschikbaar is en dus een nieuw onderwerp moet kiezen, kan een afspraak maken voor het extra spreekuur. Het zoekverslag van het oorspronkelijke onderwerp kan worden ingeleverd voor de beoordeling; het zoekverslag van het nieuwe onderwerp wordt niet meer beoordeeld. Meer informatie over de spreekuren (data en tijden) volgt via Blackboard. 1.2. De scriptie De CAT-scriptie wordt in het Engels geschreven en bestaat uit 3 hoofdstukken. In hoofdstuk 1 beschrijf je een algemene inleiding voor je onderwerp, gebaseerd op wetenschappelijke literatuur, en het klinisch scenario (stap 1 van CAT-proces). Vervolgens beschrijf je in dit hoofdstuk de verdere opzet van 9
je scriptie. In hoofdstuk 2 beschrijf je stap 2 t/m 7 van het CAT-proces. In hoofdstuk 3 schrijf je in de discussie wat volgens jou de volgende stappen zouden moeten zijn op basis van de gevonden uitkomst van de CAT. In hoofdstuk 3 kun je eventueel gevonden systematische reviews of meta-analyses betrekken bij je CAT. 1.2.1. Opbouw van de CAT-scriptie Hieronder volgen enkele richtlijnen voor de opbouw van de scriptie. Hierbij is de aangegeven hoeveelheid woorden vooral een gemiddelde. De lengte van je scriptie hangt af van je onderwerp en de hoeveelheid artikelen die je analyseert. layout: o o o o o o Titelpagina Chapter 1 General Introduction (ongeveer 600 woorden, 2-3 pagina s, regelafstand 1,5. ) Chapter 2 Critical Appraisal of a Topic (ongeveer 1500 woorden, 4-8 pagina s, regelafstand 1,5) Chapter 3 Discussion (maximaal 350 woorden, 1 pagina, regelafstand 1,5) References Appendix lettertype en lettergrootte: o zakelijk en leesbaar (bijv. 11-punt Calibri of Times New Roman) o regelafstand 1,5. refereren: Gebruik consequent de Vancouverstijl voor bronverwijzingen (zie Walaeuswebsite voor informatie over Vancouverstijl). Software voor referenties wordt aanbevolen, bijvoorbeeld EndNote.. De Walaeusbibliotheek verzorgt tutorials voor het gebruik van EndNote. Chapter 1 Algemene inleiding waarin je de volgende onderdelen in een lopend en samenhangend verhaal beschrijft: klinisch scenario, medisch-wetenschappelijke achtergrond, klinische vraag en opzet van het verslag klinisch scenario (stap 1): Beschrijf de medisch-wetenschappelijke achtergrond van het klinisch scenario, waarbij je het onderwerp in een breder wetenschappelijk perspectief plaatst voor de lezer. Geef achtergrondinformatie over de aandoening, zoals etiologie, symptomen, incidentie, prevalentie, morbiditeit, mortaliteit, leefstijlfactoren, risicofactoren en de meest recente ontwikkelingen. Beschrijf de huidige aanpak van diagnose, prognose en behandeling; geef aan of er een gouden standaard is of dat er nog onduidelijkheid bestaat over de beste behandeling. Bespreek afwijkende theorieën of tegenstrijdige onderzoeksresultaten. 10
Beschrijf de ontbrekende wetenschappelijke informatie die leidt naar de klinische vraag. Uiteindelijk moet alle achtergrondinformatie uit de inleiding aansluiten bij deze vraag; je laat de lezer zien waarom het belangrijk is dat de vraag beantwoord wordt. Uiteindelijk beschrijf je aan het eind van hoofdstuk 1 de klinische vraag (stap2) Chapter 2 In dit hoofdstuk beschrijf je de stappen 3, 4, 5, 6 en 7 van de CAT: Literature search (stap 3): In het verslag beschrijf je hoe je een systematisch literatuuronderzoek hebt uitgevoerd. Plaats de zoektermen in de Appendix. Noem de artikelen die je gaat gebruiken en geef duidelijk aan hoe je gekomen bent tot deze artikelen. Waarom heb je juist deze artikelen gekozen en de andere niet? Hoe heb je geselecteerd? Evaluation of articles (stap 4): Het is de bedoeling dat je 3 tot 4 artikelen beoordeelt. Dit moet primaire literatuur zijn, dus originele onderzoeken en geen reviews of meta-analyses. De gevonden literatuur beoordeel je vervolgens per artikel aan de hand van de JAMAbeoordelingscriteria voor artikelen en beoordelingsformulieren zoals bijgevoegd in de bijlage. Je beoordeling vormt een essentieel onderdeel van het overtuigen van je lezer in de bottom line (stap 7) Je beschrijft eerst kort wat het artikel onderzoekt. Daarna beschrijf je de validiteit van het artikel aan de hand van de JAMA-beoordelingscriteria en sluit af met jouw beoordeling van de validiteit om de lezer voor te bereiden op het Commentaar in stap 6. Beschrijf je beoordeling zo specifiek mogelijk: termen als goed of slecht zijn onduidelijk voor de lezer. Het kan soms lastig zijn om stap 4 en 5 uit elkaar te halen. In stap 4 staat het individuele artikel centraal en met name de beoordeling van de validiteit van het artikel en dus of je wel of niet de resultaten verder mag gebruiken om een antwoord te vinden op de klinische vraag uit stap 2. In stap 5 ga je in op de resultaten. Evidence (stap 5): Maak een samenvatting, eventueel (maar niet alleen) met een resultatentabel, van de belangrijkste bevindingen van de gevonden en beoordeelde artikelen om uiteindelijk tot een conclusie te komen welk bewijs er in de literatuur aanwezig is en of hierop beleid kan worden gebaseerd. Je trekt hierin nog geen conclusies over de patiënt; deze bewaar je voor stap 6. Commentary (stap 6): Bespreek je conclusies uit stap 4 en 5 in de context van de patiënt met diens eventuele voorkeuren, de setting waarin de patiënt gezien wordt en geef aan wat de uitkomsten van de CAT voor deze patiënt betekenen. Bottom Line (stap 7): 11
Een kort en bondig antwoord op de klinische vraag van stap 2. Dit kan in 1 á 2 zinnen. Chapter 3 Discussion: In de discussie plaats je de conclusies van de CAT in het bredere medisch wetenschappelijk perspectief dat je beschreven hebt in hoofdstuk 1 en in relatie tot eventueel beschikbare systematische reviews of meta-analyses in relatie tot de CAT en de besproken artikelen. Begin door kort de belangrijkste uitkomst(en) van de CAT samen te vatten en ga vervolgens in op de vervolgstappen. Hoe nu verder? Hierbij kun je bijvoorbeeld denken aan: o vervolgonderzoek: Welk soort onderzoek? Welke onderzoeksopzet? o behoefte aan nieuwe protocollen of aanpassing van protocollen o jouw verwachtingen over mogelijke toepassingen van beschreven medische ontwikkelingen Beschrijf dit alles zo concreet mogelijk en geef voorbeelden. Zorg voor een duidelijke alinea-indeling en geef de samenhang tussen de verschillende alinea s aan. Sluit af met een sterke inhoudelijke slotzin of slotalinea. Dit kan bijvoorbeeld je algemene conclusie zijn, maar ook een toekomstvisie of suggestie. 1.3. Presentatie van de CAT De CAT die je gemaakt hebt presenteer je op de afdeling van de begeleider. De duur van de presentatie wordt bepaald door de afdeling. In de presentatie bespreek je de stappen 1 tm 7 van je CAT. Let hierbij op het volgende: Bespreek stap 1 kort en bondig: achtergrondkennis mag bekend worden verondersteld Laat de zoekstrategie duidelijk naar voren komen en geef aan waarom je de keus gemaakt heb juist deze artikelen te beoordelen. Gebruik eventueel een evidence -tabel om overzichtelijk de validiteit en resultaten van de verschillende artikelen te presenteren. Je begeleider beoordeelt de presentatie. 12
2. Bijlagen 2.1. Beoordelingsformulieren kritisch lezen van artikelen Hieronder vind je beoordelingsformulieren voor het beoordelen van een therapeutisch onderzoek (een gerandomiseerde clinical trial, of observationeel onderzoek), een diagnostische studie en een prognostische studie. Vergelijkbare formulieren die meer uitleg geven en in het Engels zijn vind je op http://www.cebm.net/critical-appraisal/ ). Beoordelingsformulier Therapeutisch onderzoek (Guyatt et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Waren de patienten gerandomiseerd? 2. Hoe was de randomisatie uitgevoerd? 3. Waren alle patienten die geincludeerd zijn, ook gerapporteerd? 4. Was de follow-up compleet? 5. Waren alle patienten geanalyseerd in de groep waaraan zij oorspronkelijk waren toegewezen? 6. Waren patienten, behandelaars en beoordelaars geblindeerd? 7. Waren de groepen vergelijkbaar aan het begin van het onderzoek? 8. Waren de groepen gelijk behandeld, afgezien van de experimentele behandeling? Resultaten 9. Hoe groot was het behandeleffect? 10. Hoe groot is het 95% betrouwbaarheidsinterval van het behandeleffect? Toepasbaarheid 13
11. In hoeverre zijn deze resultaten van toepassing op de patient uit de casus? 12. Zijn alle klinisch belangrijke uitkomsten onderzocht? 13. Zijn de verwachte voordelen van deze behandeling groter dan de nadelen? 14. Gaat U uw patient nu met deze therapie behandelen? (stap6) 14
Beoordelingsformulier Diagnostische test (Jaeschke et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Is er een valide referentietest (gouden standaard)? 2. Bestaat de patiëntengroep uit personen waarbij de test ook in de praktijk op toegepast wordt? 3. Zijn de test en de gouden standaard onafhankelijk van elkaar uitgevoerd? 4. Is de gouden standaard bij iedereen uitgevoerd, onafhankelijk van het testresultaat? 5. Zijn uitvallers gerapporteerd met de reden van uitval? Resultaten 6. Wat zijn de sensitiviteit, specificiteit en likelihoodratio s van de test? Toepasbaarheid 7. Kan de test op dezelfde manier uitgevoerd worden op de patiënt uit de casus? 8. Wat is de voorafkans en achterafkans op de ziekte voor de patiënt? 9. Zou de testuitslag het verdere medisch handelen beïnvloeden? 10. Wegen de voordelen op tegen de nadelen (mogelijke schade en 15
kosten)? 16
Beoordelingsformulier Prognostisch Onderzoek (Laupacis, et al. Users Guides to the medical Literature, JAMA 1994) Validiteit Opmerkingen 1. Is er een representatieve duidelijk omschreven groep patiënten, op een gelijk moment in het ziekteverloop? 2. Is de follow-up voldoende compleet? 3. Zijn de uitkomst criteria objectief vastgesteld, onafhankelijk van de prognostische factoren 4. Zijn de uitkomsten apart vastgesteld voor mensen met verschillende prognostische factoren, of is er een prognostische score gemaakt? Resultaten 5. Wat is de kans op de uitkomst (in een bepaalde periode)? 6. Hoe nauwkeurig zijn de prognostische schattingen? Toepasbaarheid 7. Is de bestudeerde patiëntenpopulatie vergelijkbaar met de patiënt uit de casus? 8. Zullen de resultaten van invloed zijn op wat je de patiënt zou 17
vertellen, of de therapie die je zou voorschrijven? (stap 6) 18
Beoordeling CAT-project door Begeleider: proces Begeleider:... Afdeling... Naam student:... Collegekaartnummer:... Proces gedurende het Cat-project 1. zelfstandigheid: de student is in staat zelfstandig te werken (voor betekenis van de schaalcijfers zie Instructie: punten C en D.) zelfstandigheid kennis van de stappen van de CAT initiatief: houdt zelf het initiatief voor het verloop van de CAT snel inwerken plannen zo nodig adviezen vragen aan begeleider benoemt sterke en zwakke kanten van zichzelf / eigen werkzaamheden / resultaten 2. sociale/contactuele vaardigheden: de student is in staat adequaat te functioneren samenwerking met begeleider adviezen begeleider gebruiken staat open voor kritiek / heeft zelfreflectie rapporteert regelmatig voortgang 3. motivatie van de student enthousiasme gedrevenheid bij het uitvoeren van de CAT onv. vold. Ruim vold. goed uitmunt. Oordeel in woorden (sterke punten, verbeterpunten e.d.)...... 19
Concept Beoordeling CAT-project door Begeleider: CAT-verslag Begeleider: Afdeling: Naam student:... Collegekaartnummer:... CAT- verslag: beoordeling Begeleider onv. vold. Ruim vold. Chapter 1: Background/klinisch scenario Adequate uitleg van de ziekte, patient en patient gerelateerd factoren Goede verdieping van achtergrond ten aanzien van diagnose, behandeling of prognose Relevante uitleg van het klinisch probleem waar de CAT zijn relevantie aan ontleent ten aanzien van diagnose, behandeling of prognose Chapter 2: Critical Appraisal of a Topic 1. Klinische Vraag Sluit goed aan op het klinisch scenario Formulering van de vraag is goed Vraag bevat alle elementen nodig voor de literatuur search 2. Literatuur search Beschrijving van de zoekstrategie, termen en keuzes die gemaakt zijn om tot relevante artikelen te komen Motivering van de keus van de artikelen, bijvoorbeeld aard van de populatie, primaire bron, taal, datum 3. Beoordeling artikelen Benoemen van belangrijkste sterke en zwakke methodologische punten Zijn de resultaten goed weergegeven en beoordeeld op klinische relevantie Kwaliteit van de beschrijving (helder, kort, bondig) 4. Samenvatting van de gevonden literatuur Samenvatting van de methodologische kwaliteit van gevonden literatuur Samenvatting van de belangrijkste uitkomstmaten (evt in tabel vorm) Conclusie op basis de samenvatting tav test, behandeling, prognose 5. Commentaar mbt bruikbaarheid Kritische kijk op bruikbaarheid tav patient uit klinsch scenario Vertaling van onderzoekspopulatie naar patient, gelet op kosteneffectiviteit, juridisch en/of ethische dilemma s Kwaliteit van de formulering 6. Bottom Line Zinvol antwoord op klinische vraag obv de literatuur Kwaliteit formulering bottom line Chapter 3: future perspective Relevante schets van waar het gevonden resultaat vanuit de CAT toe moet leiden Goede argumentatie waarom het gevonden resultaat van de CAT tot dit toekomst perspectief moet leiden goed uitmunt. Oordeel in woorden (sterke punten, verbeterpunten e.d.)...... 20
Beoordeling CAT-project door Begeleider: CAT-presentatie Begeleider: Afdeling Naam student:... Collegekaartnummer:... Presentatie CAT 1. inhoud/opbouw lijn in betoog, samenhangend verhaal kwaliteit van de uitleg goede beschouwing van literatuur in het kader van klinisch scenario conclusie is echt antwoord op de klinische vraag Neemt inhoudelijk deel aan de discussie Kwaliteit van de argumentatie 2. presentatievaardigheden levendigheid (houding, enthousiasme) ondersteunend mediagebruik (powerpoint, dia s helder en niet te vol) contact met publiek (oogcontact, beantwoording van vragen, discussie, interactiviteit) tijdgebruik stemgebruik, intonatie en articulatie onv. vold. Ruim vold. goed uitmunt. Oordeel in woorden m.b.t. I en II (sterke punten, verbeterpunten e.d.)...... 21
Instructie A. Beoordeling Bij ieder van de beoordelingsaspecten staat met liggende streepjes een aantal kernbegrippen aangegeven. Lees alle beoordelingsaspecten door voordat u de student op één betreffend aspect beoordeelt om te voorkomen dat de beoordeling "doorzingt" naar andere aspecten. Het is uitdrukkelijk de bedoeling om ieder beoordelingsaspect apart te beoordelen (dat wil zeggen: zonder te kijken naar wat u bij de andere aspecten heeft gegeven). B. Gebruik van het formulier Dit formulier dient enerzijds om de eindbeoordeling te uniformeren, anderzijds helpt het u om de student feedback te geven op zijn/haar prestaties. C. Schaalpunten Voor het geven van de schaalpunten kunt u het volgende in gedachten houden: 5: uitmuntend: behorend bij de top 2% van studenten, u ziet zo'n student wellicht niet meer dan eens in de 5 jaar. 4: goed: behorend bij de top 20% van studenten, u ziet zo'n student wellicht niet meer dan eens per jaar. 3: ruim voldoende: behorend bij 60% van studenten, u ziet zo'n student zeer regelmatig. 2: voldoende: 90% van de studenten hoort niet in deze categorie, Deze student komt u veel minder vaak tegen dan de goed-student. Het is de student die uitsluitend het strikt noodzakelijke doet om te slagen. 1: onvoldoende: 99% van de studenten hoort niet in deze categorie, De begeleiding zal de student in veel gevallen zodanig bijsturen dat deze voldoende leert en vaardigheden verwerft om toch (net) voldoende te scoren. D. Voorbeelden van interpretatie van de schaalpunten bij de diverse beoordelingsaspecten Beoordeling van het CAT-proces Onvoldoende voldoende ruim voldoende. goed uitmuntend 1. Zelfstandigheid: de student is in staat zelfstandig te werken De student werkt nauwelijks zelfstandig. De student moet sterk worden gestuurd door de begeleider, ziet eigen zwakke kanten nauwelijks. 2. Sociale en contactuele eigenschappen Iemand die geheel Heeft moeite met zijn eigen weg gaat en samenwerken. Treedt weinig adviezen van in overleg met begeleider. begeleider niet Hoort adviezen aan, maar opvolgt. gaat er selectief mee om. Reageert positief op kritiek, maar kan gedrag niet goed aanpassen. 3. Motivatie van de student Vindt het doen van Doet de CAT omdat het een CAT niet nodig moet. Werkt netjes en doet om een goede arts de CAT in de lijn van wat in worden. Loopt de het blokboek staat. Toont kantjes ervan af. geen interesse in de achtergrond van de CAT. De student kan zelfstandig werken, plannen en vraagt bijtijds adviezen. Werkt redelijk samen. Gebruikt adviezen en gebruikt kritiek bij verder handelen. Rapporteert over vorderingen. Is duidelijk geïnteresseerd in de CAT en ziet dit als een essentieel onderdeel van het (straks) arts zijn.. Ziet het kritisch beschouwen van medisch handelen als noodzakelijk om de geneeskunde verder te brengen. De student kan goed zelfstandig werken, heeft een goede planning. Is in staat te reflecteren op eigen werkzaamheden. Werkt goed samen. Vraagt adviezen alleen indien nodig en stimuleert anderen commentaar op zijn werk te geven. Weet commentaar goed te verwerken in verder handelen. Geeft regelmatig helderheid over voortgang. Werkt hard en ziet de CAT als een essentieel onderdeel van de geneeskunde. Is enthousiasmerend. Toont betrokkenheid, merkbaar aan de wens tot uitdragen van de gevonden CAT uitkomst middels presentatie en verslaglegging. De student werkt geheel zelfstandig, heeft een goede en realistische planning, reflecteert op eigen werkzaamheden en op eigen werkprocessen en vaardigheden. Werkt uitstekend samen en weet het voortouw te nemen. Vraagt aan begeleider en anderen adviezen indien nodig en stelt werk en zichzelf open voor kritiek. Weet commentaar te verwerken. Toont uitzonderlijke interesse In de achtergrond en uitkomsten van de CAT. Toont zich gedreven in het vergaren van kennis door o.a. alles te (willen) weten over het onderwerp. Gebruikt deze kennis en draagt deze uit. Kan in hoge mate mensen om zich heen enthousiasmeren. Beoordeling CAT verslag/bachelor scriptie Onvoldoende voldoende ruim voldoende. goed uitmuntend Chapter 1: Background/klinisch scenario 22
De student kan het klinisch scenario niet in een breder kader plaatsen en geeft niet aan waarom dit de basis vormt voor een CAT. De student beschrijft oppervlakkig de achtergrond van het klinisch scenario en geeft enig inzicht waarom dit de basis vormt voor de CAT Chapter 2: Critical Appraisal of a Topic 1. Klinische vraag De student kan niet De student heeft de de relevante relevante elementen uit het elementen van de CAT klinisch scenario samengevat uit het klinisch maar geen heldere vraag scenario in een korte geformuleerd. en bondige vraag samenvatten 2. Literatuur search De student heeft niet De student heeft zonder de juiste zoekstrategie duidelijke kennis van gebruikt zodat er PubMed een zoekstrategie geen of niet relevante geformuleerd waar wel enige artikelen zijn relevante artikelen uit zijn gevonden gekomen 3. Beoordeling artikelen De student heeft niet De student heeft aangegeven goed aangegeven wat wat de methodologische de methodologische kwaliteit van de artikelen is kwaliteit van de en geeft enig inzicht in de artikelen is en of de validiteit van de resultaten. resultaten valide of niet zijn. 4. Samenvatting van de gevonden literatuur De student is niet in De student heeft de staat om op resultaten op een overzichtelijke wijze onoverzichtelijke manier de resultaten van de samengevat maar geeft wel gevonden artikelen een acceptabeleconclusie weer te geven en van de gevonden literatuur. samen te vatten. 5. Commentaar bruikbaarheid De student is niet in staat op basis van de klinische vraag en de samenvatting van de literatuur tot een weloverwogen commentaar te komen. 6.Bottom Line De student geeft geen logisch antwoord op de klinische vraag De student is in staat op basis van de klinische vraag en de samenvatting van de literatuur tot een weloverwogen commentaar te komen. De student geeft een logisch antwoord op de klinische vraag. Chapter 3: future perspective De student kan de De student komt met een uitkomst van de CAT duidelijk en logisch vervolg niet in breder op de uitkomst van de CAT. perspectief plaatsen en niet aangeven wat er met de resultaten moet worden gedaan. De student beschrijft op een heldere manier de achtergrond van het klinisch scenario en geeft goed aan waarom dit de basis vormt voor de CAT De student heeft de relevante elementen uit het klinisch scenario samengevat en hier acceptabele vraag geformuleerd. De student heeft met goede kennis van PubMed een zoekstrategie geformuleerd waar wel relevante artikelen uit zijn gekomen De student geeft goed aan wat de methodologische kwaliteit aan van de gevonden artikelen en geeft goed inzicht in de validiteit van de resultaten. De student heeft de resultaten op een overzichtelijke manier samengevat en geeft een goede conclusie van de gevonden literatuur. De student is in staat de klinische vraag en de samenvatting van de literatuur goed te becommentariëren en een weloverwogen commentaar te komen in de juiste setting van het klinisch scenario. De student geeft een goed geformuleerd en logisch antwoord op de klinische vraag. De student kan de uitkomst van de CAT in breder perspectief plaatsen en goed aangeven wat eventuele vervolg stappen moeten zijn. De student beschrijft op een korte en heldere manier de achtergrond van het klinische scenario en toont inzicht te hebben in het mechanisme van klacht-ziekte en behandeling. Geeft goed aan waarom dit de basis vormt voor de CAT De student heeft de relevante elementen uit het klinisch scenario samengevat en een heldere vraag geformuleerd. De student heeft met heldere en uitgebreide zoekstrategie geformuleerd met gevorderde kennis van PubMed waar relevante artikelen uit zijn gekomen De student geeft uitgebreid aan wat de methodologische kwaliteit van de gevonden artikelen is en geeft uitstekend inzicht in de validiteit van de resultaten. De student heeft de resultaten op een overzichtelijke manier geanalyseerd en geeft een wel overwogen conclusie van de gevonden literatuur. De student is in staat de klinische vraag en de samenvatting van de literatuur in een breder perspectief te plaatsen en tot weloverwogen commentaar te komen in de juiste setting van het klinisch scenario. De student geeft een goed geformuleerd en bondig antwoord op de klinische vraag De student kan de uitkomst van de CAT in breder perspectief plaatsen en bespreken zodanig dat in een helder vervolgplan beschreven wordt wat de verdere stappen moeten zijn. De student beschrijft de achtergrond op review niveau in een internationaal tijdschrift en geeft uitstekend aan waarom dit de basis vormt voor de CAT. De student heeft de relevante elementen uit het klinisch scenario samengevat en een korte, bondige en heldere vraag geformuleerd. De student heeft met heldere en uitgebreide zoekstrategie geformuleerd met professionele kennis van PubMed waar relevante artikelen uit zijn gekomen De student geeft uitmuntend aan wat de methodologische kwaliteit van de gevonden artikelen is en geeft met bijna professioneel inzicht in de validiteit van de resultaten aan. De student heeft de resultaten op meta-analyse niveau weer en geeft een weloverwogen en juiste conclusie van de gevonden literatuur. De student is in staat op editorial niveau een commentaar te geven op de klinische in relatie tot de gevonden literatuur. De student geeft een zeer scherp en helder antwoord op de klinische vraag De student kan de uitkomst van de CAT in breder perspectief plaatsen en geeft uitstekend weer wat de vervolg acties moeten zijn met bijvoorbeeld een uitgewerkt onderzoeksvoorstel, voorstel voor een richtlijn oid. Presentatie CAT Onvoldoende voldoende ruim voldoende. goed uitmuntend 1. Inhoud en opbouw van de presentatie De presentatie heeft geen goede opening, de inhoud is niet onderbouwd, bottomline volgt niet duidelijk uit de gepresenteerde resultaten. Geen discussie. De presentatie geeft fragmentarisch beeld van de CAT. De CAT wordt wel goed gepresenteerd, maar de onderbouwing is matig. De lijn is niet altijd duidelijk en de bottom line volgt niet uit de gevonden en samengevatte literatuur. De discussie is zwak. De presentatie geeft redelijk beeld van de CAT,geeft aan wat de kernpunten zijn, maar kan soms duidelijker. De samenhang kan beter. Uitleg hoe men aan de bottom line komt, is niet altijd helder en plaatsing in een groter kader ontbreekt. De presentatie geeft volledig beeld van de CAT heldere opbouw in inleiding resultaten en discussie. Goede en duidelijk presentatie van de verschillende stappen van de CAT in een pakkend verhaal. Weet plaats de CAT in een algemeen kader uit te leggen. De presentatie heeft een zeer mooie en duidelijke opbouw, zeer goede inleiding, fraaie bespreking van verschillende CAT-stappen en uitstekende discussie met perspectief naar toekomstige implementatie. Heeft de status van "key note lecture" op 23
2. Presentatievaardigheden De student geeft een De student heeft een vlakke voorgelezen toon, veel stopwoorden, presentatie, geen matige dia's en dia's, geen contact weinig contact met publiek, met publiek, kan loopt uit in tijd. Kan wel vragen niet vragen beantwoorden en beantwoorden. de CAT toelichten. De student weet toehoorders wel te boeien, maar niet alert op reacties uit publiek. Nette dia's, die het publiek voor kennisgeving aanneemt. Net verstaanbaar, loopt uit in tijd. Goede discussie. De student geeft een levendige en enthousiaste presentatie, heldere formulering, goed verstaanbaar, mooie dia's, goed (oog)contact met publiek, goede tijdsplanning. een belangrijk internationaal congres. De student geeft een charismatische presentatie, prachtige audiovisuele ondersteuning, fraaie formulering, speelt in op publiek, laat ruimte voor discussie, goede tijdsplanning. 24
2 de Beoordeling CAT-verslag Datum: Naam student:. Naam beoordelaar:... Afdeling: Naam Begeleider. CAT- verslag: 2 de inhoudelijke beoordeling Oordeel in woorden (sterke punten, verbeterpunten e.d.)...... Eindoordeel CAT-verslag: cijfer 5-9 25
Beoordeling CAT-Begeleider door Student Begeleider:... Afdeling... Naam student:... Collegekaartnummer:... Bgeleiding gedurende het Cat-project 1. begeleiding: kennis van de stappen van de CAT houdt controle op het verloop van de CAT is makkelijk benaderbaar houdt zich aan afspraken reageert op vragen-emails benoemt sterke en zwakke kanten van de student geeft goede feedback 2. sociale/contactuele vaardigheden: samenwerking met student staat open voor kritiek / heeft zelfreflectie vraagt regelmatig naar de voortgang onv. vold. Ruim vold.. goed uitmunt. 3. motivatie van de Begeleider enthousiasme gedrevenheid bij het begeleiden van de CAT Oordeel in woorden (sterke punten, verbeterpunten e.d.)...... 26
Bijlage: Toetsprogramma CAT-project Omdat het maken van de CAT verschillende vaardigheden vraagt, is een toetsprogramma opgesteld waarbij de afzonderlijke onderdelen los van elkaar worden beoordeeld. Het eindcijfer bestaat uit een gewogen gemiddelde van de verschillende deelcijfers elk deelcijfer moet afzonderlijk voldoende zijn. Beoordeling Kennis en inzicht 1. Toets aan het eind van het CAT-blok 2. Zoekverslag 3. Beoordeling verslag (inhoud) Vaardigheid 4. Beoordeling CAT-presentatie (vorm en inhoud) 5. CiS beoordeling verslag (structuur - redeneringwetenschappelijk taalgebruik (Engels)) Professioneel gedrag 6. Beoordeling proces/samenwerking 7. CiS beoordeling werkgroep participatie/peer evaluatie % van het eindcijfer 10% 5% 30% 20% 15% 15% 5% Totaal 100% 27