Effecten van probleemgestuurd medisch onderwijs; 16 Nederlandse curriculumvergelijkingen

medische opleiding Effecten van probleemgestuurd medisch onderwijs; 16 Nederlandse curriculumvergelijkingen H.G.Schmidt De effecten van probleemgestuurd medisch onderwijs zijn in 16 studies onderzocht door middel van curriculumvergelijkingen. De resultaten van die vergelijkingen suggereren dat studenten en afgestudeerden van de probleemgestuurde medische opleiding van de Maastrichtse universiteit betere prestaties leveren op instrumenten die diagnostische redeneervaardigheden meten, in het domein van de sociale competenties en op het terrein van de medische (hand)vaardigheden. Geen verschillen werden ge vonden op het terrein van verworven medische kennis. Echter: differentiële uitval van studenten uit de vergeleken programma s zou effecten op dit terrein kunnen maskeren. Ned Tijdschr Geneeskd. 2006;150:1085-9 Dit jaar is het 30 jaar geleden dat de Universiteit Maastricht officieel werd opgericht. Twee jaar daarvoor al, in 1974, arriveerde de eerste groep van medisch studenten om deel te gaan nemen aan een ook in internationaal opzicht revolutionair curriculum. Naar het voorbeeld van de medische faculteit van de McMaster University in Hamilton, Canada, gingen studenten werken in kleine groepen aan biomedische of klinische problemen. Het aantal colleges dat per week werd gegeven, was beperkt: vaak niet meer dan 1 of 2. Studenten moesten vooral door middel van zelfstudie leren, daarbij gestuurd door problemen. De veronderstelling die aan die aanpak ten grondslag lag, was dat studenten op die manier kennis zouden vergaren die direct relevant was voor de problemen die zij ook in hun latere beroepspraktijk zouden tegenkomen. Die kennis zou daarom beter onthouden worden. Ook zou probleemgestuurd onderwijs hen wellicht helpen de noodzakelijke klinische redeneervaardigheden te verwerven. 1 Daarnaast zou in het curriculum veel nadruk liggen op professionele en sociale vaardigheden. Daartoe werd een zogenaamd Skillslab ingericht waarin de studenten vanaf het eerste jaar getraind zouden worden in deze vaardigheden. 2 Nu, 30 jaar later, kan worden geconstateerd dat de populariteit van probleemgestuurd onderwijs als onderwijskundige innovatie onmiskenbaar is, zowel in Nederland als daarbuiten. Op dit moment maakt bijvoorbeeld de meerderheid van de medische faculteiten in de Verenigde Staten op een of andere wijze gebruik van onderwijs in kleine groepen en aan de hand van klinische problemen. 3 Bijna alle Australische medische faculteiten hebben probleemgestuurd onderwijs geadopteerd als methode van onderwijs, en ook in Erasmus Universiteit, Instituut voor Psychologie, Postbus 1738, 3000 DR Rotterdam. Hr.prof.dr.H.G.Schmidt, psycholoog (schmidt@fsw.eur.nl). Groot-Brittannië, Zweden en Duitsland zijn curricula ontstaan die gebaseerd zijn op deze ideeën. Echter, over het antwoord op de vraag of probleemgestuurd onderwijs een effectieve vorm van onderwijs is, verschillen de meningen. 4 In deze bijdrage bespreek ik 16 studies waarin de prestaties van Maastrichtse medisch studenten en afgestudeerden werden vergeleken met die van medisch studenten en afgestudeerden opgeleid aan medische faculteiten met een conventioneel onderwijsprogramma. Ik beperk mij daarbij tot curriculumvergelijkingen op het terrein van de verworven medische kennis, diagnostische vaardigheden, medische vaardigheden, en de algemene professionele competenties die bij iedere academisch gevormde verwacht mogen worden (tabel); 5-16 ander, meer experimenteel, onderzoek naar effecten van probleemgestuurd onderwijs is elders samengevat. 17 Dit overzicht is bedoeld om een indicatie te geven van de effecten die probleemgestuurd onderwijs op Nederlandse medisch studenten heeft. medische kennis De Maastrichtse medische faculteit heeft al in de jaren zeventig een kennistoets ontwikkeld die bestaat uit vragen afkomstig van alle vakgebieden die aan het curriculum bijdragen. De toets wordt 4 keer per jaar bij alle studenten afgenomen, onafhankelijk van het jaar waarin die studenten zitten. Bij elke afname wordt een nieuwe versie van die toets gecreëerd. Studenten moeten voortgang in hun prestaties tonen bij elke afname, vandaar de naam voortgangstoets. 18 De toets heeft een grote meetbetrouwbaarheid en validiteit. 18 Al in de late jaren zeventig en de vroege jaren tachtig zijn de prestaties van studenten van verschillende faculteiten op deze toets met elkaar vergeleken. 5 Het betrof 4 vergelijkingen van alle Maastrichtse studenten en grote groepen 1085

Vergelijkingen van prestaties van studenten en afgestudeerden van het Maastrichtse probleemgestuurde medisch curriculum met die van andere medische faculteiten op verschillende uitkomstmaten 5-16 eerste auteur; jaar van publicatie groepen waarmee vergeleken werd statistisch significante verschillen medische kennis beantwoorden van kennisvragen Verwijnen; 1990 5 vrijwilligers van faculteiten A en B*, mei 1979-september 1980 B beter dan Maastricht en A vrijwilligers van faculteiten A en B, september-november 1981 B beter dan Maastricht en A vrijwilligers van faculteiten A, en B, aselecte steekproef van C, geen maart-september 1983 aselecte steekproef van faculteit C, maart 1983 geen Verhoeven; 1998 6 vrijwilligers van de Nijmeegse faculteit, december 1994 geen vrijwilligers van de Nijmeegse faculteit, maart 1995 geen Van der Vleuten; 2004 7 populaties van de Groningse en Nijmeegse faculteit; Maastricht en Groningen beter dan Nijmegen eerste 4 jaar van de Leidse faculteit en Leiden Prince; 2003 8 steekproeven van alle 7 andere faculteiten geen zelfoordeel Schmidt; 2006 11 afgestudeerde vrijwilligers uit Rotterdam Rotterdam beter dan Maastricht diagnostisch redeneren opstellen van diagnosen bij casusbeschrijvingen Schmidt; 1996 9 vrijwilligers uit Groningen en Amsterdam Maastricht en Amsterdam beter dan Groningen Schuwirth; 1999 10 vrijwilligers uit Groningen Maastricht beter dan Groningen interpersoonlijke vaardigheden beoordeling door observatoren Van Dalen; 2002 13 vrijwilligers uit Leiden Maastricht beter dan Leiden zelfoordelen Prince; 2005 12 afgestudeerde vrijwilligers van 4 ongespecificeerde medische faculteiten Maastricht beter dan de andere 4 faculteiten medische (hand)vaardigheden lichamelijk onderzoek beoordeeld door observatoren Scherpbier; 1997 14 vrijwilligers uit Groningen Maastricht beter dan Groningen beantwoorden van kennisvragen over lichamelijk onderzoek Remmen; 1999 15 vrijwilligers uit Gent en Antwerpen Maastricht beter dan Gent en Antwerpen Remmen; 2001 16 vrijwilligers uit Gent, Antwerpen en Groningen Maastricht beter dan Groningen; beide beter dan Gent en Antwerpen zelfoordeel cognitieve vaardigheden probleemoplossen, informatie zoeken: zelfoordelen academische vaardigheden doen van onderzoek, schrijven, presenteren: zelfoordelen Schmidt; 2006 11 afgestudeerde vrijwilligers uit Rotterdam geen *De faculteiten waarmee vergelijkingen gemaakt werden, waren geanonimiseerd. Het betrof die van Groningen, Leiden en Nijmegen. 1086

vrijwilligers van 3 andere universiteiten. De toetsen bevatten daartoe ook vragen die door de faculteiten waarmee vergeleken werd, ingebracht waren. Studenten van een van die faculteiten scoorden in 2 vergelijkingen hoger dan studenten van de andere faculteiten, inclusief die uit Maastricht. Er waren echter geen verschillen tussen de groepen zesdejaarsstudenten. 5 In 1998 werd een artikel gepubliceerd met 2 vergelijkingen tussen alle studenten uit Maastricht en het merendeel van de studenten van de medische faculteit van de Radboud Universiteit Nijmegen. 6 Er werden bij beide afnamen geen statistisch significante verschillen gevonden. Een andere studie betrof alle studenten van 4 Nederlandse medische faculteiten: die van de Universiteit Maastricht, Radboud Universiteit Nijmegen, Rijkuniversiteit Groningen en Universiteit Leiden. 7 Al deze studenten ondergaan sinds een paar jaar de voortgangstoets 4 keer per jaar als onderdeel van een interfacultaire samenwerking. Daar het artikel zich concentreerde op die samenwerking wordt in het artikel enkel een grafiek getoond zonder verdere getalsmatige informatie. De grafiek suggereert dat de studenten van de Groningse en van de Maastrichtse universiteit iets betere resultaten behaalden op deze toets dan studenten van beide andere instellingen. Tenslotte is er een vergelijkende studie gedaan naar kennis van anatomie. 8 De breed gedeelde veronderstelling die aan die studie ten grondslag lag, was dat studenten uit een probleemgestuurd medisch curriculum minder kennis van de basisvakken zouden hebben dan hun traditioneel opgeleide collega s. Steekproeven vierdejaarsstudenten van alle 8 medische faculteiten namen deel aan dit onderzoek. Er bleken tussen de verschillende faculteiten geen statistisch significante verschillen te bestaan in kennis van dit basisvak. Samengevat: de 8 vergelijkingen die in de loop der jaren in Nederland zijn uitgevoerd, lieten geen grote verschillen zien tussen de betrokken instellingen in termen van de hoeveelheid medische kennis opgedaan door studenten van die instellingen. Deze conclusie komt overeen met die van internationale reviews. 4 19 Deze laten aan de ene kant zien dat er weinig reden is te twijfelen aan het algemene kennisniveau van studenten opgeleid in de context van een probleemgestuurd medisch curriculum; dat niveau is vergelijkbaar met dat van studenten opgeleid onder het meer conventionele regime. Anderzijds waren deze uitkomsten enigszins teleurstellend voor degenen die op grond van experimenteel onderzoek naar effecten van probleemgestuurd onderwijs 17 20 veronderstelden dat studenten eerder opgedane kennis beter en langer zouden onthouden (zie verder). diagnostisch redeneren Er is tot nu toe betrekkelijk weinig onderzoek gedaan naar het antwoord op de vraag of studenten die probleemgestuurd medisch onderwijs gevolgd hebben beter zijn in het oplossen van diagnostische problemen dan studenten die conventioneel onderwijs hebben gevolgd. Een uitzondering is een studie bij studenten van het Rush Medical College in Chi cago. 21 In Nederland zijn 2 onderzoekingen verricht. In de eerste studie werden Maastrichtse, Groningse en Amsterdamse vrijwilligers uit verschillende studiejaren getoetst met een instrument bedoeld om diagnostisch redeneren te meten. 9 Dat instrument bestond uit 30 casusbeschrijvingen die betrekking hadden op alle orgaansystemen en epidemiologisch representatief waren voor de Nederlandse gezondheidszorg. Deelnemers schreven voor elk van die casussen een differentiaaldiagnose op en het aantal correcte diagnosen werd geteld. Bij statistische toetsing van de resultaten deden de studenten van het probleemgestuurde Maastrichtse en van het toen in opbouw zijnde patiëntgebaseerde Amsterdamse curriculum het statistisch significant beter dan de Groningse studenten die toen nog een conventioneel curriculum volgden (Groningen heeft sindsdien het curriculum veranderd). De verschillen waren overigens niet erg groot en traden tussen Maastricht en Groningen pas op in de laatste jaren van de studie. De conclusie moet hier luiden dat probleemgestuurd onderwijs niet tot duidelijk verschillende prestaties leidde: studenten uit Maastricht deden het wel statistisch significant beter dan studenten uit Groningen, maar dat gold ook voor de Amsterdamse studenten. In een tweede studie kregen studenten uit Maastricht en Groningen 60 korte casusbeschrijvingen voorgelegd. 10 De Maastrichtse studenten scoorden ook in deze studie statistisch significant hoger, maar, net als bij de hiervóór genoemde studie, leek het effect geconcentreerd in het vijfde en zesde studiejaar. Bovendien was het effect, evenals bij de andere studie, niet heel groot; de onderzoekers schatten het op een 8% betere prestatie. Samengevat: probleemgestuurd onderwijs leek invloed te hebben op de diagnostische competentie van studenten, maar effecten werden pas zichtbaar wanneer studenten gingen werken met echte patiënten in de klinische stages. overige professionele competenties In een studie onder een grote groep afgestudeerde artsen van de medische faculteiten van Maastricht en Rotterdam werd deelnemers gevraagd zichzelf te beoordelen op 18 professionele competenties. 11 De oudste deelnemers waren 19 jaar geleden afgestudeerd; de gemiddelde tijd verlopen sinds afstuderen, was iets meer dan 9 jaar. De competenties betroffen sociale vaardigheden zoals het vermogen met anderen samen te werken, cognitieve vaardigheden zoals 1087

het vermogen om snel relevante informatie op te sporen, algemene academische vaardigheden zoals vaardigheid in het doen van wetenschappelijk onderzoek of het schrijven van een rapport, en medische (hand)vaardigheden zoals het verrichten van lichamelijk onderzoek. De afgestudeerden van de probleemgestuurde medische opleiding schatten zichzelf vooral hoger in wat betreft het beheersen van sociale competenties. 11 Het grote verschil op 12 13 22 dit terrein wordt ook in ander onderzoek gevonden. Het wordt mede toegeschreven aan het feit dat studenten in een probleemgestuurd curriculum veel met anderen moeten samen werken in kleine groepen en dus meer kansen krijgen die vaardigheden te oefenen. 11 Ook op het terrein van de cognitieve vaardigheden werd een verschil geconstateerd, maar dat was wat kleiner. 11 Op het terrein van de algemene academische competenties werd nauwelijks verschil gevonden. 11 Tenslotte meenden afgestudeerden van de probleemgestuurde opleiding dat zij de medische vaardigheden op een hoger niveau beheersen dan hun collega s die elders zijn afgestudeerd. 11 Deze laatste bevinding komt overeen met die van enkele andere studies. 14-16 In een daarvan vergeleek men prestaties van 2 groepen Maastrichtse studenten op een vaardigheidstoets met die van Groningse studenten. 14 De Maastrichtse studenten leverden een duidelijk betere prestatie. In 2 studies werd onderzoek gedaan naar kennis over vaardigheden (een variabele die samenhangt met feitelijk vaardigheidsniveau) van vrijwilligers uit 4 studiejaren van de medische faculteiten van Maastricht, Groningen, Antwerpen en Gent. 15 16 De Nederlandse studenten haalden aanzienlijk hogere scores op deze toets dan de Belgische. Daarnaast deden Maastrichtse studenten het beter dan Groningse, met name in de 2 laatste studiejaren. Evenals bij de studies over diagnostische vaardigheden waren de effecten van probleemgestuurd onderwijs pas zichtbaar tijdens de klinische stages. Er lijkt een incubatie-effect van het geleerde in de eerste 4 jaar te zijn; blijkbaar beginnen studenten in een probleemgestuurd curriculum pas werkelijk van hun opleiding te profiteren in het contact met patiënten. 9 beschouwing Vergelijkend onderzoek naar effecten van opleidingen kent veel problemen. Niet alleen mag niet zonder meer worden aangenomen dat de te vergelijken groepen vergelijkbaar waren toen ze met hun opleiding begonnen; tijdens de opleiding veranderen de betrokken groepen nog van samenstelling door uitval en studievertraging. De studies die hiervoor zijn samengevat, lijden daarnaast deels aan het euvel dat in veel gevallen populaties van medisch studenten uit Maastricht werden vergeleken met steekproeven van vrijwilligers van andere universiteiten. Daar waar het mogelijk was dit te onderzoeken, bleken vrijwilligers de betere studenten te zijn, waardoor de resultaten van een aantal van de studies mogelijkerwijs gebiast zijn tegen de effecten van probleemgestuurd onderwijs. 6 Dit kan in het bijzonder het geval zijn geweest voor de studies waarbij kennis werd getoetst. In de enige studie waarin complete populaties van studenten betrokken waren, deden degenen die een probleemgestuurde opleiding volgden het (wat) beter, 7 evenals studenten van de Groningse opleiding (prof.dr.c.p.m.van der Vleuten, schriftelijke mededeling, 2005). Vertekening door verschillen in differentiële uitval en vertraging is een ernstiger probleem, omdat de Maastrichtse opleiding sinds jaar en dag hogere rendementen heeft dan de andere opleidingen. Over de periode 1989-2001 leverde die opleiding na 6 jaar 24% meer afgestudeerden af dan de andere en na 9 jaar nog steeds 11% meer. Deze percentages wijken zelfs consequent statistisch significant af van de snelste van de andere faculteiten, de Nijmeegse opleiding. Dit differentieel rendement zou kunnen leiden tot maskering van effecten van probleemgestuurd onderwijs: omdat elders meer studenten met lage cijfers zijn weggeselecteerd, wordt het feitelijk onmogelijk om in curriculumvergelijkingen effecten van probleemgestuurd onderwijs op studieprestaties te constateren. Dat zou ook verklaren waarom in experimentele studies wél 20 en in curriculumvergelijkingen geen effect van probleemgestuurd onderwijs op het kennisniveau van studenten gevonden wordt. Belangenconflict: geen gemeld. Financiële ondersteuning: geen gemeld. Aanvaard op 10 februari 2006 Literatuur 1 Tiddens HA, Willighagen RGJ, Wijnen WHFW. Medisch onderwijs in ontwikkeling. Med Contact. 1975;30:1077-85. 2 Lodewick L, Schmidt HG, Lulofs R. Het onderwijs in medische vaardigheden. Med Contact. 1976;31:775-8. 3 Association of American Medical Colleges (AAMC). AAMC curriculum directory. Washington: AAMC; 2005. 4 Colliver JA. Effectiveness of problem-based learning curricula: research and theory. Acad Med. 2000;75:259-66. 5 Verwijnen GM, Vleuten CPM van der, Imbos T. A comparison of an innovative medical school with traditional schools: an analysis in the cognitive domain. In: Nooman Z, Schmidt HG, Ezzat E, editors. Innovation in medical education, an evaluation of its present status. New York: Springer; 1990. 6 Verhoeven BH, Verwijnen GM, Scherpbier AJJA, Holdrinet RSG, Oeseburg B, Bulte JA, et al. An analysis of progress test results of PBL and non-pbl students. Med Teacher. 1998;20:310-6. 1088

7 Vleuten CPM van der, Schuwirth LWT, Muijtens AMM, Thoben AJNM, Cohen-Schotanus J, Boven CPA van. Cross institutional collaboration in assessment: a case on progress testing. Med Teacher. 2004;26: 719-25. 8 Prince K, Mameren H van, Hylkema N, Drukker J, Scherpbier AJJA, Vleuten CPM van der. Does problem-based learning lead to deficiencies in basic science knowledge? An empirical case on anatomy. Med Educ. 2003;37:15-21. 9 Schmidt HG, Machiels-Bongaerts M, Hermans H, Cate TJ ten, Venekamp R, Boshuizen HPA. The development of diagnostic competence: comparison of a problem-based, an integrated, and a conventional medical curriculum. Acad Med. 1996;71:658-64. 10 Schuwirth LW, Verhoeven BH, Scherpbier AJJA, Mom EM, Cohen- Schotanus J, Rossum HJ van, et al. An inter- and intra-university comparison with short case-based testing. Adv Health Sci Educ Theory Pract. 1999;4:233-44. 11 Schmidt HG, Vermeulen L, Molen HT van der. Long-term effects of problem-based learning: a comparison of competencies acquired by graduates of a problem-based and a conventional medical school. Med Educ. [ter perse]. 12 Prince KJ, Eijs PW van, Boshuizen HPA, Vleuten CPM van der, Scherpbier AJJA. General competencies of problem-based learning (PBL) and non-pbl graduates. Med Educ. 2005;39:394-401. 13 Dalen J van, Kerkhofs E, Knippenberg-van den Berg BW van, Hout HA van den, Scherpbier AJJA, Vleuten CPM van der. Longitudinal and concentrated communication skills programmes: two Dutch medical schools compared. Adv Health Sci Educ Theory Pract. 2002;7:29-40. 14 Scherpbier AJJA. De kwaliteit van vaardigheidsonderwijs gemeten [proefschrift]. Maastricht: Universiteit Maastricht; 1997. 15 Remmen R, Derese A, Scherpbier AJJA, Denekens J, Hermann I, Vleuten CPM van der, et al. Can medical schools rely on clerkships to train students in basic clinical skills? Med Educ. 1999;33:600-5. 16 Remmen R, Scherpbier AJJA, Vleuten CPM van der, Denekens J, Derese A, Hermann I, et al. Effectiveness of basic clinical skills training programmes: a cross-sectional comparison of four medical schools. Med Educ. 2001;35:121-8. 17 Schmidt HG, Moust JHC. Processes that shape small-group tutorial learning: a review of research. In: Evensen DH, Hmelo CE, editors. Problem-based learning: a research perspective on learning interactions. Mahwah: Erlbaum; 2000. p. 19-52. 18 Vleuten CPM van der, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teacher. 1996;18:103-9. 19 Albanese MA, Mitchell S. Problem-based learning: a review of literature on its outcomes and implementation issues. Acad Med. 1993;68: 52-81. 20 Grave WS de, Schmidt HG, Boshuizen HPA. Effects of problem-based discussion on studying a subsequent text: a randomized trial among first year medical students. Instr Sci. 2001;29:33-44. 21 Hmelo CE. Problem-based learning: effects on the early acquisition of cognitive skill in medicine. J Learn Sci. 1998;7:173-208. 22 Santos-Gomez L, Kalishman S, Rezler AG, Skipper B, Mennin SP. Residency performance of graduates from a problem-based and a conventional curriculum. Med Educ. 1990;24:366-75. Abstract Effects of problem-based medical education: 16 Dutch curriculum comparisons. The effects of problem-based medical education on student performance were studied by curriculum comparison in 16 Dutch studies. The results suggest that students and graduates of the problem-based medical curriculum of Maastricht University in the Netherlands perform better on tests of diagnostic reasoning ability, in the area of interpersonal skills and in practical medical skills such as physical examination. No differences were found with respect to acquired medical knowledge. However, differential drop-out rates of students from the curricula compared may have masked the effects in this area. Ned Tijdschr Geneeskd. 2006;150:1085-9 1089