Reproduceerbaarheid. 2.2 Categoriale/dichotome variabelen 17

Transcriptie

1 15 Reproduceerbaarheid.1 Kenmerken 16. Categoriale/dichotome variabelen Overeenstemming 17.. Kappa Interpretatie 19.3 Continue variabelen Pearson s correlatiecoëfficiënt 0.3. Spearman s correlatiecoëfficiënt Intraclass correlatiecoëfficiënt Interpretatie 4.4 Conclusie 5 Referenties 5 A. Verhagen, J. Alessie, Evidence based diagnostiek van het bewegingsapparaat, DOI / _, 014 Bohn Stafleu van Loghum, onderdeel van Springer Media BV

2 16 Hoofdstuk Reproduceerbaarheid Er komt een vrouw van 5 jaar bij de fysiotherapeut. De fysiotherapeut kent haar wel, ze is een enthousiast amateurvoetballer. Nu is ze tijdens een wedstrijd gevallen en heeft haar knie geblesseerd. Ze heeft geen idee hoe het is gebeurd, maar de knie is pijnlijk, een beetje dik en ze kan er niet goed mee lopen. Bij het lichamelijk onderzoek probeert de fysiotherapeut zicht te krijgen op de kans dat er iets is beschadigd: kniebanden, meniscus of misschien de kruisbanden. Daarvoor voert ze een aantal testen uit, zoals de schuifladetest, de McMurray-test en de Appley-test. Bij het consult is een stagiaire (4 e jaars student) van de opleiding fysiotherapie aanwezig. Hij is net die week begonnen en is er trots op dat hij een echte evidence based opleiding volgt. Ook hij wil graag het lichamelijk onderzoek uitvoeren, maar bij sommige tests komt hij tot een andere conclusie dan de fysiotherapeut zelf. Wat nu?.1 Kenmerken Reproduceerbaarheid refereert naar zowel de betrouwbaarheid (reliability) als de mate van overeenstemming (agreement) tussen twee metingen. De termen consistentie, reliability of agreement worden vaak als synoniemen gebruikt, maar er is ook een verschil. Onder de betrouwbaarheid van een diagnostische test wordt verstaan het vermogen om patiënten van elkaar te onderscheiden ondanks de meetfout. Een meetfout is het verschil tussen de ware uitkomst van een test en de geobserveerde uitkomst [Bruton et al., 000]. Komen twee beoordelaars tot dezelfde conclusie of niet? Reliability is een relatieve maat, en wordt vaak uitgedrukt in een correlatie. Bijvoorbeeld, twee beoordelaars meten bij 60 patiënten met schouderpijn een verschil van tot 0 graden in bewegingsomvang, maar relatief gezien is dit een klein verschil. Overeenstemming heeft vooral betrekking op de absolute meetfout van de test [De Vet et al., 006, 013]. Wanneer een beoordelaar een test bij dezelfde patiënten herhaalt spreken we van een intra beoordelaars reproduceerbaarheid (betrouwbaarheid of overeenstemming). Wanneer de beoordelaar steeds tot dezelfde uitkomsten komt is de intrabeoordelaars reproduceerbaarheid hoog. Synoniemen hiervan zijn test-hertestbetrouwbaarheid en stabiliteit van de uitkomsten. Wanneer meerdere beoordelaars de test bij dezelfde proefpersonen uitvoeren, spreekt men van een inter beoordelaars reproduceerbaarheid. Voor een wetenschappelijk onderzoek kunnen beide beoordelaars uitgebreid afspraken maken over de uitvoering van het lichamelijk onderzoek (dat noemt men standaardisatie). Dan neemt de interbeoordelaars reproduceerbaarheid toe. Aan de andere kant komt dit niet overeen met de dagelijkse praktijk waarbij er een brede variatie is in uitvoering van het lichamelijk onderzoek, en dientengevolge veelal een lagere interbeoordelaars reproduceerbaarheid. Het kan zijn dat de fysiotherapeut de tests toch wat anders uitvoert dan de stagiaire. Het feit dat de fysiotherapeut meer ervaren is dan de stagiaire kan meespelen, maar aan de andere kant voert de stagiaire de test vaak netjes volgens de regels uit zoals dat op de opleiding is gedoceerd. Als men geïnteresseerd is in de reproduceerbaarheid in de dagelijkse klinische praktijk dan moet men juist niet vooraf standaardiseren. Een belangrijke voorwaarde voor de reproduceerbaarheid is dat het te meten diagnostische kenmerk niet verandert. Met andere woorden, dat de patiënt tussen

3 17. Categoriale/dichotome variabelen. Tabel.1 Vierveldentabel Fysiotherapeut Positieve score Fysiotherapeut Negatieve score Totaal Stagiaire Positieve score Stagiaire Negatieve score 80 (a) 5 (b) (c) 40 (d) beide metingen niet verandert. Het herhaald uitvoeren van het lichamelijk onderzoek kan bijvoorbeeld tot gevolg hebben dat de patiënt gevoeliger wordt en eerder pijn aangeeft. Hierdoor vindt de tweede beoordelaar een andere score dan de eerste. Om maat en getal aan het begrip reproduceerbaarheid te kunnen verbinden kunnen verschillende parameters worden berekend. Hieronder bespreken we verschillende parameters van de reproduceerbaarheid, afhankelijk van of het gaat om dichotome variabelen (wel/niet positieve test) of continue variabelen (zoals graden bewegingsomvang).. Categoriale/dichotome variabelen..1 Overeenstemming Stel dat de stagiaire en de fysiotherapeut allebei de McMurray-test hebben uitgevoerd gedurende de hele stageperiode op 165 patiënten zonder dat ze van elkaar de uitslag weten. Dan kan de berekening van de overeenstemming gebeuren op basis van een hypothetische vierveldentabel, of -tabel (. Tabel.1). De berekening van de overeenstemming is als volgt: het aantal waarnemingen waarover beide beoordelaars het eens zijn (a + d)/totaal aantal waarnemingen (a + b + c + d) 100%. In dit geval: ( )/165 = 7,7%... Kappa De kappa is een maat voor het percentage overeenstemming dat wordt gecorrigeerd voor de toevallige overeenstemming. De fysiotherapeut en de stagiaire kunnen het namelijk ook bij toeval met elkaar eens zijn. Voor categorische variabelen is de waarde van de kappa een algemeen geaccepteerde maat voor de reproduceerbaarheid. Cohen s kappa De eerste keer dat er melding werd gemaakt van deze kappa was in 1960 door Jacob Cohen, vandaar dat het ook wel de Cohen s kappa wordt genoemd [Cohen, 1960]. Bij de Cohen s kappa is er sprake van twee beoordelaars. Vaak is er ook sprake van twee (of meer) categorieën (wel/niet positieve test) waarin geen logische volgorde zit. Andere voorbeelden van variabelen op een nominale schaal zijn haarkleur, geslacht,

4 18 Hoofdstuk Reproduceerbaarheid bloedgroep, enzovoort. Een kappa kan ook worden berekend met meer dan twee categorieën, bijvoorbeeld: geen/matige/goede/overmatige bewegingsomvang. De mate van bewegingsomvang is gemeten op een ordinale schaal, deze variabelen geven namelijk ook een rangorde weer. Om de kappa te kunnen berekenen moet je zowel de feitelijke overeenstemming als de toevallige overeenstemming berekenen [Bouter & Van Dongen, 005]. De feitelijke overeenstemming is (a + d)/totaal = ( )/165 = 7,7%. Voor de toevallige overeenstemming moet je eerst de toevallige overeenstemming in a en d uitrekenen: a-toeval = ((a + b) (a + c))/totaal; d-toeval = ((c + d) (b + d))/totaal. Vanuit. Tabel.1 krijg je dan 63,6 (a-toeval) en 3,6 (d-toeval). De toevallige overeenstemming is vervolgens weer (a-toeval + d-toeval) / totaal = 5,8%. De kappa wordt dan: (percentage feitelijke overeenstemming percentage toevallige overeenstemming)/ (percentage mogelijke overeenstemming toevallige overeenstemming) = (7,7% 5,8%)/(100% 5,8%) = 4,1% (of 0,4). Een bijzondere vorm van de kappa is de Fleiss kappa. Deze wordt gebruikt bij het berekenen van de door toeval gecorrigeerde overeenstemming tussen meer dan twee beoordelaars en twee of meer categorieën. Het berekenen ervan is vrij ingewikkeld en daar gaan we hier verder niet op in. Gewogen kappa Wanneer men een kappa wil berekenen tussen twee beoordelaars maar bij meer dan twee categorieën (bijvoorbeeld: geen/matige/goede/overmatige bewegingsomvang), waarbij het verschil tussen de beoordelaars van één categorie minder ernstig is (minder gewicht krijgt) dan een verschil in twee (of meer) categorieën dan kun je een gewogen kappa berekenen. Deze houdt namelijk rekening met de mate van het verschil in overeenstemming en er wordt een gewicht toegekend aan het verschil [Cohen, 1968]. Als de fysiotherapeut bijvoorbeeld bij een proefpersoon de knie een overmatige bewegingsomvang vindt en de stagiaire vindt het een matige bewegingsomvang dan is dat verschil ernstiger (twee categorieën) dan dat de stagiaire het een goede bewegingsomvang (één categorie verschil) vindt. Het berekenen hiervan is eveneens vrij ingewikkeld en daar gaan we hier ook niet op in. Specifieke overeenstemming Clinici zijn over het algemeen gelukkiger met het berekenen van de overeenstemming dan met de kappa. Het kan voorkomen dat een hoge overeenstemming toch een lage kappa oplevert. Dit is met name het geval wanneer in een patiëntengroep de prevalentie van de aandoening hoog is [Cichetti & Feinstein, 1990; Brennan & Silman, 199]. De toevallige overeenstemming wordt dan hoger, en de kappa lager. Als twee clinici willen weten wat hun mate van overeenstemming is bij individuele patiënten dan kan het informatiever zijn om uit te rekenen wat de overeenstemming is van een afzonderlijke positieve of negatieve uitslag, namelijk de specifieke overeenstemming [De Vet et al., 013]. Deze specifieke overeenstemming komt in veel gevallen beter tegemoet aan de vraag of twee beoordelaars in de dagelijkse praktijk tot eenzelfde diagnose komen dan de kappa. De specifieke overeenstemming voor een positieve uitslag, ook wel de positieve overeenstemming (positive agreement, PA) genoemd kan als volgt worden berekend: PA = a/(a + b + c) = * 80/ ( * ) = 78%. Een specifieke overeenstemming voor een negatieve uitslag (NA, negative agreement) wordt dan: d/(d + b + c) = 64%.

5 19. Categoriale/dichotome variabelen..3 Interpretatie Overeenstemming De overeenstemming is een absolute maat voor de overeenstemming tussen twee beoordelaars gegeven een groep proefpersonen. De mate van de overeenstemming ligt altijd tussen 0 (= geen overeenstemming) en 1 (= perfecte overeenstemming), ofwel 0-100%. De waarde van de overeenstemming is afhankelijk van een aantal zaken. Ten eerste is de overeenstemming afhankelijk van de frequentie van het afwijkende kenmerk (prevalentie van de aandoening). De echte prevalentie weet je niet, maar aangezien beide beoordelaars bij ongeveer 60% van de patiënten een positieve score vinden op de McMurray-test lijkt de aandoening in ongeveer 60% van de patiënten voor te komen (= prevalentie van 60%). Wanneer de afwijking in 10 procent van de gevallen voorkomt, is het mogelijk dat een ander percentage overeenstemming wordt gevonden. De mate van overeenstemming wordt namelijk beïnvloed door de (onbewuste) schattingen van de beoordelaars over hoe vaak de afwijking voorkomt in de groep proefpersonen. Het kan verschil maken of men als beoordelaar vermoedt dat ongeveer 60 procent van de proefpersonen de desbetreffende aandoening bezit, of ongeveer 10 procent. Daarnaast is het percentage overeenstemming ook afhankelijk van het toeval. Als men bijvoorbeeld twee beoordelaars een blinddoek voordoet en ze van 30 opeenvolgende individuen laat bepalen (raden) wat hun haarkleur is en ze kunnen kiezen uit donker of blond, is het duidelijk dat in veel gevallen hun conclusie overeenkomt. Om deze reden wordt vaak naast het percentage overeenstemming ook de kappa uitgerekend. Kappa Een kappa is een relatieve maat voor overeenstemming omdat het de absolute overeenstemming relateert aan de toevallige variatie in de betreffende groep proefpersonen. De kappa-waarde kan variëren tussen -1 en +1 (of -100% en 100%): een kappa van 0 betekent dat de overeenstemming tussen beoordelingen volledig op kans berust, een kappa van 1 (100%) is perfecte overeenstemming. Een kappa-waarde kleiner dat 0 betekent dat de overeenstemming kleiner is dan op basis van het toeval verwacht mag worden. Statistische significantie wordt in principe niet gerapporteerd bij een kappa, omdat een significantietoets vooral aangeeft of de gevonden kappa-waarde afwijkt van 0. Daarin zijn we niet geïnteresseerd. We willen juist weten hoe hoog de kappa is, ofwel hoe dicht deze bij de ideale waarde 1 ligt. Een 95% betrouwbaarheidsinterval (BI) rond de kappa is wel zinvol om te presenteren. In de literatuur worden verschillende afkappunten aangegeven bij welke waarden van de kappa een overeenstemming slecht, matig, redelijk of goed genoemd mag worden. De bekendste daarvan zijn die van Landis & Koch (1977): kappa < 0: geen overeenstemming, tussen als lichte, als geringe, als matige, als goede, en tussen als nagenoeg perfect overeenkomt [Landis & Koch, 1977]. Andere veelgebruikte afkappunten zijn van Fleiss: kappa > 0.75 is excellente overeenstemming, tussen is matig, en < 0.40 is slechte overeenstemming [Fleiss, 1981]. Al deze afkappunten zijn arbitrair. De interpretatie van de kappa wordt allereerst beïnvloed door de prevalentie van de aandoening. Meer nog dan het percentage overeenstemming is de kappa gevoelig

6 0 Hoofdstuk Reproduceerbaarheid voor de prevalentie. Een hoge (of lage) prevalentie zorgt voor een hoge toevallige overeenstemming, waardoor er weinig mogelijkheid meer is voor de beoordelaars om de echte overeenstemming te verhogen. Sommige auteurs raden daarom aan een prevalentie-index ((a - d)/totaal) te berekenen om te bepalen in hoeverre de prevalentie de kappa beïnvloedt [Sim & Wright, 005]. In het bovenstaande voorbeeld is de prevalentie-index ((80 40)/165 = 0.4). Wanneer de prevalentie-index in de buurt van de 1 of -1 komt dan is de invloed van de prevalentie op de kappa groot in vergelijking met wanneer de prevalentie-index bijna nul is. Daarnaast is de kappa ook afhankelijk van het verschil in positieve of negatieve scores tussen beide beoordelaars. De fysiotherapeute en de stagiaire hebben in. Tabel.1 ongeveer evenveel positieve als negatieve scores. Dat zou ook kunnen verschillen. Bijvoorbeeld, de fysiotherapeut vindt bij 100 patiënten een positieve score, maar de stagiaire niet bij 105 zoals in het voorbeeld, maar bij 150. Als dat verschil groot is wordt de kappa hoger. Men kan dit verschil ook berekenen en dat heet een bias-index: ((b c)/totaal) [Sim & Wright, 005]. Zowel de prevalentie-index als de bias-index worden zelden berekend want de meerwaarde van dit soort berekeningen is onduidelijk. Tot slot is de kappa afhankelijk van het aantal beoordelingscategorieën. Naarmate het aantal categorieën toeneemt, wordt het voor beoordelaars moeilijker iedereen in de goede categorie in te delen. In een dergelijk geval zal de kappa in het algemeen wat lager zijn. Voor de interpretatie van de waarde van een gewogen kappa verschilt deze niet met de interpretatie van een gewone kappa. Meestal is de waarde van de gewogen kappa iets hoger dan de gewone kappa. Dat komt omdat men er in veel gevallen slechts één categorie naast zit en die fouten worden minder zwaar meegewogen dan bij meer categorieën verschil..3 Continue variabelen Het bepalen van de mate van overeenstemming tussen bijvoorbeeld verschillende beoordelaars met behulp van continue variabelen vraagt andere rekenkundige technieken dan hierboven zijn beschreven. Voorbeelden van continue variabelen zijn de bewegingsuitslag van de knie gemeten in graden, of de temperatuur gemeten in graden Celsius..3.1 Pearson s correlatiecoëfficiënt De Pearson Product Moment Correlation Coefficient, die vaak wordt beschreven als de Pearson s r of gewoon de Pearson, is een veelgebruikte manier om de samenhang tussen twee variabelen (of twee beoordelaars) op een continue schaal uit te drukken. Het is genoemd naar Karl Pearson die deze maat heeft ontwikkeld. Deze correlatiecoëfficiënt geeft aan in hoeverre er een rechtlijnige samenhang bestaat tussen twee beoordelaars of beoordelingen (test-hertest). Stel nu dat de fysiotherapeut en de stagiaire de bewegingsomvang (ROM, range of motion) van de knie van zowel patiënten als gezonde mensen hebben gemeten met behulp van een goniometer. Ze hebben dit nagenoeg tegelijkertijd gedaan zodat

7 1.3 Continue variabelen 15,00 bewegingsomvang 100,00 75,00 50,00 5,00 0,00 40,00 60,00 80,00 100,00 10,00 patiënt of gezond gezond patiënt lijn: totaal fit rom. Figuur.1 Bewegingsomvang gemeten door de fysiotherapeut (Y-as) en door de stagiaire (X-as, rom) er geen verandering te verwachten is bij de patiënten en proefpersonen. Daarnaast hebben ze de meting onafhankelijk van elkaar (geblindeerd) gedaan, zodat ze elkaar niet konden beïnvloeden. Een grafische voorstelling van de gegevens (met behulp van een scatterplot ) is hier weergegeven (. Figuur.1). De Nederlandse vertaling van een scatterplot is puntenwolk. Elk puntje representeert één proefpersoon. In. Figuur.1 is ook het verschil te zien tussen de patiënten (zwarte stippen) en de gezonde proefpersonen (grijze sterren). Bij de berekening van de Pearson s r wordt een kunstmatige lijn door de puntenwolk getrokken. Hoe dichter de punten bij die rechte lijn liggen, des te hoger de correlatiecoëfficiënt. Een hoge Pearson s r houdt niet automatisch in dat de overeenstemming tussen beide beoordelaars hoog is. De correlatiecoëfficiënt geeft alleen aan in hoeverre er een rechtlijnige (lineaire) relatie tussen de metingen van de fysiotherapeut en de stagiaire bestaat. Er kan sprake zijn van een systematisch verschil tussen beide beoordelaars; bijvoorbeeld, de fysiotherapeut leest de goniometer steeds met 10 graden meer af dan de stagiaire. De overeenstemming is dan eigenlijk niet zo hoog, maar de Pearson s r kan wel hoog zijn. Als de mate van overeenstemming tussen twee beoordelaars alleen wordt uitgedrukt in een correlatiecoëfficiënt, levert dat wel wat informatie op,

8 Hoofdstuk Reproduceerbaarheid 0,00 verschil tussen rom en rom 10,00 0,00-10,00-0,00 0,00 40,00 60,00 80,00 100,00 10,00 patiënt of gezond gezond patiënt betekenis rom en rom. Figuur. Verschil tussen fysiotherapeut en stagiaire (Y-as) en het gemiddelde van beide (X-as) maar niet genoeg. Men weet niet in hoeverre er misschien systematische verschillen zijn tussen de beoordelaars. De Pearson s correlatiecoëfficiënt is een veelgebruikte en gemakkelijk te berekenen maat voor de correlatie tussen twee metingen. Het komt vaak voor dat de Pearson s r ten onrechte wordt verward met een maat voor overeenstemming. Om zicht te krijgen op mogelijke systematische verschillen tussen twee beoordelaars hebben de statistici Bland en Altman een eenvoudige grafische methode ontwikkeld om hier zicht op te krijgen: Bland & Altman-plot [Bland & Altman, 1986]. Daarvoor wordt een plot gemaakt met verticaal de verschilscores tussen de twee metingen (fysiotherapeut stagiaire) en horizontaal het gemiddelde verschil in bewegingsomvang (tussen beide beoordelaars) per proefpersoon, zoals is weergegeven in. Figuur... Figuur. laat duidelijker dan. Figuur.1 de verschillen zien tussen beide beoordelaars. De middelste horizontale lijn geeft de gemiddelde verschilscores aan en deze ligt op 3.5 graden. Dit betekent dat de fysiotherapeut gemiddeld vaker een grotere bewegingsomvang meet dan de stagiaire, want het gemiddelde verschil is groter dan 0. Er is dus sprake van een (klein) systematisch verschil tussen beide beoordelaars, dat niet zichtbaar wordt bij de berekening van een Pearson s r.

9 3.3 Continue variabelen ,0 0, 0,4 0,6 0,8 1,0. Figuur.3 Verschil tussen Spearman- en Pearson-correlatie (uit Wikipedia) Bland en Altman trekken de grenzen van overeenstemming (bovenste en onderste horizontale lijnen) zodanig dat 95% van de punten erbinnen valt; in dit voorbeeld dus tussen 13 en +0 graden. Het is belangrijk te bepalen wat men klinisch nog een aanvaardbaar verschil vindt tussen beoordelaars; vindt men 16.5 graden verschil klinisch niet-relevant, dan is hier sprake van voldoende overeenstemming [De Vet et al., 011]. De Pearson s correlatiecoëfficiënt is ook afhankelijk van een goede spreiding van de scores; wanneer bijvoorbeeld de fysiotherapeut grote spreiding in bewegingsomvang meet en de stagiaire eigenlijk elke keer bijna dezelfde bewegingsomvang, dan is het moeilijk om een goede lijn door de puntenwolk te trekken. Daarnaast hebben ook uitschieters invloed op de waarde van de correlatiecoëfficiënt. Daarom is het altijd goed om de gegevens in een figuur weer te geven zodat men kan bekijken of er iets vreemds is te zien..3. Spearman s correlatiecoëfficiënt Dit wordt ook wel de Spearman s rangcorrelatiecoëfficiënt genoemd (genoemd naar de bedenker Charles Spearman) omdat het een correlatiecoëfficiënt berekent op basis van de rangorde (rangnummers) van de gegevens in plaats van de gegevens zelf. Het is daarmee geschikt om een correlatie tussen variabelen op een ordinale schaal te berekenen. Het wordt ook veel gebruikt wanneer er geen rechtlijnige (of lineaire) samenhang is tussen de variabelen (zie. Figuur.3) en wordt om die reden ook wel non-parametrisch genoemd..3.3 Intraclass correlatiecoëfficiënt De intraclass correlatiecoëfficiënt (ICC) is een methode om de overeenstemming tussen meerdere beoordelaars te bepalen [Shrout & Fleiss, 1976]. Verder is het van belang of men bij de ICC geïnteresseerd is in de samenhang tussen de beoordelingen

10 4 Hoofdstuk Reproduceerbaarheid (consistency), waarbij de systematische verschillen tussen de beoordelaars minder belangrijk zijn, of dat men meer geïnteresseerd is in de precieze overeenstemming (absolute agreement). De ICC heeft een aantal voordelen boven de Pearson-correlatiecoëfficiënt. Allereerst kan de ICC wel rekening houden met systematische verschillen tussen de beoordelaars en de Pearson niet. Daarnaast kan men een ICC berekenen met meer dan twee beoordelaars. Net als de Pearson s r, is de ICC ook afhankelijk van een goede spreiding van de scores. Een nadeel van de ICC is dat er zeker acht verschillende berekeningsmethoden (formules) bestaan [Shrout & Fleiss, 1979; Muller & Buttner, 1994], die in verschillende situaties toegepast worden. Vaak gaat het bij reproduceerbaarheid om toevalsfouten tussen twee beoordelaars. In die gevallen heeft het berekenen van de Pearson s r de voorkeur boven de ICC, tenzij er systematische verschillen zijn. Alleen wanneer er meer dan twee beoordelaars zijn of duidelijke aanwijzingen voor systematische verschillen kun je een ICC berekenen, maar voor de keuze van de beste berekeningsmethode is het raadzaam een statisticus te raadplegen..3.4 Interpretatie Met name bij het uitvoeren van een diagnostische test met een continue uitkomst, bijvoorbeeld het meten van de bewegingsbeperking, is er altijd sprake van een variatie in de uitkomsten. De ene keer meet men een maximale bewegingsomvang van 10 graden en de volgende keer van 130 graden. De vraag is dan: hoe komt dat? Er is een aantal redenen waarom een verschillende bewegingsomvang wordt gemeten. Allereerst kan het zijn dat de patiënt de ene keer iets meer kan hebben dan de andere keer. Dit fenomeen wordt de werkelijke of biologische variatie genoemd. Daarnaast is het mogelijk dat de beoordelaar de ene keer iets nauwkeuriger te werk gaat en een andere waarde afleest dan de tweede keer. Dit heet de artificiële variatie ofwel een meetfout. De variatie door meetfouten is over het algemeen kleiner bij meerdere metingen van één beoordelaar (intrabeoordelaarsbetrouwbaarheid) dan tussen meerdere beoordelaars (interbeoordelaarsbetrouwbaarheid). Idealiter moeten bij het testen de meetfouten tot een minimum zijn gereduceerd (standaardisatie van de meetmethode) en moet men zicht hebben op de biologische variatie. Een goede standaardisatie is veelal niet goed mogelijk in de dagelijkse praktijk. Vandaar dat de meetfouten in de dagelijkse praktijk groter zijn dan uit reproduceerbaarheidsstudies naar voren komen. De waarde van de Pearson- en Spearman-correlatiecoëfficiënten ligt tussen -1 en 1. Hoe dichter de waarde bij 1 (of -1) ligt, des te hoger de correlatiecoëfficiënt. In het eerste geval is er sprake van een positieve correlatie: als de ene beoordelaar hogere waarden vindt, vindt de andere die ook. In het geval van een negatieve correlatie (r < 0), vindt de ene beoordelaar steeds lagere waarden, in tegenstelling tot de andere beoordelaar die steeds hogere waarden vindt (of per abuis de scoring heeft omgedraaid). Idealiter moet de correlatiecoëfficiënt bij reproduceerbaarheidsonderzoek zo dicht mogelijk bij 1 liggen. Een ICC is gedefinieerd als het aandeel ware variantie ten opzichte van de totale variantie en is daarmee net als de kappa een relatieve maat [Shrout & Fleiss, 1979].

11 Referenties 5 Het wordt uitgedrukt in een waarde tussen 0 en 1; de ICC is alleen maar gelijk aan 1 als de beoordelaars tot exact dezelfde score komen. Voor de Pearson-correlatiecoëfficiënt en de ICC gaan we ervan uit dat waarden > 0,7 een goede overeenstemming betekenen, tussen 0,5 en 0,7 een matige, tussen 0,3 en 0,5 een geringe en < 0,3 een slechte overeenstemming betekenen [Landis & Koch, 1977]. Soms worden bij de analyse ook significantiecijfers gepresenteerd. Deze significantiecijfers geven aan of het percentage overeenstemming dat wordt gevonden, significant van 0 (nul) afwijkt. Maar dat is niet wat men wil weten bij de reproduceerbaarheid van diagnostische testen. Men wil weten hoe dicht de correlatiecoëfficiënten bij 1 liggen. Daar geven de significantietesten geen informatie over. Centrale vraag bij de interpretatie van diagnostisch onderzoek is of de mate van overeenstemming tussen beoordelaars acceptabel is voor de klinische praktijk. Bij het berekenen van een correlatiecoëfficiënt bepaalt men van tevoren met welke waarden men tevreden is..4 Conclusie De fysiotherapeut en de stagiaire uit de casus zijn in het proces van de probabilistic reasoning. Het is niet specifiek in de casus genoemd, maar we gaan er voor het gemak van uit dat er, in het eerdere deel van het diagnostisch proces van de fysiotherapeut en stagiaire, blijkbaar geen reden was voor het terugverwijzen van de patiënte naar de huisarts vanwege bijvoorbeeld een fractuur. Bij het verfijnen van de initiële diagnose bleek er blijkbaar wel een reden om de patiënte te behandelen. Vervolgens proberen de fysiotherapeute en stagiaire te bepalen welke structuur is aangedaan. Naast een goede validiteit is duidelijk dat een goede reproduceerbaarheid daarbij essentieel is als we ervan uitgaan dat een patiënt met een meniscusletsel een duidelijk andere behandeling behoeft dan een iemand met een kruisbandletsel. Referenties Bland JM & Altman DG. (1986) Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986;i: Bouter LM & van Dongen MJCM. (005) Epidemiologisch onderzoek; opzet en interpretatie. Vijfde druk. Houten: Bohn Stafleu Van Loghum, 005 Brennan P & Silman A. (199) Statistical methods for assessing observer variability in clinical measures. BMJ 199;304: Bruton, A, Conway, J H & Holgate, S T (000). Reliability: What is it and how is it measured? Physiotherapy, 86,, Cicchetti DV & Feinstein AR. (1990) High agreement but low kappa, II: resolving the paradoxes. J Clin Epidemiol. 1990;43: Cohen J. (1960) A coefficient of agreement for nominal scales. Educ Psychol Meas 1960;0: Cohen J. (1968) Weighed kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psych Bull 1968;70(4):13 0. De Vet HC, Terwee CB, Knol DL & Bouter LM. (006) When to use agreement versus reliability measures. J Clin Epidemiol. 006;59(10): De Vet HCW, Mokkink LB, Terwee CB, Hoekstra OS & Knol DL. (013) Clinicians are right not to like Cohen s K. BMJ 013;346:f15

12 6 Hoofdstuk Reproduceerbaarheid De Vet HCW, Terwee CB, Mokkink LB & Knol DL. (011) Measurement in medicine; a practical guide. UK, Cambridge University Press 011. Fleiss JL. (1981) Statistical methods for rates and proportions.nd ed. Wiley series in probability and mathematical statistics. New York: Wiley, Landis J.R. & Koch G.G. (1977) The measurement of observer agreement for categorical data. Biometrics 1977;33 (1): Müller R & Büttner P. (1994) A critical discussion of intraclass correlation coefficients. Stat Med 1994;13: Shrout PE & Fleiss JL. (1979) Intraclass correlations: uses in assessing rater reliability. Psych Bull 1979;86: Sim J & Wright CC. (005) The kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther. 005 Mar;85(3):57 68.

13