Meetinstrumenten: lesindeling

Transcriptie

1 9-0- Evidence Based Verpleegkundig Handelen Onderzoeksmethodologie Meetinstrumenten INHOUD Juul Lemey Joris Leys Patricia Claessens Academiejaar 0-0 Meetinstrumenten: lesindeling Inleiding Soorten meetinstrumenten en vraagvormen INLEIDING Meetinstrumenten....formaliseren de werkelijkheid Meestal in codes of cijfers..ordenen en structureren de werkelijkheid Met welk meetinstrument ben je al geconfronteerd geweest binnen de verpleegkundige praktijkvoering? Bij deze omzetting gaat een deel van de werkelijkheid verloren Voorbeelden: Koortsthermometer Weegschaal ZBI-

2 9-0- Meetinstrumenten Keuze meetinstrument Wat meten? Bepaald door onderzoeksvraag Biofysische kenmerken Vb. gewicht Menselijke eigenschappen Vb. pijn, angst, eenzaamheid Bestaande instrumenten Bruikbaar voor eigen onderzoeksvraag? Gevalideerd? Vertaling nodig? Nieuw instrument ontwikkelen Databanken meetinstrumenten UGent FOD Volksgezondheid healthcareprofessions/nursingpractitioners/evidenc ebasednursing/index.htm#.vq_cwu0wdk 9 9/0/ SOORTEN MEETINSTRUMENTEN & VRAAGVORMEN Onderzoeksmethodologie Soorten meetinstrumenten Telsystemen Vb. Aantal patiënten Fysische en biologische instrumenten Enkelvoudige fysische parameters Vb. Weegschaal Complexe parameters Observatielijsten Vb. Katz (ADL) Zelfbeoordelingsinstrumenten Vb. Lassi Kennistesten Vb. Kennistesten wondzorg (DigiWond) Vragenlijsten voor interviews Gestructureerd, niet-gestructureerd of semigestructureerd

3 9-0- Vraagvormen Open vraag Gesloten vraag Meerkeuzevraag Meerdere antwoordopties Eén antwoordoptie Dichotome vraag Likert-schaal Guttman-schaal Semantische differentiaal-schaal Visuele analoge schaal Gemengde vraagvormen Vraagvormen Likert-schaal Standpunt innemen tegenover een bepaald thema door te reageren op een aantal items Meestal antwoordmogelijkheden Zeer sterk mee oneens mee oneens weet niet mee eens zeer sterk mee eens Foute en goede antwoorden bestaan niet Voorbeeld Likert-schaal Vraagvormen Guttman-schaal = cumulatieve schaal Positieve of negatieve uitspraken met betrekking tot één begrip Wel of niet akkoord Uitspraken vaak in opklimmende moeilijkheidsgraad Wanneer bijv. 80% op eerste vraag ja antwoord dan zal dit in de volgende vraag per definitie minder zijn Score 8 = akkoord met stelling -8 en niet met de hogere stellingen Voorbeelden Katz-schaal, Bogardus sociale afstandschaal Voorbeeld: Guttman-schaal Minst extreem I believe that this country should allow more immigrants in. I would be comfortable with new immigrants moving into my community. It would be fine with me if new immigrants moved onto my block. I would be comfortable if a new immigrant moved next door to me. I would be comfortable if my child dated a new immigrant. I would permit a child of mine to marry an immigrant. Meest extreem Attitudes towards immigration Voorbeeld: Guttman-schaal Attitudes towards immigration (Trochim, 00) (Trochim, 00)

4 9-0- Voorbeeld: Katz-schaal Vraagvormen Semantisch differentiaalschaal Twee tegenovergestelde woorden tegenover elkaar plaatsen Extremen of ankers Geen goed of fout Doel = zicht krijgen op standpunt van respondent ten aanzien van deze extremen Taalgevoeligheid Nadelig bij non-native speakers 0 Voorbeeld: semantisch differentiaalschaal Onderzoek wederzijdse beeldvorming verpleegkundigen artsen Kunt u aangeven in hoeverre u onderstaande omschrijvingen van toepassing vindt op verpleegkundigen? Verpleegkundigen zijn in de regel. Volgzaam assertief (q geen mening) Bescheiden arrogant (q geen mening) Toegankelijk niet toegankelijk (q geen mening) Vraagvormen Visueel Analoge schaal (VAS) Twee extremen aan het uiteinde van een (niet-gemarkeerde) lijn Respondent dient op het lijnstuk van 0 centimeter aan te geven waar hij zich situeert tussen de twee extremen Duidelijk definiëren wat 0 en 0 of begin en einde betekenen (Browers & Barett, 009) Voorbeelden: VAS Voorbeeld: pijn meten

5 9-0- Voorbeeld: pijn meten Voorbeeld: pijn meten Voorbeeld: pijn meten MEETINSTRUMENTEN BEOORDELEN Evalueren van de waarde van een meetinstrument: Bruikbaarheid Betrouwbaarheid Validiteit Hanteerbaarheid Specificiteit en sensitiviteit Bruikbaarheid. Aansluitend bij de theoretische achtergrond? Meet het instrument wat je wilt meten? Match met onderzoeksvraag. In welke context is het instrument oorspronkelijk zijn gebruikt? Sluiten deze context aan met de context van het onderzoek of werkdomein?. Is de psychometrie al getoetst of niet? 9 0

6 9-0- Evalueren van de waarde van een meetinstrument Bruikbaarheid Betrouwbaarheid Validiteit Hanteerbaarheid Specificiteit en sensitiviteit Betrouwbaarheid definiëringen ( componenten) Consistentie: bij herhaalde metingen hetzelfde resultaat? Vb.: persoon weegt 80kg. Eén minuut later 8 kg (zelfde weegschaal). Weegschaal onbetrouwbaar want resultaat. Dus: hoe minder variatie bij herhaalde meting, hoe betrouwbaarder. Betrouwbaarheid Nauwkeurigheid of accuraatheid: De gemeten waarde reflecteert de echte waarde zo goed mogelijk of De foutenmarge is zo klein mogelijk Vb. Meting gewicht bij persoon van 0 kg (echte gewicht) bedraagt kg. Grote foutenmarge, dus onbetrouwbaar. Betrouwbaarheid Is steeds toegepast op Bepaalde populatie Ouderen, psychiatrische patiënten,.. Mannen, vrouwen, Door bepaalde beroepsbeoefenaars Verpleegkundigen, psychologen,.. In een bepaalde context Rustoord, thuis, alleenstaanden, Afnemers/beoordelaars Betrouwbaarheid Betrouwbaar in de ene context is niet automatisch betrouwbaar in een andere context Transfer is niet altijd mogelijk Kan een meetinstrument voor pediatrie zomaar worden overgenomen voor volwassenen? Kan een meetinstrument uit Finland dat de graad van emancipatie bij alleenstaande vrouwen meet zomaar worden overgenomen voor Vlaanderen? Betrouwbaarheid Kijk steeds na in welke context, populatie, door wie, het meetinstrument is ontworpen In een publicatie zal de auteur steeds zijn steekproef en context omschrijven Vertalingen kunnen een probleem zijn

7 9-0- Betrouwbaarheid Soorten betrouwbaarheid Intra-beoordelaarsbetrouwbaarheid Inter-beoordelaarsbetrouwbaarheid Paralleltest Splittest-reliability Interne consistentie Intra-beoordeelaarsbetrouwbaarheid (stabiliteit): Vorm: Test-retest metingen - tijdstippen - onderzoeker Betrouwbaarheidscoëfficiënt (r) Score tussen 0 & (0, = aanvaardbaar) 8 Voorbeeld Een onderzoeker wil de stabiliteit beoordelen van een schaal over zelfrespect. De schaal wordt afgenomen op twee verschillende tijdstippen (bijvoorbeeld s morgens en s avonds) in dezelfde groep van 0 personen. De reliability coëfficiënt is hoog, meer bepaald r= 0.9. Dit betekent dat de verschillen in scores niet hoog zijn. Niet te gebruiken indien Verschijnsel onderhevig aan de tijd Tweede meting beïnvloed door eerste Attitudes, gedragingen, kennis, fysieke conditie kunnen veranderen tussen twee testen Inter-beoordeelaarsbetrouwbaarheid Verschillende personen gelijktijdig hetzelfde verschijnsel laten observeren & resultaten vergelijken onderzoekers meetinstrument NIET bruikbaar bij kennistesten en zelfbeoordelingsschalen Voorbeeld Inter-beoordeelaarsbetrouwbaarheid Drie onderzoekers observeren demente personen gedurende 0 minuten op hetzelfde moment aan de hand van een checklist en komen allen verschillende resultaten uit. Dit impliceert een slechte interbeoordelaarsbetrouwbaarheid.

8 9-0- Paralleltestbetrouwbaarheid = externe consistentie De meetresultaten van equivalente testen met elkaar vergeleken Paralleltestbetrouwbaarheid Bijvoorbeeld: pijngehalte na plaatsen infuus Resultaten van Numerical Rating Scale Resultaten van Wong Baker Faces Scale Toegepast op dezelfde steekproef Toegepast om hetzelfde moment 9/0/ Onderzoeksmethodologie Halveringsbetrouwbaarheid = splittest reliability Vragenlijsten / (paar/onpaar) Resultaten van deellijsten vergelijken Verwachting: overeenkomst tussen deellijsten Kan alleen bij uitgebreide meetinstrumenten Interne consistentie (homogeniteit) Definiëring De interne consistentie gaat na of de items van het meetinstrument hetzelfde begrip meten Dus: een intern consistent of homogeen instrument vereist een voldoende samenhang tussen de items die een bepaald kenmerk meten Meetresultaten van alle items worden Onderling én met het globale meetresultaat vergeleken Interne consistentie Cronbachs alfa (0-) 0: niets van de meetvariatie kan verklaard worden door het meetinstrument Variatie is gebaseerd op toeval : totale meetvariatie kan verklaard worden door het instrument Geen standaard hoe hoog coëfficiënt moet zijn Wel richtinggevende waarden 0, - 0,8 = aanvaardbaar 0,8 0,9 = goed 0,9 = zeer goed Voorbeeld interne consistentie: SDLR Schaal: subschalen: Totaal aantal items (n=0). Self-management (n= ). Desire for learning (n= ). Self-control (n = ). Cronbach alpha-coëfficiënt: Totaal aantal items (0.9). Self-management (0.8). Desire for learning (0.8). Self-control (0.80). 8 8

9 9-0- Evalueren waarde meetinstrument: Bruikbaarheid Betrouwbaarheid Validiteit Hanteerbaarheid Specificiteit en sensitiviteit Validiteit Definitie Soorten validiteit Indruksvaliditeit (face validity). Inhoudsvaliditeit (content validity). Criteriumvaliditeit (criterion validity). Begripsvaliditeit (construct validity). 9 0 Validiteit: definitie Het instrument meet datgene wat het zegt dat het meet Vb. een lintmeter meet geen gewicht. Vb. Nortonscore: meet deze nu effectief het verschijnsel decubitus? Soorten validiteit Indruksvaliditeit (face validity) Nagaan of experts de indruk hebben dat dit instrument meet wat het zou moeten meten Meestal kwalitatief oordeel experten Voorbeeld: Een panel van experts beoordeelt een vertaalde versie van een schaal Soorten validiteit Inhoudsvaliditeit (content validity) Is de inhoud van het meetinstrument representatief voor de te meten werkelijkheid? Nadruk ligt op volledigheid, worden alle relevante vragen opgenomen in het instrument? Komen alle domeinen aan bod? Geen objectieve methoden: Kwalitatief oordeel experts Voorbeeld inhoudsvaliditeit (content validity) Het berekenen van consensus tussen beoordelaars m.b.t. de relevantie van een item in de vragenlijst: De ontwikkeling van een kennistoets voor studenten over hun kennis over nursing theories. De test zou niet valide zijn, mocht de theorie van Orem niet bevraagd worden. (Polit & Beck, 00) 9

10 9-0- Soorten validiteit Criteriumvaliditeit (criterion validity) Gaat relatie na tussen het meetinstrument en een extern criterium (een norm / goed vergelijkingspunt) Hoge correlatie = hoge criteriumgeldigheid Verschillende vormen: Concurrente validiteit Predictieve validiteit Known groups validiteit Twee vormen criteriumvaliditeit (verschil tijdstip meting) Concurrente validiteit Relatie met criterium dat gelijktijdig gemeten wordt Verwijst naar andere criteria met welke vergelijkingen te maken zijn Mogelijkheid instrument om personen te onderscheiden die verschillen op een huidig kenmerk Predictieve validiteit Relatie met een te voorspellen criterium Mogelijkheid instrument om prestaties van mensen te voorspellen op toekomstige criteria Voorbeeld concurrente validiteit: De resultaten van een vragenlijst die pijn meet moeten corresponderen met de resultaten van andere metingen, zoals observaties van verpleegkundigen over de vraag naar pijnstilling (en andere gedragingen). De resultaten van de onderzochte vragenlijst, dat het onderscheid maakt tussen mensen met en zonder pijn, moeten gelijkaardig zijn met de resultaten van de observaties die vergelijkende conclusies maken over de patiënten. Voorbeeld predictieve validiteit: Een vragenlijst met de mogelijkheid om mensen onder te verdelen in een groep personen met een positieve houding en een groep met een negatieve houding t.a.v personen met leermoeilijkheden beschikt over predictieve validiteit als hun toekomstige gedragingen van die personen stroken met de bevindingen van de onderzoekers. (Parahoo, 00) (Parahoo, 00) Soorten validiteit Criteriumvaliditeit (criterion validity) Known-groups techniek Meetinstrument m.b.t. concept (burn-out, angst ) Het meetinstrument wordt afgenomen in groepen die verwacht worden te verschillen op een kritiek kenmerk Meetinstrument moet verschillende resultaten geven voor de verschillende groepen. DUS het te verwachten verschil moet zich manifesteren. Soorten validiteit Criteriumvaliditeit (criterion validity) Voorbeeld Known-groups techniek Meetinstrument valideren die angst meet bij de arbeid en bevalling. Scores multipara en primipara tegenover elkaar uitzetten. Veronderstelt dat angst bij e bevalling groter is. Verschillen in groepsscore. (Polit & Beck, 00) 9 0 0

11 9-0- Soorten validiteit Begripsvaliditeit (construct validity) Meet het meetinstrument adequaat het construct/begrip dat men wenst te meten? Vaststellen van deze vorm van validiteit is het moeilijkst Verschillende methodes Factoranalyse Clusters/factoren identificeren van gerelateerde variabelen Belangrijk is dat de factoren bijna evenveel van de variatie verklaren als de geobserveerde variabelen Concept (Verpleegkundige competentie): Deelconcepten: kennis, ervaring, attitude,.. Via factor analyse nagaan in welke mate de deelconcepten het algemene concept ondersteunen Soorten validiteit Begripsvaliditeit (construct validity) Multitrait-multimethod: Convergente validiteit: verschillende meetinstrumenten om eenzelfde variabele te meten moeten gelijkaardige resultaten opleveren Vb. risico op decubitus: Norton / Braden Vb. Suikergehalte in bloed / diverse meters Discriminante validiteit: verschillende meetinstrumenten om verschillende variabelen, leveren verschillende resultaten Hoe lager correlatie hoe beter Vb. Extraversie is onderzocht op basis van zelftests. De resultaten moeten negatief correleren met de resultaten een test omtrent introversie. Kan een niet-valide instrument betrouwbaar zijn? Kan een onbetrouwbaar instrument valide zijn? Evalueren waarde van een meetinstrument: Bruikbaarheid Betrouwbaarheid Validiteit Hanteerbaarheid Specificiteit en sensitiviteit 9/0/ Onderzoeksmethodologie Hanteerbaarheid (Fenstein, 98) Doel instrument is duidelijk voor de gebruiker Context is goed afgelijnd Instrument is inzichtelijk en begrijpbaar Alle relevante elementen moeten opgenomen zijn Inhoudsvaliditeit! Gebruiksgemak voorkomt vermoeidheid & fouten Vb. te lange instrumenten zorgen ervoor dat mensen willekeurig antwoorden beginnen aankruisen Evalueren waarde van een meetinstrument: Bruikbaarheid Betrouwbaarheid Validiteit Hanteerbaarheid Specificiteit en sensitiviteit Het voldoen aan deze elementen vraagt een degelijke voorbereiding!

12 9-0- Sensitiviteit en specificiteit Sensitiviteit Echt positieve gevallen / positieve gevallen Uitgedrukt in percentage, hoe hoger (dichter tegen 00) hoe beter De proportie werkelijk zieken in een populatie waarbij een positief testresultaat werd gevonden Specificiteit: Echt negatieve gevallen / negatieve gevallen Uitgedrukt in percentage, hoe hoger (dichter tegen 00) hoe beter. De proportie van gezonde personen in de populatie bij wie een negatief testresultaat werd gevonden. Legende a juist positieve gevallen b vals positieve gevallen c vals negatieve gevallen d juist negatieve gevallen Sensitiviteit: Formule: a / (a + c). Hoeveel mensen, met een bepaalde aandoening worden door de test als ziek geclassificeerd? 0 Specificiteit: Formule: d / (b + d). Hoeveel mensen, zonder bepaalde aandoening, worden door een test als gezond geclassificeerd? Positief voorspellende waarde: Formule: a / (a + b) Als iemand een positieve uitslag heeft, hoe groot is dan de kans dat hij daadwerkelijk de aandoening heeft?

13 9-0- Negatief voorspellende waarde: Formule: d / (c + d). Als iemand een negatieve testuitslag heeft, hoe groot is de kans dat hij de aandoening niet heeft. Accuratesse: Formule: a + d / (a+b+c+d). Hoeveel procent van alle testen geeft een correct resultaat? Oefening: Er wordt een onderzoek verricht naar hartruis bij pasgeborenen met syndroom van Down Hartruis Geen hartruis Totaal Echo + 8 (a) (b) (a+b) Echo - (c) (d) 0 (c+d) Totaal (a+c) (b+d) 8 (a+b+c+d) Welke gegevens beschikbaar? Hoeveel pasgeborenen hebben een positieve echo? hebben een negatieve echo? hebben hartruis? hebben geen hartruis? } Wat is de sensitiviteit specificiteit? } Wat is de + en - predictieve waarde? } Wat is de accuratesse van de echo s voor hartruis? Oplossingen: hebben een positieve echo? 0 hebben een negatieve echo? hebben hartruis? hebben geen hartruis? Sensitiviteit: Van de pasgeborenen met hartruis hebben er 8 pasgeborenen een positieve echo (terecht +). DUS: 8/*00= % Specificiteit: Van de pasgeborenen zonder hartruis hebben er pasgeborenen een negatieve echo (terecht -) DUS: /*00= 9% Positieve predictieve waarde: Als de echo + is dan is er een kans van 8 op (8%) dat de pasgeborerne echt hartruis heeft

14 9-0- Negatieve predictieve waarde: Als de echo is dan is er een kans van op 0 (%) dat de baby geen hartruis heeft. Accuratesse In van de 8 (%) is het resultaat van de echo correct.