Werkinstructie Het opschonen van data bij schriftelijke en of online dataverzameling Versie: 2.0 Datum: 15-09-2013 Code: WIS 06.01 Eigenaar: KI 1. Inleiding In deze werkinstructie staan de richtlijnen voor het opschonen van data verzameld via schriftelijke, online of mixed mode dataverzameling. De input is een totaalbestand, de output is een geschoond totaalbestand dat zo weinig mogelijk fouten bevat, waarop responsanalyses gedaan kunnen worden. 2. Doel Het doel van deze werkinstructie is de data zodanig te schonen dat er een kwalitatief goede dataset overblijft waaruit mensen zijn verwijderd die ten onrechte zijn aangeschreven, en mensen die de vragenlijst onjuist of onvoldoende hebben ingevuld. 3. Taken, verantwoordelijkheden en bevoegdheden De CQI-onderzoeksleider van de meetorganisatie is verantwoordelijk voor het gehele uitvoerende proces, inclusief het opschonen van de gegevensbestanden. 4. Werkwijze De data worden volgens een bepaalde procedure opgeschoond door een medewerker van de meetorganisatie 1. Deze opschoningsstappen worden uitgevoerd op het totaalbestand (ruwe responsbestand na ontdubbelen aangevuld met informatie uit het achtergrondbestand en het inschrijfbestand). In één bestand staan alle aangeschreven mensen waarin wordt aangegeven wie heeft gereageerd en wie een non-respondent is. Met dit bestand kun je daarom ook stap voor stap de respons bepalen en non-respons analyses uitvoeren (zie WIS 05.01 Controle data-invoer). Hieronder staat beschreven wat de procedure precies inhoudt. Er wordt vanuit gegaan dat het onderdeel controle data-invoer al is uitgevoerd (zie WIS 05.01 Controle data-invoer). 1 Deze medewerker werkt onder de verantwoordelijkheid van de CQI-onderzoeksleider. WIS 06.01 Het opschonen van data bij schriftelijke dataverzameling, versie 2.0, blz. 1 van 5
Bij voorkeur worden in het opschoningsproces niet direct vragenlijsten verwijderd 2. Het is belangrijk om de opschoningsstappen in de hier beschreven volgorde uit te voeren, en per stap bij te houden hoeveel lijsten in aanmerking komen voor verwijdering. Dit vergemakkelijkt het berekenen van de parameters netto benaderd, bruto respons en netto respons, welke in WIS 06.03 Responsanalyses en BIJ 06.01 Overzicht schoningsprocedure bij schriftelijke en of online dataverzameling worden toegelicht. Bij voorkeur wordt bij het bepalen van de parameters in het opschoningsproces gewerkt met een syntax. Het wordt aangeraden om niet alleen het totaal aantal verwijderde lijsten te registreren, maar deze registratie ook uit te splitsen per zorgaanbieder/verzekeraar, omdat in de meeste gevallen ook per zorgaanbieder/verzekeraar gecontroleerd wordt hoeveel data er verloren gaat en waaraan dit kan worden toegeschreven. 4.1. Mensen verwijderen die ten onrecht waren aangeschreven 4.1.1. Verwijderen van lijsten retour wegens overleden (stap 2.1) De medewerker van de meetorganisatie verwijdert de lijsten die retour kwamen omdat de beoogde respondent overleden is. 4.1.2. Verwijderen van lijsten onbestelbaar retour (stap 2.2) De medewerker van de meetorganisatie verwijdert de lijsten die onbestelbaar retour kwamen. 4.1.3. Verwijderen van respondenten die niet tot de doelgroep behoren (stap 2.3) De medewerker van de meetorganisatie verwijdert de respondenten die niet behoren tot de doelgroep: Als een bepaald ziektebeeld, behandeling of opname niet op de respondent van toepassing is of als de respondent niets heeft ingevuld (er blijkt niet dat het wel van toepassing is). Als onduidelijk is op welke analyse-eenheid de ervaringen van de respondent betrekking hebben, wordt deze respondent ook verwijderd (bijvoorbeeld als zij een andere zorgaanbieder of verzekeraar opgeven dan waar zij volgens de steekproefopzet geregistreerd staan). Noteer het aantal respondenten dat hiermee uitvalt (blijft over: netto benaderd). 2 Voor aanlevering aan een centrale database is het niet de bedoeling dat de meetorganisatie bij de opschoning records verwijdert. De meetorganisatie levert een geschoond totaalbestand op waaraan een variabele (Opschoning) wordt toegevoegd waarin de meetorganisatie aangeeft of een record volgens de meetorganisatie verwijderd dient te worden. Dit doet u door het record te markeren met code 1 als deze volgens u in aanmerking komt voor verwijdering en met code 0 als een record niet in aanmerking komt voor verwijdering. Op deze manier kan de opschoningsprocedure centraal worden gecontroleerd. Daarnaast levert deze procedure informatie op over eventuele knelpunten / onduidelijkheden bij de meetorganisaties omtrent de opschoningsprocedure. Overigens kan het in dit verband ook handig zijn om met een indicatorvariabele per schoningscriterium te werken. Dit wel zeggen dat voor ieder schoningscriterium een variabele aan wordt gemaakt die op verwijderen wordt gezet indien het schoningscriterium van toepassing is en de betreffende respondent niet al wordt verwijderd op grond van een eerder bekeken criterium. WIS 06.01 Het opschonen van data bij schriftelijke dataverzameling, versie 2.0, blz. 2 van 5
Lege lijsten worden in dit stadium nog behouden zodat de CQI-onderzoeksleider verderop in de procedure inzicht krijgt in het aantal lege lijsten. Dit betekent dat wanneer een respondent eigenlijk verwijderd zou moeten worden omdat de respondent niet heeft aangegeven niet tot de doelgroep te behoren, de respondent alleen verwijderd dient te worden als de respondent de vragenlijst deels heeft ingevuld (stap 3 in BIJ 06.01 Overzicht schoningsprocedure bij schriftelijke en of online dataverzameling). 4.2. Mensen verwijderen die wel behoren tot de doelgroep maar die de vragenlijst onvoldoende of niet op de juiste manier hebben ingevuld. 4.2.1. Verwijderen lege lijsten De medewerker van de meetorganisatie verwijdert de teruggestuurde blanco lijsten. Blanco betekent dat er minder dan 5 vragen zijn beantwoord (ongeacht het totaal aantal vragen). Noteer ook het aantal mensen dat niet mee wil doen (stap 3). Noteer het aantal respondenten dat hiermee uitvalt (blijft over: bruto respons). 4.2.2. Verwijderen van respondenten die de lijst niet zelf hebben ingevuld en beantwoord (stap 4.1) De medewerker van de meetorganisatie verwijdert de lijsten waarop respondenten hebben aangegeven de vragenlijst door een ander te hebben laten invullen én beantwoorden. De optie heeft de vragen in mijn plaats beantwoordt op de vraag Hoe heeft die persoon u geholpen is dan aangevinkt. Bij deze schoningsstap geldt als vuistregel dat we het zekere voor het onzekere nemen. De medewerker van de meetorganisatie verwijdert daarom ook een respondent die bijvoorbeeld aangeeft hulp te hebben ontvangen, maar niet aangeeft wat voor hulp te hebben ontvangen. 4.2.3. Screenervragen (stap 4.2) Screenervragen zijn vragen waarin wordt bepaald of een vervolgvraag op de respondent van toepassing is. Achter één van de mogelijke antwoorden op de screenervraag staat dan de instructie dat de respondent de vervolgvraag of vervolgvragen niet hoeft in te vullen. Voorbeeld: Rookt u? (antwoordcategorieën: ja en nee, waarbij de nee categorie wordt gevolgd door de verwijzing ga door naar vraag ). Voor vervolgvragen geldt dat de screenervraag leidend is. De medewerker van de meetorganisatie verwijdert de eventuele antwoorden op vervolgvragen van respondenten die op de screenervraag hebben geantwoord dat de vraag niet op hen van toepassing is. De medewerker van de meetorganisatie verwijdert de antwoorden op vervolgvragen, wanneer de screenervraag missing is (Deze stap hoeft niet te worden uitgevoerd voor de psychometrische testfase van een CQImeetinstrument, omdat in dit traject ook inzicht dient te worden verkregen in de werking van de screenervragen). Als de screenervraag over hulp bij het invullen niet is ingevuld, maar men heeft wel aangegeven welk soort hulp is ontvangen, dan wordt de screenervraag op ; ja gezet. Dit nog ter bespreking. WIS 06.01 Het opschonen van data bij schriftelijke dataverzameling, versie 2.0, blz. 3 van 5
4.2.4. Verwijderen van lijsten waarin onvoldoende vragen zijn beantwoord (stap 4.3) De medewerker van de meetorganisatie verwijdert lijsten met onvoldoende waarnemingen op sleutelvragen. Van de sleutelvragen dient 50% te zijn ingevuld. De sleutelvragen zijn vragen die alle respondenten moeten beantwoorden, inclusief de volgende demografische vragen: Leeftijd; Geslacht; Opleiding; Taal thuis gesproken; Geboorteland vader; Geboorteland moeder; Geboorteland uzelf; Algemene ervaren (lichamelijke) gezondheid. De medewerker van de meetorganisatie verwijdert de lijsten waarvan minder dan 50% van de sleutelvragen is ingevuld. Een vraag is geen sleutelvraag wanneer deze conform een voorafgaande screenervraag mag worden overgeslagen. 4.2.5. Bij casemix adjustment: verwijderen van respondenten bij wie een of meer van de variabelen voor casemix adjustment ontbreekt.(stap 4.4) Casemix adjustment kan alleen worden uitgevoerd wanneer de informatie over variabelen waarvoor gecorrigeerd wordt, compleet is. Wanneer casemix adjustment onderdeel vormt van het project, markeert de methodologisch expert middels een aparte variabele de respondenten die om casemix redenen verwijderd moeten worden, bijv. respondenten waarbij de variabelen voor casemix adjustment niet compleet zijn. Dit geldt ook als bij een variabele voor casemix adjustment de categorie anders, namelijk:.. is aangevinkt. Variabelen voor casemix adjustment zijn doorgaans namelijk ordinaal van aard en de antwoordcategorie anders, namelijk:.. is niet eenduidig in deze orde in te passen. Het wordt aangeraden, om grote uitval te voorkomen, de categorie anders, namelijk:... daar waar mogelijk te hercoderen in één van de bestaande antwoordcategorieën. Wanneer er geen casemix adjustment plaatsvindt in een project hoeft deze schoningsstap niet te worden uitgevoerd. Dit geldt bijvoorbeeld voor CQ-index ontwikkeltrajecten waarin geen discriminerend vermogen wordt getoetst. Sla het geschoonde totaalbestand als een nieuwe versie op. Noteer het aantal respondenten dat hiermee uitvalt (blijft over: netto respons). WIS 06.01 Het opschonen van data bij schriftelijke dataverzameling, versie 2.0, blz. 4 van 5
5. Bijbehorende documenten WIS 05.01 Controle data-invoer WIS 06.03 Responsanalyses BIJ 06.01 Overzicht opschoningsprocedure bij schriftelijke en of online dataverzameling WIS 06.01 Het opschonen van data bij schriftelijke dataverzameling, versie 2.0, blz. 5 van 5