Apotheken door Cliënten Bekeken : schaalanalyses en profielscores 2009

Transcriptie

1 Apotheken door Cliënten Bekeken : schaalanalyses en profielscores 2009 Dr. C.P. van Linschoten Drs. P. Moorer ARGO Rijksuniversiteit Groningen Mei 2009

2 Inhoudsopgave Inleiding... 3 Het meetinstrument... 3 Profielscores: het resultaat van schaalanalyse... 3 Schaalconstructie... 4 Schaalanalysetechnieken... 5 Schaalanalyses... 7 Inleiding... 7 De data voor het onderzoek... 9 Resultaten schaalanalyse... 9 Inleiding... 9 Stap 1: schaalconstructie... 9 Stap 2: onderzoek naar DIF Stap 3: normering Constructie van profielscores Conclusie Het profiel: weergave in twee grafieken Literatuur Bijlage 1: Itemlijst... 19

3 Inleiding Deze informatiemodule gaat over de ontwikkeling van een samenvattende weergave ( profiel ) van uw apotheek, gebaseerd op de gegevens van de cliënten die over uw apotheek zijn bevraagd in het kader van de methode. Het artikel bevat twee onderdelen: 1. Een uitleg over de wijze van constructie van de profielscores. Er wordt ingegaan op het meetinstrument, de toegepaste statistische methode en de verschillende onderdelen van het profiel. 2. Een toelichting op de wijze waarop een profiel in uw rapportage wordt weergegeven. Deze weergave is op basis van twee grafieken. De gegevens zoals die in uw rapportage zijn weergegeven zijn alleen aan u bekend. Het meetinstrument De methode is een aanpak voor toetsing en verbetering van kwaliteit vanuit het perspectief van de cliënt. Er wordt binnen deze methode gebruik gemaakt van een schriftelijke vragenlijst, ontwikkeld in opdracht van de Nederlandse Patiënten Consumenten Federatie (NPCF). De oorspronkelijke vragenlijst is op basis van aanvullend onderzoek en maatschappelijke ontwikkelingen (zoals de WGBO) verfijnd en uitgebreid. Deze aanvullende vragen zijn opgenomen in de vragenlijst vanaf januari Bij het ontwikkelen van de vragenlijst werden verschillende thema s opgenomen in de vragenlijst, zoals bejegening, informatievoorziening, accommodatie, samenwerking met de patiënt, deskundigheid. In 2008 werden daar drie thema s aantoegevoegd: WGBO, medicatiebewaking en begeleiding/therapietrouw. Voor elk van deze thema s zijn items ontwikkeld en in de vragenlijst opgenomen. Daarnaast zijn er items in gekomen omdat deze op zich al belangrijke informatie opleveren. De vragenlijst wordt volgens een omschreven protocol uitgedeeld aan klanten die de apotheek bezoeken (van Linschoten e.a., 2002). Met deze wervingsmethode wordt gecontroleerd voor een belangrijke factor: de variatie in tijd tussen het moment van dienstverlening in de apotheek en de beoordeling. Door kort na deze dienstverlening te meten, brengt de methode recente en gedetailleerde ervaringen in beeld. Dit is van groot belang voor de validiteit en het uiteindelijke doel van kwaliteitsverbetering. Profielscores: het resultaat van schaalanalyse Kunnen de resultaten van het meetinstrument op een compacte wijze worden samengevat in een profiel? Het samenvoegen van items is alleen zinvol en toegestaan als de antwoorden op de items het gevolg zijn van een gemeenschappelijk theoretisch-inhoudelijk concept. Het theoretischinhoudelijke concept veroorzaakt de antwoorden op de items. Deze theoretisch-inhoudelijke concepten kunnen zelf niet direct gemeten worden, maar voor de items uit de vragenlijst kan worden verondersteld door welk theoretisch-inhoudelijke concept ze veroorzaakt zouden moeten worden. In de statistiek wordt het theoretisch-inhoudelijke concept wel aangeduid met de termen latente trek of factor (zie figuur 1).

4 Factor 1 Item 1 Item 2 Item 3 Item 4 ε 1 ε 2 ε 3 ε 4 Grafiek 1: voorstelling relatie theoretisch-inhoudelijk concept (factor/latente trek) en de items Zowel tijdens de oorspronkelijke vragenlijst constructie als de aanvulling die is gedaan in 2008 zijn thema s gebruikt om vragen te ontwikkelen. In eerste instantie zal dus worden gekeken of de items die bij een bepaald thema zouden behoren of die daar ook toe behoren (zie volgende paragraaf). Voor de oorspronkelijke thema s zijn al eerder (in 2005) analyses gedaan en een 7- tal schalen gemaakt. Op basis van een inhoudelijke exploratie van de toen niet schaalbare items is toen gekeken of er nog andere thema s zouden kunnen zijn. Op deze manier is in 2005 de schaal/het thema privacy toegevoegd. Schaalconstructie Bij het uitvoeren van een onderzoek naar schalen kunnen tenminste 4 stappen onderscheiden worden (cfr. Eggen & Sanders, 1993): 1. schaalontwikkeling (welk item bij welk concept, keuze analysetechniek (factoranalyse, betrouwbaarheidsanalyse of parametrisch of non-parametrisch item response model) 2. onderzoek naar equivalentie 3. onderzoek naar vraagonzuiverheid (differential item functioning: DIF) en 4. normering Deze vier stappen worden minimaal door het Cito uitgevoerd als het gaat om de zgn. Citotoetsen. Zonder deze vier stappen worden de resultaten van de Cito-toetsen niet bekend gemaakt voor een bepaald jaar. Ad 1. schaalontwikkeling In deze fase van het onderzoek wordt nagegaan of items die gedacht werden tot een concept te behoren ook feitelijk hiertoe behoren. Ook wordt in deze fase nagegaan of items die mogelijk tot een concept zou kunnen behoren toch tot de schaal behoort. Bepalend voor de keuze van een analysetechniek is het meetniveau van gebruikte items. Bij items op intervalniveau kunnen gewone factoranalyse en betrouwbaarheidsanalyse gebruikt worden, maar voor item met ordinale of nominale meetniveaus moet een (non-)parametrisch item response model worden of een ordinale factoranalyse gebruikt worden. Ad 2. onderzoek naar equivalentie In deze fase kijkt men vooral of de waarden van een schaal zijn zoals die theoretisch moeten zijn. Het is bijvoorbeeld vreemd als we zouden aannemen dat de intelligentie van alle kinderen in Nederland in het ene jaar hoger zouden zijn dan in een ander jaar. De gemiddelde score voor de IQ testen in Nederland moet 100 punten zijn. Er wordt dan ook middels equivaleren voor gezorgd dat dit zo is. Voor het onderzoek naar tevredenheid is er geen reden om aan te nemen dat dit niet van het ene en het andere jaar zou kunnen verschillen, daarom worden de schalen in ACB niet geequivaleerd.

5 Ad 3. onderzoek naar vraagonzuiverheid (differential item functioning (DIF 1 )) Naast fase 1 is dit voor alle onderzoeken een zeer belangrijke fase en een die ook niet achterwege mag blijven. Het vergelijken van scores tussen groepen is pas toegestaan bij de afwezigheid van vraagonzuiverheid (zie hoofdstuk 9 in Eggen en Sanders, 1993). Van een goede meting moet men verwachten dat alleen het theoretisch-inhoudelijke concept verantwoordelijk is voor het antwoord op elke afzonderlijke vraag. De kans op een bepaald antwoord op de schaal bejegening die een respondent geeft mag alleen afhangen van de bejegening zoals hij die heeft ervaren, maar niet van het feit of iemand een vrouw of een man, allochtoon of autochtoon, tevreden of ontevreden is. Als er voor een item uit een schaal DIF aanwezig is voor bijvoorbeeld geslacht, dan mag men niet claimen dat er verschillen bestaan tussen mannen en vrouwen voor deze schaal. Voor vrouwen en mannen bestaan er dan eigenlijk twee kwalitatief verschillende schalen die per ongeluk dezelfde naam dragen. Eggen en Sanders (pag. 349) geven aan dat problemen rond DIF aanleiding hebben gegeven tot gerechtelijke procedures in Amerika en in Nederland tot klachten door het Landelijk Bureau Racismebestrijding. Het Cito geeft het onderzoek naar DIF daarom ook een hele hoge prioriteit. Ad 4. onderzoek naar normering Onderzoek naar normering is onderzoek naar het leggen van grenzen in een schaal met als doel groepen te creëren op basis van scores op schalen. Scores op de CITO toetsen worden gebruikt om scholieren toe te wijzen aan bepaalde schooltypes. Bij dit normeren is het van belang om personen toe te wijzen aan de juiste groep. Dit werkt naar twee kanten toe: 1. een leerling mag niet de mogelijkheid worden onthouden om naar een bepaald type school te gaan, 2. maar aan de andere kant mogen scholen niet opgezadeld worden met een groot aantal leerlingen die hun school niet zullen afmaken. Normeren heeft daarmee altijd als doel om tot een selectie te komen. Het selectiedoel speelt hierbij wel een belangrijke rol. Zonder een goed omschreven selectiedoel is het meestal niet mogelijk om een verantwoorde vorm van normering te vinden. Het selectiedoel moet theoretisch-inhoudelijk bepaald worden en moet ook vooraf bekend en opgesteld zijn. In de praktijk is dit meestal niet mogelijk of wenselijk en kiest men voor een statistische normering: men berekent kwartiel- of percentiel-grenzen om tot een indeling in groepen te komen. Dit betekent dat men alleen kan zeggen of met tot de 10 of 25% besten of tot de 10 of 25% slechten behoort. Schaalanalysetechnieken Voor het onderzoek naar de aanwezigheid van schalen in sets van items zijn een groot aantal analysemethoden aanwezig. De belangrijkste methoden vallen in drie groepen uiteen: 1. factoranalyse (zie figuur 1 als voorbeeld van deze analysetechniek) 2. betrouwbaarheids- of generaliseerbaarheidsanalyse 3. IRT modellen. Binnen de IRT modellen kan onderscheid gemaakt worden naar non-parametrische en parametrische 2 modellen enerzijds en modellen om dichotome (ja/nee vragen) of polytome (met meerdere ordinale (nooit, soms, meestal, altijd) antwoorden te analyseren anderzijds. Voor een algemene niet-wiskundige inleiding tot deze verschillende methoden kan Moorer en van Linschoten (in Van Gameren et al. 2003, pag. 51 e.v.) geraadpleegd worden. Factoranalyse 3 en betrouwbaarheids- of generaliseerbaarheidsanalyses veronderstellen dat de te analyseren gegevens op intervalniveau liggen, terwijl IRT modellen juist zijn ontwikkeld voor dichotome of ordinale gegevens. In IRT modellen worden de kansen om bepaalde antwoordcategorieën te kiezen -gegeven de theoretisch schaalscore- gemodelleerd (zie figuur 2). 1 Indien de vraagonzuiverheid te maken heeft met tijd, zoals bij een vergelijking tussen jaren, gebruikt men niet altijd de term DIF, maar wordt soms ook de term DRIFT gebruikt. 2 In parametrische modellen is er een wiskundig model dat exact voorschrijft hoe de antwoorden en de schaal samen hangen, in non-parametrische modellen worden alleen aanwijzingen gegeven over hoe items zich zouden moeten gedragen als het model klopt. Parametrische modellen zijn veel strenger en daarom passen ze ook minder snel bij de data die geanalyseerd worden. Bij het meten van vaardigheden (IQ, schooltoetsen) passen parametrische modellen sneller dan bij metingen voor meningen of oordelen (uw oordeel over, wat denkt u van). 3 Recente ontwikkelingen maken het ook mogelijk om met factoranalyse dichotome en ordinale items te analyseren. Deze factoranalysemethoden zijn niet aanwezig in een standaardpakket zoals SPSS.

6 Grafiek 2: items bij dichotome Rasch en Mokken schalen 1,00 0,75 0,50 0,25 0, ,59-1,45-1,30-1,16-1,01-0,87-0,72-0,58-0,44-0,29-0,15 0,00 0,14 0,29 0,43 0,58 0,72 0,86 1,01 1,15 1,30 1,44 1,59 1,73 somscore/schaalscore IRT parametrisch model (Rasch) Mokken A Mokken B Rasch A Rasch B Grafiek 2: items bij dichotome Mokken en Rasch schalen

7 Schaalanalyses Inleiding Voor het onderzoek naar de schalen in de vragenlijst van is ervoor gekozen om Mokkenschaalanalyses (Mokken, 1971, Molenaar et al., 2000) uit te voeren. Omdat de vragen in Apotheken door Clienten Bekeken oordelen over of meningen zijn en een ordinaal meetniveau hebben is voor Mokkenschaalanalyse gekozen, omdat dit een nonparametrische IRT model voor zowel dichotome als polytome items is (zie voetnoot 2). Deze Mokken schaalanalyses zijn uitgevoerd met het programma MSP5 (Molenaar et al., 2000). Bij Mokkenschaalanalyse wordt gekeken naar de interne onderlinge structuur van de items die bij een schaal horen of zouden moeten behoren. Aan de hand van coëfficiënten wordt gekeken hoe items onderling schaalbaar zijn en daarmee kan worden afgeleid hoe de items als geheel schaalbaar zijn. Mokken heeft voor het bepalen van de schaalbaarheid de schaalbaarheidscoëfficiënt H gedefinieerd. Deze kan voor paren van items, maar ook voor alle items tezamen (de schaal) worden berekend (zie Mokken, 1971 en Molenaar et al, 2000). Mokken (1971) heeft voor de waarden van de H-coëfficiënt voor een schaal regels opgesteld: 1. H < 0,30, dan vormen de items geen schaal 2. H tussen 0,30-0,40 is, dan vormen de items een zwakke schaal 3. H tussen 0,40-0,50 is, dan vormen de items een medium-sterk 4. H >0,50 is, dan vormen de items een sterke schaal. Voorwaarde om van een schaal te mogen spreken is echter wel dat ook aan de volgende twee eisen 4 wordt voldaan: 1. de lijn van elk item in grafiek 2 mag niet dalen. Het is niet nodig dat deze lijn blijft stijgen, hij mag ook voor een deel horizontaal lopen. Het item Mokken B voldoet dus niet aan deze eis, omdat de lijn voor dit item aan het einde van de schaal daalt. Deze eis wordt wel aangeduid als de eis van monotoon stijgende responsecurves 2. de lijnen van twee items in grafiek 2 mogen elkaar niet snijden. Rasch A en Rasch B snijden elkaar en daarom voldoen deze twee items niet aan de eis. De eis wordt ook wel aangeduid als eis van niet snijdende responsecurves. Voor het Mokken model kan de betrouwbaarheid van de somscore (schaal) worden berekend (Molenaar et al, pag 15). Als aan de twee bovenstaande eisen wordt voldaan, dan is deze betrouwbaarheidscoëfficiënt rho in de meeste gevallen een zuivere schatting voor de betrouwbaarheid van een schaal. Dit in tegenstelling tot Cronbach s alpha die meestal een onderschatting is van de betrouwbaarheid van een schaal ((Molenaar et al, 2000, pag 15). Zoals eerder al is vermeld behoort onderzoek naar vraagonzuiverheid of differential item functioning (DIF) een belangrijk onderdeel van een onderzoek naar de kwaliteit van schalen te zijn. Daarom is er voor gekozen om van de volgende onderwerpen te onderzoeken of ze aanleiding tot vraagonzuiverheid geven: 1. regio (west Nederland, zuid Nederland en noord-oost Nederland) 2. onderzoeksjaar ( ) 3. type vragenlijst (standaard, Kring en Escura) 4. geslacht (man, vrouw) 5. leeftijd (< 45, 45-64, 65+) 6. tevredenheid (tevreden, ontevreden) Pas als er voor deze onderwerpen geen sprake is van vraagonzuiverheid, mag er worden geconcludeerd dat er verschillen zijn tussen man en vrouwen, de drie verschillende regio s van Nederland etc. 4 Deze eisen gelden zowel voor het Mokken als het Rasch model, maar niet voor alle IRT modellen. In het Rasch model moeten de lijnen per item zelfs noodzakelijker wijze altijd stijgen, omdat dit door het mathematische model van het Rasch model wordt geëist.

8 In Mokkenschaalanalyse kan vraagonzuiverheid worden onderzocht door te kijken of verschillende subgroepen dezelfde item(antwoordcategorie)volgorde hebben. Voor ACB zal voor elke schaal worden onderzocht of deze volgordes voor alle bovenstaande 6 onderwerpen gelijk is. In een latere paragraaf zal hiervan een voorbeeld worden gegeven.

9 De data voor het onderzoek Voor het onderzoek naar de schalen in zijn de gegevens van de cliënten van apotheken in de periode mee genomen in de analyses. De totale omvang van deze dataset bedraagt respondenten. In de tabellen 1 en 2 staan de verdelingen van de aantallen respondenten naar de kenmerken die voor het onderzoek naar vraagonzuiverheid worden gebruikt. Bij de analyses zelf zullen de aantallen voor deze kenmerken verschillen, omdat niet alle respondenten alle vragen in een schaal hebben beantwoord. Voor de drie nieuwe schalen zijn alleen gegevens aanwezig voor de apotheken in 2008, die geen deel uitmaakten van de Kring-apotheken of de Escura apotheken. Hier gaat het om circa 2500 respondenten. Tabel 1: aantallen naar regio, type vragenlijst en onderzoeksjaar n % regio west ,7 zuid ,2 oost/noord ,1 totaal ,0 type vragenlijst normaal/nieuw ,1 Kring-apotheken ,3 Escura ,6 totaal ,0 onderzoeksjaar , , , ,6 totaal ,0 Tabel 2: verdelingen naar persoonlijke achtergrondkenmerken (geslacht en leeftijd) en tevredenheid n % geslacht man ,6 vrouw ,4 totaal ,7 leeftijdcategorie , , ,9 totaal ,6 ontevreden nee ,3 ja ,7 Totaal ,3 Resultaten schaalanalyse Inleiding In dit hoofdstuk worden de resultaten voor de drie stappen in de schaalconstructie voor de schalen in de vragenlijst van weergegeven. Alleen de stap 2 -zoals in het vorige hoofdstuk is aangegeven- zal niet worden getoond, omdat dit eenvoudig niet mogelijk is. Stap 1: schaalconstructie Een groot deel van de schaalconstructie is al in 2005 gedaan en voor de meeste schalen is dit een herhaling van het onderzoek met een uitbreiding van het aantal onderzoeken naar DIF. Toch is gekeken of er items konden worden toegevoegd aan de oorspronkelijke schalen als ze tot hetzelfde thema behoren. De schaal informatievoorziening bestaat uit de item 18 t/m 21 en 24 en 25. Gekeken is of de items 22 en 23 toch tot deze schaal zouden behoren. In 2005 was dit niet zo duidelijk en is ervoor gekozen om ze weg te laten. Ook nu blijkt dat deze items toch niet

10 aan deze schaal kunnen worden toegevoegd. De items 22 en 23 meten niet hetzelfde als de andere items uit de schaal. Het blijkt dat de eerste zeven oorspronkelijk schalen niet kunnen worden uitgebreid met andere items. In de nieuwe vragenlijst zijn items opgenomen om drie extra thema s in kaart te brengen (zie inleiding). Voor het thema WGBO waren een aantal vragen al in de oude versie van de vragenlijst opgenomen. De items 19 en 20 behoorden theoretisch al tot dit nieuwe thema. Voor de overige twee thema waren meerdere sets van items opgenomen. Getoetst is of er items niet konden worden meegenomen om van een schaal te spreken. De resultaten van stap 1 in de schaalconstructie voor alle 10 de schalen staan in tabel 3. Tabel 3. Kenmerken van de schalen van het meetinstrument 2009 Schaal Aantal items Items (vragen) H ρ 1. Bejegening 9 7 t/m Informatievoorziening 6 18 t/m 21, 24, Deskundigheid 8 6, 59 t/m Samenwerking met de 6 32 t/m patiënt 5. Accommodatie 4 38 t/m Privacy 3 16, 17, Medicijnbeheer 3 67 t/m WGBO 8 19, 20, 27 t/m 31, Medicatiebewaking 5 48 t/m 51, Begeleiding/therapietrouw 5 52, 54 t/m Behalve de schaal medicatiebewaking zijn de bovenstaande schalen volgens de geldende normen (Mokken, 1971, en Molenaar et al, 2000) sterke schalen. Naast het onderzoek naar de schaalbaarheid en de betrouwbaarheid is voor alle bovenstaande schalen onderzocht of wordt voldaan aan zowel de eis van monotoon stijgende responsecurven als aan de eis van niet snijdende responsecurven. Voor geen enkele van de schalen werden hiervoor schendingen gevonden (gegevens op verzoek in te zien). Dit betekent dat de betrouwbaarheden rho zuivere schattingen van de betrouwbaarheid voor deze schalen zijn. Stap 2: onderzoek naar DIF Voor de oorspronkelijke schalen, behalve medicijnbeheer, is DIF onderzoek gedaan voor 6 verschillende kenmerken: de regio van de respondent, het jaar van het onderzoek, het type vragenlijst waarin de vragen waren opgenomen, geslacht, leeftijd en of men ontevreden is geweest. Voor medicijnbeheer kon dit niet allemaal voor de nieuwe vragenlijst worden onderzocht, want een van de vragen is in 2008 gewijzigd in de standaardvragenlijst. Daarom is het onderzoek naar DIF voor onderzoeksjaar en type vragenlijst niet mogelijk. Voor de nieuwe thema s (WGBO, medicatiebewaking en begeleiding/therapietrouw) zijn geen gevens over meerdere jaren bekend en ze komen ook niet in de andere type vragenlijsten voor, dus hiervoor is voor de overige 4 kenmerken DIF onderzoek gedaan. Voor het onderzoek naar DIF wordt de data opgesplitst in een groot aantal groepen en daarom worden er veel tests gedaan. Als er veel test worden gedaan, dan mag op basis van toeval al worden verwacht dat 5% van deze test significant zouden zijn ook als er geen verschil is. Voor het toetsen gebruikt het Mokken programma daarom een maat rekening houdt met het feit dat er veel toetsen worden uitgevoerd en die duidelijk maakt of er problemen zijn. Deze maat wordt in het programma aangeduid met crit. Een crit groter dan 80 duidt erop dat er problemen voor een bepaalde test aanwezig is en dat nadere studie van het resultaat nodig is. Uit de onderstaande tabellen blijkt dat voor geen enkele test de crit groter is dan 80. Voor de schaal deskundigheid worden de meeste verstoring vermeld bij het onderzoek naar ontevreden, maar die zijn nog altijd kleiner dan 80.

11 Tabel 4: resultaten naar dif onderzoek en gegevens slechtste testgegevens van de standaardschalen naar regio, jaar, type vragenlijst regio jaar type vragenlijst schaal H Rho DIF H Rho DIF H Rho DIF bejegening 0,66 0,93 geen 0,68 0,94 geen 0,67 0,94 geen samenwerking 0,79 0,95 geen 0,81 0,96 geen 0,81 0,96 geen accommodatie 0,45 0,64 geen 0,47 0,64 geen 0,48 0,66 geen medicijnbeheer 0,63 0,80 geen nvt 5 nvt nvt nvt nvt nvt privacy 0,69 0,80 geen 0,68 0,79 geen 0,69 0,80 geen Tabel 5: resultaten naar dif onderzoek en gegevens slechtste testgegevens van de standaardschalen naar geslacht, leeftijd en ontevreden geslacht leeftijd onvreden schaal H Rho DIF H Rho DIF H Rho DIF bejegening 0,67 0,94 geen 0,63 0,92 geen 0,43 0,84 geen informatievoorziening 0,73 0,93 geen 0,72 0,93 geen 0,71 0,92 geen deskundigheid 0,54 0,90 geen 0,57 0,91 geen 0,60 0,92 geen informatievoorziening 0,73 0,93 geen 0,69 0,92 geen 0,68 0,91 2 < 40 deskundigheid 0,59 0,92 geen 0,50 0,89 geen 0,39 0,82 4 < 60 samenwerking 0,82 0,96 geen 0,80 0,95 geen 0,72 0,93 geen accommodatie 0,49 0,68 geen 0,49 0,67 geen 0,46 0,63 geen medicijnbeheer 0,71 0,85 geen 0,67 0,83 geen 0,63 0,76 geen privacy 0,70 0,81 geen 0,65 0,79 geen 0,66 0,81 geen Tabel 6: resultaten naar dif onderzoek en gegevens slechtste testgegevens van de nieuwe schalen naar regio en ontevreden regio onvreden schaal H Rho DIF H Rho DIF WGBO 0,62 0,91 geen 0,58 0,89 2 < 20 medicatiebewaking 0,37 0,68 geen 0,41 0,71 2 < 20 begeleiding/therapietrouw 0,70 0,90 geen 0,62 0,91 geen Tabel 7: resultaten naar dif onderzoek en gegevens slechtste testgegevens van de nieuwe schalen naar geslacht en leeftijd geslacht leeftijd schaal H Rho DIF H Rho DIF WGBO 0,65 0,91 geen 0, geen medicatiebewaking 0,43 0,80 geen 0,44 0,75 geen begeleiding/therapietrouw 0,71 0,92 geen 0,69 0,90 geen In de onderstaande grafiek 3 wordt weergegeven waar het onderzoek van DIF werkelijk om gaat en aangegeven hoe de crit van de schaal deskundigheid naar ontevreden een crit score van 40 krijgt. 5 In 2008 is de formulering van een vraag uit de oorspronkelijke schaal aangepast en daarom is een directe vergelijking voor een aantal achtergrondkenmerken niet mogelijk

12 Vr06>=4 Vr40>=4 Vr41>=4 Vr42>=4 Vr43>=4 Vr44>=4 Vr46>=4 Vr47>=4 Vr45>=4 Vr40>=3 Vr41>=3 Vr42>=3 Vr43>=3 Vr06>=3 Vr47>=3 Vr46>=3 Vr44>=3 Vr45>=3 Vr40>=2 Vr41>=2 Vr06>=2 Vr43>=2 Vr46>=2 Vr47>=2 Vr42>=2 Vr45>=2 Vr44>=2 Grafiek 3: itemsteporder voor tevreden/ontevreden clienten voor de schaal 'deskundigheid' (itemsteporder based on totale groep) 0,40 0,37 0,35 0,35 0,30 0,28 0,31 0,30 0,25 0,20 0,19 0,22 0,24 0,24 totale groep niet ontevreden ontevreden 0,15 0,14 0,10 0,05 0,09 0,10 0,10 0,11 0,11 0,10 0,05 0,05 0,06 0,07 0,04 0,04 0,03 0,03 0,02 0,02 0,02 0,00 In de x-as staat vermeld het percentage (de kans) dat mensen van een bepaalde groep een bepaalde antwoordcategorie of hoger dit antwoord zouden geven. De categorieën staan in een volgorde van percentage zoals die op basis van de totale steekproef berekend wordt en dan wordt bekeken of deze kans in de andere groepen waarin de totale steekproef kan worden verdeeld het zelfde patroon volgen. In feite moeten dan de lijnen gelijk lopen of blijven stijgen. Voor de groep ontevreden is dit voor de categorie (vr43>=2) en (vr46>=2) niet het geval. Het percentage daalt van 0.31 naar Dit is in het model niet toegestaan. Overigens als de volgorde van de antwoordcategorieën niet gebaseerd zou zijn op de totale groep maar op de volgorde van de groep ontevreden, dan zou de vorige grafiek er uit zien zoals in de onderstaande grafiek 2. Dan zijn er wel schendingen te zien voor de twee andere groepen, maar omdat deze veel geringer van omvang (<= 0.03) zouden deze tests niet vermeld hoeven worden. De crit zou naar alle waarschijnlijkheid 0 zijn. Belangrijkste om te zien is dat de volgorde van de antwoordcategorieën veranderd is. Vr46>=2 en Vr47>=2 staan nu voor vr43>=2. De keuze van de volgorde is voor de toets erg belangrijk, maar is op theoretisch basis meestal niet af te leiden en vooraf te bepalen.

13 Vr06>=4 Vr40>=4 Vr41>=4 Vr42>=4 Vr43>=4 Vr44>=4 Vr46>=4 Vr47>=4 Vr45>=4 Vr40>=3 Vr41>=3 Vr42>=3 Vr43>=3 Vr06>=3 Vr46>=3 Vr47>=3 Vr44>=3 Vr45>=3 Vr40>=2 Vr41>=2 Vr46>=2 Vr47>=2 Vr06>=2 Vr42>=2 Vr43>=2 Vr44>=2 Vr45>=2 Grafiek 4: itemsteporder voor tevreden/ontevreden clienten voor de schaal 'deskundigheid' (itemsteporder based on 'ontevreden') 0,40 0,37 0,35 0,35 0,30 0,28 0,31 0,30 0,25 0,20 0,19 0,22 0,24 0,24 totale groep niet ontevreden ontevreden 0,15 0,14 0,10 0,05 0,09 0,10 0,10 0,10 0,11 0,11 0,05 0,05 0,06 0,07 0,04 0,04 0,03 0,03 0,02 0,02 0,02 0,00 Een aantal items kan niet bij een Mokkenschaal ondergebracht worden. De vragen 1 5 verwijzen meer naar de feitelijke kenmerken van de apotheek dan van de ervaringen of oordelen van de klanten en zijn daarmee niet als een unidimensionele schaal te vinden. Dit geldt ook voor de vragen 37 t/m 40. De items 22, 23, 26 en 48 worden door veel respondenten niet ingevuld. Men maakt dit blijkbaar niet vaak mee. Het is momenteel nog niet mogelijk om de gegevens op een statistisch verantwoorde manier aan te vullen. Daarvoor is nadere analyse van missende waarden nodig, om na te gaan of de gegevens random ontbreken, of dat er achterliggende redenen zijn. De aspecten van kwaliteit die niet in het profiel zijn opgenomen, staan in de onderstaande tabel. Dat kunnen voor de apotheek uiteraard belangrijke variabelen zijn!

14 Tabel 8. Items die niet in de profielscores zijn opgenomen Item Omschrijving nummer 1 Openingstijden ruim genoeg 2 Telefonisch goed bereikbaar 3 Voldoende parkeerplaatsen 4 Toegankelijk ook met handicap 5 Goed te bereiken met gebruikelijk vervoermiddel 22 verteld wat te doen als medicijn niet goed werkt 23 nadrukkelijk gevraagd of ik nog vragen had 26 voldoende geïnformeerd over openingstijden, klachtenregeling en service 42 Weekend- en avonddiensten zijn goed geregeld 43 Producten zonder recept zijn betaalbaar 44 Deze apotheek biedt goede service 45 In deze apotheek word ik snel geholpen 46 In deze apotheek wordt aangegeven waar ik mijn medicijnen moet halen wanneer mijn apotheek gesloten is Bij deze apotheek kunnen medicijnen worden thuisbezorgd Ik heb vertrouwen in de deskundigheid van deze apotheker 65 Bij deze apotheek word ik gewaarschuwd als er iets fout is met mijn medicijnen 70 Deze apotheek werkt goed samen met de huisarts Stap 3: normering Voor is geen a priori normering aanwezig. Een a priori normering zou alleen mogelijk zijn als deze zou worden bepaald door de apotheken zelf of door de cliënten van de apotheken. Voor de normering is gekozen voor een statistische normering maar wel met een a priori element. De statistische normering leidt tot een indeling per profiel op basis van de kwartielscores per profiel. Per profiel (schaal) zijn de profielgrenzen gebaseerd op een indeling van de totale groep in vier groepen met in elke groep 25% van de totale groep. De normering is a priori omdat de groep waarmee de kwartielscores worden berekend bestaat uit de gegevens van alle apotheken die in het voorafgaande jaar aan ACB hebben meegedaan. Dit kan er wel toe leiden dat apotheken in een bepaald jaar er relatief slecht vanaf kunnen komen als de apotheken in het voorafgaande jaar goed tot erg goed worden beoordeeld door cliënten. Dus apotheken die in 2009 meedoen aan het onderzoek voor ACB worden vergeleken met de apotheken die in 2008 hebben meegedaan. U kunt dus zien hoe u het doet ten opzichte van de apotheken uit 2008, maar het resultaat van deze vergelijking kan dus per jaar verschillen. Conclusie Uit de analyses blijkt dat de schalen die voor de weergave in het profiel gebruikt worden van een goede statistische kwaliteit zijn. De schaalbaarheids- en de betrouwbaarheidscoëfficiënten zijn goed. Daarnaast is er voor geen van de schalen DIF van enig belang gevonden. De schalen mogen dus gebruikt worden om vergelijkingen naar verschillende indelingen uit te voeren. Op basis van ACB mag onderzocht worden of er verschillen tussen mannen-vrouwen zijn of naar leeftijd in de schaalscores. Een ander sterk punt is dat de schalen die in 2005 al waren ontwikkeld ongewijzigd moeten en mogen blijven. In feite een indicatie dat de ontwikkeling van de schalen in 2005 op een goede manier zijn uitgevoerd. De schalen kunnen dus ook als een profiel worden weergegeven. Hieronder staat op welke wijze dat wordt gedaan, maar ook hoe de grafiek er uit zal zien in uw rapportage.

15 Constructie van profielscores Het profiel is een weergave van de schalen. Om het profiel overzichtelijk en interpreteerbaar te maken zijn de schalen in dezelfde richting van interpretatie en op hetzelfde interval van 0 tot 10 weergegeven. Deze omzetting is met deze gegevens wetenschappelijk toegestaan. Het overgrote deel van de items uit de vragenlijst kunnen als profiel worden weergegeven, maar sommige items kunnen niet aan een profiel worden toegekend zonder de eisen voor een schaal breken. Van de in totaal 70 vragen worden er 53 opgenomen in de profielen. Het profiel bestaat uit 9 thema s/dimensies, die in de onderstaande tabel worden toegelicht. Daarnaast is in elk profiel het rapportcijfer opgenomen. Tabel 3. Beschrijving van de onderdelen van het profiel Naam Omschrijving Voorbeelditems Bejegening Deze dimensie heeft betrekking op aandacht, klantvriendelijkheid en serieus genomen worden In deze apotheek staan ze voor mij klaar Informatievoorziening Deskundigheid Samenwerking Medicijnbeheer Privacy WGBO medicatiebewaking begeleiding/therapietrouw Rapportcijfer Deze dimensie geeft weer in hoeverre de cliënt zich voldoende en adequaat geïnformeerd voelt Cliëntoordeel over de vraag of de medewerkers in de apotheek hun werk vakbekwaam en nauwgezet doen De mate waarin de cliënt ervaart dat men eigen inbreng heeft en dat de medewerkers de cliënt daarin steunen Deze dimensie verwijst naar de algemene indruk van de cliënt over de mate waarin medicijnen tijdig beschikbaar zijn Cliëntoordeel over de wijze waarop in de apotheek met persoonlijke gegevens wordt omgegaan Items in het kader van de WGBO De mate waarin de cliënt ervaart dat de apotheek het medicijngebruik van de cliënt bewaakt De mate waarin de cliënt ervaart dat de apotheek het gebruik van medicijnen en de mate waarin de cliënt therapietrouw is bewaakt Algemeen eindoordeel van de cliënt In deze apotheek hebben ze duidelijke uitleg over de medicijnen gegeven Ik heb vertrouwen in de deskundigheid van deze apotheker Ik heb het gevoel dat ze in deze apotheek bereid zijn om met mij te overleggen Bij deze apotheek kunnen medicijnen direct worden geleverd In deze apotheek kan ik een gesprek voeren zonder dat anderen kunnen meeluisteren begrijpelijk uitgelegd hoe ik mijn medicijnen moet gebruiken. Bij deze apotheek kan ik een lijst krijgen van de medicijnen die ik gebruik. Deze apotheek biedt voldoende mogelijkheid voor een persoonlijk consult met de apotheker, als ik dat zou willen. Het profiel: weergave in twee grafieken In de bijlage van uw rapportage zijn twee grafieken opgenomen die de vorm hebben van een spinnenweb. De schalen zijn als een profiel op een zeer overzichtelijke wijze weergegeven. In één oogopslag ziet u de scores thematisch samengevat van in totaal 53 vragen van de vragenlijst.

16 Grafiek 5 geeft de absolute score op de verschillende onderdelen. Het bereik is voor elke schaal getransformeerd naar Omdat de beoordeling over het algemeen positief is, ligt de somscore in de meeste gevallen in de buitenste ringen. Grafiek 3: gemiddeld rapportcijfer en schaalscores rapportcijfer 10,0 begeleiding/therapietrouw 7,5 bejegening medicatiebewaking 5,0 informatievoorziening 2,5 WGBO 0,0 deskundigheid privacy samenwerking medicijnbeheer accommodatie apotheek optimaal

17 Grafiek 6 geeft een relatieve score. Daarmee kunt u nagaan in welk kwartiel uw apotheek zou vallen in vergelijking met alle andere apotheken die in het voorafgaande jaar zijn getoetst met de methode. In de onderstaande grafiek behoort de apotheek voor het thema deskundigheid in verhouding tot de apotheken in het vorige jaar tot de 25% slechts scorende apotheken, maar voor het rapportcijfer zou deze apotheek in het vorige jaar tot de 25% beste apotheken behoren. Grafiek 4: profielscore op basis van kwartielvergelijking rapportcijfer 4 begeleiding/therapietrouw 3 bejegening medicatiebewaking 2 informatievoorziening 1 WGBO 0 deskundigheid apotheek top 25% privacy samenwerking medicijnbeheer accommodatie

18 Literatuur Eggen T.J.H.M en Sanders P.F. (1993) Psychometrie in de praktijk. Cito; Arnhem. Gameren E. van en Campen C. van (red) (2003) Schalen van fysieke en psychosociale beperkingen. Het meten van hulpbehoefte bij de indicatiestelling verpleging en verzorging. SCP, Den Haag, werkdocument 101 ( Linschoten et al (2002). Mokken R.J. (1971) A theory and procedure of scale analysis : with applications in political research. Mouton; The Hague, Paris. Molenaar I.W. en Sijtsma K. (2000) MSP5 for Windows; a program for Mokken scale analysis for polytomous items, version 5. iecprogamma; Groningen.

19 Bijlage 1: Items uit de vragenlijst ACB Hieronder staan enkele vragen over de toegankelijkheid van deze apotheek. 1. De openingstijden van deze apotheek zijn ruim genoeg. 2. Deze apotheek is telefonisch goed bereikbaar. 3. Bij deze apotheek zijn voldoende parkeerplaatsen. 4. Deze apotheek is toegankelijk, ook voor mensen met een handicap. 5. Deze apotheek is goed te bereiken met het vervoermiddel dat ik meestal gebruik. Wat is uw mening over onderstaande uitspraken? 6. In deze apotheek werken ze heel nauwkeurig. 7. In deze apotheek hebben ze me heel professioneel benaderd. 8. In deze apotheek houden ze rekening met mijn wensen. 9. In deze apotheek staan ze voor mij klaar. 10. In deze apotheek werken ze klantvriendelijk. 11. In deze apotheek doen ze hun best om te begrijpen wat ik wil. Wat vindt u van het contact met de apotheker of apotheekassistenten? 12. Ik ben vriendelijk behandeld. 13. Ik ben serieus genomen. 14. Ik heb voldoende persoonlijke aandacht gekregen. 15. In deze apotheek hebben ze voldoende tijd voor mij genomen. 16. In deze apotheek kan ik een gesprek voeren zonder dat andere klanten kunnen meeluisteren. 17. In deze apotheek gaan ze zorgvuldig om met de privacy van klanten.

20 In deze apotheek hebben ze mij 18. alle noodzakelijke vragen gesteld. 19. goed geïnformeerd over mogelijke bijwerkingen van de medicijnen. 20. duidelijke uitleg over de medicijnen gegeven. 21. goede informatie gegeven over hoe ik het medicijn moet gebruiken. 22. verteld wat ik moet doen als het medicijn niet goed werkt. 23. nadrukkelijk gevraagd of ik nog vragen had. 24. voldoende informatie gegeven. 25. begrijpelijke informatie gegeven. 26. voldoende geïnformeerd, zoals bijvoorbeeld over openingstijden, de klachtenregeling en de service. 27. voldoende ruimte/gelegenheid geboden om mee te beslissen. 28. vooraf goed geïnformeerd over (bij)betalingen voor mijn medicijnen. 29. begrijpelijk uitgelegd hoe ik mijn medicijnen moet gebruiken. 30. begrijpelijk uitgelegd waarom ik deze medicijnen moet gebruiken. 31. verteld waar ik aanvullende informatie kan vinden over mijn medicijnen of ziekte. Ik heb het gevoel dat ze in deze apotheek bereid zijn om 32. met mij te overleggen. 33. met mij mee te denken. 34. mij advies te geven. 35. mij te begeleiden als dat nodig zou zijn. 36. goede afspraken over mijn medicijngebruik te maken. 37. al mijn vragen te beantwoorden. Wat is uw mening over onderstaande uitspraken? 38. Deze apotheek ziet er professioneel uit. 39. Deze apotheek ziet er overzichtelijk uit. 40. Deze apotheek ziet er schoon uit. 41. Deze apotheek heeft voldoende zitplaatsen.

21 Wat is uw mening over onderstaande uitspraken? 42. De weekend- en avonddiensten zijn goed geregeld. 43. Producten zonder recept zijn betaalbaar in deze apotheek. 44. Deze apotheek biedt een goede service. 45. In deze apotheek word ik snel geholpen. 46. In deze apotheek wordt aangegeven waar ik mijn medicijnen moet halen wanneer mijn apotheek gesloten is. 47. Bij deze apotheek kunnen medicijnen worden thuisbezorgd. 48. Bij deze apotheek kan ik een lijst krijgen van de medicijnen die ik gebruik. 49. Bij deze apotheek zijn ze goed op de hoogte van alle medicijnen die ik gebruik, ook de medicijnen die ik zonder recept in deze apotheek heb gehaald. Wat is uw mening over onderstaande uitspraken? 50. Bij deze apotheek bespreken ze met mij of ik ook andere medicijnen gebruik. 51. Bij deze apotheek weten ze of medicijnen bij mijn persoonlijke situatie (bijv. mijn leeftijd of gezondheid) passen. 52. Deze apotheek biedt voldoende mogelijkheid voor een persoonlijk consult met de apotheker, als ik dat zou willen. 53. Bij deze apotheek leggen ze goed uit hoe ik de medicijnen moet gebruiken. 54. Bij deze apotheek vragen ze naar mijn ervaringen met mijn medicijnen. 55. Bij deze apotheek vragen ze of ik last van bijwerkingen heb van mijn medicijnen. 56. Bij deze apotheek denken ze met mij mee als het niet lukt om medicijnen volgens de voorschriften te gebruiken. 57. Ik word bij deze apotheek goed geïnformeerd als er veranderingen in mijn medicijnen zijn (bijv. in de vorm: als drankje of als pil).

22 Wat is uw mening over onderstaande uitspraken? 58. Ik heb vertrouwen in de deskundigheid van deze apotheker. 59. Deze apotheker doet zijn/haar werk goed. 60. Ik heb vertrouwen in de deskundigheid van de apotheekassistenten in deze apotheek. 61. De assistenten in deze apotheek doen hun werk goed. 62. Bij deze apotheek zijn ze op de hoogte van de nieuwste ontwikkelingen. 63. Bij deze apotheek verstrekken ze altijd de goede medicijnen. 64. Bij deze apotheek zoeken ze uit of medicijnen bij elkaar passen. 65. Bij deze apotheek word ik gewaarschuwd als er iets fout is met mijn medicijnen. 66. In deze apotheek wordt goed met mijn persoonlijke gegevens omgegaan. 67. Bij deze apotheek kunnen mijn medicijnen direct worden geleverd. 68. Bij deze apotheek wordt een medicijn meteen bijbesteld als het op is. 69. Ik kan bij deze apotheek mijn medicijnen altijd op tijd krijgen. 70. Deze apotheek werkt goed samen met de huisarts. Nu volgen enkele algemene vragen 71. Ik ben 72. Mijn geboortejaar is 73. Hebt u last van één of meerdere chronische ziekten of aandoeningen? 74. Hoe vaak per jaar gaat u naar deze apotheek? 75. Hebt u bij dit bezoek aan de apotheek voor de eerste keer medicijnen voorgeschreven gekregen dat u nog niet eerder heeft gebruikt? 76. Gaat u altijd naar deze apotheek?

23 Wat is uw mening over onderstaande uitspraken? 77. Deze apotheek staat bekend als een goede apotheek. 78. De volgende keer ga ik weer naar deze apotheek. 79. Ik zou andere mensen adviseren om naar deze apotheek te gaan. 80. Ik voel mij welkom in deze apotheek. 81. Bent u het afgelopen jaar om een of andere reden ontevreden geweest over deze apotheek? 82. Welk rapportcijfer zou u, alles bij elkaar genomen, geven aan deze apotheek?