Onderzoeksrapport Beoordelen toegankelijkheid en aanpasbaarheid van bestaande huurwoningen In opdracht van: Gemeente Wijk bij Duurstede Woningstichting Volksbelang
Onderzoeksrapport Beoordelen toegankelijkheid en aanpasbaarheid van bestaande huurwoningen Uitgave: Nijmegen, 8 juni 2009 Junior adviseurs: Adviesteam SafeErgo, Imke Bunthof Joanne Kwakkel Claudia Roelofs Gabi Scheffelaar Senior adviseur: A. de Veld In opdracht van: Gemeente Wijk bij Duurstede Woningstichting Volksbelang Contactpersonen: S. van de Gein (Gemeente Wijk bij Duurstede) J. van Nobelen & D. Rijkeboer (Woningstichting Volksbelang), Opleiding Ergotherapie, Hogeschool van Arnhem en Nijmegen, te Nijmegen Alle rechten voorbehouden. Teksten en/of delen van teksten uit deze uitgave mogen, na verkregen toestemming van de Hogeschool van Arnhem en Nijmegen, worden overgenomen of worden verveelvoudigd onder voorwaarde van bronvermelding. - 2 -
- 3 -
Inhoudsopgave 1 Inleiding blz. 5 2 Aanpak onderzoek blz. 6 2.1 Introductie 2.1.1 Onderzoek in het project 2.1.2 Betrouwbaarheid, bruikbaarheid en validiteit 2.2 Conceptueel ontwerp 2.2.1 Doelstelling 2.2.2 Vraagstelling 2.2.3 Begripsdefiniëring (operationalisatie) 2.3 Methode ontwerp 1 - Betrouwbaarheid 2.3.1 Onderzoeksstrategie 2.3.2 Populatie & selectie 2.3.3 Data collectie 2.3.4 Data analyse 2.4. Methode ontwerp 2 - Bruikbaarheid 2.4.1 Onderzoeksstrategie 2.4.2 Populatie & selectie 2.4.3 Data collectie 2.4.4 Data analyse 3 Uitwerking onderzoek deel I blz. 17 3.1. Inleiding 3.2. Doel van de studie 3.3. Methode 3.3.1 Interbeoordelaarsbetrouwbaarheid 3.3.2 Bruikbaarheid 3.4. Resultaten 3.4.1 Interbeoordelaarsbetrouwbaarheid 3.4.2 Bruikbaarheid 3.5. Conclusie 3.5.1 Interbeoordelaarsbetrouwbaarheid 3.5.2 Bruikbaarheid 3.6. Aanbevelingen 3.7. Discussie 3.8. Vervolg van het onderzoek 4 Uitwerking onderzoek deel II blz. 24 4.1. Inleiding 4.2. Doel van de studie 4.3. Methode 4.3.1 Interbeoordelaarsbetrouwbaarheid 4.3.2 Face validity 4.4. Resultaten 4.4.1 Interbeoordelaarsbetrouwbaarheid 4.4.2 Face validity 4.5. Conclusie 4.5.1 Interbeoordelaarsbetrouwbaarheid 4.5.2 Face validity 4.6. Aanpassingen uit onderzoek naar face validity 4.7. Aanbevelingen uit interbeoordelaarsbetrouwbaarheidsonderzoek 4.8. Discussie 5 Conclusie blz. 29-4 -
6 Literatuur blz. 30 Bijlagen blz. 31 Bijlage 1 Onderzoek deel I: Resultaten interbeoordelaarsbetrouwbaarheidsonderzoek Bijlage 2 Onderzoek deel I: Resultaten bruikbaarheidsonderzoek Bijlage 3 Onderzoek deel I: Aanpassing(en) per vraag in checklist Bijlage 4 Onderzoek deel II: Resultaten interbeoordelaarsbetrouwbaarheidsonderzoek Bijlage 5 Onderzoek deel II: Resultaten onderzoek face validity - 5 -
1 Inleiding Het uitvoeren van onderzoek is een groot deel geworden van het gehele project Beoordelen toegankelijkheid en aanpasbaarheid van bestaande huurwoningen. Om het onderzoek uit te kunnen voeren is er door de junior adviseurs een onderzoeksopzet gemaakt. Hierin komt de aanpak van het onderzoek en de daarbijbehorende onderbouwing naar voren. Er zijn in totaal 3 onderzoeken gedaan door de junior adviseurs. Er is onderzoek gedaan naar de interbeoordelaarsbetrouwbaarheid, de bruikbaarheid en de validiteit. Het interbeoordelaarsbetrouwbaarheidsonderzoek is opgesplitst in 2 onderzoeken. De onderzoeken naar de interbeoordelaarsbetrouwbaarheid, de bruikbaarheid en de validiteit zijn naast elkaar uitgevoerd. Voor de face validity en het bruikbaarheidsonderzoek zijn de junior adviseurs afhankelijk geweest van externe deskundigen. Het interbeoordelaarsbetrouwbaarheidsonderzoek is door de junior adviseurs zelf uitgevoerd. Behalve de onderzoeksopzet zijn ook de uitwerkingen van deze onderzoeken in dit document opgenomen. De junior adviseurs hadden geen ervaring met het doen van onderzoek. Zij hebben er daarom voor gekozen om in gesprek te gaan met een deskundige op het gebied van onderzoek. In eerste instantie hebben de junior adviseurs zelf diverse onderzoeksopzetten gemaakt en deze laten zien aan de deskundigen. Op basis van de gesprekken met deze deskundige is er voor de onderzoeken meer diepgang gecreëerd. Doordat de deskundige zijn adviezen baseert op de kennis die hij heeft vanuit de praktijk en de theorie kan ervan uitgegaan worden dat er nu een gedegen kwalitatief onderzoeksrapport ligt. - 6 -
2 Aanpak onderzoek De onderzoeksopzet is hieronder weergegeven. Hierin staat vermeld welke theorieën zijn gebruikt ter onderbouwing. 2.1. Introductie 2.1.1 Onderzoek in het project Het toegepaste onderzoek dat door de junior adviseurs zal worden uitgevoerd valt onder een groter project, waarbij de vraagstelling Wat is nodig om het sterrensysteem in de gemeente Wijk bij Duurstede te implementeren? centraal staat. De vier doelstellingen die zijn opgesteld bij bovenstaande vraagstelling zijn: In juni 2009 zijn 30 huurwoningen gescreend, aan de hand van de checklist toegankelijkheid en levensloopbestendigheid van woningen, en voorzien van een sterbeoordeling. Gedurende het traject zal de validiteit, betrouwbaarheid en bruikbaarheid van de checklist geëvalueerd en bijgesteld worden. In juni 2009 is er een indicatie van de kosten van het opplussen van de woningen. Voor alle gescreende woningen is er een indicatie op maat. Daarnaast zal er ook een algemene indicatie voor het opplussen per ster op papier gezet worden. In juni 2009 zal er door middel van de presentatie het sterrensysteem geïmplementeerd worden bij de betrokken partijen. Het toegepaste onderzoek binnen het project zal zich richten op de tweede doelstelling. Dit document zal een overzicht geven hoe dit toegepaste onderzoek door de junior adviseurs wordt vorm gegeven. Op de volgende bladzijde staat in een model schematisch en visueel weergegeven waar het onderzoek zich bevindt in het gehele project. - 7 -
Theorie sterrensysteem Theorie aanpassingen in woningen Theorie toegankelijkheid & levensloopbestendigheid woningen Screenen woningen (het onderzoek vormt hier een onderdeel van) Indicatie kosten opplussen woning Analyse resultaten Aanbevelingen & Implementatie Theorie (klinimetrische) eigenschappen meetinstrument Theorie projectmatig werken Theorie over participatie 2.1.2 Betrouwbaarheid, bruikbaarheid en validiteit In het onderzoek gaan de junior adviseurs in op de betrouwbaarheid van de checklist, nog specifieker de interbeoordelaarsbetrouwbaarheid. Hieronder zal uitgelegd worden waarom zij hier het onderzoek op willen richten. Betrouwbaarheid Betrouwbaarheid heeft betrekking op de consequentheid en de nauwkeurigheid van metingen. In het ideale geval moet één bepaalde toestand één vaste meetwaarde opleveren: men spreekt dan van de eis van herhaalbaarheid en reproduceerbaarheid (Bron: Brinkman, 2000). Een instrument is betrouwbaar als minimaal twee verschillende onderzoekers op dezelfde meetuitkomsten uitkomen voor dezelfde onderzoekseenheden. Als het de overeenstemming betreft tussen twee of meerdere beoordelaars dan spreken we van interbeoordelaarsbetrouwbaarheid. Deze betrouwbaarheid kan eventueel worden gemeten door de beoordelaarsovereenstemming te berekenen - de Kappa coëfficiënt van Cohen (Bron: Universiteit Leuven, 2008). - 8 -
Voor een hoge interbeoordelaarsbetrouwbaarheid is het belangrijk dat het meetinstrument duidelijk is en goede instructies bevat (Bron: Baarda en de Goede, 2006). Om de betrouwbaarheid te bewaken moet zo precies mogelijk worden vastgesteld wat met een bepaald begrip of met een bepaalde variabele wordt bedoeld. Dat betekent dus dat de betreffende variabelen zo volledig mogelijk moeten zijn geoperationaliseerd (Bron: Brinkman, 2000). Bruikbaarheid Een logisch vervolg op de betrouwbaarheid van een checklist is de bruikbaarheid. De verwachting is, na één keer een (proef)woning te hebben gescreend en daarbij verschillende gegevens verkregen te hebben, dat er verschillende variabelen in de checklist geoperationaliseerd zullen moeten worden en dat er duidelijkere instructies moeten worden gegeven om de betrouwbaarheid en daarmee gepaard de bruikbaarheid van de checklist te vergroten. Standaardisatie van een meetinstrument valt onder de bruikbaarheid. Het eenduidig gebruik van een meetinstrument is de standaardisering. Dus dat je één vaste lijn hebt hoe het meetinstrument moet worden af genomen. Bij sommige meetinstrumenten is dit helemaal niet nodig, omdat dit geen invloed heeft op het toekennen van de score. Dit is het geval bij deze checklist. En andere punt bij de standaardisering is de maatvoering. Als de maatvoering niet eenduidig is, dan is de maatvoering in de checklist niet gestandaardiseerd. Dit is waarschijnlijk het geval bij deze checklist. Standaardisering kan pas aangepast worden na het bruikbaarheidsonderzoek. Bruikbaarheid heeft namelijk invloed op de resultaten van de metingen en kan dus ernstig de betrouwbaarheid aantasten. Validiteit Validiteit slaat op de mate waarin een meting ook werkelijk dat meet wat je meten wilt. Validiteit betekent geldigheid. Een meting is valide als de variabel zoals bedoeld overeenkomt met de variabele zoals gemeten. Er bestaan geen bikkelharde maatstaven voor de bepaling van de validiteit van vragenlijsten. Wel zijn er een aantal bronnen waaruit voor een oordeel over de validiteit kan worden geput: de theorie, deskundigen, de voorspellende waarde van de gegevens en een vergelijking met andere meetinstrumenten (Bron: Brinkman, 2000). Hieronder zullen de junior adviseurs deze bronnen toelichten met betrekking tot de checklist. Theorie Voor het opstellen van de checklist is er gebruik gemaakt van verschillende literatuur over het onderwerp. Zo is er o.a. gebruik gemaakt van literatuur over de theorie van het sterrensysteem, toegankelijkheid van woningen en maatvoering van woningen. Voetpaden voor iedereen Gradaties in toegankelijkheid van wonen (begrippen) Gradaties in toegankelijkheid van wonen (richtlijnen) Eisen voor een integraal toegankelijke speelvoorziening Handboek voor Toegankelijkheid Handboek Woonkeur Gebruikerstoets Wonen & zorg Handboek aanpasbaar bouwen (1992) Handboek voor Architecten en planologen Bouwbesluit 2003 (Bron: Haug, 2007) Uitgave van CliëntenBelang Utrecht Uitgave van CliëntenBelang Utrecht Uitgave van CliëntenBelang Utrecht Uitgave van de NUSO Uitgave Reed Business Information bv Uitgave SKW certificatie VACpunt Wonen Nationale woningraad www.aedes.nl ARJO www.arjo.nl Bris www.bouwbesluitonline.nl - 9 -
Deskundigen De checklist is opgesteld door een deskundige op het gebied van toegankelijkheid van woningen, namelijk Job Haug, Bouwkundig Adviseur Toegankelijkheid. De checklist is niet extern getoetst. Dit houdt in dat de checklist niet getest is op gezichtsvaliditeit/face validity (de mate waarin een meetinstrument op het eerste gezicht lijkt te meten wat het behoort te meten). De onderzoekers zullen de checklist aan minimaal 3 deskundigen voor leggen die op de hoogte zijn van toegankelijkheid van woningen, levensloopbestendig bouwen en maatvoering. Deze deskundigen kunnen dan iets zeggen/oordeel geven over of de checklist meet wat het echt moet meten. De deskundigen zullen via de mail benaderd worden en zullen ook via de mail reageren. Aangezien er maar één vraag gesteld word bij het face validity onderzoek vinden de junior adviseurs het niet efficiënt om persoonlijk naar de deskundigen toe te gaan. Vergelijking met andere meetinstrumenten De checklist is opgesteld aan de hand van een eerdere checklist die was gemaakt door de Maaskoepel te Rotterdam voor het screenen van woningen op toegankelijkheid en levensloopbestendigheid. Daarnaast is er ook een checklist die wordt gebruikt in de gemeente Tilburg. De meetresultaten van de huidige checklist die gebruikt wordt door de gemeente Wijk bij Duurstede vertonen grote samenhang met de checklist van de Maaskoepel en de gemeente Tilburg. 2.2 Conceptueel ontwerp 2.2.1 Doelstelling Het doel van het onderzoek is om de checklist voor het toetsen van toegankelijkheid en levensloopbestendigheid van bestaande woningen betrouwbaar en daarmee gepaard bruikbaar te maken, zodat deze checklist afgenomen kan worden door de personen die voldoen aan de instapvoorwaarden om de checklist te mogen afnemen en die als resultaat een woning van een sterbeoordeling kunnen voorzien. 2.2.2 Vraagstelling Wat is de interbeoordelaarsbetrouwbaarheid van de checklist voor het toetsen van toegankelijkheid en levensloopbestendigheid van bestaande woningen wanneer deze individueel wordt afgenomen door 4 junior adviseurs ergotherapie om de woningen aan de hand van de checklist van een sterbeoordeling te voorzien? 2.2.3 Begripsdefiniëring (operationalisatie) Checklist Controlelijst. Toegankelijkheid Toegankelijkheid betekent dat alle voorzieningen (zowel gebouwen als open ruimten en diensten) voor wonen, leven en werken effectief bereikbaar, begrijpbaar en bruikbaar zijn voor iedereen. - 10 -
Levensloopbestendig Een levensloopbestendige wijk is een wijk die mensen in willekeurig welke levensfase, ongeacht levensomstandigheden huishoudensamenstelling en culturele achtergrond, optimale mogelijkheden biedt voor alle vormen van fysieke en geestelijke activiteit en zelfontplooiing en die een woningaanbod en voorzieningen niveau heeft dat daartoe is uitgerust. (Bron: SZW, 2002) Huurwoningen Een huurwoning is een woning die gehuurd is. De eigenaar is veelal een woningcorporatie of een particulier en niet de bewoner. Er wordt een huurovereenkomst of -contract aangegaan waaraan beide partijen zich moeten houden. Betrouwbaar Wat de betrouwbaarheid van de waarneming betreft gaat het om de vraag of herhaald doen van dezelfde observatie leidt tot steeds dezelfde uitslag. Bruikbaar Praktisch en toepasbaar (o.a. vormgeving, formulering vragen, vakjargon, afbeeldingen) Sterbeoordeling Het gaat om het kwalificeren en beoordelen van niveaus van toegankelijkheid aan de hand van de checklist en bij dit onderzoek is er voor gekozen om te kwalificeren aan de hand van sterren. Sterrensysteem Systeem waarmee bestaande woningen kunnen worden geclassificeerd met betrekking tot de volgende classificaties; nultrapwoning (*), rollator toegankelijk (**), rolstoel bezoekbaar & rollator toegankelijk (***), rolstoel toegankelijk (****) en zorg (*****). 2.3 Methode ontwerp 1 - Betrouwbaarheid 2.3.1 Onderzoeksstrategie Kwantitatief onderzoek, in de vorm van een interbeoordelaarsbetrouwbaarheidsonderzoek. 2.3.2 Populatie & selectie (= het totaal van objecten waarop een onderzoek betrekking heeft en waarover een uitspraak wordt gedaan) De onderzoeksgroep bestaat uit 29 bestaande huurwoningen in de gemeente Wijk bij Duurstede. Deze onderzoeksgroep is tot stand gekomen via een doelgerichte steekproef. Bij een doelgerichte steekproef wordt een bepaalde combinatie van eenheden beschouwd als karakteristiek voor de gehele populatie (Bron: Baarda en De Goede, 2006). Woningstichting Volksbelang heeft deze doelgerichte selectie uitgevoerd. De woningen in de onderzoeksgroep zijn van hetzelfde type woning als de overige woningen in die straat of dat woongebouw. Op die manier kunnen ongeveer alle bestaande huurwoningen in de gemeente Wijk bij Duurstede van een eindbeoordeling in sterren worden voorzien. - 11 -
De in- en exclusiecriteria die woningstichting Volksbelang gebruikt hebben bij het opstellen van de onderzoeksgroep zijn: Inclusiecriteria Bestaande huurwoningen Gelegen in de gemeente Wijk bij Duurstede Woning, waarbij er meerdere woningen van hetzelfde type zijn Exclusiecriteria Nieuwbouw woningen Niet gelegen in de gemeente Wijk bij Duurstede Woning, waarbij de woning enig is in zijn type 2.3.3 Data collectie De interbeoordelaarsbetrouwbaarheid wordt vastgesteld door de vier junior adviseurs individueel op hetzelfde moment de checklist af te laten nemen in een bestaande huurwoning. Inhoudelijk zal er onderling niet worden gesproken over de checklist en de uitkomsten. De vier junior adviseurs hebben voor het uitvoeren van het betrouwbaarheidsonderzoek éénmaal gezamenlijk een bestaande (leegstaande) huurwoning bezocht. In tweetallen is de checklist afgenomen en daarna is deze samen met Job Haug (bouwkundig adviseur toegankelijkheid) doorgenomen. Dit betekent dat de onderzoekers niet helemaal blanco zullen beginnen met het screenen van de overige woningen. Het gezamenlijk screenen van de 1 e woning heeft de onderzoekers wel ideeën gegeven voor de opzet van de onderzoeken die zullen plaatsvinden naar de checklist. Voor het bruikbaarheidsonderzoek, zie methode ontwerp 2. De onderzoekers hebben ervoor gekozen om individueel de woningen te screenen. De checklist moet individueel door iedereen afgenomen kunnen worden. Om dit zo realistisch mogelijk in het betrouwbaarheidsonderzoek op te nemen verwachten de onderzoekers ook dat dit de beste uitkomsten geeft. Daarnaast is het mogelijk om bijvoorbeeld meetfouten er op die manier uit te halen. De onderzoekers verwachten namelijk dat als er 4 metingen gedaan worden er minimaal 3 goede metingen tussen zullen zitten. Als je in 2 groepen gaat kan het voorkomen dat je te maken krijgt met een goede en een foute meting. Het zal dan veel moeilijker zijn om de foute meting eruit te halen. De keus is gemaakt om voor het 1 e deel van het interbeoordelaarsbetrouwbaarheid onderzoek 12 bestaande huurwoningen aan de hand van de checklist te screenen. Dit is ongeveer 1/3 van de totale onderzoeksgroep. Er zullen tijdens de screening twee criteria meegenomen worden, namelijk de persoonsgebonden afname en de bruikbaarheid van de checklist. Nadat de 12 bestaande huurwoningen individueel zijn gescreend aan de hand van de checklist, wordt de checklist mogelijk bijgesteld en aangepast naar aanleiding van de uitkomsten. Ook de uitkomsten uit het bruikbaarheidsonderzoek worden hiervoor gebruikt. Vervolgens worden in het 2 e deel van het onderzoek de overige 17 bestaande huurwoningen individueel gescreend. Aan de hand van deze uitkomsten kan de checklist mogelijk nog verder worden aangepast, om de bruikbaarheid te vergroten. - 12 -
In beide delen van het onderzoek zullen de onderzoekers dus individueel de woningen screenen om zo de interbeoordelaarsbetrouwbaarheid aan het eind te kunnen vergelijken en te concluderen of de interbeoordelaarsbetrouwbaarheid na aanpassing van de checklist is toegenomen of afgenomen. Er zal op een gestructureerde wijze informatie verzameld worden. De voorkeur gaat uit naar gestructureerde informatieverzameling, omdat we van tevoren precies weten wat voor informatie we willen hebben en wat voor soort antwoorden wij kunnen verwachten. Daarbij ben je minder afhankelijk van toeval en kun je nauwkeuriger gegevens verzamelen (Bron: Baarda en De Goede, 2006). In dit onderzoek willen de onderzoekers dit als volgt aanpakken: Deel I De checklist wordt individueel en onafhankelijk van elkaar afgenomen en ingevuld tijdens het screenen van een woning Tijdens het screenen van een woning gaan de 4 onderzoekers tegelijk naar binnen, maar ieder zal bij een andere ruimte in de woning beginnen (andere vraag in checklist) Gedurende de periode van de screening van de 12 woningen zal door de onderzoekers alleen over de procedure en methode gesproken worden, niet over de inhoud Individueel na afloop van het screenen van elke woning thuis de gegevens verwerken in de sterrenlijst en de conclusie trekken van hoeveel sterren de woning is voorzien Nadat alle 12 woningen gescreend zijn zullen de sterbeoordelingen van de woningen toegekend door iedere individuele onderzoeker wordt verwerkt in een matrix (x-as de sterren op de y-as de woningen) Ook zullen alle vragen in de checklist per woning van iedere individuele onderzoeker worden verwerkt in een matrix (x-as de vier onderzoekers op de y-as de vragen) De interbeoordelaarsbetrouwbaarheid zal berekend worden op basis van de vragen per woning. Er zal worden gekeken hoe vaak een antwoord op één vraag wordt gegeven en hoe vaak dezelfde sterbeoordeling is toegekend aan een woning. Bijvoorbeeld: 3 van 4 onderzoekers heeft ja op één vraag geantwoord. Dit is dan een interbeoordelaarsbetrouwbaarheid van 75% De checklist zal aangepast en verbeterd aan de hand van de uitkomsten van het betrouwbaarheidsonderzoek en het bruikbaarheidsonderzoek Deel II Vervolgens zullen de 17 overige bestaande huurwoningen ook individueel en onafhankelijk gescreend worden Wederom zal er een matrix worden gemaakt en berekend hoe veel % de interbeoordelaarsbetrouwbaarheid is De interbeoordelaarsbetrouwbaarheid wordt met elkaar vergelijken en er zullen conclusies uit worden getrokken Mogelijk nog kleine aanpassingen aanbrengen aan de checklist 2.3.4 Data analyse Na het screenen van de 12 woningen zal dus iedereen de uitkomsten aan elkaar voorleggen en deze uitkomsten zullen verwerkt worden in een matrix. Waarna de interbeoordelaarsbetrouwbaarheid wordt berekend per item. - 13 -
De kans is groot dat de onderzoekers uit komen op dezelfde stercategorie, ondanks dat zij de vragen in de checklist anders hebben beantwoord. Daarom wordt de interbeoordelaarsbetrouwbaarheid berekend op itemniveau. Dan kunnen de onderzoekers er namelijk meer uithalen. Het streven is naar een interbeoordelaarsovereenkomst van 75% per woning. Er zijn altijd verschillende factoren die kunnen zorgen voor een vertekening van het meetresultaat. Een interbeoordelaarsovereenkomst van 100% is dan ook niet haalbaar/logisch. De data per item zullen in een matrix worden opgenomen. De data zullen niet allemaal worden opgenomen in de scriptie. Scoort een item/vraag 75 % of 100 % dan hoeft in eerste instantie niet verder naar deze vraag worden gekeken. Mocht een item niet voldoen aan dit percentage dan kan het zijn dat het aan de standaardisatie van de maatvoering ligt. De onderzoekers zullen met elkaar in overleg moeten, om te bepalen waar die verschillen vandaan komen. De verwachting is, is dat de checklist niet gestandaardiseerd zal zijn, omdat de maatvoering niet eenduidig is. De methodologische vraag die de onderzoekers zich vervolgens hebben gesteld is, Ga je eerst de bruikbaarheid en dan de betrouwbaarheid beoordelen of andersom? De betrouwbaarheid kan beïnvloedt worden door de standaardisatie. Als de betrouwbaarheid dus hoog is dan heeft de standaardisatie geen invloed. Is de betrouwbaarheid laag dan kan dat komen doordat de checklist niet gestandaardiseerd is. Op dat moment zullen de onderzoekers naar de standaardisatie van de maatvoering in de checklist moeten kijken. Dat wil dus zeggen dat als zij de maatvoering in de checklist op dat moment standaardiseren dat de betrouwbaarheid verhoogd wordt. Door de onderzoekers zal eerst het betrouwbaarheidsonderzoek worden uitgevoerd, waarna achteraf bekeken wordt of het nodig is om de checklist te standaardiseren. Als de onderzoekers eerst het bruikbaarheidsonderzoek uitvoeren zal er inhoudelijk over het instrument gediscussieerd moeten worden en zal de checklist aangepast worden voordat zij met het betrouwbaarheidsonderzoek kunnen beginnen. Op die manier zou de betrouwbaarheid vastgesteld worden op een gestandaardiseerd instrument. In de loop van het onderzoek kwam de standaardisatie ter sprake. De onderzoekers waren toen al bezig met het uitvoeren van het betrouwbaarheidsonderzoek. In het onderzoek gaat het om een klein aantal data. Daarom nemen de onderzoekers het toeval niet mee in de data. De onderzoekers zullen niets aan het toeval overlaten. Bijvoorbeeld door zeer geconcentreerd een woning te screenen. Het is ook niet te doen om dit statisch te verwerken, het kost teveel tijd en is niet haalbaar. Er zal vervolgens worden gekeken waar de overeenkomsten en verschillen per vraag zitten en welke mogelijke oplossingen er zijn om de betrouwbaarheid en de bruikbaarheid te vergroten. Dit zal worden vastgelegd in een kort verslag. Het verslag zal er als volgt uit zien: - Matrix met daarin individuele antwoorden van de onderzoekers per vraag per woning - Interbeoordelaarsbetrouwbaarheid in procenten (%) m.b.t. de antwoorden per vraag - Vragen uit de checklist waarbij de antwoorden verschilde per onderzoeker - Af- en overwegingen van de onderzoeker(s) waarom voor dat antwoord is gekozen - Mogelijke oplossingen en aanpassingen als het antwoord niet overeen kwam - 14 -
Na 12 woningen gescreend te hebben met de checklist zullen aanbevelingen gegeven worden over mogelijke aanpassingen en bijstellingen van de checklist aan de opdrachtgevers en Job Haug. Aan het eind van deel I en deel II van het betrouwbaarheidsonderzoek en het bruikbaarheidsonderzoek zal er door de onderzoekers verslaglegging plaatsvinden per woning wat de sterbeoordeling is, welke aanpassingen nodig zijn om de woning één ster op te plussen en welke kosten hier aan verbonden zijn. Hiermee worden twee andere doelstellingen van het project beantwoord. Het kan voorkomen dat niet elke onderzoeker de woning van een dezelfde sterbeoordeling heeft voorzien. Er zal dan worden gekeken naar de interbeoordelaarsbetrouwbaarheid en geluisterd worden naar de individuele bevindingen, meningen, oordelen e.d. van iedere onderzoeker. Hierbij kan eventueel gebruik worden gemaakt van foto s die zijn gemaakt van de woning. Vervolgens zal na dit overleg tot een besluit worden gekomen tot de sterbeoordeling van de woning. 2.4. Methode ontwerp 2 - Bruikbaarheid 2.4.1 Onderzoeksstrategie Kwantitatief onderzoek, bruikbaarheidsonderzoek. 2.4.2 Populatie & selectie (= het totaal van objecten waarop een onderzoek betrekking heeft en waarover een uitspraak wordt gedaan) De onderzoeksgroep bestaat uit 11 deelnemers. Deze deelnemers zullen de checklist en de sterrenlijst doorlezen. Vervolgens zullen zij de vragenlijst invullen. Deze onderzoeksgroep is tot stand gekomen via het benaderen van familie. Dit heeft de vorm van een doelgerichte steekproef. Bij een doelgerichte steekproef wordt een bepaalde combinatie van eenheden beschouwd als karakteristiek voor de gehele populatie (Bron: Baarda en De Goede, 2006). De in- en exclusiecriteria die de onderzoekers hierbij hebben gebruikt zijn: Inclusiecriteria Personen boven de 18 jaar Minimaal afgeronde middelbare opleiding Nederlands als moedertaal Exclusiecriteria Personen onder de 18 jaar Geen afgeronde middelbare opleiding Nederlands niet als moedertaal Het is niet noodzakelijk om voor dit bruikbaarheidsonderzoek meer dan 11 deelnemers te hebben. Gezien de tijd is het niet mogelijk om personen buiten de familiekring van de onderzoekers te zoeken. Ook is de verwachting is dat er een grote respons is van de familie van de onderzoekers. - 15 -
2.4.3 Data collectie Zoals eerder in methode ontwerp 1 vermeld is, hebben wij één woning met zijn allen doorlopen aan de hand van de checklist. Onze discussie naderhand ging vooral over de bruikbaarheid van de checklist. Gezien het betrouwbaarheidsonderzoek en de individuele inbreng die noodzakelijk is in dit onderzoek, is er voor gekozen om een bruikbaarheidsonderzoek af te nemen onder leken. Uiteindelijk zal in de praktijk het voor moeten komen dat iedereen (mogelijk de mensen die voldoen aan bepaalde instapvoorwaarden) de checklist moet kunnen afnemen bij een bestaande huurwoning en dat dezelfde uitkomsten gemeten worden. De personen die gevraagd worden voor dit onderzoek, zijn mensen binnen de familiekring. Zij zijn gemakkelijk te bereiken en zullen geneigd zijn om eerder deel te nemen aan het onderzoek. Onder hen wordt een enquête uitgezet door de onderzoekers. Er wordt hen gevraagd om een vragenlijst in te vullen over de checklist en sterrenlijst (hierin worden de uitkomsten van de checklist omgezet naar de sterrencategorieën). De 11 deelnemers zullen door middel van een brief op de hoogte gesteld zullen worden van het doel van het onderzoek. Door dat wij familie vragen voor dit onderzoek verwachten wij geen tot weinig problemen met de respons en is ook het zoeken naar deelnemers minder tijdrovend. Voor deelname aan het onderzoek zijn er een aantal inclusiecriteria opgesteld. Op die manier verwachten wij de meeste betrouwbare antwoorden te verkrijgen in vergelijking met de doelgroep die uiteindelijk de checklist af zal moeten nemen. In de vragenlijst worden ongeveer 10 vragen opgenomen met betrekking tot o.a. de lay-out, het taalgebruik, de volgorde van de vragen, duidelijkheid en eenvoud van de vragen, de antwoordmogelijkheden en duidelijkheid van de begrippen. Doordat de onderzoekers zelf al eerder de checklist hadden afgenomen zijn zij tot deze criteria gekomen. Daarnaast hebben zij gebruik gemaakt van literatuur over het opzetten van vragenlijsten (Bron: Brinkman, 2000). Er is door de onderzoekers gekozen voor een 4 puntsschaal in de vragenlijst. Op die manier zullen de personen een duidelijke mening moeten vormen over een onderwerp. De onderzoekers kunnen vervolgens ook de gegevens eenvoudiger verwerken en uiteindelijk ook beter analyseren. Door dit onderzoek willen wij aantonen hoe bruikbaar de checklist is en tot slot zullen er aanbevelingen gedaan worden over eventuele aanpassingen aan die checklist. Puntsgewijs ziet de data collectie er als volgt uit: - De onderzoeker informeert bij familieleden of zij mee willen doen aan het onderzoek - De onderzoeker regelt 2 á 3 familieleden die mee willen doen aan het onderzoek - Afgeven van de inleidende brief aan het deelnemende familielid aan het onderzoek - Het familielid zal worden gevraagd om individueel de vragenlijst in te vullen - De onderzoeker verzamelt de ingevulde vragenlijsten - De onderzoekers voeren de data uit de vragenlijsten in, in Thesis tools - Thesis tools verwerkt de data in (frequentie) tabellen en grafieken De onderzoekers screenen de woningen en kunnen op die manier ook de praktische bruikbaarheid van de checklist beoordelen. Echter hebben zij allemaal dezelfde achtergrond (4 e jaars studenten ergotherapie). Ideaal gezien zou de checklist ook praktisch beoordeeld moeten worden door leken (de controlegroep). Gezien de tijd en de complexiteit van de organisatie is dat helaas niet mogelijk. - 16 -
Er is nog nagedacht om misschien een leek in het 2 e deel van het interbeoordelaarsbetrouwbaarheidsonderzoek mee te nemen naar +/- 5 woningen. Hiervoor is het 2 e deel van het onderzoek gekozen, omdat de checklist dan aangepast is en dus door iedereen (die voldoet aan de instapwaarden) afgenomen zou kunnen worden. Door een leek mee te nemen, kan dan worden gekeken wat de afwijkingen zijn ten opzichte van ons gemiddelde. Het doel wat de onderzoekers hier mee wilden bereiken is een controle van de aangepaste checklist. Op die manier zou de betrouwbaarheid van de checklist nog een keer gecontroleerd kunnen worden. Er worden zo wel variabelen meegenomen in het onderzoek die moeilijk te controleren en analyseren zijn. Wat de onderzoekers eventueel aan het eind van het onderzoek kunnen doen is een aanbeveling geven om leken de checklist af te laten nemen in een vervolgtraject. Andere redenen waarom de onderzoekers afzien van dit nevenonderzoek zijn: - Bewoners van woningen vinden 4 onderzoekers al te veel in hun woning - Voor het 2 e deel van het onderzoek zijn er geen leegstaande bestaande huurwoningen meer (de checklist zou zowel in leegstaande als bewoonde bestaande huurwoningen door de onderzoeker moeten worden afgenomen) - De 5 e onderzoeker is niet in dienst van de Gemeente en de Woningstichting Conclusie: De praktische bruikbaarheid zal door de onderzoekers beoordeeld worden. 2.4.4 Data analyse Nadat de data verwerkt zijn in tabellen en grafieken zullen de onderzoekers de data analyseren op frequentie. De gegevens die hieruit naar voren komen zullen de onderzoekers meenemen naar mogelijke aanpassingen voor de checklist Vanuit de matrix zal er een verslag gemaakt worden waarin de aanbevelingen komen te staan. Het verslag zal er bijvoorbeeld als volgt uit zien: - De lay-out van de checklist zal aangepast moeten worden op punten - Het taalgebruik in de checklist zal aangepast moeten worden bij vraag - De volgorde van de vragen zal aangepast moeten worden - De vragen zijn niet duidelijk genoeg en zullen dus aangepast moeten worden. - De antwoordmogelijkheden moeten aangepast worden - De duidelijkheid van begrippen moet aangepast worden Na de verwerking van de gegevens zullen er aanbevelingen gedaan worden voor de aanpassingen van de checklist en de sterrenlijst. Deze aanbevelingen zullen worden doorgesproken met Job Haug. Vervolgens zullen de onderzoekers na goedkeuring deze aanpassingen aanbrengen in de checklist en sterrenlijst. Met de aangepaste checklist, die tot stand is gekomen na aanleiding van het 1 e deel van het betrouwbaarheidsonderzoek en het bruikbaarheidsonderzoek zullen de overige 17 woningen gescreend en beoordeeld worden. - 17 -
3 Uitwerking onderzoek deel I Hieronder wordt het eerste gedeelte van het interbeoordelaarsbetrouwbaarheidsonderzoek uitgewerkt. Ook is hierin de uitwerking van het eerste gedeelte van het validiteitsonderzoek en het bruikbaarheidsonderzoek terug te vinden. 3.1. Inleiding In dit verslag zijn de resultaten weergeven van de onderzoeken die zijn uitgevoerd naar de betrouwbaarheid en bruikbaarheid van de checklist die de toegankelijkheid en aanpasbaarheid van de woningen in kaart te brengt. De checklist geeft met behulp van het toekennen van sterren aan bestaande woningen aan in welke mate een woning toegankelijk en aanpasbaar is. Deel I van het onderzoek, het screenen van 12 woningen met de checklist, is op dit moment voltooid. In deel II van het onderzoek worden de overige 17 woningen gescreend op toegankelijkheid met de aangepaste checklist die gevormd is naar aanleiding van deel I van het onderzoek. De methodes die gebruikt zijn bij de onderzoeken worden eerst kort beschreven. Naar aanleiding van de resultaten van de onderzoeken worden er conclusies getrokken over de betrouwbaarheid en bruikbaarheid van de checklist. Aan de hand van de conclusies worden er aanbevelingen gegeven over mogelijke aanpassingen aan de checklist om de betrouwbaarheid, bruikbaarheid en standaardisatie te vergroten. Op het eind zijn in dit verslag nog een aantal discussiepunten met betrekking tot het onderzoek opgenomen. 3.2. Doel van de studie De gemeente Wijk bij Duurstede ziet graag dat er levensloopbestendig woningen zijn in haar gemeente. De checklist zal met behulp van het toekennen van sterren aan bestaande woningen moeten aangeven in welke mate een woning toegankelijk en aanpasbaar is. De betrouwbaarheid (en bruikbaarheid) van deze checklist is nog niet eerder nagegaan. De vraagstelling van het onderzoek luidt: Wat is de interbeoordelaarsbetrouwbaarheid van de checklist wanneer deze individueel wordt afgenomen door 4 junior adviseurs ergotherapie om de woningen aan de hand van de checklist van een sterbeoordeling te voorzien? 3.3. Methode 3.3.1 Interbeoordelaarsbetrouwbaarheid In 2,5 week tijd werd de checklist bij 12 bestaande huurwoningen individueel afgenomen door de 4 junior adviseurs ergotherapie. Gedurende deze periode van screening van de 12 woningen is er door de onderzoekers alleen gesproken over de procedure en methode en niet over de inhoud van de checklist. De resultaten per vraag zijn vervolgens verwerkt in een matrix met de op de x-as de vier onderzoekers en op de y-as de woningen. Ook worden de sterbeoordelingen van de woningen door de individuele onderzoekers verwerkt in een matrix met op de x-as de sterren op de y-as de woningen. Vanuit deze resultaten wordt een overeenstemming toegekend van 0,5; 0,75 en 1 per vraag in de checklist en per sterbeoordeling per woning. - 18 -
Daarna zal de gemiddelde overeenstemming berekend worden per vraag over 12 woningen. Vervolgens zal de interbeoordelaarsbetrouwbaarheid (zonder toevalsovereenstemming) berekend worden van de 32 vragen in de checklist over de 12 woningen en de sterbeoordeling over de 12 woningen. De indeling van overeenstemming die gebruikt wordt bij de resultaten van het betrouwbaarheidsonderzoek is: < 0,6 slecht 0,6-0,7 matig 0,7-0,8 redelijk 0,8-0,9 goed 0,9-1,0 zeer goed De indeling is afgeleid van de indeling die gebruikt wordt voor de interpretatie van Kappa. Interpretatie van κ (Kappa), volgens Altman <0,2 slecht (κ kan negatief zijn) 0,2-<0,4 matig 0,4-<0,6 redelijk 0,6-<0,8 goed 0,8-<1 erg goed (Bron: Burgerhof, 2009) In dit onderzoek wordt er géén rekening gehouden met toevalsovereenstemming. Daar is voor gekozen omdat de junior adviseurs niet voldoende gegevens zullen verzamelen om te maken te hebben met een echte toevalsovereenstemming. De toevalsovereenstemming is pas van toepassing bij zeer grote hoeveel heden data die gedurende het onderzoek verzameld zullen worden. De waarde van de proportie overeenstemming zal dan ook hoger moeten zijn voor een betere overeenstemming. Daarnaast wordt er met de absolute getallen van 0,5; 0,75 en 1,0 overeenstemming per vraag gerekend. Dit betekent dat de overeenstemming nooit lager kan zijn dan 0,5. Bij de uitkomsten van de overeenstemming zal ook een kolom worden opgenomen, waarbij met + in één oogopslag kan worden gezien met welke mate van overeenstemming je te maken hebt. Voorbeeld: Vraag 1 0,85 +++ Vraag 2 0,92 ++++ - = slecht, + = matig, ++ = redelijk, +++ = goed, ++++ = zeer goed 3.3.2 Bruikbaarheid Daarnaast is in deel I van het onderzoek een bruikbaarheidsonderzoek uitgevoerd. De personen die gevraagd zijn voor dit onderzoek, zijn 11 mensen binnen de familiekring van de onderzoekers. Zij zijn gemakkelijk te bereiken en eerder geneigd zijn om deel te nemen aan het onderzoek. Onder hen wordt een enquête uitgezet met inleidende brief en gevraagd om een vragenlijst in te vullen over de checklist en sterrenlijst (hierin worden de uitkomsten van de checklist omgezet naar de sterrencategorieën). - 19 -
Voor deelname aan het onderzoek zijn er een aantal in- en exclusiecriteria opgesteld. Op die manier worden de meeste betrouwbare antwoorden verkregen in vergelijking met de doelgroep die uiteindelijk de checklist af zal nemen. Inclusiecriteria Personen boven de 18 jaar Minimaal afgeronde middelbare opleiding Nederlands als moedertaal Exclusiecriteria Personen onder de 18 jaar Geen afgeronde middelbare opleiding Nederlands niet als moedertaal In de vragenlijst zijn 10 vragen, met antwoordmogelijkheden helemaal mee eens, eens, oneens en helemaal mee oneens, opgenomen met betrekking tot o.a. de lay-out, het taalgebruik, de volgorde van de vragen, duidelijkheid en eenvoud van de vragen, de antwoordmogelijkheden en duidelijkheid van de begrippen. De praktische bruikbaarheid van de checklist is beoordeeld door de onderzoekers, die de checklist afnemen bij de woningen. Nadat de data verwerkt zijn in tabellen, hebben de onderzoekers de data geanalyseerd op frequentie. De gegevens die hieruit naar voren komen worden samen geanalyseerd met resultaten uit het betrouwbaarheidsonderzoek. Vervolgens zullen hier uit de aanbevelingen met betrekking tot de checklist naar voren komen. 3.4. Resultaten 3.4.1 Interbeoordelaarsbetrouwbaarheid De interbeoordelaarsbetrouwbaarheid is berekend over 12x het afnemen van de checklist in bestaande huurwoningen in de gemeente Wijk bij Duurstede. De interbeoordelaarsbetrouwbaarheid (zonder toevalsovereenstemming) met betrekking tot de vragen van de checklist is 0,912760 (= 91,28%). De interbeoordelaarsbetrouwbaarheid (zonder toevalsovereenstemming) met betrekking tot de sterbeoordelingen van de checklist is 0,770833 (= 77,08%). Voor de resultaten van het betrouwbaarheidsonderzoek in matrices wordt u verwezen naar bijlage 1. 3.4.2 Bruikbaarheid Het bruikbaarheidsonderzoek is uitgevoerd onder zes mannen en vijf vrouwen die in de gemiddelde leeftijd van zesenveertig tot vijfenvijftig jaar vallen. De hoogst genoten opleiding van de respondenten is gemiddeld MBO niveau, daarbij gevolgd door het HBO niveau. Het merendeel van de respondenten geeft aan dat ze de lay-out van de checklist en de sterrenlijst professioneel vindt. Over de duidelijkheid van de formulering van de vragen van de checklist en de sterrenlijst zijn de meningen van de respondenten verdeeld. Iets meer dan de helft geeft aan het eens te zijn met de duidelijkheid van de formulering terwijl een derde aangeeft het hier niet mee eens te zijn. Op een enkeling na vinden alle respondenten dat de vragen in een logische volgorde zijn opgenomen. Hetzelfde geldt ook voor de begrijpelijkheid van het gebruikte - 20 -
vakjargon. Over de wijze van scoring van de uitkomsten uit de checklist en de sterrenlijst zijn de meningen verdeeld. Iets meer dan de helft vindt het duidelijk terwijl iets minder dan de helft het hier niet mee eens is. Het verband tussen de checklist en de sterrenlijst vindt twee derde van de respondenten duidelijk terwijl een derde dit niet of helemaal niet vindt. De afbeeldingen die gebruikt worden in de checklist en de sterrenlijst vinden alle respondenten een meerwaarde hebben. Voor de resultaten van het bruikbaarheidsonderzoek in tabellen wordt u verwezen naar bijlage 2. 3.5. Conclusie 3.5.1 Interbeoordelaarsbetrouwbaarheid De interbeoordelaarsbetrouwbaarheid van de vragen in de checklist is, gezien de indeling van overeenstemming, zeer goed. Daar tegenover staat dat de interbeoordelaarsbetrouwbaarheid van de sterrenbeoordeling voor de woningen aan de hand van de checklist redelijk is. Dit houdt in dat bepaalde vragen in de checklist anders zijn gescoord door de individuele onderzoekers die een doorslaggevende factor zijn in de toekenning van de sterren aan de woningen. De interbeoordelaarsbetrouwbaarheid blijkt sterk af te hangen van de verschillende interpretaties die de individuele onderzoekers hadden bij de vragen in de checklist. Dit hebben zij achterhaald door na het onderzoek met elkaar in discussie te gaan over de verschillende vragen van de checklist. Daarnaast waren de onderzoekers niet in het bezit van nauwkeurige meetinstrumenten, waardoor zij verschillen in antwoorden hebben met betrekking tot maten. De maatvoering blijkt dus niet eenduidig wat inhoudt dat de maatvoering in de checklist niet gestandaardiseerd is. 3.5.2 Bruikbaarheid De respondenten die deel hebben genomen aan het bruikbaarheidsonderzoek vinden dat de checklist en de sterrenlijst een professionele lay-out hebben en de vragen in een logische volgorde staan. Het gebruikte vakjargon in de checklist en de sterrenlijst is tevens begrijpelijk en de gebruikte afbeeldingen hebben een meerwaarde volgens respondenten. Inhoudelijk geven de respondenten aan dat ze de formulering van de vragen helder tot niet helder vinden. Hetzelfde geldt voor de wijze van scoring van de checklisten. Ook het verband tussen de checklisten behoeft nog de nodige aandacht. 3.6. Aanbevelingen Aan de hand van de uitkomsten van het interbeoordelaarsbetrouwbaarheidsonderzoek (harde feiten in cijfers uitgedrukt en de subjectieve mening van de onderzoekers over de vragen in de checklist) en de uitkomsten van het bruikbaarheidsonderzoek zullen er aanpassingen nodig zijn aan de checklist om de interbeoordelaarsbetrouwbaarheid nog hoger te krijgen, de bruikbaarheid te vergroten en de maatvoering in de checklist te standaardiseren. Er worden algemene aanbevelingen gegeven met betrekking tot de inhoud en vormgeving van de checklist om de toegankelijkheid en aanpasbaarheid van bestaande huurwoningen te toetsen en de aanbevelingen per vraag in de checklist zijn beschreven. - 21 -
- 22 -
De algemene aanbevelingen over de inhoud en vormgeving van de checklist zijn: - Vermelden gegevens woning Op dit moment is er geen ruimte om verschillende gegevens te vermelden, als: straat en plaats woning, datum, beoordelaar, en toekenning ster. Er wordt aanbevolen om hier een kolom voor op te nemen op de voorpagina van de checklist. - In staat van oplevering De onderzoekers hebben zowel leegstaande als bewoonde woningen gescreend. Bij hen ontstond al snel de vraag moet je bij het beantwoorden van de vragen in de checklist rekening houden met het meubilair dat er op dat moment staat of mag je dit weg denken. Er wordt aanbevolen om de woning te screenen in de hoedanigheid van in staat van oplevering. Daarbij zullen een aantal maten van meubilair (bed, kast e.d.) moeten worden opgenomen waar vanuit moet worden gegaan. - Formulering van de vragen Een aantal vragen in de checklist werden verschillend geïnterpreteerd door de onderzoekers. Bij deze vragen zal worden gekeken naar de formulering. Voor de aanpassing(en) per vraag in de checklist wordt u verwezen naar bijlage 3. - Afbeeldingen De afbeeldingen zouden een meerwaarde moeten zijn in de checklist. Dit geven de respondenten in het bruikbaarheidsonderzoek ook aan. Op dit moment blijkt dit niet bij alle afbeeldingen het geval. Sommige afbeeldingen zijn niet correct of brengen verwarring met zich mee. Er wordt dan ook aanbevolen om sommige afbeeldingen te vervangen. - Kolom opgemeten maten De onderzoekers misten ruimte om opgemeten maten te vermelden. Het opschrijven van de maten kan bijvoorbeeld van belang zijn om later naar terug te kunnen kijken wanneer er mogelijke aanpassingen worden besproken. - Instructies bij checklist (instapcriteria, werkwijze, benodigdheden en begrippenchecklist) Er zullen duidelijke instructies moeten worden opgenomen bij de checklist. De onderzoekers geven aan dat verschillende begrippen in de checklist voor onduidelijkheden zorgden. Dit kwam in eerste instantie in het bruikbaarheidsonderzoek niet naar voren. Daarbij is een eenduidige werkwijze van belang om de checklist zo valide mogelijk af te nemen en betrouwbare resultaten te verkrijgen. Er zal worden vermeld hoe zij de vragen in de checklist moeten beantwoorden, hoe de maten moeten worden opgemeten, hoe de data in de checklist omgezet kunnen worden in het Excel bestand om de sterren aan de woning toe te kennen en hoe de verslaglegging via het format zal moeten plaatsvinden. Om betrouwbare data uit de checklist te verkrijgen is het ook belangrijk dat de beoordelaar de minimale benodigdheden gebruikt, waaronder bijvoorbeeld de verschillende meetinstrumenten. Daarnaast hebben de onderzoekers gemerkt tijdens het screenen van de woning dat de checklist niet door iedereen afgenomen kan worden. Vandaar dat er ook aanbevolen wordt om instapcriteria op te nemen voor de gebruikers van de checklist. - 23 -
- Voetnoten Op het moment van afnemen van de checklist in een woning hebben de voetnoten geen directe meerwaarde. Als achtergrondinformatie is het wel van belang. Vandaar dat wordt voorgesteld om de voetnoten apart op te nemen bij de instructies. - Dataverwerking checklist Na het invullen van de checklist is niet direct te herleiden aan hoeveel sterren een woning voldoet. Voor de verslaglegging en het gemakkelijker kunnen zien welke aanpassingen nodig zijn om een woning op te plussen, wordt geadviseerd om een Excel bestand aan te maken waarin de vragen van de checklist worden gekoppeld met de sterren. Zodat onder elkaar de vragen staan bijbehorend bij het aantal sterren. 3.7. Discussie Interbeoordelaarsbetrouwbaarheid De onderzoekers hebben vóór het uitvoeren van het interbeoordelaarsbetrouwbaarheidsonderzoek éénmaal gezamenlijk een (leegstaande) bestaande huurwoning bezocht. In tweetallen is de checklist afgenomen en daarna is deze samen met de bouwkundig adviseur toegankelijkheid doorgenomen. Dit betekent dat de onderzoekers niet helemaal blanco zijn begonnen met het screenen van de overige woningen. De interbeoordelaarsbetrouwbaarheid zou naar verwachting lager geweest zijn wanneer de onderzoekers geheel blanco waren begonnen aan het onderzoek. Wat van invloed zou kunnen zijn op de aanbevelingen die worden gedaan door de onderzoekers. Voor sommige onderzoekers werd het door de eerste proefwoning bijvoorbeeld duidelijk vanaf welk punt tot welk punt zij de deuropening moesten meten. Deze maat is dus vervolgens in het onderzoek door alle vier de onderzoekers juist opgemeten. Dit zou anders waarschijnlijk niet het geval zijn geweest en zou de overeenstemming lager zijn geweest. In de aanbevelingen zijn dan ook de punten meegenomen die tijdens de eerste proef screening naar voren zijn gekomen. Op deze manier hebben de onderzoekers ook punten mee genomen die later tijdens het onderzoek niet meer naar voren kwamen. Het gezamenlijk screenen van de 1 e woning was voor de onderzoekers wel van essentieel belang om een opzet voor dit onderzoek en het bruikbaarheidsonderzoek te maken. Validiteit De checklist is opgesteld door een deskundige op het gebied van toegankelijkheid van woningen en aan de hand van vergelijkbare meetinstrumenten en theorie. Er kan geconcludeerd worden dat de checklist op deze punten valide is. Alleen is de checklist niet extern getoetst. Dit houdt in dat de checklist niet getest is op gezichtsvaliditeit/face validity (de mate waarin een meetinstrument op het eerste gezicht lijkt te meten wat het behoort te meten). De onderzoekers zullen de checklist daarom aan minimaal 3 deskundigen voorleggen die op de hoogte zijn van toegankelijkheid en aanpasbaarheid van woningen, levensloopbestendig bouwen en maatvoering. Deze deskundigen kunnen dan iets zeggen/oordeel geven over of de checklist meet wat het echt moet meten. Deze deskundigen kijken open naar de checklist. Het toetsen van de face validity van de checklist zal worden vormgeven door deze deskundigen te benaderen, met de vraag of zij willen aangeven of de checklist naar hun idee op het eerste gezicht lijkt te meten wat het behoort te meten. Vervolgens zullen de onderzoekers reflecteren op de uitkomsten van het onderzoek. - 24 -
3.8. Vervolg van het onderzoek Met de aangepaste checklist, die tot stand is gekomen na aanleiding van het deel I van het interbeoordelaarsbetrouwbaarheidsonderzoek en het bruikbaarheidsonderzoek, zullen de overige 17 bestaande huurwoningen gescreend en beoordeeld worden. Na deze 17 huurwoningen te hebben gescreend zal nogmaals de interbeoordelaarsbetrouwbaarheid worden bepaald. De verwachting is dat de interbeoordelaarsbetrouwbaarheid hoger ligt dan die is bepaald na deel I van het onderzoek. De aangepaste checklist zal bruikbaarder en betrouwbaarder moeten zijn geworden na de aanpassingen die zijn gedaan aan de checklist naar aanleiding van deel I van het onderzoek. - 25 -
4 Uitwerking onderzoek deel II Hieronder wordt het tweede gedeelte van het interbeoordelaarsbetrouwbaarheidsonderzoek uitgewerkt. Ook is hierin de uitwerking van face validity terug te vinden. 4.1. Inleiding Dit verslag zal de resultaten weergeven van de onderzoeken die zijn uitgevoerd naar de betrouwbaarheid en validiteit van de checklist die de toegankelijkheid en de aanpasbaarheid van de woningen screent. Deel II van het interbeoordelaarsbetrouwbaarheidsonderzoek, het screenen van 17 woningen met de aangepaste checklist, is op dit moment voltooid. Ook is het onderzoek naar de face validity afgerond. De methodes die gebruikt zijn bij de onderzoeken worden als eerst kort beschreven. Naar aanleiding van de resultaten van de onderzoeken zullen er conclusies worden getrokken over de betrouwbaarheid en validiteit van de checklist. Aan de hand van de conclusies worden er aanbevelingen gegeven over mogelijke aanpassingen aan de checklist om de betrouwbaarheid en validiteit te vergroten. Op het eind zijn in dit verslag nog een aantal discussiepunten met betrekking tot het onderzoek opgenomen. 4.2. Doel van de studie De gemeente Wijk bij Duurstede ziet graag dat er levensloopbestendig woningen zijn in haar gemeente. De checklist zal met behulp van het toekennen van sterren aan bestaande huurwoningen moeten aangeven in welke mate een woning toegankelijk en aanpasbaar is. De betrouwbaarheid (en bruikbaarheid) van deze checklist is nog niet eerder nagegaan. De vraagstelling van dit onderzoek luidde: Wat is de interbeoordelaarsbetrouwbaarheid van de checklist wanneer deze individueel wordt afgenomen door 4 junior adviseurs ergotherapie om de woningen aan de hand van de checklist van een sterbeoordeling te voorzien? 4.3. Methode 4.3.1 Interbeoordelaarsbetrouwbaarheid In 2 weken tijd werd de checklist bij 17 bestaande huurwoningen individueel afgenomen door de 4 junior adviseurs ergotherapie. Gedurende deze periode van screening van de 17 woningen is er door de onderzoekers alleen gesproken over de procedure en methode en niet over de inhoud van de checklist. De resultaten per vraag worden vervolgens verwerkt in een matrix met de op de x-as de vier onderzoekers en op de y-as de woningen. Ook worden de sterbeoordelingen van de woningen door de individuele onderzoekers verwerkt in een matrix met op de x-as de sterren op de y-as de woningen. Vanuit deze resultaten wordt een overeenstemming toegekend van 0,5; 0,75 en 1 per vraag in de checklist en per sterbeoordeling per woning. Daarna zal de gemiddelde overeenstemming berekend worden per vraag over 17 woningen. Vervolgens zal de interbeoordelaarsbetrouwbaarheid (zonder toevalsovereenstemming) berekend worden van de 34 vragen in de checklist over de 17 woningen en de sterbeoordeling over de 17 woningen. - 26 -