GROTE WOONONDERZOEK 2013 Kwaliteitscontrole van de in- en uitwendige woningscreening. Lieve Vanderstraeten & Michael Ryckewaert

GROTE WOONONDERZOEK 2013 Kwaliteitscontrole van de in- en uitwendige woningscreening Lieve Vanderstraeten & Michael Ryckewaert

GROTE WOONONDERZOEK 2013 Kwaliteitscontrole van de in- en uitwendige woningscreening Lieve Vanderstraeten & Michael Ryckewaert Projectleiding: Bruno De Meulder Leuven, maart 2015

Het Steunpunt Wonen is een samenwerkingsverband van de KU Leuven, de Universiteit Hasselt, de Universiteit Antwerpen en de Afdeling OTB Onderzoek voor de gebouwde omgeving van de TUD (Nederland). Binnen het Steunpunt verzamelen onderzoekers van verschillende wetenschappelijke disciplines objectieve gegevens over de woningmarkt en het woonbeleid. Via gedegen wetenschappelijke analyses wensen de onderzoekers bij te dragen tot een langetermijnvisie op het Vlaamse woonbeleid. Het Steunpunt Wonen wordt gefinancierd door de Vlaamse overheid, binnen het programma Steunpunten voor Beleidsrelevant Onderzoek 2012-2015. Gelieve naar deze publicatie te verwijzen als volgt: Vanderstraeten L. & Ryckewaert M. (2015), Grote Woononderzoek 2013. Kwaliteitscontrole van de in- Gelieve en uitwendige naar deze woningscreening, publicatie te verwijzen Steunpunt als Wonen, volgt: Leuven, 48 p. typ de bibliografische referentie van de publicatie Voor meer informatie over deze publicatie lieve.vanderstraeten@kuleuven.be & Voor michael.ryckewaert@kuleuven.be meer informatie over deze publicatie typ e-mailadres(sen) van de corresponding authors In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens. D/typ D/2015/4718/10 het jaartal/4718/typ ISBN 9789055505630 het depotnummer ISBN typ het ISBN nummer typ 2015 het STEUNPUNT jaartal WONEN STEUNPUNT WONEN Niets uit deze uitgave mag worden verveelvuldigd en/of en/of openbaar gemaakt door door middel middel van van druk, druk, fotocopie, fotocopie, microfilm microfilm op of op welke andere wijze ook, zonder voorafgaande schriftelijke toestemming van de uitgever. No part of this book may be reproduced in any form, by mimeograph, film or any other means, without permission in writing from the publisher. p.a. Secretariaat Steunpunt Wonen HIVA - Onderzoeksinstituut voor Arbeid en Samenleving Parkstraat 47 bus 5300, BE 3000 Leuven Dit Deze rapport publicatie is ook is ook beschikbaar via via www.steunpuntwonen.be

Inhoud Inleiding 1 1. Onderzoeksopzet en beschrijving van de dataset van de light opnames 2 1.1 Korte schets van de bijkomende kwaliteitscontrole 2 1.2 Beschrijving van de dataset van de light opnames 2 2. Bespreking van de gebruikte statistische analyses 3 2.1 Cohen s kappa coëfficiënt 3 2.2 Het gewogen strafpuntensysteem 4 2.3 De procentuele afwijking 5 3. Bespreking van de resultaten 6 3.1 Tussentijdse analyses 6 3.2 Individuele kwaliteitscontrole van de enquêteurs op het finale databestand van de light woningopnames 6 3.2.1 Analyse van de Cohen s kappa coëfficiënten 6 3.2.2 Analyse van de gemiddelde gewogen afwijking 8 3.2.3 Analyse van de procentuele afwijking van de oppervlaktematen 9 3.2.4 Besluit: de algemene kwaliteit van de enquêteurs 11 3.3 Individuele kwaliteitscontrole van de controle enquêteurs op het finale databestand van de light woningopnames 13 3.4 Kwaliteitscontrole van de variabelen/vragen opgenomen in het databestand van de light woningopnames 14 3.4.1 Kwaliteitscontrole van de inschatting van gebreken 14 3.4.2 Thematische kwaliteitsanalyses 24 3.4.3 Analyse van de non respons per ruimte of installatie 26 3.5 Evaluatie van de gevolgde procedure en aanbevelingen ter optimalisatie 26 Bijlagen 29 Bibliografie 43 Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening v

Inleiding Het Grote Woononderzoek 2013 omvat enerzijds een grootschalige bevraging over de woonsituatie van de Vlaamse gezinnen en anderzijds een in en uitwendige woningscreening. Het veldwerk hieromtrent werd uitgevoerd van september 2012 tot december 2013. De bevraging over de woonsituatie werd afgenomen bij een steekproef van 10 000 referentiepersonen van private huishoudens uit het Vlaamse Gewest. De inwendige en uitwendige woningscreening, die onder meer moet toelaten een goed zicht te krijgen op de (bouwfysische) kwaliteit van de woningen in Vlaanderen, werd uitgevoerd in 5 000 woningen in de groep van deze 10 000 referentiepersonen uit het Vlaamse Gewest. Het veldwerk hierbij was uitbesteed aan onderzoeksbureau IPSOS. De uitvoering van het Grote Woononderzoek werd begeleid door het Steunpunt Wonen. De opvolging van de woningopname en de opleiding van de interviewers voor het gedeelte van de woningscreening was via een onderaanneming toegekend aan SumResearch. Een bijkomende kwaliteitscontrole van de inwendige en uitwendige woningscreening werd uitgevoerd door het Steunpunt Wonen. Deze paper rapporteert over deze bijkomende kwaliteitscontrole van de inwendige en uitwendige woningscreening. Het eerste hoofdstuk schetst kort het onderzoeksopzet van dit rapport en beschrijft de dataset van de light woningopnames. In het tweede hoofdstuk worden de gebruikte statistische analyses verduidelijkt waarop de kwaliteitscontrole van de enquêteurs gebaseerd is. In het derde hoofdstuk worden deze individuele kwaliteitscontroles van de enquêteurs besproken. Daarnaast worden ook de individuele kwaliteitscontroles van de controle enquêteurs behandeld en wordt de kwaliteitscontrole van de individuele vragen/variabelen beschreven. Tenslotte wordt in dit laatste hoofdstuk de gevolgde procedure geëvalueerd en worden enkele aanbevelingen geformuleerd ter optimalisatie van de procedure. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 1

1. Onderzoeksopzet en beschrijving van de dataset van de light opnames 1.1 Korte schets van de bijkomende kwaliteitscontrole Met het oog op de kwaliteitsbewaking van het luik van de inwendige en uitwendige woningopnames is in het kader van deze bijkomende kwaliteitscontrole een procedure van controles uitgewerkt. 298 woningen 1 worden onderworpen aan een controle via de light woningopname. Hierbij onderwerpen 3 supervisoren of controle enquêteurs die werden aangesteld door IPSOS alle enquêteurs die meer dan 50 woningopnames hebben uitgevoerd aan (minstens) 4 controles via de bijkomende light woningopname. Daarnaast voerden de supervisoren of controle enquêteurs ook een aantal controles uit bij enquêteurs die minder dan 50 woningopnames hadden uitgevoerd om tot het geheel van 298 light woningopnames te komen. Elke supervisor werd op zijn beurt tevens aan 5 controles onderworpen door een expert van SumResearch. In totaal zijn er 37 enquêteurs 2 die meer dan 50 woningopnames hebben uitgevoerd en waarvan verwacht werd dat ze minstens 4 keer gecontroleerd zouden worden. Uit deze groep werden 35 enquêteurs effectief minstens 4 keer gecontroleerd, 2 enquêteurs werden 1 of 2 keer gecontroleerd in plaats van 4 keer. In totaal werden bij deze groep van 37 enquêteurs 190 controles uitgevoerd. De resterende 117 controles werden uitgevoerd bij 56 enquêteurs die geen 50 woningopnames hadden uitgevoerd. Bij 41 enquêteurs werd geen enkele controle uitgevoerd. Deze enquêteurs hebben samen 357 woningopnames (= 7,1% van alle woningopnames) afgewerkt. 1.2 Beschrijving van de dataset van de light opnames De dataset van de light opnames (zie bijlage 1) omvat zowel vragen uit de inwendige woningopname als uit de uitwendige woningopname. Met betrekking tot de inwendige woningopname omvat de dataset vragen over de woonkamer, de keuken, het toilet, de elektrische installatie en de verwarmingsinstallatie. Met betrekking tot de uitwendige woningopname omvat de dataset vragen over de gevel van de woning. Door de specifieke datastructuur omvat de dataset van de light opnames in totaal 203 vragen/ variabelen. Deze 203 vragen kwamen echter nooit allemaal aan bod tijdens een light woningopname. Gemiddeld werden er een 100 tal vragen afgewerkt. Afhankelijk van de aard van de vragen/variabelen werd een bepaalde statistische analyse toegepast. 1 2 Er werden in totaal 308 controles aangeleverd. 10 controles werden uit de dataset verwijderd: 5 controles omdat er geen gegevens beschikbaar waren van de controle enquêteur, 5 controles omdat deze gebeurden bij enquêteurs waarvan er geen woningopname meer in het definitieve aangeleverde bestand van 5 002 woningopnames zat. Deze groep van 37 enquêteurs heeft samen 3 554 woningopnames uitgevoerd, dit is 71% van het totale bestand. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 2

2. Bespreking van de gebruikte statistische analyses Het doel van de statistische analyses is om een uitspraak te kunnen doen over de betrouwbaarheid van de resultaten (de inter rater reliability). In het kader van de tussentijdse analyses willen we met deze resultaten afwijkende woningopnames opsporen en een remediëring van afwijkende enquêteurs vooropstellen. In het kader van de definitieve resultaten willen we de betrouwbaarheid van de enquêtes en de vragen kaderen. Er worden analyses uitgevoerd per enquêteur, per controle enquêteur en per vraag. Hiervoor worden verschillende statistische methoden gekozen, afhankelijk van de aard van de vragen/variabelen. De binominale variabelen, dit zijn de zuivere ja neen vragen, worden geanalyseerd aan de hand van de Cohen s kappa coëfficiënt en de pooled kappa coëfficiënt. Voor de ordinale variabelen, dit zijn vragen met meer dan 2 antwoordmogelijkheden, wordt een gewogen strafpuntensysteem uitgewerkt en voor de continue variabelen wordt een procentuele afwijking berekend. Bijlage 3 geeft een overzicht van welke vragen/variabelen gebruikt worden bij welke statistische methode. Bij de analyses van de enquêteurs vormen de antwoorden van de controle enquêteurs de gouden standaard en bij de analyses van de controle enquêteurs deze van de controlerende expert van SumResearch. Per vraag wordt nagegaan welke de slechtst scorende vragen zijn. De procentuele afwijking wordt berekend voor de hele groep van enquêteurs en ook de achterliggende fout wordt blootgelegd. 2.1 Cohen s kappa coëfficiënt De Cohen s kappa coëfficiënt is een voor kans gecorrigeerde associatiemaat om de overeenkomst tussen 2 beoordelingen van eenzelfde situatie te meten. De 2 waarnemingen zijn, in het geval van de controles bij de enquêteurs, deze van de enquêteur en deze van de controle enquêteur. In het geval van de controles bij de controle enquêteurs, deze van de controle enquêteur en deze van de controlerende expert van SumResearch. De Cohen s kappa coëfficiënt berekent meer dan een eenvoudige procentuele overeenkomst. De procentuele overeenkomst houdt enkel rekening met de uitkomst (= de geobserveerde overeenkomst) (= po in de formule) zonder naar de achterliggende verwachtingen en fouten te kijken. De Cohen s kappa coëfficiënt doet dit wel. De formule toont dat deze coëfficiënt een berekening is van de geobserveerde overeenkomst en de verwachte overeenkomst. Formule Cohen s kappa coëfficiënt: po pe 1 pe K = Cohen s kappa coëfficiënt po = geobserveerde overeenkomst pe = verwachte overeenkomst Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 3

De Cohen s kappa coëfficiënt schommelt, zoals een correlatiecoëfficiënt, tussen 1 en 1. Waarbij waarde 1 erop duidt dat er totaal geen overeenkomst is tussen de 2 waarnemingen en waarde 1 erop duidt dat er 100% overeenkomst is. Hoe dichter de waarde naar 0 gaat, hoe groter de factor kans speelt en hoe onbetrouwbaarder de overeenkomst is. Welke grenswaarden moeten gesteld worden aan de kappa coëfficiënt hangt af van de dataset. Veel wetenschappelijke publicaties volgen de grenswaarden gesteld door Landis en Koch. Zij stellen dat de kappa >0,60 moet zijn om een goede en betrouwbare associatie te hebben (zie tabel 5). Wij volgen in het kader van dit onderzoek de gestelde grenswaarden door Landis en Koch, te meer omdat de waarde van 0,60 schommelt rond de 75% geobserveerde overeenkomst. Tabel 1 De gestelde grenswaarden voor de kappa coëfficiënt volgens Landis en Koch Kappa Overeenstemming <0,00 Negatief 0,00<k<0,20 Weinig tot geen 0,21<k<0,40 Matig 0,41<k<0,60 Redelijk 0,61<k<0,80 Substantieel 0,81<k<1,00 (Bijna) volledig Bron: Landis & Koch (1977) De Cohen s kappa coëfficiënt wordt berekend voor alle binominale vragen in de dataset. Bijlage 1 Er moet wel opgemerkt worden dat de structuur van de dataset van de binominale variabelen uit de light opnames niet 100% overeenkomt met een dataset beoogd voor de berekening van een Cohen s kappa coëfficiënt. De Cohen s kappa coëfficiënt is immers bedoeld om de overeenkomst tussen twee beoordelingen van eenzelfde situatie te berekenen. De binominale variabelen uit de light opnames weerspiegelen telkens een andere situatie aangezien het telkens om een andere vraag gaat. Niettegenstaande deze afwijking hebben we er toch voor geopteerd deze statistische methode te gebruiken, te meer omdat de resultaten complementair zijn met de resultaten van de andere statistische analyses. 2.2 Het gewogen strafpuntensysteem Voor de ordinale variabelen uit de dataset van de light opnames werd een gewogen strafpuntensysteem uitgewerkt. Komen beide antwoorden overeen wordt er geen strafpunt toegekend, wijkt het antwoord 1 categorie af wordt er 1 strafpunt toegekend, wijkt het antwoord 2 categorieën af worden er 2 strafpunten toegekend, wijkt het antwoord 3 categorieën af worden er 3 strafpunten toegekend en wijkt het antwoord 4 categorieën af worden er 4 strafpunten toegekend (zie tabel 2). Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 4

Tabel 2 Toegekende gewogen strafpuntensysteem voor de ordinale variabelen 0 Neen Matig opvallend Opvallend Zeer opvallend 0 0 1 2 3 4 Neen 1 0 1 2 3 Matig opvallend 2 1 0 1 2 Opvallend 3 2 1 0 1 Zeer opvallend 4 3 2 1 0 Voor een bepaalde enquêteur worden de strafpunten van alle ordinale vragen opgeteld en berekend per 10 antwoorden zodoende de resultaten van de verschillende gecontroleerde personen te kunnen vergelijken. De grenswaarde wordt gesteld op 2 strafpunten per 10 behandelde vragen. Hierbij worden 2 kleine afwijkingen of 1 matige afwijking per 10 vragen getolereerd. 2.3 De procentuele afwijking Tenslotte wordt voor de continue variabelen uit de dataset van de light opnames, zijnde de oppervlaktematen van de woonkamer en de keuken, een (standaard) procentuele afwijking berekend. Voor de individuele ruimtes wordt eerst de individuele procentuele afwijking berekend (zie F1), voor beide samen wordt het gemiddelde berekend (zie F2).In de berekening van de individuele procentuele afwijking wordt de beoordeling van beoordelaar 2 als gouden standaard beschouwd. Bij de analyses van de enquêteurs is dit de oppervlaktebeoordeling van de controle enquêteurs en bij de analyses van de controle enquêteurs is dit de oppervlaktebeoordeling van de controlerende expert van SumResearch. F1 F2. 1. 2 100. 2 We aanvaarden een foutenmarge van 20%. 1 ² 2 ² 2 Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 5

3. Bespreking van de resultaten Er werden op verschillende tijdstippen statistische analyses uitgevoerd. Enerzijds werden in de loop van het veldwerk tussentijdse analyses uitgevoerd. Deze werden gepresenteerd op de bijeenkomsten van de begeleidingsgroep met vertegenwoordiging van het Agentschap Wonen Vlaanderen (afdeling Woonbeleid), IPSOS, SumResearch en het Steunpunt Wonen met de bedoeling om het verloop van de controles op te volgen, afwijkende woningopnames op te sporen en een remediëring mogelijk te maken van afwijkende interviewers en/of supervisoren. Anderzijds werden na het afwerken van het veldwerk in december 2013 statistische analyses uitgevoerd op de volledige verzamelde dataset van light woningopnames. Hiermee willen we de betrouwbaarheid van de enquêtes en de vragen kaderen. Deze analyses worden in onderstaande paragrafen verder in detail besproken. 3.1 Tussentijdse analyses In de loop van het veldwerk werden tussentijdse analyses uitgevoerd. Het Steunpunt heeft deze tussentijdse resultaten enkel aangewend om enquêteurs op te sporen die ondermaats presteren en die moesten bijgestuurd worden. Op de begeleidingsgroep met het Agentschap Wonen Vlaanderen (afdeling Woonbeleid), IPSOS, SumResearch en het Steunpunt Wonen werden in maart, mei, juli en september 2013 tussentijdse resultaten gepresenteerd en werden de namen van deze ondermaats presterende enquêteurs doorgegeven met de vraag om deze individueel bij te sturen. De enquêteurs die op 3 van de 4 analyses ondermaats presteerden, werden als ondermaats presterende enquêteur beschouwd. 3.2 Individuele kwaliteitscontrole van de enquêteurs op het finale databestand van de light woningopnames In het kader van de individuele kwaliteitscontrole van de enquêteurs worden de Cohen s kappa coëfficient, de pooled kappa coëfficiënt (indien meer dan 4 controles), de gemiddelde gewogen afwijking en de procentuele afwijking van de oppervlaktematen berekend op de dataset van de light woningopnames van de enquêteurs waarbij 2 of meer controles werden uitgevoerd. Het betreft 65 enquêteurs die samen 4 290 woningopnames hebben uitgevoerd. Hierbij worden de waarden van de controle enquêteurs als gouden standaard gebruikt. Bijlage 3 geeft een overzicht van de vragen die behandeld werden in de verschillende analyses. 3.2.1 Analyse van de Cohen s kappa coëfficiënten De Cohen s kappa coëfficiënt wordt toegepast op de dataset van binominale variabelen (voor opsomming van deze variabelen zie bijlage 3). Figuur 2 schetst de relatie tussen de behaalde Cohen s kappa coëfficiënt en het aantal uitgevoerde woningopnames van de enquêteurs. Op de y as staat de Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 6

Cohen s kappa coëfficiënt, op de x as het aantal uitgevoerde woningopnames. De verschillende symbolen weerspiegelen het aantal uitgevoerde controles door de controle enquêteurs op de enquêteur in kwestie. Er zijn twee belangrijke referentieassen getekend op de figuur. Enerzijds staat op de y as een rode referentieas op waarde 0,6. Dit is de grenswaarde die we voorop gesteld hebben om te spreken van een goede en betrouwbare overeenkomst tussen de vragen van de enquêteur en de controle enquêteur. Anderzijds is er op de x as een rode referentieas getekend op waarde 50. Vanaf het ogenblik dat de enquêteur 50 woningopnames had uitgevoerd, moesten er minstens 4 controles worden uitgevoerd door de controle enquêteurs. Er is ook nog een grijze referentieas geplaatst op de y as op de grens tussen een goede en betrouwbare overeenkomst en een perfecte overeenkomst tussen de vragen van controle enquêteur en enquêteur. Figuur 2 toont dat het grootste deel van de enquêteurs de binominale variabelen goed en betrouwbaar hebben ingeschat. 8 enquêteurs slaagden er zelfs in een quasi perfecte overeenkomst te behalen. 12 enquêteurs realiseerden slechts een matige overeenkomst met de resultaten van de controle enquêteurs. Hierbij 2 enquêteurs die 100 of meer woningopnames hebben uitgevoerd. Geen enkele enquêteur behaalde een slechte overeenkomst. Figuur 2 Cohen s Kappa waarde Cohen s kappa versus het aantal uitgevoerde woningopnames voor de gecontroleerde enquêteurs ƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒ 0.85 ˆ - - Perfecte overeenkomst ˆ + * + + + 0.8 ˆ - ˆ + + + + + * 0.75 ˆ - - ˆ - + ** + + Goede en betrouwbare + + 0.7 ˆ + overeenkomst ˆ - + + + + + 0.65 ˆ - + ˆ * + * + + 0.6 ˆ - * ˆ - + - - Matige overeenkomst 0.55 ˆ * + ˆ + 0.5 ˆ Legende symbolen ˆ = 2 uitgevoerde controles - * = 3 uitgevoerde controles 0.45 ˆ ˆ + = 4 of meer uitgevoerde controles ŠƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒŒ 0 50 100 150 200 250 Aantal uitgevoerde woningopnames door de enquêteur in kwestie Bron: Ipsos, Grote Woononderzoek 2013 Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 7

3.2.2 Analyse van de gemiddelde gewogen afwijking De gemiddelde gewogen afwijking wordt toegepast op de dataset van ordinale variabelen (voor opsomming van deze variabelen zie bijlage 3). Alle vragen waarbij er 3 of meer antwoordcategorieën zijn in de dataset van de light woningopnames worden hierbij per enquêteur verwerkt. Figuur 3 geeft de relatie weer tussen de gemiddelde gewogen afwijking en het aantal uitgevoerde woningopnames van een bepaald enquêteur. De logica van de opbouw van de figuur is analoog met deze van figuur 2. Op de y as staat de gemiddelde gewogen afwijking, op de x as het aantal uitgevoerde woningopnames. Ook hier weerspiegelen de verschillende symbolen het aantal uitgevoerde controles door de controle enquêteurs op de enquêteur in kwestie. Op de y as zijn twee referentieassen getekend: een rode referentie as op waarde 2. Dit is de grenswaarde die we aanvaarden om van een goede overeenkomst te spreken. Een tweede grijze as is getrokken op waarde 1. Indien de enquêteurs een waarde lager dan 1 behalen, hebben ze zelfs geen kleine afwijking per 10 antwoorden gemaakt en kunnen we spreken van een quasi perfecte overeenkomst. Op de x as is, analoog met figuur 2, de referentie as getekend op waarde 50. Uit figuur 3 blijkt dat ook de ordinale variabelen door het grootste deel van de enquêteurs goed en betrouwbaar worden ingeschat. 18 enquêteurs behaalden hierbij een quasi perfecte overeenkomst. 15 enquêteurs behaalden een matige overeenkomst. Opvallend hierbij is dat twee van de drie enquêteurs die meer dan 200 woningopnames hebben uitgevoerd net tot deze groep behoren. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 8

Figuur 3 Gemiddelde gewogen afwijking versus het aantal uitgevoerde woningopnames voor de gecontroleerde enquêteurs Strafpunten / 10 antwoorden ƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒ 4 ˆ ˆ Legende symbolen * = 2 uitgevoerde controles * = 3 uitgevoerde controles + = 4 of meer uitgevoerde controles 3.5 ˆ ˆ * 3 ˆ Matige overeenkomst ˆ * + * + 2.5 ˆ ˆ - + - + 2 ˆ - + + ˆ + + + + + - - + * + + + 1.5 ˆ - ˆ - + Goede en betrouwbare + overeenkomst * + - + + 1 ˆ + ˆ - * * - + - - Perfecte overeenkomst 0.5 ˆ - + ˆ + + 0 ˆ ˆ ŠƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒŒ 0 50 100 150 200 250 Bron: Ipsos, Grote Woononderzoek 2013 Aantal uitgevoerde woningopnames door de enquêteur in kwestie 3.2.3 Analyse van de procentuele afwijking van de oppervlaktematen Tenslotte worden ook de procentuele afwijkingen van de oppervlaktematen van de woonkamer en keuken berekend. Voor elke enquêteur wordt (1) de gemiddelde procentuele afwijking berekend van de oppervlaktes van de opgemeten woonkamers, (2) de gemiddelde procentuele afwijking voor de oppervlaktes van de opgemeten keukens en (3) de totale gemiddelde procentuele afwijking voor de oppervlaktes van opgemeten woonkamers en keukens samen. De analyse van de procentuele afwijkingen van de oppervlaktematen wordt op 2 wijzen voorgesteld. Enerzijds geeft tabel 7 een overzicht van de verdeling van de gemiddelde procentuele afwijking van de oppervlaktes van de woonkamers en keukens apart en van de oppervlaktes van de woonkamers en keukens samen. Hierbij worden gemiddelde afwijkingen kleiner dan 20% als goed en betrouwbaar aanvaard. Bij afwijkingen kleiner dan 10% wordt de overeenkomst als perfect bestempeld. Afwijkin Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 9

gen tussen de 20 en 50% worden als matig beschouwd en uitschieters waarbij de gemiddelde afwijking groter is dan 50% worden slecht bevonden. Tabel 7 toont dat deze analyse de minst goede resultaten oplevert. Voor het eerst worden slechte overeenkomsten opgetekend, zowel bij de gemiddelde oppervlaktebepaling van de woonkamer als van de keuken. Voor de oppervlaktebepaling van de woonkamers leveren 30 enquêteurs een goede en betrouwbare overeenkomst, 15 enquêteurs een perfecte overeenkomst. Bij de oppervlaktebepaling van de keukens is de verdeling van de enquêteurs over beide klassen gelijk: 22 enquêteurs hebben een goede en betrouwbare overeenkomst met de controle enquêteur, 22 enquêteurs een perfecte overeenkomst. Aan de andere zijde van het spectrum behalen 5 enquêteurs een slechte overeenkomst bij de oppervlaktebepaling van de woonkamer, 2 enquêteurs een slechte overeenkomst bij de oppervlaktebepaling van de keuken. Een mogelijke verklaring voor een groter aantal slechtere, maar ook perfecte overeenkomsten tussen enquêteur en controle enquêteur ligt in de moeilijkere bepaling van precieze afbakening van de woonkamer en keuken. Wanneer de verschillende functionele leefruimtes zich in 1 fysische ruimte bevinden, is de precieze grens tussen de functionele ruimtes moeilijker te bepalen. Daarenboven komt daarbij de vraag welke functionele delen van de ruimte wel of niet worden samengenomen onder de noemer woonkamer. Wanneer beide ruimtes duidelijk afgescheiden ruimtes zijn (eventueel omgeven door 4 muren), dan is er weinig interpretatieruimte en wordt de oppervlakte van de ruimte op eenzelfde manier ingeschat en opgemeten. Het goede percentage perfecte overeenkomsten, dat hoger ligt voor de oppervlaktebepaling van de keukens dan van de woonkamers, bevestigen deze stelling. Dat de oppervlaktematen van de woonkamer en keuken, soms in grote mate, verschillen van deze van de gouden standaard wil daarom dan ook niet zeggen dat de totale oppervlakte van de leefruimtes verkeerd zou zijn ingeschat. We maken ons sterk dat wanneer de totale oppervlakte van de leefruimtes als vergelijkingspunt zou zijn opgenomen, de oppervlaktematen met grote waarschijnlijkheid dichter bij elkaar zouden liggen. Analoog met de analyse van de Cohen s kappa van de binominale variabelen en de gemiddelde gewogen afwijking van de ordinale variabelen, worden ook hier de resultaten van de gemiddelde procentuele afwijking van de oppervlakte van de woonkamers en keukens samen uitgezet ten opzichte van het aantal uitgevoerde woningopnames voor de gecontroleerde enquêteurs. In de groep van de matige resultaten is het aantal enquêteurs waarbij er 4 of meer controles werden uitgevoerd dubbel zo groot als de groep waarbij er 2 of 3 controles werden uitgevoerd. Ook dit valt grotendeels te verklaren door de moeilijkere bepaling van precieze afbakening van de woonkamer en keuken. Tabel 3 Overzicht van de verdeling van de gemiddelde procentuele afwijking van de oppervlaktes van de woonkamers en keukens apart en van de oppervlaktes van de woonkamers en keukens samen Overeenkomst Slecht (afwijking >50%) Matig (afwijking 20 50%) Goed en betrouwbaar (afwijking 10 20%) Perfect (afwijking <10%) Abs Rel in % Abs Rel in % Abs Rel in % Abs Rel in % Woonkamers 5 7,7 15 23,1 30 46,1 15 23,1 Keukens 2 3,0 19 29,2 22 33,9 22 33,9 Samengeteld 0 0,0 21 32,3 31 47,7 13 20,0 Bron: Ipsos, Grote Woononderzoek 2013 Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 10

Figuur 4 Gemiddelde procentuele afwijking van de oppervlakte van de woonkamers Gemiddelde procentuele afwijking van de oppervlakte van de woonkamers en keukens samen versus het aantal uitgevoerde woningopnames voor de gecontroleerde enquêteurs ƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒ Legende symbolen 45 ˆ = 2 uitgevoerde controles ˆ * = 3 uitgevoerde controles + + + = 4 of meer uitgevoerde controles 40 ˆ ˆ - * 35 ˆ + ˆ - + 30 ˆ ˆ - Matige overeenkomst + 25 ˆ * * ˆ - + + 20 ˆ * + ˆ -* + * - + + 15 ˆ * + + + + ++ ˆ - - + + Goede en betrouwbare overeenkomst + + 10 ˆ - - + ˆ - + + + 5 ˆ - * + ˆ - Perfecte overeenkomst 0 ˆ ˆ ŠƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒƒƒƒƒˆƒƒŒ 0 50 100 150 200 250 Aantal uitgevoerde woningopnames door de enquêteur in kwestie Bron: Ipsos, Grote Woononderzoek 2013 3.2.4 Besluit: de algemene kwaliteit van de enquêteurs Doordat de analyses van de procentuele afwijking van de oppervlaktematen om bovenvermelde reden geen eenduidige kwaliteitsindicatie geven, baseren we ons op de relatie tussen de Cohen s kappa en de gemiddelde gewogen afwijking om een uitspraak te doen over de totale kwaliteit van de woningopnames van de enquêteurs. Figuur 5 toont de relatie tussen beide. Door de grenswaarden die gesteld worden aan beide analyses, wordt de figuur verdeeld in kwadranten. Het eerste kwadrant (linksboven) verzamelt de enquêteurs die op beide analyses goede en betrouwbare of perfecte overeenkomsten behaalden. Men kan hierdoor stellen dat deze enquêteurs en de bijhorende enquêtes van goede tot uitstekende kwaliteit zijn. Het betreft 44 enquêteurs die in totaal 2 696 woningopnames uitvoerden. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 11

In het tweede (rechtsboven) en derde (linksonder) kwadrant scoren de enquêteurs op 1 van de 2 analyses matig en op de andere goed en sommigen zelfs perfect. Hierdoor leveren ze enquêtes van een aanvaardbare kwaliteit. Het gaat om 15 enquêteurs die in totaal 1 378 woningopnames uitvoerden. Het vierde kwadrant (rechtsonder) omvat de enquêteurs die op beide analyses matig scoren. De kwaliteit van de enquêteurs en de bijhorende enquêtes wordt hierdoor ondermaats bevonden. Het betreft 6 enquêteurs die in totaal 240 woningopnames uitvoerden. Bij een aantal enquêteurs werden geen of een enkele controle uitgevoerd. Hierdoor kan over de resterende 688 woningopnames geen kwaliteitsuitspraak worden gedaan. Figuur 5 Verhouding tussen de Cohen s kappa en de gemiddelde gewogen afwijking voor de verschillende enquêteurs Cohen s Kappa waarde 0.9 ˆ * 0.85 ˆ * Uitstekende kwaliteit * * * * * * 0.8 ˆ * * * * * * * * * * ** 0.75 ˆ * * * * Goede kwaliteit * * * * * * * 0.7 ˆ * * * * * * * * * * * Aanvaardbare kwaliteit 0.65 ˆ * * * * * * * * * * 0.6 ˆ * * * * * * * Aanvaardbare kwaliteit * 0.55 ˆ * * * * Ondermaatse kwaliteit 0.5 ˆ * 0.45 ˆ Šƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒƒˆƒƒ 0 0.5 1 1.5 2 2.5 3 3.5 4 Strafpunten/10 antwoorden Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 12

3.3 Individuele kwaliteitscontrole van de controle enquêteurs op het finale databestand van de light woningopnames In het kader van de individuele kwaliteitscontrole van de controle enquêteurs worden tevens de Cohen s kappa coëfficiënt, de gemiddelde gewogen afwijking en de procentuele afwijking van de oppervlaktematen berekend ditmaal op de volledige dataset van de light woningopnames van de controle enquêteurs met de waarden van de expert van SumResearch als gouden standaard. Tabel 9 geeft een overzicht van de behaalde resultaten van de controle enquêteurs. De Cohen s kappa coëfficiënt wordt toegepast op de dataset van binominale variabelen (voor opsomming van deze variabelen zie bijlage 3). De 3 controle enquêteurs behalen een Cohen s kappa waarde die een goede, en voor twee controle enquêteurs zelfs een perfecte overeenkomst aangeeft. De gemiddelde gewogen afwijking wordt toegepast op de dataset van ordinale variabelen (voor opsomming van deze variabelen zie bijlage 3). Hierbij bekomen de drie controle enquêteurs een waarde die een perfecte overeenkomst met de gouden standaard van de expert van SumResearch weerspiegelt. De procentuele afwijking van de oppervlaktematen, die een gemiddelde afwijking is van alle opgemeten woonkamers en keukens, geeft de minst goede resultaten weer. Een van de controleenquêteurs behaalt zelfs een waarde groter dan de door ons gestelde aanvaarde grenswaarde van 20%. Waarschijnlijk speelt ook hier de moeilijkere bepaling van de precieze afbakening van de woonkamer en keuken. Wanneer de verschillende functionele leefruimtes zich in 1 fysische ruimte bevinden, is de precieze grens tussen de functionele ruimtes moeilijker te bepalen en hangt deze grens af van de subjectieve beoordeling van de persoon die de ruimte opmeet. Dat ook de voor de rest zeer goed scorende controle enquêteurs grotere procentuele afwijkingen van de oppervlaktematen bekomen, bevestigt ons vermoeden dat deze in zijn huidige vorm een minder betrouwbare kwaliteitsindicator is en niet mee mag worden opgenomen in de algemene kwaliteitsbeoordeling van de enquêteurs en controle enquêteurs. De resultaten bevestigen dat de controle enquêteurs woningopnames afleveren van een algemene goede tot uitstekende kwaliteit met een (zeer) grote overeenkomst met de waarden van de expert van SumResearch. De woningopnames van de controle enquêteurs mogen dan ook terecht als gouden standaard worden aanzien bij de controles van de enquêteurs. Tabel 4 Overzicht behaalde resultaten van de statistische analyses door de controle enquêteurs N controles Cohen s kappa Gemiddelde gewogen afwijking Procentuele afwijking oppervlaktematen 5 0,80 0,58 32,9 5 0,76 0,43 6,9 4 0,87 0,00 16,9 Bron: Ipsos, Grote Woononderzoek 2013 Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 13

3.4 Kwaliteitscontrole van de variabelen/vragen opgenomen in het databestand van de light woningopnames Belangrijk naast de kwaliteitscontrole van de individuele enquêteurs is de kwaliteitscontrole van de individuele vragen of variabelen voor de hele groep van enquêteurs. Uit de kwaliteitscontrole van de enquêteurs blijkt dat de meeste enquêteurs aanvaardbare tot goede en uitstekende beoordelingen van de verschillende onderdelen van de woningopname kunnen voorleggen, desalniettemin moeten we bewaken dat dit beperkt aantal fouten per enquêteur niet steeds voorkomt bij bepaalde vragen. 3.4.1 Kwaliteitscontrole van de inschatting van gebreken In onderstaande paragrafen wordt de kwaliteit bestudeerd van de vragen waarbij een inschatting moest worden gemaakt van een gebrek. De vragen worden gegroepeerd per gecontroleerde ruimte of installatie. Figuur 6 verzamelt de vragen met betrekking tot de elektrische installatie, figuur 7 deze van de verwarmingsinstallatie, figuur 8 de vragen over de buitengevel, figuur 9 deze omtrent de keuken, figuur 10 verenigt deze van de woonkamer en figuur 11 tenslotte deze over het toilet. In elk van deze figuren wordt telkens de algemene foutmarge van een bepaalde vraag/variabele opgedeeld naar de soort achterliggende gemaakte fout. Er wordt een steeds wederkerend onderscheid gemaakt. Zo worden, ten eerste, deze fouten gegroepeerd waarbij de enquêteur het gebrek onderschat. Dit betekent dat de enquêteur aangeeft dat het gebrek niet aanwezig is, terwijl het wel aanwezig is. Ten tweede worden de fouten samengenomen waarbij de enquêteur het gebrek overschat. Dit wil zeggen dat de enquêteur een gebrek aangeeft terwijl dit niet aanwezig is. De som van deze eerste twee soorten van foutmarge geeft het totale aandeel weer waarbij het gebrek verkeerd wordt ingeschat. Het verschil tussen beide toont in welke mate over en onderschatting van het gebrek zich tot elkaar verhouden. Een hoog saldo betekent dat de vraag regelmatig verkeerd is ingeschat waarbij een van de twee vormen van verkeerde inschatting van het gebrek meer is voorgekomen dan de andere vorm. Ten derde is er regelmatig een groep andere. Deze groepeert meestal fouten waarbij de aan of afwezigheid van het gebrek correct wordt ingeschat door de enquêteur, maar waarbij de graad van het gebrek verkeerd werd beoordeeld. Ten slotte is er het aandeel enquêteurs dat de vraag niet behandeld heeft. Deze is een indicatie van de non respons op de vraag. 3.4.1.1 Kwaliteitscontrole van de inschatting van gebreken bij de elektrische installatie Figuur 6 geeft een overzicht van de algemene foutmarge, opgedeeld naar soort achterliggende gemaakte fout, van de vragen met betrekking tot de elektrische installatie. De enquêteurs konden (zeer) moeilijk correct de aanwezigheid van aarding en de aardingsklem aangeven. In totaal schatten respectievelijk 30% en 27% van de enquêteurs de aanwezigheid van beide verkeerd in. Daarbij verwisselt ook nog een opvallend aandeel van de enquêteurs de antwoordcategorieën neen en niet zichtbaar. Het saldo tussen over en onderschatting toont dat deze twee gebreken meer worden overschat dan onderschat. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 14

De andere mogelijke gebreken die gecontroleerd werden in de elektrische installatie worden, met uitzondering van de aanwezigheid van de verliesschakelaar, voornamelijk onderschat door de enquêteurs. Opvallende waarden worden hierbij opgetekend voor de beoordeling van aanraakbare delen onder spanning (10%) en de beoordeling of de stopcontacten overwegend met vermoeden van aarding zijn (6%). Het saldo tussen over en onderschatting toont dat bij het gebrek waarbij aanraakbare delen onder spanning staan het aandeel onderschatting opmerkelijk hoger is dan het aandeel overschatting. Analoog met het herkennen van aarding en een aardingsklem, wordt ook de afwezigheid van de verliesstroomschakelaar voornamelijk overschat (7%), hoewel de onderschatting wel van dezelfde grootteorde is (5%). De onderschatting van de aanwezigheid van aarding, aardingsklem en verliesstroomschakelaar is met grote waarschijnlijkheid mede te wijten aan het feit dat deze onderdelen telkens een iets ander uiterlijk hebben en hierdoor is het voor de enquêteurs niet eenvoudig om deze te herkennen. 3.4.1.2 Kwaliteitscontrole van de inschatting van gebreken bij de verwarmingsinstallatie Bij de vragen omtrent mogelijke gebreken aan de verwarmingsinstallatie (zie figuur 7), vallen voornamelijk de onderschatting van voldoende verluchting in de ruimte waar de gasketel staat (23%) en zichtbare schade aan de gasketel (22%) op. In deze gevallen oordeelde meer dan 1 op 4 enquêteurs verkeerdelijk dat er geen sprake was van een gebrek, terwijl dit wel het geval was. Het saldo tussen over en onderschatting van deze twee gebreken geeft aan dat deze gebreken opvallend meer onderschat dan overschat worden. De andere gebreken werden goed ingeschat door de enquêteurs. Het verschil tussen onder en overschatting van het gebrek blijft voor deze gebreken kleiner of gelijk aan 2%. Ook de andere soorten gemaakte fouten blijven beperkt voor deze gebreken. Naast gebreken, werd bij de stookolie en gasinstallatie ook gecontroleerd of het een energiezuinige ketel betrof en of er dus een label aanwezig was. Hier merkte 16% van de enquêteurs, indien er een gasketel stond, het label verkeerdelijk niet op en 4% van de enquêteurs zag dit over het hoofd wanneer er een stookolieketel stond. Nog een laatste opvallende waarde tekenen we op voor het aandeel enquêteurs dat de gasinstallatie niet heeft opgenomen. 5% van de gasinstallaties uit de light woningopnames werd niet opgenomen. 3.4.1.3 Kwaliteitscontrole van de inschatting van gebreken met betrekking tot de buitengevel Voor quasi de hele groep van variabelen die betrekking hebben tot de buitengevel is een grote algemene foutmarge te noteren (zie figuur 8). Ondanks de grote algemene foutmarge, is er telkens een klein aandeel van de enquêteurs dat een werkelijk verkeerde inschatting maakt van het gebrek. Enkel de gebreken afbladderende verf en breuken of verzakkingen worden in meer dan 5% van de woningen onderschat en het gebrek van een grote heterogeniteit van materialen wordt in 9% van de woningen overschat. Het saldo tussen over en onderschatting toont dat er bij deze drie gebreken ook een onevenwicht is. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 15

De grote algemene foutmarge wordt door twee elementen verklaard. Enerzijds, en grotendeels, door het feit dat de enquêteurs het verschil tussen neen en niet van toepassing niet konden maken. Het is duidelijk dat de enquêteurs hetzelfde bedoelen als de controle enquêteur, maar ze noteerden het verkeerd. Anderzijds wordt de grote algemene foutmarge verklaard door het niet opnemen van bepaalde vragen over de buitengevel door de enquêteurs. 24,4% van de enquêteurs oordeelden verkeerdelijk dat er geen balken aanwezig waren aan de buitengevel en namen hierdoor de vragen omtrent de balken niet op en 11,4% dacht verkeerdelijk dat er geen kolommen aanwezig waren waardoor ze de vragen omtrent de kolommen niet opnamen. Opvallend hierbij is dat in elk van deze gevallen er geen sprake was van een gebrek. Bij de interpretatie van deze vragen bij de verwerking van het Grote Woononderzoek 2013 moet hiermee rekening worden gehouden. Het maakt echter de resultaten geenszins onbruikbaar of onbetrouwbaar, want het is hierbij belangrijk te weten of het gebrek zich al dan niet voordoet en dat schatten de enquêteurs wel goed in. 3.4.1.4 Kwaliteitscontrole van de inschatting van gebreken in de keuken Bij de variabelen over mogelijke gebreken in de keuken vallen enkele hoge foutmarges op die te wijten zijn aan een werkelijk verkeerde inschatting van het gebrek (zie figuur 9). Te korte werkbladen (<2 m), de afwezigheid van minstens twee vrije stopcontacten met vermoeden van aarding en keukentoestellen die aangesloten zijn op een verdeelstekker worden opmerkelijk overschat in respectievelijk 35,8%, 9,4% en 8% van de gevallen. Naast een verkeerde overschatting, zijn voor deze drie gebreken ook hogere onderschattingen op te tekenen waardoor in het geval van de inschatting van de lengte van het werkblad en de afwezigheid van minstens 2 vrije stopcontacten met vermoeden van aarding in meer dan 30% van de woningen een verkeerde inschatting van het gebrek aanwezig is. Het saldo tussen over en onderschatting wijst voor deze twee gebreken ook op een sterk onevenwicht. De lengte van het werkblad wordt opmerkelijk meer verkeerdelijk te kort bevonden dan omgekeerd en er worden opvallend meer keuken geteld waarbij er foutief wordt aangegeven dat er wel minstens twee vrije stopcontacten zijn dan andersom. Beschadiging aan muur en vloerafwerking, gebreken aan de gootsteen en loshangende stopcontacten worden ook merkelijk onderschat. De percentages van onderschatting van het gebrek schommelen tussen 5,4 en 8%. Bij het saldo van de beschadiging aan de vloerafwerking en de loshangende stopcontacten weegt deze onderschatting door op de overschatting. 3.4.1.5 Kwaliteitscontrole van de inschatting van gebreken in de woonkamer De foutmarge van de vragen die de inschatting van een gebrek inhouden in de woonkamer liggen laag (zie figuur 10). Enkel de onderschatting van de loshangende stopcontacten of schakelaars is gelijk aan 5%, alle andere percentages liggen lager dan 3,7%. In het saldo tussen over en onderschatting valt deze onderschatting op tegenover het saldo van de andere vragen. Hier houden over en onderschatting elkaar in evenwicht houden. 3.4.1.6 Kwaliteitscontrole van de inschatting van gebreken in het toilet Bij de vragen over de inschatting van een gebrek in het toilet, zijn twee hogere waarden te noteren (zie figuur 11). Enerzijds geven de enquêteurs in 13% van de gevallen ten onrechte aan dat het toilet Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 16

wel toegankelijk is met de rolstoel en anderzijds valt op dat in 9% van de woningen de enquêteur stelt dat het toilet niet vorstvrij is gelegen terwijl dit wel het geval is. Bij de andere vragen over het toilet liggen de aandelen van een verkeerde inschatting van het gebrek laag en houden over en onderschatting elkaar in evenwicht. Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 17

Figuur 6 Foutmarge van de vragen met betrekking tot de elektrische installatie 60,0 verkeerde inschatting gebrek (onderschatting) verwisselen neen en niet van toepassing verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur saldo verkeerde inschatting gebrek 50,0 48,8 * saldo = overschatting gebrek 45,8 ʘ saldo = onderschatting gebrek 40,0 % 30,0 20,0 19,4 17,4 15,4 * 12,4 10,0 * ʘ 7,7 0,0 * ʘ ʘ * aardingsklem aarding aanraakbare delen onder spanning verliesstroomschakeaar stopcontacten vermoeden van aarding afscherming door deurtje installatie beschadigd door brand Bron: Ipsos Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 18

Figuur 7 Foutmarge van de vragen met betrekking tot de verwarmingsinstallatie 40,0 verkeerde inschatting gebrek (onderschatting) andere= verkeerd type verwarming verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur 35,0 33,8 31,4 saldo verkeerde inschatting gebrek * saldo = overschatting gebrek ʘ saldo = onderschatting gebrek 30,0 25,0 % 20,0 ʘ ʘ 15,0 10,0 10,7 5,0 4,7 3,7 2,7 0,0 * ʘ Indien gasketel, is er voldoende verluchting Zichtbare schade aan de gasketel Roetafzetting bij gasketel Zichtbare schade aan de collectieve verwarming Zichtbare schade aan de stookolieketel Zichtbare schade aan de elektrische verwarming Bron: Ipsos Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 19

Figuur 8 Foutmarge van de vragen met betrekking tot de buitengevel 60,0 verkeerde inschatting gebrek (onderschatting) andere verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur 55,9 saldo verkeerde inschatting gebrek 51,5 51,2 * saldo = overschatting gebrek 50,0 ʘ saldo = onderschatting gebrek 42,5 40,0 33,4 % 30,0 26,4 25,7 25,4 20,0 18,1 10,0 0,0 * ʘ ʘ 10,7 8,4 * ʘ 4,4 1,3 ʘ ʘ ʘ * sporen corrosie balken sporen houtrot balken afbladderende verf sporen betonrot balken beschadiging balkons of erkers sporen corrosie kolommen sporen betonrot komommen sporen houtrot kolomen uitgevallen voegwerk grote heterogeniteit materialen breuken of verzakkingen loszittende stukken dichtgemaakte gevelopeningen Bron: Ipsos Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 20

Figuur 9 Foutmarge van de vragen met betrekking tot de keuken 60,0 verkeerde inschatting gebrek (onderschatting) andere verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur 50,0 48,8 saldo verkeerde inschatting gebrek * saldo = overschatting gebrek ʘ saldo = onderschatting gebrek 40,0 31,5 % 30,0 * 20,0 17,1 10,0 ʘ 12,0 10,7 10,7 ʘ 9,4 9,1 8,7 ʘ 8,0 6,0 5,3 0,0 * ʘ ʘ ʘ ʘ * ʘ ʘ Bron: Ipsos Lengte werkblad < 2m Minstens 2 vrije stopcontacten vermoeden aarding Keukentoestellen aangesloten op verdeelstekker Beschadiging muurafwerking Beschadiging vloerafwerking Gootsteek met gebreken Loshangende stopcontacten/schakelaars Raamwerk in slechte staat Beschadiging plafondafwerking Functionerende dampkap aanwezig Loshangende bekabeling of draden Vochtige muur(voeten) Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 21

Figuur 10 Foutmarge van de vragen met betrekking tot de woonkamer % verkeerde inschatting gebrek (onderschatting) andere 8,0 7,0 7,0 6,0 6,0 5,4 5,0 5,0 4,0 ʘ 3,0 verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur saldo verkeerde inschatting gebrek * saldo = overschatting gebrek ʘ saldo = onderschatting gebrek 4,7 4,4 4,0 3,0 2,0 1,0 0,0 ʘ ʘ ʘ ʘ * ʘ Vochtige muur(voeten) Loshangende stopcontacten of schakelaars Beschadiging muurafwerking Beschadiging plafondafwerking Raamwerk in slechte staat Opliggende bekabeling of draden Schimmel op muren/plafonds Insijpelend vocht Bron: Ipsos Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 22

Figuur 11 Foutmarge van de vragen met betrekking tot het toilet 25,0 verkeerde inschatting gebrek (onderschatting) andere verkeerde inschatting gebrek (overschatting) geen opname vraag door enquêteur 20,0 19,1 saldo verkeerde inschatting gebrek * saldo = overschatting gebrek ʘ saldo = onderschatting gebrek 15,0 13,7 % ʘ 10,7 10,0 * 8,4 8,7 8,0 8,0 5,0 6,7 6,7 5,7 5,7 5,7 0,0 ʘ * ʘ * ʘ * * * * * Rolstoeltoegankelijk Toilet vorstvrij Beschadiging muurafwerking Toilet aansluitend op keuken/woonkamer Loshangende stopcontacten/schakelaars Beschadiging plafondafwerking Beschadiging vloerafwerking Defecten aan spoelbak of toiletpot Toilet watergespoeld Raamwerk in slechte staat Ernstige scheuren in muren Toilet buiten gelegen Bron: Ipsos Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 23

3.4.2 Thematische kwaliteitsanalyses 3.4.2.1 Het aantal automatische en smeltzekeringen In totaal telden 60,4% van de enquêteurs een ander aantal automatische zekeringen dan de controle enquêteurs (zie tabel 5). Hiervan vonden 50,2% van de enquêteurs net als de controle enquêteurs automatische zekeringen in de kast, maar verschilden het aantal zekeringen dat ze telden. Gemiddeld telden deze enquêteurs 15,9 automatische zekeringen, de controle enquêteurs telden er gemiddeld 17,9. In ongeveer 6 op 10 van deze gevallen telden de controle enquêteur meer automatische zekeringen dan de enquêteur. Wanneer we de foutmarge van het aantal smeltzekeringen bestuderen, zien we dat de foutmarge een stuk lager ligt. 21,7% van de enquêteurs telden een ander aantal smeltzekeringen. De verklaring hiervoor ligt in het feit dat er veel minder elektrische installaties zijn aangetroffen met smeltzekeringen waardoor de kans op een verkeerde telling ook meteen veel lager lag. Van de 298 bestudeerde woningen, waren er 65 woningen met smeltzekeringen in de elektrische installatie, terwijl er 181 waren met automatische zekeringen. Wat hierbij wel opvalt is dat 8% van de enquêteurs geen smeltzekeringen aangaven, terwijl er wel aanwezig waren in de elektrische installatie. Dit betekent dat de enquêteurs het moeilijk hadden om, in het geval er smeltzekeringen aanwezig waren, deze ook daadwerkelijk te herkennen als smeltzekeringen. We mogen er hierdoor van uit gaan dat er in het totale woningbestand een lichte onderschatting is van het aantal woningen met smeltzekeringen in de elektrische installatie. Tabel 5 Foutmarge van de enquêteur versus controle enquêteur in verband met het aantal automatische en smeltzekeringen Automatische zekeringen Aandeel (in %) Enquêteur en controle enquêteur vonden automatische zekeringen in de kast, maar telden een verschillend aantal 50,2 Enquêteur telde geen automatische zekeringen, controle enquêteur wel 1,7 Enquêteur telde automatische zekeringen, controle enquêteur niet 0,6 Geen opname enquêteur 5,7 Geen opname controle enquêteur 1,7 Totale foutmarge automatische zekeringen 59,9 Smeltzekeringen Aandeel (in %) Enquêteur en controle enquêteur vonden smeltzekeringen in de kast, maar telden een verschillend aantal 4,0 Enquêteur telde geen smeltzekeringen, controle enquêteur wel 8,0 Enquêteur telde smeltzekeringen, controle enquêteur niet 2,3 Geen opname enquêteur 5,7 Geen opname controle enquêteur 1,7 Totale foutmarge smeltzekeringen 21,7 Bron: Ipsos 3.4.2.2 Type van de verwarmingsinstallatie en toestellen Analyse van de opname van de verwarmingsinstallatie geeft aan dat 5,4% van de enquêteurs de centrale verwarmingsinstallatie niet opnemen terwijl deze wel aanwezig is en dat 3,7% van de enquêteurs wel aangeeft dat er een centrale verwarmingsinstallatie is, terwijl er geen aanwezig is. Hierbij Grote Woononderzoek 2013. Kwaliteitscontrole van de in en uitwendige woningscreening 24