HISSTAT. Voorstelling Kritische analyse bronnen. Brussel, FOD Economie, 20 juni Workshop 20 juni

Transcriptie

1 HISSTAT Voorstelling Kritische analyse bronnen Brussel, FOD Economie, 20 juni 2012 Workshop 20 juni

2 Inhoud 1. Voorstelling van HISSTAT 2. Toepassing: kritische analyse van de volkstellingen ( ) 3. Demonstratie van de website Census 1900 Workshop 20 juni

3 1. Voorstelling van HISSTAT Workshop 20 juni

4 1. HISSTAT - voorstelling Beschrijving Infrastructuur voor historische statistieken Databanken voor de opslag en het beheer van primaire, originele data Instrumenten voor de analyse van de gegevens (o.a. GIS) Metadatabank en bronnenkritiek Scope: Volledige Belgische grondgebied op microniveau (gemeenten of lager) Periode Workshop 20 juni

5 1 HISSTAT - voorstelling Doelstellingen Bewaring van het statistisch erfgoed Wetenschappelijk potentieel van oude bronnen valoriseren Door data exploiteerbaar te maken Gebruik van moderne technieken mogelijk maken Potentieel wordt nog onvoldoende benut Stimuleren van interdisciplinaire samenwerking Brug slaan tussen micro-onderzoek en onderzoek op nationaal en internationaal niveau Coördinatie van expertise in België Workshop 20 juni

6 1. HISSTAT - voorstelling Verschillende aanpak door toestand bronnenmateriaal alleen geaggregeerde data op het niveau van de gemeenten (ca. 2500) alleen beschikbaar op papier (bibliotheken, archieven) digitalisering en ontsluiting door de UGent, Lokstat Vanaf 1961 data beschikbaar op individueel niveau in machine-leesbare vorm afkomstig van overheidsinstellingen ontsluiting door de VUB, Interface Demography Workshop 20 juni

7 1. HISSTAT - voorstelling HISSTAT: Research Infrastructure for Historical Statistics based on Microdata in Belgium GIS (TRANSCENS) VUB Databases Population statistics VUB LOKSTAT: database of local statistics UGent GIS (HISGIS ) UGent Digital datasets from the Belgian gov. Institutions (Censuses ADSEI,...) Data from non digital sources: Books, archives Database Raw Data source Quantitative Database of the Belgian Municipalities Tool Digital collections from external depositors Data available at individual level Data available at local level (municipalities) Workshop 20 juni

8 1. HISSTAT - voorstelling LOKSTAT Selectiecriteria van de microstatistieken Graad van detail moet volledig Belgische grondgebied beslaan moet teruggaan tot op het niveau van de gemeenten Relevantie en bruikbaarheid van de variabelen Beschikbaarheid van de bronnen Mogelijkheid tot vergelijking in de tijd Voornamelijk klassieke tellingen van de bevolking, landbouw, handel en nijverheid Occasionale statistieken (stemrecht, kadaster) Workshop 20 juni

9 1. HISSTAT - voorstelling LOKSTAT/HISSTAT Project gefinancierd door de Herculesstichting Duur Toegang tot de data data komen vrij op het einde van het project staan ter beschikking van het wetenschappelijk onderzoek met inachtneming van de privacywetgeving via website Census 1900 ( op eenvoudige aanvraag bij ploegen VUB en UGent Workshop 20 juni

10 2. Voorbeeldtoepassing Kritische analyse van de volkstellingen in België Workshop 20 juni

11 Kritische evaluatie van Lokstat-data Vraag naar de kwaliteit van oude statistieken Tellingen zijn vatbaar voor vertekening en fouten Relatief weinig bekend over de betrouwbaarheid, door onvoldoende data in digitale vorm gebrek aan evaluatietechnieken Kritische doorlichting met de volkstellingen Principes van de Wet van Benford 2. Analyse van de officiële uitslagen Workshop 20 juni

12 De Wet van Benford Artikel The Law of Anomalous Numbers (New York, 1938) Principe: frequentie van de begincijfers van getallen uit bepaalde datasets beantwoordt aan vaste verhoudingen geen uniforme verdeling zoals intuïtief wordt aangevoeld Vast percentage begincijfers 1 30,1 % 2 17,6 % 3 12,5 % 4 9,7 % 5 7,9 % 6 6,7 % 7 5,8 % 8 5,1 % 9 4,5 % Totaal 100 % Workshop 20 juni

13 Workshop 20 juni

14 De Wet van Benford Empirisch aangetoond in zeer uiteenlopende domeinen Wiskundige verklaring volgt pas laat (Hill 1996 ) Datasets onderhevig aan de wet: op basis van waarnemingen geen onder- of bovengrens niet ontsproten aan de menselijke brein of random gekozen geen telefoonnumers, lotto-uitslagen; Voldoende aantal waarnemingen bij voorkeur minstens Workshop 20 juni

15 Sambridge e.a Workshop 20 juni

16 De Wet van Benford: praktische toepassingen Opsporing bias in datasets Fraudebestrijding Boekhouding, financiële audits Macro-economische statistieken (bv. begrotingscijfers Eurozone) Verkiezingsuitslagen (Iran) Officiële statistieken van broekasgasemissies Vnl. toepassingen in V.S. Minder in Europa, weinig in België Toepasbaar op bevolkingsstatistieken (Benford 1938, Sakai 1991) Workshop 20 juni

17 De Wet van Benford: Onderzochte LOKSTAT- datasets Volkstellingen: Bevolking naar burgerlijke staat en geslacht, (N = ) Bevolkingsverloop: Geboorten, sterfte, in- en uitwijking per geslacht en per jaar, (N = ) Artikel De macht van het getal: een kritische analyse van de bevolkingsstatistieken in België ( ) In: Belgisch Tijdschrift voor Nieuwste Geschiedenis (31 blz., ingestuurd mei 2012) Workshop 20 juni

18 35% % Aandeel van de eerste cijfers Bevolkingsstatistieken van de Belgische gemeenten, Bevolking naar geslacht en burgerlijke staat (tellingen); Geboorten, sterften, migratie (Mouvement) 30% 25% 20% 15% Volkstellingen Mouvement Wet van Benford 10% 5% 0% Workshop 20 juni

19 χ² 100 Afwijking met het Patroon van Benford (eerste cijfer) Bevolking naar Burgerlijke Staat en geslacht (volkstellingen) 10 MAD 90 χ² MAD Workshop 20 juni

20 De Wet van Benford: Criteria van conformiteit (first digit, Drake & Nigrini 2000) Gemiddelde Absolute Afwijking 0 4 : grote gelijkenis met het patroon van Benford» Verschillen toe te schrijven aan toeval» Tellingen : duidelijke afwijkingen, maar acceptabel» Tellingen , en meer: aanzienlijke afwijking» Tellingen Workshop 20 juni

21 χ² 100 Afwijking met het Patroon van Benford (eerste cijfer) Bevolking naar Burgerlijke Staat en geslacht (volkstellingen) 10 MAD 90 χ² MAD Workshop 20 juni

22 Standaard telformulieren Workshop 20 juni

23 Standaard telformulieren Workshop 20 juni

24 χ² 100 Afwijking met het Patroon van Benford (eerste cijfer) Bevolking naar Burgerlijke Staat en geslacht (volkstellingen) 10 MAD 90 χ² MAD Workshop 20 juni

25 Fr. 0,50 0,45 0,40 Kostprijs van de volkstellingen (Fr. per inwoner geïndexeerd, basis 1914) 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0, Workshop 20 juni

26 2. Voorbeeldtoepassing χ² 100 Afwijking met het Patroon van Benford (eerste cijfer) Bevolking naar Burgerlijke Staat en geslacht (volkstellingen) 10 MAD 90 χ² MAD Workshop 20 juni

27 Organisatie volkstellingen Scope Richtlijnen Uitvoering Resultaten Controle Significant X Verschillen Niet-significant X X X X Controle van de gemeentelijke telformulieren 1880: geringe controle beperkte controlemechanismen 1890: oprichting van een telbureau in de schoot van Binnenlandse Zaken tabellen nagekeken tabellen voor rectificatie teruggestuurd naar gemeenten aanmaningen en rappels gestuurd naar gemeenten Workshop 20 juni

28 χ² 100 Afwijking met het Patroon van Benford (eerste cijfer) Bevolking naar Burgerlijke Staat en geslacht (volkstellingen) 10 MAD 90 χ² MAD Workshop 20 juni

29 Volkstellingen Geen afwijking met de verdeling volgens Benford Datasets die de verdeling volgen zijn niet noodzakelijk betrouwbaar Alleen systematische cijfervertekening is detecteerbaar Redenen voor grote conformiteit met de verdeling van Benford Afwezigheid van centrale instantie die teluitkomsten kon bijwerken Telformulieren waren niet complex Workshop 20 juni

30 Conclusie De Wet van Benford biedt een bruikbaar referentiekader om datasets kritisch te wegen bepaalde vormen van systematische afwijkingen detecteerbaar Voorzichtigheid is geboden bij de interpretatie van de resultaten De toepassingsvoorwaarden van de wetmatigheid zijn niet altijd duidelijk Artikel De macht van het getal: een kritische analyse van de bevolkingsstatistieken in België ( ) In: Belgisch Tijdschrift voor Nieuwste Geschiedenis (31 blz., ingestuurd mei 2012) Workshop 20 juni

31 2. Kritiek statistieken bevolkingsverloop χ² Aantal geboorten geregistreerd per jaar en per geslacht in de Belgische gemeenten, (uitgezonderd ) Conformiteit met de frequentieverdeling van Benford (eerste cijfer) Trend Workshop 20 juni

32 2. Kritiek statistieken bevolkingsverloop χ² Aantal sterften geregistreerd per jaar en per geslacht in de Belgische gemeenten, (uitgezonderd ) Conformiteit met de frequentieverdeling van Benford (eerste cijfer) Trend Workshop 20 juni

33 3. Voorstelling van de website Census 1900 Workshop 20 juni

34 3. Voorstelling website Website Census Ontwikkeld in samenwerking van Vakgroep Geografie UGent Bronnen: Landbouwtelling 1895 Nijverheidstelling 1896 Volkstelling 1900 Structuur: Toelichting bronnen Tabellen Kaarten Technische achtergrond: HTML PHP MySQL Workshop 20 juni