Big Data en het CBS. Enkele voorbeelden. Piet Daas, May Offermans, Martijn Tennekes, Alex Priem, Paul van den Hurk

Transcriptie

1 Big Data en het CBS Enkele voorbeelden Piet Daas, May Offermans, Martijn Tennekes, Alex Priem, Paul van den Hurk

2 Overzicht Wat is Big Data? Definitie en eigenschappen Relatie tot de statistiek Waarom? Voorbeelden Verkeerslussen Mobiele telefoons Sociale mediaberichten 2

3 Wat is Big Data? Volgens een expertgroep van statistici: Data sources that can be generally described as: high volume, velocity and variety of data that demand costeffective, innovative forms of processing for enhanced insight and decision making. Volgens een gebruiker: data so big that it becomes awkward to work with 3

4 Eigenschappen van Big Data? Hoeveelheid Complex/ Lastig Informatie extractie Populatie en dynamiek Snel beschikbaar 4

5 Relatie Big Data en CBS In de Wet op het CBS staat in artikel 36: de directeur generaal ervoor zorgt dat de verwerving van gegevens op zodanige wijze geschiedt dat de daaruit voortvloeiende administratieve lasten voor ondernemingen, vrije beroepsbeoefenaren (enz.) zo laag mogelijk zijn 5 Hoe? 1) Hergebruik van administratieve gegevens 2) Mogelijkheden van nieuwe bronnen te bestuderen

6 Data, data everywhere! X

7 Onderzoek Big Data door CBS Bevindingen onderzoek Big Data bronnen 1) Verkeerslussen (100 miljoen records) 2) Mobiele telefonie (~500 miljoen records) 3) Sociale media (12 miljoen - 2 miljard records) 7

8 Voorbeeld 1: Verkeerslussen Verkeerslussen - Elke minuut (24/7) wordt het aantal passerende voertuigen op > meetpunten in Nederland geteld Totaal en in verschillende lengtecategorieën - Mooie bron om verkeer- en vervoer- statistieken mee te maken (en meer) Veel data, zo n 100 miljoen records per dag 8 Locaties

9 Aantal gedetecteerde voertuigen op één dag in NL 9

10 Registratie activiteit verkeerslussen (eerste 10 min) 10

11 Correctie voor ontbrekende gegevens Corrigeren in blokken van 5 min. Voor Na 11 Totaal = ~ 295 miljoen Totaal = ~ 330 miljoen (+ 12%)

12 Totaal voertuigen gedurende de dag (snapshots) 12

13 Voor verschillende lengtecategorieën 1 categorie 3 categoriën 5 categoriën Totaal Totaal Totaal <= 5.6m > 1.85 & <= 2.4m > 5.6 & <= 12.2m > 2.4 & <= 5.6m > 12.2m > 5.6 & <= 11.5m > 11.5 & <= 12.2m > 12.2m Kleine voertuigen <= 5.6 m Voertuigen van gemiddelde lengte > 5.6 m & <= 12.2 m Grote voertuigen > 12.2 m 13

14 Kleine voertuigen 14 Tijd (uur) ~75% van totaal

15 Kleine & gemiddelde voertuigen 15 Tijd (uur)

16 Kleine, gemiddelde& grote voertuigen 16 Tijd (uur)

17 Profiel maand September (grote voertuigen)

18 18 Afzonderlijke lussen

19 Containeroverslag in Rotterdam!!! Echter!!! , Tijd (uur)

20 Voorbeeld 2: Mobiele telefoons Vrijwel elke Nederlander heeft een mobieltje - Bijna altijd bij zich en staat vrijwel altijd aan Ideale informatiebron om: - Met behulp van gegevens van providers: Verplaatsingsgedrag ( Dag -populatie) Toerisme (nieuwe aanmeldingen op netwerk) Mensenmassa s (bijv. bij evenementen) 20

21 Dag -populatie Woonadres -Waar personen s nachts verblijven Wat doen ze overdag? - Locatie van mobieltje bepalen bij bel/sms/data actviteit a.h.v. mastlocatie -Data Dec2012 en Jan Eerste begin Dag-populatie 21

22 Voorbeeld 3: Sociale media Nederlanders zijn erg actief op sociale media - Bijna altijd bij zich en staat vrijwel altijd aan Steeds meer mensen hebben een smartphone! Mogelijke informatiebron voor: - Welke onderwerpen zijn actueel: Aantal berichten en sentiment hierover - Als meetinstrument te gebruiken voor:. Map by Eric Fischer (via Fast Company)

23 Sociale media: Nederlandstalige berichten Nederlanders zijn erg actief op sociale media - Mogelijke informatiebron: Aantal berichten over en sentiment t.a.v. bepaalde onderwerpen (snel beschikbaar!) Testen om nut en bruikbaarheid te controleren a. Inhoud: - Zelf NL Twitter-berichten verzameld: in totaal 12 miljoen b. Sentiment - Sentiment in NL-talige sociale mediaberichten bestudeerd: ~2 miljard 23

24 Sociale media: Twitter Onderwerpen Twitter Thema's Werk Relaties Wonen Economie Milieu Weer ICT Gezondheid Onderwijs Politiek Veiligheid Vervoer Vrije tijd Vakantie Cultuur/events Sport Media Overige (5%) (3%) (10%) (7%) (46%) Bijdrage (%) 12 miljoen berichten

25 Sentiment in Sociale media Toegang tot Coosto database gekocht - > 2 miljard publiek beschikbare NL-berichten Twitter, Facebook, Hyves, Webfora, Blogs etc. - Sentiment van elk bericht Positief, negatief of neutraal - Van alles geprobeerd Interessante insteek Gekeken naar Moodof the nation en vergeleken met het Consumenten vertrouwen van het CBS 25

26 Consumenten vertrouwen, enquête data Sentiment t.a.v. het economisch klimaat (pos neg) als as % van of total totaal 26 Tijd ~1000 respondenten/maand

27 Consumentenvertrouwen vs. sociale media Sentiment t.a.v. het economisch klimaat & In sociale mediaberichten (pos neg) als % van totaal 27 Corr: 0.88 Tijd ~25 miljoen berichten/maand

28 Uitdagingen: Big Data en statistiek Juridisch - Routinematige toegang (niet alleen voor onderzoek)? - Rekening houden met privacy (WBP) Kosten - Het CBS betaald niet voor administratieve data. - Gaan we voor Big Data betalen? Methodologisch - Big data bronnen registeren events van eenheden, en zijn selectief! - Methoden & modellen specifiek voor grote datasets (snel en stabiel) Technologisch - Leer van computationalstatistical gerelateerde onderzoeksgebieden High Performance Computing, parallelle verwerking Mensen - Hebben data scientists nodig (statistisch denkende mensen die kunnen programmeren die nieuwsgierig zijn) - Die buiten het traditionele steekproef paradigma kunnen denken! 28

29 De toekomst van het CBS?