Consumentenprikkels voor efficiënt betalen Veldexperiment GEA s Rapportage in opdracht van SBEB Jorna Leenheer Tim Benning Millie Elsen M.m.v. Nicole Weijers 17 april 2014
Opzet Onderzoek Onderzoeks -opzet Onderzoeksvraag: Kan door aanpassingen van de voorkeuze- en snelkeuzebedragen van geldautomaten het gemiddelde opnamebedrag worden verlaagd? Experimentele opzet: Vijf GEA s gemanipuleerd gedurende 2 weken Steeds GEA s die naast een andere GEA stonden die niet was gemanipuleerd (controle conditie) Nauwe samenwerking met Nicole Weijers (Rabobank) Keuze manipulaties op basis van voorstudie, afstemming met SBEB Data: Data over opnamegedrag gedurende ongeveer een maand. Voor analyse: 1 week ervoor, 2 weken experimentperiode Probleem met GEA Haarlem, GEA controleconditie uitgevallen 2 Te meten: effect manipulatie design op hoogte opgenomen geldbedrag
Onderzoeks -opzet 3 Manipulaties Op basis van voorexperiment gekozen voor 5 kansrijke designs Controle (4 GEA s) Snelkeuze: 70 20 100 50 150 70 250 Ander Bedrag Didam Snelkeuze: 70 20 80 40 100 60 130 Ander Bedrag Haarlem Snelkeuze: 70 10 70 30 80 50 100 Ander Bedrag Utrecht Snelkeuze: 50 20 100 50 150 70 250 Ander Bedrag Zaandam Snelkeuze: 50 20 80 40 100 60 130 Ander Bedrag Arnhem Snelkeuze: 50 10 70 30 80 50 100 Ander Bedrag
Difference-in-difference methode Gemiddeld opnamebedrag 10 100 90 90 Effect manipulatie = 3 13 ---- Controle GEA Gemanipuleerde GEA 77 Preexperiment periode Experiment periode 4 Wat is het effect van de GEA-manipulatie op het gemiddeld opnamebedrag?
Simpele Voor 3 van de 5 automaten neemt het gemiddelde opnamebedrag af, gemiddeld met ongeveer 3 Euro. voor experiment gedurende experiment Verschil Utrecht 78,92 74,46-4,46 Didam 131,96 134,94 2,97 Zaandam 89,47 96,47 7,01 Haarlem 122,53 105,29-17,24 Arnhem 134,53 131,15-3,38 Totaal 111,48 108,46-3,02 5 Maar!!! - We weten niet zeker of er zonder manipulatie geen verandering was geweest over de weken (zou het verschil dan precies 0 zijn geweest) - Daarom hebben we ook controle-geldautomaten meegenomen. Deze stonden steeds naast de gemanipuleerde GEA opgesteld.
Vervolg vergelijkingen Manipulatie voor experiment gedurende experiment Verschil Utrecht 78,92 74,46-4,46 Didam 131,96 134,94 2,97 Zaandam 89,47 96,47 7,01 Haarlem 122,53 105,29-17,24 Arnhem 134,53 131,15-3,38 Totaal 111,48 108,46-3,02 Controle-automaat voor experiment gedurende experiment Verschil Utrecht 64,87 64,85-0,03 Didam 143,60 144,09 0,50 Zaandam 85,93 95,35 9,42 Haarlem Arnhem 235,34 321,02 85,68 Totaal 132,43 156,33 23,89 6 Bij de controle-automaten stijgt het gemiddelde opnamebedrag! - Het gemiddeld effect is daarmee bijna 27 Euro per opname - Ook geldautomaat in Zaandam is wellicht effectief. Maar de effecten worden sterk beïnvloed door enkele grote opnames Analyses voor opnames t/m 250 is daarom beter
Bedragen tot en met 250 euro Manipulatie voor experiment gedurende experiment Verschil Utrecht 57,69 55,25-2,44 Didam 91,55 82,21-9,35 Zaandam 67,28 67,00-0,29 Haarlem 81,84 71,52-10,31 Arnhem 79,92 73,79-6,13 Totaal 75,66 69,95-5,70 Controle-automaat voor experiment gedurende experiment Verschil Utrecht 50,31 52,14 1,83 Didam 97,74 96,56-1,19 Zaandam 61,27 61,16-0,11 Haarlem Arnhem 98,08 108,38 10,31 Totaal 76,85 79,56 2,71 7 Het gemiddeld effect is ongeveer 8 euro, er zijn substantiële verschillen tussen GEA s. Schatten van een formeel model: difference-in-difference methode Ook controleren voor dag van de week, tijdstip op de dag, e.d. Voor GEA Haarlem nemen we alle controle GEA s op andere locaties mee.
Modelresultaten De geldautomaten in Haarlem en Arnhem lijken beide effecten te hebben gerealiseerd, het gemiddeld opnamebedrag is significant gedaald. Dit zijn precies de GEA s met de laagste opnamebedragen. Didam heeft alleen een effect voor opnamebedrag <= 250. 8 Wat is er precies gebeurd? Meer voor extra inzicht - Snelkeuze - Voorkeuze - Specifieke verdeling bedragen - Biljetuitgifte
Het effect van het veranderen van snelkeuzebedrag Utrecht Voor experiment Experiment Verschil 70 14,0% 7,0% -7,0% 50 15,9% 20,6% +4,7% Arnhem Verschil Veranderen snelkeuzebedrag is enige wijziging Verlagen van snelkeuze bedrag van 70 naar 50, Heeft significant effect op het aantal keren dat men 50 dan wel 70 opneemt Voor experiment Experiment 70 9,6% 6,3% -4,3% 50 13,4% 17,8% +4,4% Naast snelkeuzebedrag zijn ook de voorkeuzebedragen gewijzigd 9 (In Zaandam daalt zowel 50 als 70 waarschijnlijk doordat deze niet meer bij de voorkeuzebedragen zitten)
Voorkeur voor voorkeuze Potentieel gevaar: klanten proberen effect van designwijziging te omzeilen door vaker ander bedrag te kiezen % Voor- of snelkeuze Verschil Voor experiment Experiment Utrecht 63,6% 65,3% +1,7% (n.s.) Didam 65,6% 57,1% -8,5% (-) Zaandam 68,0% 65,8% -3,8% (-) Haarlem 75,6% 68,0% -7,6% (-) Arnhem 60,6% 59,6% -1,0% (n.s.) 10 Na wijziging wordt iets minder vaak een snelkeuze- of voorkeuzebedrag geselecteerd, maar daling is niet heel groot (en per saldo is het gemiddeld opgenomen bedrag meestal lager).
Verdeling bedragen Procentuele verandering in samenstelling van opnamebedragen na manipulatie (verandering in procentpunten) Snelkeuze Arnhem: 50 Haarlem: 70 11
Verdeling bedragen Procentuele verandering in samenstelling van opnamebedragen na manipulatie (verandering in procentpunten) 12 De hoge bedragen ( 150 en 250) worden duidelijk minder opgenomen! In Haarlem zie je (daardoor) dat 70 en 100-opnames wat toenemen Het verwijderen van de 20 voorkeuze leidt tot meer opname van 10, maar ook van 30. In Arnhem is er door wijziging van snelkeuze meer aan de hand: men kiest minder vaak 70 en vaker 50, maar ook vaker 100!
Verdeling bedragen (Haarlem) voor na Verschil 13 10 4,6% 8,4% 3,8% 20 13,3% 8,3% -5,0% 30 3,4% 12,2% 8,8% 40 3,8% 3,6% -0,2% 50 27,6% 21,9% -5,7% 60 1,2% 1,7% 0,5% 70 10,5% 12,2% 1,7% 80 1,0% 2,2% 1,2% 90 0,8% 0,6% -0,2% 100 13,6% 15,3% 1,7% 101-150 9,1% 5,5% -3,6% 151-250 11,0% 8,0% -3,0% Voor experiment neemt 25,1% minder dan 50 Euro op, na manipulatie 32,5% (+7,4 procentpunt) Voor experiment neemt 20,1% tussen 101-250 op, na manipulatie 13,5% (-6,6 procentpunt)
Verdeling bedragen (Arnhem) voor na Verschil 14 10 8,7% 10,4% 1,7% 20 16,8% 9,4% -7,4% 30 3,3% 10,8% 7,5% 40 5,7% 3,6% -2,1% 50 14,9% 20,0% 5,1% 60 4,1% 2,7% -1,4% 70 10,7% 5,9% -4,8% 80 3,5% 2,9% -0,6% 90 0,5% 1,0% 0,5% 100 9,8% 17,0% 7,2% 101-150 10,1% 7,1% -3,0% 151-250 12,0% 9,1% -2,9% Voor experiment neemt 34,5% minder dan 50 Euro op, na manipulatie 34,2% (-0,3%) Voor experiment neemt 22,1% tussen 101-250 op, na manipulatie 16,2% (-5,9%)
Biljetopnames Haarlem Gemiddeld aantal biljetten per geldopname Alle opnames Opnames tot 250 Voor experiment Experiment Voor experiment Experiment 10 1,19 1,45 (+) 1,17 1,43 (+) 20 1,13 1,31 (+) 1,11 1,29 (+) 50 1,76 1,29 (-) 0,96 0,63 (-) Totaal 4,08 4,05 (n.s.) 3,24 3,34 (n.s.) 15 Totaal aantal biljetten per opname verandert niet significant, wel neemt uitgifte van biljetten van 10 en 20 toe en van 50 af.
Biljetopnames Arnhem Gemiddeld aantal biljetten per geldopname Alle opnames Opnames tot 250 Voor experiment Experiment Voor experiment Experiment 10 1,04 1,37 (n.s.) 1,02 1,29 (n.s.) 20 0,64 0,75 (n.s.) 0,58 0,61 (n.s.) 50 2,23 2,05 (n.s.) 1,16 0,97 (-) Totaal 3,91 4,17 (n.s.) 2,77 2,88 (n.s.) 16 Totaal aantal biljetten per opname verandert niet significant, enkel aantal biljetten van 50 neemt licht af.
Beperkingen De verschillen tussen locaties zijn erg groot, het is niet zeker dat de manipulatie elders dezelfde effecten zou sorteren. Een grotere pilot is nodig voordat een nieuw design wordt uitgerold Het is niet uit te sluiten dat men van GEA is gewisseld (naar de controle GEA) nadat men de manipulatie opmerkte. Dit blijkt eigenlijk een nadeel van de keuze voor locaties waarbij steeds twee GEA s naast elkaar stonden. Mogelijk neemt men minder per keer op, maar wel vaker. Dit is niet precies te analyseren met de huidige data, maar het verloop in het aantal opnames bij de onderzochte GEA s geeft wel een indicatie. Zie volgende slide 17 De keuze voor de specifieke experimentperiode, mogelijk hebben er op nationaal niveau veranderingen plaatsgevonden in deze weken; zo is het opnamegedrag in weken waarin loon en uitkeringen worden gestort doorgaans anders. Zie vervolganalyse
Verandering in aantal opnames per week tijdens experiment Manipulatie GEA Controle GEA Totaal Utrecht -214-15,4% +358 +20,4% +144 +4,6% Didam -143-7,9% +426 +27,8% +284 +8,5% Zaandam +110 10,9% +116 +15,8% +226 +12,9% Haarlem +113 +5,6% -977-100% -865-29,1% Arnhem +66 +8,8% +22 +7,4% +88 +8,4% 18 Verschillende (mogelijke) effecten lopen door elkaar: - Consumenten wisselen van GEA nadat ze de manipulatie opmerken - Consumenten vermijden de locatie, nadat ze de manipulatie opmerken - Consumenten nemen vaker geld op, omdat ze een lager bedrag per keer opnemen Op basis van transactiedata zijn de verschillende effecten niet te ontrafelen (data op consumentniveau nodig)
Verandering opnamegedrag Nederland gedurende experimentperiode Aantal opnames Nederland Gemiddeld opnamebedrag Nederland Voor experiment 2.673.003 104,69 Tijdens experiment 2.899.912 105,88 Verandering (in%) 226.909 (+8,5%) 1,19 (+1,14%) Het totale aantal opnames blijkt voor Nederland iets hoger te zijn in de experiment periode dan in de periode voor het experiment. Dit geldt ook voor het gemiddelde opnamebedrag 19
Een design waar de hoge voorkeuzebedragen fors worden verlaagd lijkt effectief om opnamebedragen te verlagen. Enkel de snelkeuze wijzigen, realiseert weinig effect (en kan ook negatief uitpakken) 20 Bovenstaand design lijkt meest kansrijk, opnamebedrag wordt met ruim 10 per opname verlaagd (ca. 10%). Wees voorzichtig met het veranderen van de populaire lage bedragen 50, 70 en in mindere mate 20. De verandering heeft geen effect op # uitgegeven biljetten, wel een verschuiving: minder 50 en meer 10 en 20 Er zijn geen aanwijzingen dat er een effect is op het aantal opnames
Vervolgonderzoek Er worden twee richtingen voor vervolgonderzoek geopperd: - Werken met data op consumentniveau, om op consumentniveau te zien wat er gebeurt. Waar neemt men op? Hoe vaak? Waar betaalt men met pinpas, etc. Dit is datatechnisch ingrijpend, de vraag is of dergelijke data opleverbaar zijn. - Het onderzoek repliceren, maar de GEA s meer ingrijpend wijzigen. Een interessant idee is om het aantal voorkeuzebedragen te verminderen. Zo zouden de hoogste bedragen (150 euro en 250 euro) kunnen worden verwijderd waarbij het aantal voorkeuzebedragen wordt terug gebracht van 6 naar 4. 21 Het is belangrijk om hier als grootbanken gezamenlijk tot plannen te komen. Idee is om dit verder uit te werken in samenspraak met SBEB en dit in vervolgafspraken en plannen van SBEB op te nemen en budget voor te reserveren.