Social Media Mededelingen. Deze week. Vorige week. Wat zijn forums? INTERNETFORUMS. Typen gebruikers op forums. Structuur van een forum

Transcriptie

1 Social Media 2011 Erik Tjong Kim Sang 3 oktober 2011 Mededelingen Schrijf je in voor het tentamen Social Media van 31 oktober! De begeleide computerpractica zijn vervallen: er is geen belangstelling meer voor Vragen kan je altijd nog stellen via (erikt@xs4all.nl), telefonisch ( ) of op facebook.com/so11rug 1 Vorige week Deze week blogs spreken met (jouw doelgroep op) social media Thema: meningen op social media internetforums zoeken naar trends automatische bepaling van sentiment 2 3 Wat zijn forums? Internetforums zijn websites die de mogelijkheid aanbieden om te discussiëren over een bepaald onderwerp via tekstberichten INTERNETFORUMS Deelnemers starten een topic waarop anderen kunnen reageren Tussen het schrijven van een bericht en het lezen kan een behoorlijke tijd zitten (anders dan bij chatrooms) Computerforums bestaan sinds 1973 (bulletin boards); de bekende voorloper Usenet ontstond in 1980 Safko, blz Structuur van een forum Typen gebruikers op forums De structuur van een internetforum is niet gebaseerd op de deelnemers, zoals bij sociale netwerken, maar op de onderwerpen Een eenvoudig forum bestaat uit een lijst van onderwerpen met onder elk onderwerp een lijst of boom van posts (berichten) Een bericht met de bijbehorende reacties wordt thread genoemd Reacties kunnen chronologisch zijn gesorteerd of relatie tot andere reacties (threaded) geregistreerde gebruiker: mag lezen en schrijven op het forum gast (niet geregistreerd): mag alleen lezen (lurken) moderator: mag onderwerpen samenvoegen en verwijderen, mag berichten verwijderen en gebruikers verwijderen admin: verzorgt de technische kant van het forum 6 Safko, blz ,127 7

2 Communicatietechnieken op forums smileys: gebruikt voor het opvangen van het gebrek aan lichaamstaal in de communicatie spammen: verspreiden van ongewenste reclame trollen: plaatsen van berichten met impopulaire standpunten om discussie uit te lokken flamen: geven van boze reacties (kan leiden tot flame war) netiquette: gedragscode voor deelname aan forumdiscussies Voorbeelden van internetforums Usenet is een wereldwijd gedistribueerd internetforum, gestart in 1980 Het bevat duizenden nieuwsgroepen verdeeld over negen categoriëen: alt, comp, humanities, misc, news, rec, sci, soc en talk Usenetberichten zijn vergelijkbaar met , alleen zijn ze voor iedereen leesbaar Gaia Online is een internetforum met 25 miljoen gebruikers Deze hebben al bijna 2 miljard berichten gepost Gaia Online gebruikt de gratis forumsoftware phpbb Safko, blz Wikipedia(en) 9 Wat zijn trends op social media? Een trend is een gespreksonderwerp dat populairder is dan op basis van de geschiedenis kon worden verwacht ZOEKEN NAAR TRENDS Zo n trend bestaat uit 1 woord of een reeks opeenvolgende woorden Onderwerpen die aanleiding geven voor trends zijn nieuws, populaire evenementen, tv-programma s, films, retweets,... Voorbeelden van recente trends (Twitter, september 2011): GTST, Ajax, Pechtold, HNTM, TVOH, Damschreeuwer, Troonrede, Tyton, aardbeving 11 Hoe herkent een computer automatisch een trend? Plan voor het automatisch herkennen van trends 1. kijk naar de meest-frequente woorden (of Twitterhashtags) maar je moet dan wel de stopwoorden verwijderen 2. zoek naar de sterkste stijgers per tijdseenheid maar welke frequentiestijging is dan het belangrijkst: van 1 naar 5, van 100 naar 104, van 100 naar 500 of van 1000 naar 1400? 3. kies van de frequente woorden de sterkste stijgers deze combinatie werkt vaak het beste Opmerking: we houden het eenvoudig en kijken alleen naar losse woorden. Dus Den Haag herkennen we als twee aparte woorden 1. kies een tijdsperiode 2. bepaal de hoogste en de laagste frequentie (percentage) van een woord gedurende deze tijdsperiode 3. bereken trendscore = maximum gedeeld door minimum 4. bewaar trendscore indien het maximum hoog genoeg is 5. herhaal stappen 1-4 voor alle woorden 6. sorteer woorden aflopend op trendscore Probleem: hoe ga je om met minimum = 0? Smoothing Rekenmodellen die gebruik maken van deling of vermenigvuldiging hebben een probleem met meetwaarde nul: een getal gedeeld door nul is ongedefinieerd een getal vermenigvuldigd met nul is altijd nul ongeacht de waarde van het getal (informatieverlies) Oplossing: we vervangen alle nulfrequenties door 0.10 Dit is de meest eenvoudige variant van de techniek smoothing Resultaat van de trendanalyse voor score min max woord % 26.0% wakker min en max zijn percentages % 14.3% gtst tweets met het bewuste woord % 16.7% slapen % 5.4% zoon % 5.3% trouwt % 5.2% kalou % 6.6% vroeg % 4.3% bed % 4.0% ): % 10.2% eten 14 15

3 Case-study: herkennen van burgernieuws op Twitter Analyse van het probleem Anno 2011 kan iedereen via mobiel internet rapporteren wat er in zijn of haar omgeving gebeurt Op deze manier komt nieuws de wereld in voordat de traditionele radio/tv/krant dit oppikken Voorbeeld: de mortieraanval op de rechtbank in Amsterdam werd vier uur voor de media al gemeld op Twitter Kunnen we zulke meldingen automatisch herkennen? De grote piek in de grafiek rechtsonder geeft aan wanneer de media berichtten over de aanslag (na 8:00 uur) Vanaf dat moment werd het nieuws van de aanslag algemeen bekend We willen zo n nieuwsfeit nog voor dat moment ontdekken We willen dus de kleine piek tussen 02:30 en 04:00 herkennen Moeilijkheid van dit probleem Plan van aanpak Alle woordfrequenties zijn op Twitter continu aan het schommelen Grote schommelingen zijn redelijk gemakkelijk te detecteren (trends) Kleine schommelingen kan je ook herkennen maar er zijn er wel ontzettend veel van (Wet van Zipf) De beste manier om nieuwswaardige tweets op te pikken is door nieuwswaardige woorden te gaan volgen Bijvoorbeeld: ongeluk, brand, politie, ziekenauto, brandweer, ontploffing, aanslag, aanrijding, verzamel interessante tweets van burgerjournalisten (handmatig) 2. leid daaruit een lijst met interessante woorden om te volgen 3. verzamel andere tweets met deze woorden 4. laat een computerprogramma het verschil leren tussen de twee dataverzamelingen Geschikte lerende software: TiMBL, Weka en SVMLight Wat is sentiment op social media? Sentiment is een positieve of negatieve mening over een bepaald onderwerp of een bepaalde gebeurtenis: BEPALEN VAN SENTIMENT Deze avond en nacht ben ik van plan weer eens goed te feesten :D Los gaan Divini in de Escape Studio in Amsterdam. Woeij! + Flink hoor #Heineken, net zolang concurrentje #Olm pesten tot aan het faillissement... Steek je tijd en geld eens in ECHT lekker 0% bier! We willen sentiment in tweets automatisch herkennen (en eigenlijk ook de bijbehorende onderwerpen) 21 Hoe herken je sentiment in tweets? Sentiment in tweets herken je aan de gebruikte: smileys: :) (positief); :( (negatief) hashtags: #zinin (positief); #fail (negatief) woorden: geweldig (positief); haat (negatief) Maar een woordenlijst voor deze taak krijgen we nooit compleet. Daarnaast hebben sommige woorden een sterker sentiment dan andere Leren van voorbeelden Hier is een alternatieve aanpak voor het automatisch herkennen van tweetsentiment: 1. verzamel tweets 2. label ze als positief of negatief (of neutraal) 3. gebruik de voorbeelden om een computerprogramma te trainen om de verschillen te herkennen Geschikte lerende programma s zijn weer: TiMBL, Weka en SVMLight 22 23

4 Hoe werkt dit in de praktijk? We markeren tweets als positief, negatief of neutraal (klassen) en delen ze op in woorden en leestekens Het leerprogramma kijkt vervolgens voor alle tweetwoorden (de features) of ze vaker voorkomen bij de klasse positief, negatief of neutraal Op basis hiervan bouwt het programma dat aan elke combinatie van klasse en feature een kans toekent Met dit model bepaalt het de kans dat een onbekende tweet hoort bij een van de drie klassen Voorbeeld We zien een nieuwe tweet: We hebben weer gewonnen! Is deze tweet positief, negatief of neutraal? + = we 20% 60% 20% hebben 1% 98% 1% weer 38% 12% 50% gewonnen 0% 0% 0% onbekend woord: negeer! 44% 24% 32% totaal som van alle percentages Volgens de som van de percentages in het model is dit een neutrale tweet (vaak worden percentages vermenigvuldigd) Evaluatie van de resultaten Lerende programma s maken twee typen fouten: foutpositieven (herkende klassen die dat niet zijn) en foutnegatieven (nietherkende klassen die dat wel zijn). Evaluatiescores worden als volgt berekend: Precisie: aantal correct voorspelde van een klasse gedeeld door het aantal voorspelde van deze klasse Recall: aantal correct voorspelde van een klasse gedeeld door het daadwerkelijke aantal van deze klasse in de data F-score: het harmonisch gemiddelde van deze twee getallen: F-score = 2*Precisie*Recall/(Precisie+Recall) Voorbeeld Een dataverzameling bevat drie tweets, een positieve, een negatieve en een neutrale. Maar volgens het lerend programma zijn ze allemaal positief Voor de klasse positief geldt dan: Precisie = correct / totaal gevonden = 1/3 = 33% Recall = correct / totaal aanwezig = 1/1 = 100% F-score = 2*P*R/(P+R) = 2*(1/3)*1/((1/3)+1) = 2/4 = 1/ Casestudy: voorspellen verkiezingen Eerste Kamer Op woensdag 2 maart 2011 waren de verkiezingen voor de Provinciale Staten, en indirect de Eerste Kamer Kunnen we de uitslag van deze verkiezingen voorspellen door een analyse van Nederlandstalige Twitterberichten? Tumasjan et al. (2010): de volumes Duitse tweets per partij waren vergelijkbaar met de stemaantallen bij de Duitse verkiezingen Zou dit ook werken met Nederlandse Twitterdata? Percentages tweets per politieke partij Partij Zetels Eerste Kamer % tweets VVD 16 22% % PvdA 14 19% % CDA 11 15% % PVV 10 13% % SP 8 11% % D66 5 7% % GL 5 7% % CU 2 3% 367 1% PvdD 1 1% 325 1% SGP 1 1% 611 2% % 325 1% groen: correct voorspeld; rood: afwijking van 2 of meer Een verklaring voor de afwijkingen Plan van aanpak Niet elke vermelding voor een partij is dankje daarom stem ik ook pvv + PVV heeft gewoon geen programma voor FRL! En de lijsttrekker heeft een strafblad! Nou lekker is dat! We hebben dus een betrouwbaar sentimentanalyseprogramma nodig Maar in de beschikbare 2 weken konden we dit niet ontwikkelen Twee personen hebben elk meer dan 2000 politieke tweets geannoteerd op sentiment: negatief vs positief/neutraal Vervolgens hebben we aangenomen dat de geobserveerde percentages negatieve tweets per partij in de toekomst niet zouden veranderen Zo konden de aantallen toekomstige tweets corrigeren voor negatieve sentimenten 30 31

5 Percentages niet-negatieve tweets per partij Methode Percentage Partij 95% % D66 82% SP 80% PvdD 80% SGP 78% GL 69% PvdA 68% CU 67% VVD 64% CDA 47% PVV Voor de voorspelling zijn alle beschikbare Nederlandstalige tweets van woensdag 23 februari 2011 tot en met dinsdag 1 maart gebruikt Per computer (ip-adres) is maximaal 1 tweet per partij per dag gebruikt De percentages tweets per partij over de periode zijn gecorrigeerd met behulp van de sentimenttabel op de vorige slide De aantallen zijn daarna omgerekend naar EersteKamerzetels Resultaat Partij Uitslag Pol.Bar De Hond Twitter VVD PvdA CDA PVV SP D GL CU SGP PvdD Plus overige afwijking Conclusie van deze casestudy De Twittervoorspelling had het zetelaantal van drie partijen precies goed; de andere voorspellers hadden maar twee partijen exact goed De voorspellingen Politieke Barometer en Maurice de Hond hadden wel een kleiner zetelaantal afwijking dan Twitter: De Twittervoorspelling kan worden verbeterd met demografische informatie over de Twittergebruikers maar die is (nog) niet beschikbaar Bij de volgende verkiezing kan de verzamelde data van 2011 worden gebruikt om de nieuwe Twittervoorspelling beter te maken Weekopdracht WEEKOPDRACHT Maak een dataverzameling met positieve, negatieve en neutrale tweets (minstens 10 van elk) en gebruik deze als trainingsmateriaal voor een systeem voor automatische sentimentanalyse Schrijf over dit experiment een blogpost van minstens 400 woorden Zie: Opmerking: Een tweet kan worden geannoteerd als positief als de tweet in zijn geheel positief is of als de tweets iets positiefs zegt over een bepaald onderwerp (idem voor negatief) 37 Vragen bij dit hoorcollege TEN SLOTTE Wat zijn internetforums? Wat is het belangrijkste verschil tussen een forum en een sociaal netwerk? Noem drie typen gebruiker van een internetforum Noem drie communicatietechnieken gebruikt op internetforums Wat wordt bedoeld met een trend op social media? Leg uit hoe automatisch een trend kan worden herkend Wat wordt bedoeld met een sentiment op social media? Wat is het verschil tussen precisie en recall? 39

6 Literatuur Websitevoorbeelden Lon Safko, The Social Media Bible. John Wiley & Sons, Inc., In het bijzonder hoofdstuk 6. Andranik Tumasjan, Timm O. Sprenger, Philipp G. Sandner, Isabell M. Welpe, Predicting Elections with Twitter: What 140 Characters Reveal about Political Sentiment. In Proceedings of the Fourth International AAAI Conference on Weblogs and Social Media, Washington DC, rechtbank&day= EINDE