Tactics of the kokhoorn & hoornkok TAC agents

Transcriptie

1 Tactics of the kokhoorn & hoornkok TAC agents Eric Kok and Niels van Hoorn November 9, 2007 Contents 1 Inleiding 1 2 Globale architectuur Brute force berekenen van de beste verdeling Bepaling van hotelprijzen Kosten in de constructie van pakketten Nadelen van het brute force algoritme Bieden Vluchten Hotels Bieden op entertainment Verkopen van entertainment Kleine aanvullingen 8 5 Vergelijking met de andere competitieagents kampkant Smith & Bond Fuegelheim kokhoorn Inleiding Voor de cursus Virtual Markets hebben wij een Trading Agent ontwikkeld. De Trading Agent, die als kokhoorn & hoornkok door het leven gaat, heeft meegedaan aan de TAC competitie tijdens de cursus. De TAC, Trading Agent Competitie, is een spel waarin 8 agents op een markt reizen, hotels en entertainmenttickets moeten kopen voor hun klanten. Een uitgebreide beschrijving van de spelregels is te vinden op [1]. In dit document wordt de volledige strategie beschreven van onze agent en er wordt een analyse gemaakt van de kwaliteit ten opzichte van de competitie. 1

2 2 Globale architectuur Het globale idee achter onze agent is een brute force aanpak. Bij het bestuderen van de competitie leek het ons haalbaar om de optimale verdeling van tickets aan klanten uit te uitrekenen op basis van het afgaan van alle mogelijkheden. Doordat iedere verdeling wordt berekend is het een kwestie van uiteindelijk de verdeling met de hoogste score kiezen. Deze verdeling kan vervolgens worden gebruikt om te bieden op tickets in de markt. Uiteraard zijn er vele tactieken mogelijk, echter het brute force berekenen is een aantrekkelijke mogelijkheid on de volgende redenen. - Het is relatief eenvoudig te implementeren, door het doorlopen van alle vlucht-, hotel-, en entertainmentmogelijkheden per klant. - De agent is zeer flexibel, omdat het zich constant aanpast als een vorige verdeling minder gunstig blijkt te zijn geworden. - Er wordt automatisch aangepast aan een veranderende omgeving, zoals bij het sluiten van veilingen. Hiervoor is geen aparte tactiek nodig. Als het brute force algoritme is doorlopen is er de zekerheid dat de gevonden beste verdeling de hoogst mogelijk score oplevert. Uiteraard zijn er wel enkele voorwaarden aan verbonden. Het mechanisme wordt gevoed met alle beschikbare tickets en hun prijzen. De prijzen zijn echter niet direct bekend. Ten slotte dient er nadat een verdeling is gevonden nog geboden te worden. 2.1 Brute force berekenen van de beste verdeling Om alle mogelijkheden van ticketverdelingen voor onze klanten af te kunnen gaan, moet er eerst bekend zijn welke tickets beschikbaar zijn en welke prijs we verwachten daarvoor te moeten betalen. Omdat onze bezittingen over alle klanten verdeeld kunnen worden zullen we met ieder mogelijke volgorde van klanten onze (eventuele) bezittingen moeten toewijzen. Bijvoorbeeld als er een invlucht op de eerste dag is die al aan klant 1 is toegewezen, dan kan deze niet meer door klant 8 worden gebruikt. Echter, misschien had er bij die verdeling wel een hoge score behaald kunnen worden. Iedere mogelijk volgorde van klanten heet een permutatie. Hiervan zijn er 8!, wat neer komt op combinaties. Vervolgens moet er worden vastgesteld welke tickets het algoritme kan toewijzen aan klanten. Voor tickets die we al hebben gekocht wordt het aantal en de prijs die wij er daadwerkelijk voor hebben betaald meegegeven. Als deze dus in een pakket voor een klant wordt gebruikt, zal deze daadwerkelijk betaalde prijs gebruikt worden. Voor niet gesloten veilingen wordt het aantal beschikbare tickets voor het algoritme aangevuld tot 8 (er zijn er nooit meer nodig omdat er maar 8 klanten zijn). De prijzen die hiervoor worden gehanteerd zullen wij later toelichten. Als een ticket wordt gebruikt in een verdeling dan wordt hij verwijderd uit de verzameling beschikbare tickets zodat hij niet dubbel worden toegewezen. 2

3 Voor iedere permutatie wordt de best mogelijk verdeling onthouden. wordt bepaald door te kijken naar de winst, wat wordt berekend door: ( ) winst = (utility kosten) winstderving hqwcorrectie klanten Dit De utility van een klant wordt bepaald door de vaste formule die bepaald is in de Trading Agent Competitie [1]: utility = 1000 travelp enalty + hotelbonus + f unbonus waarbij travelp enalty = 100 ( ActualArival P ref erredarival + ActualDeparture P ref erreddeparture ) hotelbonus = T ampat owers? HotelP remium f unbonus = Alligator? AlligatorP remium + Amusement? AmusementP remium + Museum? MuseumP remium De kosten van een klant worden bepaald door de som van alle (geschatte) ticketkosten. De winstderving en hqwcorrectie zullen in worden uitgelegd. Als de beste verdeling over alle permutaties berekend is, is er een precieze toewijzing van vluchten, type hotel, hoteldagen en entertainment tickets op alle dagen bekend. Op deze tickets zal onze agent gaan bieden. 2.2 Bepaling van hotelprijzen Het brute force mechanisme is gebaseerd op een invoer van alle prijzen die onze agent verwacht te gaan betalen voor de tickets. Alleen als hier een realistische prijs wordt gebruikt kan hij een weloverwogen berekening maken van de hoogste mogelijke score. Als hij bijvoorbeeld denkt dat een hotel 0 kost en er zit een groot verschil (meer dan 100) in vluchten tussen twee dagen kan hij besluiten dat het verstandig is een extra dag aan de reis te plakken. Dit pakket geeft dan immers meer winst. (Tevens kan er dan eventueel extra entertainment worden gepland.) Als vervolgens deze hotelkamer zeer duur blijkt, was hij beter af om niet die dag extra toe te wijzen. Om goede prijzen te kunnen hanteren moet een soort public value van een hotelkamer worden bepaald. Deze moet een indicatie zijn van de prijs die de kamer normaal gesproken kost. Wij hebben dit geïmplementeerd door de prijzen van tickets te leren. Als de agent de eerste keer wordt opgestart, is er voor iedere veiling een uitgangsprijs bekend. In principe zijn deze arbitrair, maar om 3

4 het leren te versnellen hebben ze een handmatig ingestelde startwaarde. (Deze hebben we proefondervindelijk vastgesteld gedurende oefenspelletjes tegen andere competitieagents.) Vervolgens zal na ieder spel opnieuw worden gekeken naar de uiteindelijke prijzen van de veilingen. De uitgangsprijzen worden hieraan aangepast en vormen zo na ieder spel een betere indicatie van de daadwerkelijke gemiddelde public value van een veiling. De geleerde prijzen worden aangepast volgens de formule: geleerdep rijs = geleerdep rijs + leerf actor (eindp rijs geleerdep rijs) waarbij 0 < leerf actor < 1, waarmee de snelheid van aanpassen kan worden aangegeven. Tijdens de competitie stond deze op 0, 2. De daadwerkelijk prijs die het brute force algoritme ingaat is dus gebaseerd op de geleerde prijs. Echter, later in het spel is niet alleen deze prijs belangrijk, maar ook, of soms zelfs meer nog, de huidige prijs die de veiling nu heeft. Het is immers zo dat er door het spel heen een steeds duidelijker beeld ontstaat van de echte prijs die betaald zal moeten worden voor de hoteltickets. Daarom gebruiken we niet alleen de geleerde prijs, maar gaan we over de tijd heen ook de huidige markt bij betrekken. Dit wordt bepaald door: waarbij hotelp rijs = ((1 hotelf actor) geleerdep rijs) + (hotelf actor (huidigep rijs + bodv erschil)) bodv erschil = vorigep rijs huidigep rijs Verder is hotelf actor een oplopende factor die de verhouding tussen prijzen aangeeft en vorigep rijs de prijs na de vorige biedronde. Het verschil wordt gebruikt om een indicatie te krijgen van wat andere agents er steeds bij bieden. De hotelfactor loopt van 0 op tot maximaal 0.8: Kosten in de constructie van pakketten Voordat we nu de kosten van een verdeling in een permutatie kunnen maken zijn er nog twee toevoegingen die wij hebben moeten doen. Allereerst moet er van alle overgebleven tickets na toewijzen aan klanten een winstderving worden berekend. Tickets die wij bezitten maar niet worden gebruikt zijn namelijk wel betaald. Deze kosten worden bij de score van een pakketverdeling in rekening gebracht door: winstderving = ongebruiktebezittingen betaaldep rijs Ten slotte is er nog een correctie op de pakketverdelingscore door zogenaamde HQW derving. De HQW is de Hypothetical Quantity Won en is een indicatie 4

5 van de tickets die we in een hotelveiling gaan winnen. Als er uit het brute force algoritme komt dat we echter minder tickets in onze verdeling hebben gebruikt dan we zullen gaan winnen, dan zijn er overbodige kosten mogelijk. Stel dat we op 4 kamers een bedrag van 100 hebben geboden, maar we willen, blijkt nu, nog maar 2 kamers hebben. Als uit de HQW blijkt dat we toch alle 4 gaan winnen, dan zullen we dus 200 extra kosten maken doordat we ze niet hadden toegewezen. Wij maken hiervoor een correctie op de pakketverdelingscore door te bepalen: hqwcorrectie = niett oegewezenhqwt ickets P (veilingsluit) P (winstv eiling) huidigep rijs Hierbij is niett oegewezenhqwt ickets de verzameling van tickets die we gaan winnen, maar niet meer willen, P (veilingsluit) de kans is dat de veiling komende minuut sluit en P (winstv eiling) de kans is dat de veiling ook daadwerkelijk wordt gewonnen. In de competitie hebben we P (veilingsluit) benaderd met 1/(9 (gamet ime()/60000)) en P (winstv eiling) geschat op 0, 5. Door de kostencorrecties die nu zijn uitgevoerd kan er een realistische schatting van de winst per pakket worden gemaakt. Hierdoor zal het algoritme een betrouwbare verdeling van tickets over klanten kunnen maken. 2.3 Nadelen van het brute force algoritme Tijdens het proefdraaien zijn we tegen twee nadelen aangelopen van het proberen van alle bestaande mogelijkheden. Het kleinste is dat het niet altijd duidelijk is waarom er bepaalde beslissingen worden gemaakt. De hoogste score wordt gebruikt om de juiste verdeling te kiezen, maar deze kan soms erg wisselend zijn, bijvoorbeeld omdat 2 permutaties heel anders zijn maar qua score maar weinig verschillen. Soms lijkt het dan alsof onze agent onredelijke pakketten samenstelt. Niet altijd is dan duidelijk of er een fout in de programmatuur zit of dat het de juiste rationele keuze is. Gelukkig zijn we er met de juiste logging informatie wel steeds er achter gekomen. Het grootste nadeel bleek de snelheid te zijn. Zoals al besproken is, wordt elke mogelijke volgorde van klanten gebruikt om bezittingen te verdelen. Vervolgens moeten ook nog alle mogelijke combinaties van aankomst en vertrek, types hotel en entertainment ticket toewijzingen worden bepaald. Totaal zijn dit 8! 8 (aantal klanten) 10 (mogelijke v-a combinaties) 2 (hotel types) 4 60 (afhankelijk van het verblijf 4 tot 60 mogelijke toewijzingen van entertainment tickets) opties. In het gunstigste geval worden dus ruim 25 miljoen pakketten samengesteld en in het slechtste zelfs bijna 400 miljoen. Dit kost erg veel tijd om te berekenen. De eerste paar minuten van het spel duurt het in ieder geval langer dan 1 minuut en aangezien we dan al weer nieuwe boden willen plaatsen, zouden we dit moeten afkappen. Dit doen we ook (1 seconde voor het sluiten van een nieuwe hotelveiling), maar omdat dan niet alle mogelijkheden zijn geprobeerd is dit slechts een noodmaatregel. 5

6 Als oplossing hebben wij gekozen om in de eerste 4 minuten geen entertainment tickets te berekenen. Hij hoeft dan slechts mogelijkheden af te gaan. Dit kan in enkele seconden. Er is wel een nadeel hieraan verbonden. Omdat hij nu helemaal geen entertainment bonus aan klanten toewijst op dagen van verblijf, is het relatief voordelig om minder dagen te verblijven. Terwijl er later, als entertainment wel wordt berekend en aangeschaft, misschien meer te verdienen viel als er die extra verblijfdag wel was toegewezen. Hiervoor hebben wij een mechanisme ingebouwd dat een entertainmentbonus per dag per klant simuleert. Deze wordt berekend door: mimicklantbonus = ( max(premium entkosten, 0))/3 entertainmentsoort P (koopt icket) min(3, DepartureDay ArrivalDay) waarbij premium = het bedrag dat we krijgen als we dit soort entertainment aan die specifieke klant geven entkosten = de verwachtte te betalen kosten voor het ticket (was 75 is de competitie, maar we zouden hier de geleerdep rijzen kunnen gebruiken) P (koopt icket) = de kans dat we het ticket ook kunnen kopen (was 0,5 in de competitie) Effectief geeft hij dus voor iedere klant voor iedere verblijfsdag (maximaal 3) een indicatiewinst gebaseerd op wat de klant ervoor extra betaald (en als dat minder dan 75 is wijst hij hem niet toe). Dit zorgt voor een redelijke verwachting van de winst die we kunnen krijgen als we heb een dag langer laten verblijven en vangt zo het probleem op. 3 Bieden 3.1 Vluchten De tactiek bij het bieden op vluchten is gebaseerd op het spanningsveld tussen het vroeg kopen met lage kosten of laat kopen met hogere betrouwbaarheid. Door de hoge prijzen van vliegtickets is het erg kostbaar om vliegtickets over te houden, maar het bijtijds kopen kan echter flinke besparingen opleveren. Onze agent is door het brute force algoritme zeer flexibel. Als blijkt dat een andere verdeling van hotels (en dus dagen) goedkoper is zal hij direct van tactiek wisselen. Met name in de eerste 2-3 minuten kennen de prijzen van de hotels soms grote fluctuaties en wordt er nogal eens een totaal andere verdeling berekend. Het nadeel hiervan is dat er met reeds gekochte vluchten niets meer wordt gedaan. Daarom hebben wij onze tactiek hierop aangepast. In de eerste twee minuten van een spel worden er nog geen vluchten gekocht. Zo kost het niets om klanten op andere dagen te plaatsen. Hierna wordt steeds van de twee veilingen met de goedkoopste vluchten (van de veilingen waar we 6

7 tickets van willen) de benodigde hoeveelheid tickets aangeschaft. We kopen niet meteen alles (om de brute force methode wat flexibel te laten) en we maken zo toch gebruik van lagere vluchtprijzen. Uiterlijk na de 6de minuut van het spel hebben we alle vluchttickets geboekt (tenzij we later moeten bijboeken door wijzigingen). 3.2 Hotels Hotels zijn, in onze competitie, de belangrijkste soort tickets. Hiervoor wilden wij dus een goede prijsstrategie hanteren die zekerheid zou bieden, maar zeker ook niet te hoog zou gaan. De reeds bepaalde hotelprijzen die het algoritme in gaan gebruiken we ook hier. Ze zijn een goede indicatie van de prijzen die we moeten betalen willen we de veilingen winnen, behalve dat we de 16de prijs betalen en niet de hoogste. Dat betekend dus dat er een hoger bod uitgebracht zal worden dan we ervoor willen en heoven betalen. De daadwerkelijk prijs die wij gaan bieden op hotels is bepaald op: hotelbiedp rijs = hotelp rijs biedf actor (hqw == 0? hqwf actor) waarbij hotelbiedf actor = factor waarmee we meer bieden (was 1,5 tijdens competitie) hqw = aantal tickets dat we hypothetisch momenteel winnen (zoals gegeven door TAC server) hqwf actor = extra verhoging als we wel hadden geboden maar toch niet hadden gewonnen (was 1,5 tijdens competitie) 3.3 Bieden op entertainment Voor het bieden op entertainment hebben we de klantvoorkeur als uitgangspunt genomen. Vanuit het brute force mechanisme komt precies welke tickets we voor welke klanten gaan kopen. Hiervan hebben we gebruik gemaakt door specifiek voor ieder benodigde ticket te kijken wat de prijs is die we kunnen bieden. Om winst te blijven maken kunnen we immer nooit meer dan bieden dan de premium die de klant ervoor betaald. Daarom is dit onze maximumprijs. Uiteraard willen we hem liever voor minder kopen, dus beginnen we met een lager bod. Als er bovendien een aanbod is met een nog lagere prijs kiezen we uiteraard meteen die. De prijs wordt bepaald door: entertainmentbiedp rijs = min((0, 5 klantp remium) + (0, 5 klantp remium entertainmentbiedf actor), huidigeaanbodp rijs) waarbij entertainmentbiedf actor een oplopende factor is van 0 naar 1 vanaf minuut 4 tot Verkopen van entertainment Voor het verkopen van entertainment wordt op de 4e minuut (als begonnen wordt met het verhandelen van entertainment) de maximum prijs bepaald waar- 7

8 voor we de entertainment gaan aanbieden op de markt. Deze waarde wordt bepaald door het maximum van de geleerde prijs en de huidige vraagprijs te nemen. Vervolgens wordt de entertainment tegen die prijs aangeboden op de markt (en als deze niet verkocht wordt) elke minuut de prijs verlaagt, tot deze de helft bereikt van de maximum prijs waarvoor we de entertainment aanbieden. Kortom aanbiedp rijs = entertainmentaanbodf actor maximumaanbodp rijs waarbij entertainmentaanbodf actor een aflopende factor is van 1 naar 0 vanaf minuut 4 tot 0 en maximumaanbodp rijs = max(geleerdep rijs, huidigegevraagdep rijs) 4 Kleine aanvullingen Op deze strategie hebben we een aantal aanvullingen gemaakt om hem iets te verbeteren. In eerste instantie plaatsen we een bod op hotels van (x, a), waarbij x direct uit de customer preferences op die dag berekend wordt. De waarde van a was in de eerst competitie 5, 119, wat werd bepaald aan de hand van de eerste ronde tijdens de wedstrijd, waaruit bleek dat een andere agent in eerste instantie 5, 11 bood op hotels. Omdat de tweede competitie na de presentatie van onze strategie gehouden werd, hebben we toen de waarde van a laten beginnen op 5, 119 en elk volgende potje met een random waarde tussen 0 en 1 opgehoogd. Verder brengen we standaard een bod van ( 4, 210) uit op alle entertainmentveilingen. Omdat de penalty van het verkopen van een entertainment goed dat je niet bezit 200 is, konden we hier alleen maar winst op maken. 5 Vergelijking met de andere competitieagents Uit de competitie is gebleken dat onze agent redelijk goed presteert. In vergelijking met kampkant en Smith&Bond is onze agent beter bestand tegen fluctuaties in de markt en zorgt ervoor dat de pakketten voor de klanten beter afgestemd zijn op de prijzen op de markt. De tactiek van Feugelheim heeft veel weg van die van kokhoorn en het is dan ook niet opvallend dat we tijdens de competitie aan elkaar gewaagd waren. In dit hoofdstuk behandelen we de strategie van iedere agent en hoe deze tegen onze agent presteerde. 5.1 kampkant De kampkant agent had een vrij simpele strategie en presteerde niet gewelidig in de competiie. Doordat de allocatie van hun clients niet veranderde tijdens het spel was het niet mogelijk om rekening te houden met niet gewonnen hotelkamers. Bovendien maakte kampkant op het eind geen sluitende packages, waardoor veel kosten gemaakt werden voor hotels en vluchten die uiteindelijk niet bruikbaar waren. 8

9 5.2 Smith & Bond De agents Smith & Bond verschillen zo weinig dat we ze hier niet apart zullen behandelen. Één van de grootste gebreken van deze agents is dat ze niet stoppen met het bieden op de hotels. Zoals duidelijk te zien is in (bijvoorbeeld) games 2235 en 2244 [2] jaagt hij de prijs heel erg op, samen met kantman, waardoor zijn kosten voor de hotels heel hoog worden en hij weinig profit meer overhoudt. Smith & Bond presteren goed als de customer preferences gespreid zijn over de dagen en er dus weinig vraag is naar dezelfde hotels. In die gevallen blijven de prijzen laag (omdat de de agents elkaar niet de hele tijd overbieden) en presteren ze goed. Liggen de customer preferences dichter bij elkaar scoren ze minder goed. Dit zorgt ervoor dat ze gemiddeld redelijk scoren. Wat ons opgevallen is, is dat Smith & Bond door de competitie heen redelijk weinig entertainment wisten te bemachtigen. Doordat er nooit van de dagen wordt afgeweken na initialisatie komt het bijna niet voor dat ze goederen over hebben die ze niet aan een customer kunnen geven. Dit gebeurt enkel bij niet gewonnen hotelveilingen (die een zeldzaamheid zijn bij hun biedgedrag) en dan wordt er zelfs netjes (in tegenstelling tot bij kantman) een terugvlucht geboekt. Hierdoor is er zeer weinig verspilling van goederen, wat een groot voordeel is van deze agents. 5.3 Fuegelheim De strategie van Fuegelheim is nagenoeg gelijk aan die van ons. Het enige verschil is dat zij dmv van een evolutionair algoritme de beste opties berekenen en wij brute force. Dit heeft als voordeel dat vanaf de eerste minuut ook de entertainment meegenomen kan worden in de berekeningen, wat bij ons niet het geval was. Verder zorgt het steeds een beetje aanpassen van de allocation ervoor dat de allocation niet ineens radicaal omgegooid wordt. Hierdoor is het minder waarschijnlijk dat hotels waar eerst op geboden wass niet meer nodig zijn, maar toch betaald moeten worden. Het wegstelen van entertainments als de vraagprijs dicht bij de aanbodprijs ligt is tegen onze agent ook een goede strategie geweest. Bovendien werden de kosten van entertainment (door het pas in de laatste minuut kopen) laag gehouden. De kosten voor de vluchten zouden naar verwachting hoger liggen dan die van ons omdat ze pas in de laatste minuut gekocht, maar omdat onze agent gedurende het spel vluchten kocht en vaak vluchten over had hebben wij gemiddeld meer uitgegeven aan vluchten dan de Fuegelheim. 5.4 kokhoorn Over het algemeen gezien heeft onze agent goed gepresteerd. De grootste reden waarom hij soms slechter presteerde dan de andere agents, is het feit dat hij te wisselvallig was. Door het brute-forcen van de mogelijkheden kan er in de ene run een totaal andere verdeling uitkomen dan in de andere, terwijl deze maar 9

10 een klein beetje beter is qua score. Als hij dan wisselt van allocatie, vluchten of hotels koopt, en vervolgens weer terug wisselt omdat de eerste optie (of iets wat daar in de buurt ligt) beter blijkt te zijn hebben we een hoop onnodige kosten gemaakt. Deze theorie wordt ondersteunt door het feit dat de gemiddelde Other costs van onze agent (de kosten van niet gealloceerde goederen en opbrengsten van verkochtte entertainment) gemiddeld over de 11 rondes van de tweede competitie op 660, 01 lagen. Ter vergelijking: deze kosten zijn bij Fuegelheim 77, 26 (mede omdat er zo goed in entertainment gehandeld werd). Ook interessant om te zien is dat de gemiddelde utility over deze 11 potjes bij onze agent op 9675, 27 lag, ten opzichte van 9598, 86 voor Fuegelheim. Wij wisten de klanten dus wel beter tevreden te stellen, maar hadden hier te veel overbodige kosten voor nodig. Een gerelateerd probleem bleek dat door de wisselingen er hotelbiedingen open bleven staan die we niet meer nodig hadden. We hebben hiervoor wel een HQW spill ingebouwd, maar die corrigeerde vaak lang niet genoeg. Concrete wijzigingen die onze agent dus waarschijnlijk verbeteren zijn: - Pas aan het einde kopen van vluchten (met eventueel een beperkt aantal eerder op dagen waar statistisch praktisch altijd een vlucht nodig is). - Het verhogen van de HWQ correctie door het vergroten van de P (winstv eiling) van 0, 5 naar bijvoorbeeld 0, 9. - Voorkomen van wegkapen van entertainment door een marge (bijvoorbeeld 10%) waarin we meteen de aanbodprijs bieden i.p.v. wachten tot hij nog omlaag gaat. Tevens zouden we kunnen leren hoe ver de prijzen op het einde plots naar beneden gaan om hiervan gebruik te maken. - Om wisselingen te beperken zouden we een marge kunnen inbouwen (bijvoorbeeld 50) die een volledig nieuwe strategie (bepaald door een afwijkende vluchtallocatie) hoger moet scoren dan de vorige strategie. References [1] Trading Agent Competition website van de Swedish Intitute of Computer Science. [2] Resultaten van de competitie van