Research Note Prestatie-analyse met behulp van box plots Inleiding Voortdurend worden er wereldwijd enorme hoeveelheden beursdata gegenereerd en verzameld. Dit is mede te danken aan de opkomst van internet en krachtige ontwikkelingen op gebied van databasebeheer. Professionele partijen verschaffen beursdata tot op het niveau van iedere afzonderlijke trade. De modellen van het QTR Fund zijn gefundeerd op historische koersdata. De beschikbaarheid van historische koersdata biedt twee unieke voordelen. Ten eerste het waardevolle informatie over hoe markten zich gedroegen in het verleden. QTR Invest ontwikkelt modellen om deze informatie te extraheren. Om de validiteit van deze modellen te testen, wordt wederom historische data ingezet. Dit is een ander belangrijke voordeel van historische data: het levert de mogelijkheid om modellen te valideren. De resultaten van deze validatie vertalen zich in een backtest. De backtest is in feite een simulatie van dagelijkse aan- en verkopen uit het verleden. Wanneer de backtest aan alle gestelde criteria voldoet, worden de modellen in de praktijk toegepast. Dit worden de zogeheten 'real-life trading' resultaten. 1 Doel research note Deze research note beschrijft hoe de maandelijkse resultaten van het QTR Fund worden geëvalueerd met behulp van box plots en prestatie indicatoren. Prestatie indicatoren van het QTR Fund Om de prestaties van de modellen van het QTR Fund kwantitatief te beoordelen, worden de volgende drie prestatie-indicatoren geïntroduceerd: 1. Rendement (): netto rendement op maandbasis ten opzichte van de voorgaande maand;. Success rate (): aantal winstgevende trades per maand; 3. Winst & verlies (): netto rendement op dagbasis ten opzichte van de voorgaande dag. Bovengenoemde prestatie indicatoren worden gebruikt om zowel de backtest als de 'real-life trading' resultaten te evalueren. Deze indicatoren helpen bovendien om de behaalde resultaten te interpreteren en te leren begrijpen. Naast kwantificering speelt visualisatie ook een belangrijke rol. Een plaatje zegt soms meer dan tabellen rijkelijk gevuld met getallen. De zogeheten box plot is uitermate geschikt voor visualisatie van de prestatie indicatoren. In de volgende paragrafen worden de eigenschappen en
uiterlijke kenmerken van de box plot besproken. Met behulp van een drietal voorbeelden wordt bovendien het gebruik van de box plot gedemonstreerd. Box plot De box plot is gebaseerd op een drietal parametervrije eigenschappen van een getallenreeks. Parametervrij wil zeggen dat de eigenschappen niet berusten op aannames over onderliggende statistische distributies. Dergelijke aannames kunnen een obstakel vormen, vooral wanneer deze aannames onbetrouwbaar zijn. De eerste eigenschap is de mediaan. De mediaan splitst de getallenreeks in tweeën: een hogere helft en een lagere helft. Ofwel, van de getallen heeft een waarde hoger dan de mediaan, terwijl de andere een lagere waarde kent. De mediaan wordt ook wel het tweede kwartiel (Q) genoemd. De tweede parametervrije eigenschap betreft het eerste kwartiel (Q1). Het eerste kwartiel splitst de laagste van de getallenreeks af. De derde parametervrije eigenschap betreft het derde kwartiel (Q3). Q3 splitst de hoogste van de data af. Eigenschappen QTR Fund op basis van de backtest Nu de drie eigenschappen benoemd zijn (Q1, Q, Q3) kan de box plot gestalte krijgen. Als getallenreeks dienen allereerst de behaalde maandrendementen zoals vermeld op de website (www.qtrinvest.nl). Deze specifieke maandrendementen vormen de basis voor prestatie indicator 1. De box plot voor indicator 1 levert in één oogopslag informatie op over de eigenschappen en prestaties van de beleggingsmodellen (zie figuur 1 op volgende pagina).
Figuur 1: Box plot prestatie-indicator 1 Rendementen 1 1 - -1 3 De rode horizontale lijn stelt de mediaan voor (Q ). De onderkant van de blauwe box stelt het eerste kwartiel voor (Q1). De bovenkant van de blauwe box stelt het derde kwartiel voor (Q3). De hoogte van de blauwe box wordt het middenbereik genoemd (Q3 Q1). De zwarte horizontale lijnen die met een gestippelde zwarte lijn verbonden zijn aan de blauwe box heten 'whiskers'. De waarde van de bovenste whisker komt als volgt tot stand. Aan het derde kwartiel (Q3) wordt een waarde opgeteld die gelijk is aan 1, het middenbereik. Hierdoor ontstaat als het ware een zoekgebied. De hoogste waarde binnen dit zoekgebied vormt de zwarte horizontale lijn, ofwel de 'whisker'. Op dezelfde manier komt de 'whisker' tot stand aan de onderkant van de blauwe box. Waarden die buiten de 'whiskers' vallen worden uitbijters genoemd. Uitbijters zijn visueel weergegeven als zwarte cirkels. Op welke manier worden de maandelijkse rendementen uit de backtest vertaalt in de box plot? De mediaan (Q) van maandelijkse rendementen is 1,73. Dat wil zeggen dat de helft van alle maanden een hoger rendement opleverden dan 1,73 terwijl de andere helft in een lager rendement dan 1,73 resulteerde. Het middenbereik wordt gevormd door het eerste kwartiel (Q1 = -,8) en het derde kwartiel (Q3 =,8). maanden leverden een rendement op tussen 1,73 en,8 terwijl maanden een rendement opleverden tussen 1,73 en -,8. De onderste whisker laat zien dat bovendien maanden een rendement opleverden tussen -,8 en - 8.. Hier staat tegenover dat maanden een rendement opleverden tussen,8 en 13.3. Twee maanden noteerden een uitzonderlijk goed rendement (13,8 en
.). Omdat deze rendementen buiten de whisker vallen worden deze aangemerkt als uitbijter. Ook in negatieve zin is er een extreme waarde: -1,. Op dezelfde manier worden de box plots geconstrueerd voor de success rate (prestatie indicator ) en winst & verlies (prestatie indicator 3). Deze box plots zijn weergegeven in de figuren en 3. Figuur : Box plot prestatie-indicator Success Rate 1 9 8 7 3 Het QTR Fund neemt iedere dag posities in, die gemiddeld na uur worden gesloten. Het aantal winstgevende posities binnen een maand wordt aangeduid als de success rate. De box plot van de success rate (,) geeft aan de systemen van het QTR Fund merendeels een positieve success rate kent. Dit leidt per saldo tot een winstgevende strategie.
Figuur 3: Box plot prestatie-indicator 3 8 Winst en Verlies - - - -8-1 Winst Een positie die wordt afgesloten levert een winst of verlies op. Iedere individuele positie uit de backtest is op deze manier gecategoriseerd. De eigenschappen van beide categorieën (winst en verlies) zijn vertaald in box plots. Deze box plots zijn te zien in figuur 3. Verlies Evaluatie 'real-life trading' resultaten De hierboven besproken box plots beschrijven de eigenschappen van de backtest. Ook al biedt de backtest geen garantie voor de toekomst, het is natuurlijk wenselijk dat de praktijk aansluit bij de verwachtingen. In de volgende voorbeelden wordt een tweetal maanden geëvalueerd die het QTR Fund vanaf oktober 8 realiseerde. Deze periode wordt aangeduid als de 'real-life' handelsperiode. Het zal blijken dat de achtergrond van ieder gerealiseerd maandrendement verschilt en zich dynamisch gedraagt. Voorbeeld 1: juni 9: -,7 In juni 9 werd een resultaat van -,7 neergezet door de systemen van het QTR Fund. Dit rendement wordt allereerst vergeleken met de verwachtingen door middel van de box plot. De box plot voor de rendementen is weergegeven in het linkerplaatje uit figuur. Aan deze figuur is het rendement van juni 9 toegevoegd. Het is duidelijk dat het juni rendement zich dicht aan de rand van de whisker bevind. Met
andere woorden, het komt niet vaak voor dat het systeem een dergelijk resultaat boekt. De success rate van het systeem lag beduidend lager in juni (zie middelste plot uit figuur ). Deze bedroeg. Dit betekent dat van alle trades in juni slechts in winst resulteerde. Normaal gesproken ligt de success rate van het systeem op, (zie ook figuur ). De lage success rate vormt de eerste aanleiding tot het negatieve rendement over juni. Het resultaat van iedere afzonderlijke trade is weergegeven in de rechter plot uit figuur. In juni heeft het systeem twintig keer gehandeld. Het resultaat van iedere afzonderlijke trade is weergegeven als een paarse stip. Op basis van de success rate is bekend dat er meer verliesgevende trades waren dan winstgevende. De winstgevende trades houden zich allen op in het middenbereik. Er is in juni geen enkele positieve uitschieter geweest. Echter, er zijn wel twee negatieve uitschieters gerealiseerd. Deze twee uitschieters leverden tezamen al een verlies op van -7.7. De overige verliesgevende trades gedroegen zich conform de verwachtingen in het middenbereik. Aangezien er geen positieve uitschieters tegenover stonden en bovendien de success rate laag was, is de maand juni 9 negatief afgesloten. Figuur : Prestatie-indicatoren juni 9 Rendementen Success Rate Winst en Verlies 1 8 1 9 8 1 7 - Jun9 - - - Jun9 3-8 -1-1 Winst Verlies Voorbeeld : december 8: +8,1 In december 8 werd een mooi positief rendement neergezet door het systeem. Uit de box plot voor het rendement valt te zien dat de hoogte van dit positieve resultaat eerder uitzondering dan regel is. De evaluatie van de overige prestatie indicatoren
levert een interessant resultaat op. De success rate gedurende december was namelijk lager normaal. Toch heeft december 8 geresulteerd in een sterk positief rendement. Dit heeft vooral te maken met twee positieve uitschieters die gezamenlijk goed waren voor +11. De success rate van het systeem was vergelijkbaar met juni 9. Echter, in tegenstelling tot juni 9 ontbraken de negatieve uitschieters in december 8. Bovendien kende december 8 twee goede trades die het rendement behoorlijk naar boven stuwden. Kortom, ondanks een lagere success rate is een bovengemiddeld positief rendement mogelijk. Figuur : Prestatie-indicatoren December 8 Rendementen Success Rate Winst en Verlies 1 8 1 9 8 1 Dec8 7 Dec8 - - 7 - - 3-8 -1-1 Winst Verlies Conclusie In deze research note zijn een drietal prestatie indicatoren geïntroduceerd. Deze indicatoren zijn belangrijke stukken gereedschap om de prestaties van het QTR Fund te evalueren. Om het gebruik van deze indicatoren gemakkelijker te maken, zijn box plots gebruikt. Deze helpen de investeerder om de behaalde maandresultaten snel en overzichtelijk te vergelijken met resultaten behaald in het verleden. De eigenschappen van de QTR systemen zijn divers van aard. Dit komt onder andere tot uiting in de manier waarop een maandelijks rendement tot stand komt. Het is de taak van QTR Invest om de prestaties en structuur hiervan continu te bewaken. Zolang de prestaties zich verhouden tot de backtest is er geen enkele reden tot ingrijpen. Henk-Jan Ramaker Managing Partner QTR Invest