Mobile.de realiseert het genereren van autodealer- documenten met Talend

Transcriptie

1 Mobile.de realiseert het genereren van autodealer- documenten met Talend Inleiding / Uitdagingen Als grootste online-automarkt in Duitsland is mobile.de in het bezit van omvangrijke gegevens met betrekking tot vraag en aanbod, die de actuele ontwikkelingen op de automarkt weerspiegelen. De business unit Automotive Intelligence van mobile.de maakt de marktgegevens beschikbaar aan de autodealers. De autodealers worden hierdoor in staat gesteld een inschatting te maken of het inruilen van een auto tegen bepaalde voorwaarden zinvol is, krijgen inzicht in de prijspositionering van auto s, enz. De vergelijkende cijfers en het leveren van een concrete aanbeveling zorgt ervoor dat de autobranche nog sneller en succesvoller voertuigen kan verkopen. Afbeelding 1: Overzicht van de verwerking en de data flows Het gehele proces om noodzakelijke resources te bevragen en kengetallen samen te stellen, alsook het genereren van de documenten, wordt gerealiseerd door middel van Talend. De werknemers van mobile.de kunnen het verwerkingsproces te allen tijde controleren en sturen via het Talend Administration Center (TAC). Uitdagingen in het project: 1. geringe verwerkingstijden en schaalbaarheid. 2. controle over het gehele proces in TAC. 3. genereren van Excel-en PDF bestanden gebaseerd op templates met een interactieve inhoud. 4. tolerantie ten opzichte van externe resources die soms af en toe beperkt beschikbaar zijn. 1

2 Realisering Hoge doorvoer door parallellisatie De doorlooptijd per klant is verminderd door het gebruik van parallellisatie. De afzonderlijke verwerkingsstappen kunnen parallel worden uitgevoerd. Het hoofdproces controleert of nog verdere verwerkingseenheden beschikbaar zijn (klantenanalyses bereiken de betreffende startpositie). In een enkele verwerkingsstap kan een willekeurig aantal aan klantenanalyses parallel verwerkt worden. Afbeelding 2: Parallelle verwerking (principe van het proces) Voor de load balancing is in de TAC een virtuele Jobserver ingericht die automatisch de proces-load verdeelt over de individuele jobservers. De parallellisatie in een task (het starten van een job instance) gebeurt door middel van een parallelle iteratie. Afbeelding 3: Parallelle starten van job instances, het aantal van de job instances blijft zover als mogelijk constant. 2

3 Sturing van het gehele proces in TAC De ETL-processen, die ervoor zorgen dat de benodigde gegevens van te voren worden geladen, en het proces dat de analysedocumenten genereert voor de dealers moeten als een enkele eenheid worden beschouwd: alleen de algehele sturing en controle in TAC garandeert de consistentie van de documenten. De concrete implementatie van het sturen van de verwerking, gebruikt de mogelijkheid van TAC om RESTful Webservices te starten. Deze functie is ingekapseld in de Custom-Component truntask. Afbeelding 4: Samenspel Control-Task en Task voor verwerking in afzonderlijke stappen. In deze samenhang kan ook worden gewezen op het voordeel van het gebruik van een afzonderlijke taak voor het uitvoeren van het gehele proces. Door het gebruik van deze architectuur kan een bepaalde stap afzonderlijk worden geactualiseerd zonder dat het gehele system hoeft te worden geactualiseerd. Dit heeft het voordeel dat de stabiliteit en transparantie worden verbeterd, omdat de stappen in afgezonderde processen worden uitgevoerd en de logdata beperkt worden tot een enkele stap. De individueel uitgevoerde taken veroorzaken een gelijkmatige load. De horizontale verdeling van de load wordt bewerkstelligd door de inzet van een enkele virtuele Jobserver die de load verdeelt over de beschikbare Jobservers. 3

4 Template- gebaseerde rapportgeneratie Voor het genereren van de PDF documenten wordt als Design-Tool JasperStudio ingezet. JasperStudio biedt een een gebruiksvriendelijke WYSIWIG interface en met de JasperLibrary is het mogelijk om het genereren van rapporten in een applicatie te integreren. In deze casus werd de mogelijkheid van Talend benut om, door middel van Custom Components het functionele spectrum van Talend uit te breiden, door het integreren van deze JasperLibrary in Talend. Afbeelding 5: aanmaken PDF-Rapport gebaseerd op JasperReport Design en tjasperreportexec Voor het aanmaken van de PDF-bestanden wordt de Custom-Component tjasperreportexec gebruikt. Deze biedt het gemak dat JasperReport Design-Templates automatisch gecompileerd worden en uit het ETL-proces de noodzakelijke parameters kunnen worden gedistilleerd voor het genereren van een rapport. 4

5 Afbeelding 6: Aanmaken van een Excel-rapport De Excel-Templates bevatten de formatteringsinformatie, zoals celkleuren en bepaalde formatteringen. De verwerking door Talend zorgt ervoor dat de gegevens worden weggeschreven in het Excelbestand en dat de noodzakelijke formattering wordt toegepast op de cellen. Daarnaast worden ook nog formules ingevoegd. Voor deze taak zijn de volgende Custom-Components gebruikt: tfileexcelworkbookopen, tfileexcelsheetoutput, tfileexcelnamedcelloutput und tfileexcelworkbooksave Tolerantie ten opzichte van externe resources die af en toe beperkt beschikbaar zijn In het kader van dit project zijn applicatie-interfaces gebruikt, die te maken hebben met een grote volatiliteit van de load. Daardoor is het gebeurd dat requests af en toe zijn afgewezen. Een herhaling na de wachttijd lost het probleem meestal op. Met een passende beschikbaarstelling van de status per Job-Instance kan de herhaling van een proces gericht worden gestart. De handmatige monitoring wordt hierdoor tot een minimum gereduceerd. Hierdoor is het niet nodig dat bij een normale uitval de systeembeheerders worden ingeschakeld, omdat het systeem hier zelfstandig mee kan omgaan. Alleen wanneer een herhaling van het proces mislukt, wordt een alarm-melding gestuurd. Deze korte systeemhaperingen zijn via logging in te zien in TAC. 5

6 Kengetallen van het project Het project is in een tijdsbestek van vier maanden ontwikkeld, getest en naar productie gebracht. Aan het project zijn circa twee man-maanden besteed. De klant, mobile.de, gebruikte bij de start van het project de Talend-Release versie Het project was een van de eerste in het kader van de migratie is omgezet naar versie De gebruikte componenten zijn gedeeltelijk in het kader van het project uitgebreid en zijn ook gratis beschikbaar in de Talend Exchange: Contact: ebay Mobile.de Michael Schulz: cimt objects AG: Jan Lolling: 6