Kwaliteitscontrole Geschreven door hansmiv - 25/08/2008 19:29 Ik heb een tijdje een scriptje laten lopen waarmee ik een kwaliteitscontrole krijg zoals bij Awekas. Ik heb een tijdje op de achtergrond de data opgehaald van negen stations in mijn directe omgeving, zoals die op HWA staan. De data betreffen: temperatuur, luchtdruk, wind en regen. Om dit even uit te testen heb ik wat grafiekjes gemaakt die mijn temperatuur vergelijken met de waardes in mijn omgeving. Er zijn ook grafiekjes voor de andere data mogelijk, maar het ging even voor de test. Ik moet eerlijk zeggen dat de informatie hieruit wat tegenvallend is. Ik stop er weer mee, vooral ook omdat het uitlezen van de data uit HWA nogal wat internetverkeer genereert. Maar voordat ik de stekker eruit trek wil ik u toch nog even laten zien wat het resultaat is: http://www.hansmiv.nl/images/temphwa.jpg De blauwe lijn is van de metingen van mijn eigen station, de rode lijn is van de metingen van de negen omliggende stations. Dit zijn Westland, Den Haag Loosduinen, Den Haag, Rijswijk, Voorburg, Zoetermeer, Leiden, Bleiswijk, Berkel en Rodenrijs. Het werkt wel, maar zoals gezegd, ik leid er weinig uit af. Geschreven door wsp - 25/08/2008 20:02 Ik heb een tijdje een scriptje laten lopen waarmee ik een kwaliteitscontrole krijg zoals bij Awekas. Ik heb een tijdje op de achtergrond de data opgehaald van negen stations in mijn directe omgeving, zoals die op HWA staan. De data betreffen: temperatuur, luchtdruk, wind en regen. Om dit even uit te testen heb ik wat grafiekjes gemaakt die mijn temperatuur vergelijken met de waardes in mijn omgeving. Er zijn ook grafiekjes voor de andere data mogelijk, maar het ging even voor de test. Ik moet eerlijk zeggen dat de informatie hieruit wat tegenvallend is. Ik stop er weer mee, vooral ook omdat het uitlezen van de data uit HWA nogal wat internetverkeer genereert. Maar voordat ik de stekker eruit trek wil ik u toch nog even laten zien wat het resultaat is: http://www.hansmiv.nl/images/temphwa.jpg De blauwe lijn is van de metingen van mijn eigen station, de rode lijn is van de metingen van de negen omliggende stations. Dit zijn Westland, Den Haag Loosduinen, Den Haag, Rijswijk, Voorburg, Zoetermeer, Leiden, Bleiswijk, Berkel en Rodenrijs. Het werkt wel, maar zoals gezegd, ik leid er weinig uit af. Wat ik ervan vindt is dat het wel gelijk matig is. Stijgt blauw dan gaat rood ook, zei het wat hoger, maar dat is normaal denk ik. Het kan volgens mij nooit precies het zelfde zijn. Zelf vindt ik dit verschil goed. Er zijn geen gekke pieken te zien. Trekker zou ik er niet uittrekken, als er verschillen zijn kan ik mee leven en dan in temp, regen en wind is lastig, ik kan mijn windemeter 2 km verder op zetten en heb ik meer wind dan waar ik nu woon, daar staan ze ook altijd met vliegers, zeer open vlak. Het is toch ook leuk om te weten wat de temp is op die plaats waar het weerstation staat en dan wel met die dingen zo goed als mogelijk aan de richtlijnen van sensoren, gaat het niet, ok jammer dan, niemand kan een huis zo bouwen dat alles optimaal is, tenzij je helemaal vrij woont en de ruimte heb. Geschreven door Oebele - 25/08/2008 20:39 Hallo, Dit voorbeeld maakt goed duidelijk dat een groot aantal deelnemers er voor kan zorgen dat "vage" metingen à à rder
kunnen worden ondekt door de gebruikers. Of in de toekomst mischien via een soort controle systeem, iets wat de data heel waardevol maakt voor allerlei toepassingen. En zo blijft het tevens ook voor iedereen leuk en toegangkelijk. Geschreven door Luc - 25/08/2008 20:49 Ziet er erg mooi uit Hans. Mooi gemaakt. Met welke programmeertaal heb je dit gemaakt? Wellicht kunnen we zoiets op HWA zelf aanbieden. Het kost geen internet verkeer zolang het op de server gegenereerd wordt. Geschreven door wslangerak - 25/08/2008 20:56 Ja, ik zou zoiets graag op mijn "controle-pagina" erbij zetten! Geschreven door Oebele - 25/08/2008 21:06 Mischien kan je hier ook wel iets mee. http://www.joske-online.be/downloads/clientraw-with-graphs.zip Voorbeeld - http://www.joske-online.be/wxgraphs.php Geschreven door wslangerak - 25/08/2008 21:08 Ja, maar da's specifiek voor weather-display clientraw-files. Het voorbeeld bestaat overigens uit standaard door WD gegenereerde grafieken. Geschreven door hansmiv - 25/08/2008 22:20 Pfoe! Dit maakt meer los dan ik had verwacht. Ik had eigenlijk geen enkele reactie verwacht. Maar ik vond het jammer om dit verhaaltje in de mist van de geschiedenis te laten verdwijnen zonder er hier melding van te hebben gemaakt. Even stap voor stap: 1. Het idee is van Awekas, maar gebaseerd op gegevens van HWA. Ik legde de gegevens vast per tien minuten, Awekas per heel uur. 2. De negen naburige stations zijn een mengelmoes van stads- en buitenstations. 3. Blijkbaar kan Leidschendam (als typisch stadsstation) meedraaien met goede meetresultaten. Aardig om te zien dat L'dam eventjes wat achterblijft maar zodra de zon volop schijnt (zoals ik uit mijn andere metingen kan teruglezen), dan neemt L'dam een miniscule voorsprong op het gemiddelde. Maar dat zijn peanuts. Wat betreft de techniek: 1. Ik haalde de data op van de andere stations door de pagina's van elk station met de actuele gegevens tweemaal per
elke tien minuten te scannen op temperatuur, wind, barometerstand en regen. Uit luiã gheid deed ik dit met een phpscriptje. Een offline station filterde ik er niet uit. Voor deze test was dat niet zo belangrijk. Zo'n station zou dus een tijdlang oude data blijven vermelden. Tweemaal per elke tien minuten moest ik dus negen webpaginas scannen, elke pagina vier keer, dus 72 scans. Soms kreeg ik een melding terug "flooding", wat niet zo verwonderlijk is. (Sorry Luc!) 2. De data stopte ik in een database. Dit eenmaal per elke tien minuten. 3. Voor het aanmaken van de grafieken voegde ik per elke tien minuten de gegevens uit database twee toe aan het script dat de grafiekjes maakt. @ Luc: Ik kan je de broncode wel opsturen, maar het is echt niet allemaal hocus-pocus, meer "van dik hout zaagt met planken". Het ging mij er meer om wat je daarvan nou zou kunnen leren. Zelf was ik nog niet zo heel erg onder de indruk. Ik heb hetzelfde ook gedaan met mijn windsnelheids metingen, maar ook niet met een schokkend resultaat. Regen is er intussen weinig gevallen, dus dat heb ik niet echt bestudeerd. Overigens doe ik wel dezelfde truuk voor de luchtdruk, maar dan gebaseerd op de luchtdrukgegevens van de officiã«le stations in Rotterdam en Schiphol. (In de grafiek de groen lijn.) http://www.hansmiv.nl/images/barohwa.jpg In de gauwigheid was het mij even te lastig om voor de luchtdruk drie databases te combineren. Dat heb ik maar even zo gelaten. Wellicht is het een ideetje voor HWA, maar ik denk dat dit op basis van mijn scriptjes niet soepel gaat werken voor 165 weerstations. Even een opmerking: Awekas legt per station de coã rdinaten vast. Dat lijkt mijn erg wenselijk om per station te kunnen bepalen wat de omliggendse stations zijn. Overigens nemen die een veel ruimere cirkel voor de omliggende stations. Daar heb ik een kleine twintig vergelijkingswaarden voor L'dam. Naar mijn gevoel wordt dat wel iets te globaal. Maar in een land als de USA of Australiëlijkt me dat wat logischer. Hier zijn de locale verschillen al gauw te groot. Geschreven door hansmiv - 25/08/2008 22:26 @ Oebele: Ja, inderdaad zijn dat de standaard WD-plaatjes. Die heb ik ook wel, maar die vind ik niet erg overzichtelijk. Daarbij is het met mijn beperkte kennis niet mogelijk om er de data van de negen andere stations extra in te plakken. Geschreven door Oebele - 25/08/2008 22:42 @ Oebele: Ja, inderdaad zijn dat de standaard WD-plaatjes. Die heb ik ook wel, maar die vind ik niet erg overzichtelijk. Daarbij is het met mijn beperkte kennis niet mogelijk om er de data van de negen andere stations extra in te plakken. Okà even overnieuw. Dit is een output van het script in werking: http://www.carterlake.org/graphs/temp_hum.php Ik bedoel ook niet dat dit het moet zijn, het is mischien een leuke basis om iets vanuit te maken. Geschreven door wslangerak - 25/08/2008 22:50
Het moeilijkst is denk ik de data van de omliggende stations bij elkaar te krijgen. Voor ons tenminste, want Luc heeft ze natuurlijk al. Een grafiekje is dan al gauw in elkaar geflanst. De basis van Joske's script is trouwens JPGraph, dat zullen de meeste onder ons wel kennen. Geschreven door Luc - 25/08/2008 23:07 Het moeilijkst is denk ik de data van de omliggende stations bij elkaar te krijgen. Voor ons tenminste, want Luc heeft ze natuurlijk al. Een grafiekje is dan al gauw in elkaar geflanst. De basis van Joske's script is trouwens JPGraph, dat zullen de meeste onder ons wel kennen. Dat is voor mij geen probleem. Sterker nog, ik heb alle GPS coordinaten (op basis van centrum dorp/stad) voor elk weerstation opgezocht via google earth. Deze GPS coordinaten gebruik ik ook voor het plotten van de stippen in het plaatje en het temperatuurkaartje te berekenen. Het is dus simpel om alle weerstations in een straal van x kilometer te bepalen. (eh.. x pixels, want ik reken de GPS coordinaten om naar pixel coordinaten in de plaatjes). Ik sla echter niet alle alle records die ik binnen krijg op. Ik overschrijf steeds de laatste. Ik wil nog een aparte tabel maken, waar ik per weerstation de laatste zeg 100 record bewaar. Dan kan ik op basis daarvan allerlei grafiek genereren. EDIT: Ik bewaar wel het laatste record per dag per weerstation. Daar wil ik een module mee bouwen, zodat je bij elk weerstation terug in de tijd kunt zoeken. Met de nieuwe beheer module kan de beheerder (eventueel correcties toepassen bij storingen van de sensoren. Althans dat is het idee dat ik heb. Eventueel maak ik daar een mogelijkheid bij om ook een dagverslag in typen. Dan heb je een online logboek. Geschreven door hansmiv - 25/08/2008 23:07 Oebele schrijft: Okà even overnieuw. Dit is een output van het script in werking... Ow, o.k. Ik vat 'm. Ja, dat is JPGraph, hetzelfde pakketje wat ik ook gebruik. Heerlijk om mee te spelen en te knutselen. Kijk bijvoorbeeld eens naar mijn windroos. Geen standaard JPGraph oplossing, maar wel lekker gemakkelijk om naar eigen wens aan te passen, wat ik hier dan ook heb gedaan. Goede suggestie! Geschreven door hansmiv - 25/08/2008 23:11 Luc schrijft: Ik sla echter niet alle alle records die ik binnen krijg op. Ik overschrijf steeds de laatste. Daar had ik al zo'n vermoeden van. Wanneer je ook per uur werkt heb je maar 24+1 records nodig. Per station. Ik heb wel de indruk dat "onze collega's" de data wel een beetje dempen voordat ze in de grafiek komen. Kijk bijvoorbeeld naar de regen. Als het 00:00 uur is valt de waarde niet ineens naar 0, maar eerst naar iets van 15 % van de laatste waarde en pas het volgende uur naar nul. P.s. Ik weet niet of ik het gezegd had. Als je mijn hocus-pocus scriptjes wilt hebben kan ik ze opsturen, maar erg leerzaam zijn ze niet denk ik.
Geschreven door Luc - 25/08/2008 23:22 Wanneer je ook per uur werkt heb je maar 24+1 records nodig. Per station. Ik heb wel de indruk dat "onze collega's" de data wel een beetje dempen voordat ze in de grafiek komen. Kijk bijvoorbeeld naar de regen. Als het 00:00 uur is valt de waarde niet ineens naar 0, maar eerst naar iets van 15 % van de laatste waarde en pas het volgende uur naar nul.ik zal eens kijken wat ik kan inregelen. Lastig blijft de overgang naar de volgende dag. WsWin geeft mij altijd de data van de laatste 24 uur door. Dus ook de neerslag van de laatste 24 uur. Weatherlink bijvoorbeeld geeft altijd de neerslag vanaf 0:00 uur door. P.s. Ik weet niet of ik het gezegd had. Als je mijn hocus-pocus scriptjes wilt hebben kan ik ze opsturen, maar erg leerzaam zijn ze niet denk ik.graag. Stuur maar op. Ik kan hocus pocus goed lezen B). Vind ik zeker interessant. Geschreven door hansmiv - 26/08/2008 07:50 Luc schrijft: Lastig blijft de overgang naar de volgende dag. WsWin geeft mij altijd de data van de laatste 24 uur door. Dus ook de neerslag van de laatste 24 uur. Weatherlink bijvoorbeeld geeft altijd de neerslag vanaf 0:00 uur door. Hoe erg is dat? O.k., dan heb je om 00:00 een overgangswaarde. De neerslag van het laatste uur ben je bij Weatherlink en Weather Display om 00:00 sowieso kwijt. Het blijft toch al een enigszins globale schatting. Als je tien stations hebt lopen als vergelijking en om tien uur 's-avonds trekken twee er de stekker uit, dan heb je tussen tien en middernacht ineens maar acht stations om te vergelijken. Als à à n van die twee nou net een hele grote hoeveelheid regen had gemeten, dan is die meting ineens weg en zakt de vergelijkingswaarde een stuk naar beneden. Wind hetzelfde. Ik kan hocus pocus goed lezen B). Vind ik zeker interessant. In je postvakje. Ik hoop dat je er wat aan hebt.