Handleiding Ubuntu Server installeren en configureren voor KV78turbo

Transcriptie

1 Handleiding Ubuntu Server installeren en configureren voor KV78turbo Geschreven door Erik van Heck en bronnen Versie 2.0 op zondag 1 december 2013

2 1.0 Introductietekst Welkom bij de 2de versie van deze handleiding! In dit document tref je stap-voor-stap aan hoe je gemakkelijk Ubuntu Server kunt installeren in een productie- en ontwikkelomgeving. Daarnaast kun je lezen hoe je de installatie configureert om KV78turbo te kunnen ontvangen en in een REST-API te verwerken. Deze handleiding is samengesteld met behulp van een aantal bronnen. Onder andere het Google Groups OpenOV en de website openov.nl. Hierbij wens ik je veel succes toe met het installeren van de server! Met vriendelijke groeten, Erik van Heck 1.1 Inhoud 1 Opstarten 2 Basisinstallatie 3.1 Ubuntu basisconfiguratie (benodigd) 3.7 Ubuntu basisconfiguratie (python) 3.* Ubuntu basisconfiguratie (optioneel) 4 KV7-database configureren 5 KV8 REST-API configureren 5.1 KV78turbo REST-API opstarten 6 Uitleg werking API 6.1 Hulp bij problemen of vragen over OV-data 7 Cronjobs instellen 1.2 Definities / afkortingen KV78turbo: KV7: OpenOV: GOVI: LAMP: FTP: PY: livefeed vanaf de openov.nl-server, met actuele reisinformatie statische dienstregeling vanaf de openov-server organisatie achter de connectie naar afnemers organisatie welke data levert aan OpenOV Linux-Apache-MySQL-PHP File Transfer Protocol (bestanden oversturen) Een Python-script-bestand 1.3 Benodigdheden Een omgeving (desktop of server) met minimale opslag van 20 GB en een geheugen van meer dan 500 MB. Daarnaast een werkende internetverbinding en een toetsenbord. Internet is ook handig.

3 1.4 Opstarten Start het programma VirtualBox. U dient een nieuwe virtuele computer aan te maken en een hardeschijf van minimaal 20 GB en met geheugen van 500 MB. Start de virtuele computer door middel van de start -knop bovenaan in VirtualBox. Als de virtuele computer gaat opstarten en het scherm komt te voorschijn, kiest u bovenin het menu voor Apparaten. Selecteer CD/DVDapparaten en kies voor Kies een virtuele CD-DVD-schijfbestand. Verken naar het.iso-bestand wat u gedownload heeft van de Ubuntu website en selecteer deze. Kies daarna onder Machine op Resetten. Het systeem word nu opnieuw opgestart. Kies de taal voor de installatie. In ons geval uiteraard Nederlands. Let op: in het gehele serversysteem van Ubuntu kunt u de muis niet gebruiken. Gebruik de pijltjestoetsen. Tik het pijltje naar beneden totdat u bij Nederlands bent en druk op Enter. Selecteer daarna Ubuntu Server installeren. Na een tijdje krijgt u de melding dat de taal Nederlands niet volledig beschikbaar is. Kies Ja. In het volgende scherm kiest u Nederland. Daarna krijgt u nog een melding om de toetsenbord indeling te decteren. Kies hiervoor ja. Blijf wachten totdat u alle vragen gehad heeft. Kies y en daarna w. Blijf dan Nee aangeven. Voor de meeste Nederlanders zal dit dan goed ingesteld staan. Het installatieprogramma gaat nu meerdere instellingen configureren en dit kan even duren. Na een tijdje kunt u een computernaam instellen voor de server. In deze handleiding nemen we VHSERVER-UBUNTU. Druk op Enter. Typ de volledige naam in en druk op Enter. Typ de gewenste gebruikersnaam in en druk weer op Enter. Typ tweemaal uw wachtwoord en druk op Enter. Als er een vraag komt over versleuteling van de persoonlijke map kiest u Nee. Bij de vraag of de time zone drukt u nogmaals op Enter. Kies Begeleid benut gehele schijf. Druk op Enter. Druk nogmaals op Enter. Bij het volgende scherm kiest u Ja en drukt u op Enter. Typ bij Proxy niets en druk op Enter. Selecteer Geen automatische updates. Kies voor software selectie: Manual package selection. En kies Enter.

4 Als het scherm vraagt of de GRUB-opstartlader in het MBR moet worden geinstalleerd drukt u op Ja. Uiteindelijk komt de melding Installatie is voltooid. Kies Volgende. Na een keer opnieuw opstarten is de Ubuntu Server installatie voltooid. We gaan nu verder met een aantal basis programmatjes voor de connectie naar de Koppelvlakken. 3 Ubuntu basisconfiguraties 3.1 PostgreSQL-server installeren Later in de handleiding gaan we databases gebruiken. Hiervoor gebruiken we voornamelijk PostreSQL (is stabieler dan MySQL). Dit moeten we apart installeren. We beginnen weer met het commando sudo apt-get install postgresql. Typ j bij de vraag om door te gaan. De installatie duurt gemiddeld 5 tot 10 minuten. Typ sudo adduser tom. Typ sudo adduser tom. Nu is er een nieuwe gebruiker genaamd tom aangemaakt. Typ sudo su - postgres. Typ git clone Typ cd Typ dan sudo sh gistfile1.txt. Het systeem gaat nu een database aanmaken inclusief de benodigde rechten. Typ sudo psql template_postgis. Nu bent u ingelogd in de PostgreSQL-server. Typ CREATE USER tom WITH PASSWORD my- Password ;. Dan GRANT ALL PRIVILEGES ON DATABASE template_ postgis to tom;. Nu heeft u een gebruiker aangemaakt genaamd tom in de PostgreSQL-server. Daarna geeft u de gebruiker tom alle rechten tot de database template_postgis. Typ om af te sluiten \q.

5 De volgende onderdelen zijn handig voor je server, maar niet benodigd voor een KV78Turbo-feed. 3.2 Optioneel: LAMP-server installeren We gaan beginnen met de LAMP-server te installeren. Dit pakket bevat MySQL, Apache en PHP. Allereerst installeren we het programma Tasksel. Dit is een soort van installatieframework voor Ubuntu. Typ sudo apt-get install tasksel. Sudo betekend dat je het uitvoert als Administratie, apt-get is het installatieprogramma binnen Ubuntu en daarna install gevolgd door het programma welke je wilt installeren. Vul eventueel uw administratiewachtwoord in. Dit gaat best snel en nadat de instalaltie voltooid is typt u sudo tasksel install lamp-server. Dit op dezelfde manier als hiervoor. Dit is een wat groter pakket en er start een nieuw scherm. Allereerst laadt hij een aantal bestanden in en daarna dien je een MySQL root -gebruiker-wachtwoord in te voeren. Let op! Dit is een Administrator wachtwoord voor MySQL. Druk op Enter. Voor nogmaals hetzelfde wachtwoord in en druk weer op Enter. Na een tijdje is hij klaar met configureren. Typ sudo apt-get install php5-dev. Hiermee installeert u extra benodigheden voor de komende onderdelen. Na de installatie heeft u een werkende Apache, MySQL en PHP-server! U kunt rechtstreeks naar uw IP-adres browsen in een internetbrowser. Het IP-adres kunt u vinden met het commando ifconfig. 3.3 Optioneel: phppgadmin installeren Daarna gaan we phppgadmin installeren voor PostgreSQL. Typ sudo apt-get install phppgadmin. Typ weer j bij de vraag om door te gaan. De installatie duurt gemiddeld 5 minuten. Standaard is er alleen toegang tot /phppgadmin in de webbrowser vanaf de lokale computer (in dit geval de server). We moeten dus toegang gaan geven aan de rest van de computers in het netwerk. Typ sudo nano /etc/phppadmin/apache.conf. Zoek de regel allow from Zet hiervoor het teken #. De regel eronder staat allow from all met het tekentje # ervoor. Haal dit tekentje weg. Sla het bestand op door middel van CTRL + O en sluit het weer af door middel van CTRL + X. REstart Apache door middel van het commando sudo service apache2 reload.

6 3.4 Optioneel: FTP-server installeren voor bestanden Typ als commando sudo apt-get install vsftpd. Hiermee installeert het programma de FTP-server, waarmee we bestanden kunnen gaan aanpassen (zoals PHP-scripts). Druk weer j en Enter. De FTP-server is nu geinstalleerd. Je kunt dit uitproberen om met een FTP-client (bijvoorbeeld File- Zilla) verbinding te maken. De gebruikersnaam en wachtwoord zijn hetzelfde als in Ubuntu. Je zult zien dat hij de melding geeft: Only anonymous access. We moeten dus nog een aantal instellingen aanpassen. Typ sudo pico /etc/vsftpd.conf. Zoek de regel anonymous_enable=yes. Daaronder staat local_enable met een # ervoor. Haal dit teken weg. Hetzelfde ook bij write_enable. Sla het bestand op (CTRL + O) en sluit het af (CTRL + X). Restart de FTP-server door middel van sudo /etc/init.d/vsftpd restart. De hoofdgebruiker (van Ubuntu) heeft nu via de FTP-server toegang tot de bestanden. 3.5 Optioneel: Webmin: webinterface (extra) Om de server te kunnen controleren, qua geheugen, resterende opslag en eventuele processen is webmin handig. Hierop kun je met bijvoorbeeld grafiekjes bekijken. Typ in als commando: wget deb. Hij gaat nu de bestanden downloaden. Typ daarna sudo dpkg -install webmin_1.600_all.deb. Hij gaat nu de software installeren. Je kunt nu inloggen op IP-ADRES: Voor ons is dit Je kunt hiermee inloggen zoals in Ubuntu (administrator). 3.6 Optioneel: SSH-toegang Als je de server niet binnen handbereik hebt, zoals bijvoorbeeld in een Datacenter, kun je SSH-toegang installeren. Hiermee kun je thuis, of op het werk, door middel van Terminal (Mac) of Command Prompt (Windows) verbinding maken met je Ubuntu Server. Dit heet SSH. Als je dit wilt, kun je SSH installeren door het volgende te doen: typ sudo apt-get install ssh. De verbinding word automatisch geconfigureerd. Op de client (dus je eigen, desktop, normale computer) typ in je Terminal of Commandprompt: ssh gebruikersnaam@ip-adres. In ons geval: ssh erik@ Nu heb je toegang tot het zelfde scherm zoals je rechtstreeks op de server bent.

7 De volgende onderdelen zijn benodigd voor een KV78Turbo-feed. 3.7 Python- en toebehoren installaties Normaal gesproken is Python geinstalleerd bij installatie van Ubuntu. Controleer dit altijd even door het commando python uit te voeren. Indien de volgende regels beginnen met >>> dan is het succesvol geinstalleerd. Indien niet installeert u Python door middel van het commando sudo apt-get install python. We gaan nu ZeroMQ installeren met de binding voor Python. Typ sudo apt-get install python-setuptools. Hiermee kunnen we straks een aantal commando s uitvoeren. Tik j en Enter. Het word nu geinstalleerd. Typ sudo apt-get install git. Tik j en Enter. Met dit programma kunnen we bestanden af gaan halen van OpenOV. Typ sudo apt-get install python-dev. Hiermee worden Python Developmenttools geinstalleerd. Typ het commando sudo apt-get install libzmq-dev Typ het commando sudo easy_install pyzmq. Hiermee word de binding geinstalleerd. We hebben nu de ZMQ-extensie geinstalleerd, maar we moeten ook de extensie python-psycopg2. Typ sudo apt-get install python-psycopg2. Typ j en Enter. De extensie is nu geinstalleerd. Typ sudo apt-get install python-pip. Typ sudo pip install uwsgi. 4.0 Script downloaden en configureren voor OpenOV We hebben nu de basisinstallatie (met een aantal uitbreidingen) van Ubuntu Server geinstalleerd. In de volgende hoofdstukken gaan we verbinding maken met OpenOV en starten we een aantal scripts. 4.1 KV7-database inladen We gaan eerst de statische data inladen, genaamd KV7. Installeer eerst het programma wget doormiddel van het commando sudo apt-get install wget. Typ git clone Hiermee worden de bestanden gekopieerd naar de server.

8 Typ git clone Hiermee worden de overige bestanden gekopieerd. Typ cd kv7tools. Typ wget -N --accept=gz -r -l 1 -e robots=off --wait 1 --limit-rate=1m. Dit kan een paar minuten duren. Typ wget -N --accept=gz -r -l 1 -e robots=off --wait 1 --limit-rate=1m. Dit kan ook even duren. We hebben nu de benodigde bestanden gedownload. Een korte uitleg: KV7planning bevat de laatste statische dienstregeling die beschikbaar is. Alleen er is niet altijd een nieuwe dienstregeling beschikbaar en in KV7kalender staat welke bestanden uit KV7planning moeten worden gedownload. We hebben nu even handmatig KV7planning en KV7kalender gedownload. Uiteraard moet dit in de toekomst automatisch gedaan worden, dat later. Typ python kv7kalender-index.py kv7.openov.nl/govi/kv7kalender. Je zult op het scherm een aantal regels met vervoerders zien. Om het volgende aan de gang te krijgen dienen we eerst een nieuw bestand te maken. Typ touch kv7planning.idx. Typ python kv7planning-index.py kv7.openov.nl/govi/kv7planning. Hiermee wordt er net zoals bij kv7planning een idx bestand gevuld met info. Typ python kv7-import2.py KV7kalender kv7.openov.nl/govi/kv7planning. Hiermee word er een bestand, genaamd kv7.sql gemaakt welke we straks gaan inladen in de databaseserver. We gaan nu de structuur van de database aanmaken. Typ psql -d template_postgis -f kv7_create.sql. Nu gaan we deze structuur vullen met data. Typ psql -d template_postgis -f kv7.sql.

9 5.0 KV8 REST API (JSON) We hebben in het vorige hoofdstuk de statische dienstregeling ingeladen via KV7 in PostgreSQL. Nu gaan we de KV8-client starten om de REST API te lanceren. Typ cd. Typ KV78Turbo-OVAPI. In het standaardscript word er vanuit gegaan dat er een bestand bestaat CURRENTDB. Dit gaan we wijzigen. Typ nano kv7-db-auto.py. Zoek, door middel van CTRL + W, naar database. Je krijgt dan de functie currentdatabase. Wijzig de variabele output naar template_postgis. Zie afbeelding hieronder. Typ nano kv78turbo-api.py en wijzig hier dezelfde variabele. 5.1 REST API opstarten Zoals je misschien al gemerkt hebt, stoppen de lopende scripts als je je Terminal sluit. Dit gaan we voorkomen door het programma screen. Dit zorgt ervoor dat als je niet ingelogd bent op je server, het script gewoon doorloopt. Typ sudo apt-get install screen. Daarna screen en enter. Typ python kv7-db-auto.py om de ritten 1 uur van ten voren in te laden. Zo heeft de gebruiker altijd een overzicht van de ritten tussen nu en een uur. Druk CTRL + A + C om een secondair scherm te openen. Typ python kv78turbo-api.py. Hiermee word het Pythonscript gestart welke er voor zorgt dat de webserver straks (UWSGI) de data binnen krijgt welke hij nodig heeft. Wacht todat het scherm aangeeft Loaded KV7 data. Als je eerder naar de volgende stap gaat, kan het zijn dat je foutmeldingen krijgt.

10 Druk weer CTRL + A + C om een derde scherm te openen. We gaan nu de interface starten voor het publiek, de webserver. Typ uwsgi --http-socket :8080 -w kv78turbo-client. Vervang :8080 door het IP-adres en poort die voor jou goed zijn. Wij hebben weer :8080. Ga nu vanaf een externe computer naar IPADRES:POORT. Dus in ons geval Als alles correct is ingesteld zie je: []. Je server is succesvol online gebracht! 6.0 Uitleg REST-API De KV78Turbo API, hierna genoemd de API, werkt met TimingPoint s. Een TimingPoint is simpelweg eigenlijk een halte- of stationsnummer. Je kunt informatie over deze TPC s opvragen via verschillende methode s: Per timingpoint (lees info op KV78Turbo-OVAPI/wiki/TimingPointCode) Per stoparea (lees info op KV78Turbo-OVAPI/wiki/StopAreaCode) Per lijn (lees info op KV78Turbo-OVAPI/wiki/Line) Per journey (lees info op KV78Turbo-OVAPI/wiki/Journey) 6.1 Hulp bij problemen Heb je vragen omtrent de data, de presentatie hiervan of andere OpenOV-gerelateerde onderwerpen? Je kunt hiervoor terecht op het forum via Let wel op; voor algemene vragen over programmeertalen en installatieinstructie s, raadpleeg hiervoor andere fora s. Vragen over deze onderwerpen worden niet beantwoord op het OpenOV-forum.

11 7.0 Cronjobs configureren Typ cd /home/erik/. We gaan een nieuw Bash-script aanmaken om de commando s erin te zetten. Typ touch script.sh. Hiermee wordt het script script.sh gemaakt. Typ sudo nano /home/erik/script.sh. Er opent nu een editor om het bestand te bewerken. We gaan de volgende commando s erin zetten: #!/bin/bash cd /home/erik/kv7tools/ wget -N --accept=gz -r -l 1 wget -N --accept=gz -r -l 1 cd /home/erik/kv7tools/ rm /home/erik/kv7tools/kv7kalender.idx rm /home/erik/kv7tools/kv7planning.idx touch /home/erik/kv7tools/kv7kalender.idx touch /home/erik/kv7tools/kv7planning.idx cd /home/erik/kv7tools/ python /home/erik/kv7tools/kv7kalender-index.py kv7.openov.nl/ GOVI/KV7kalender python /home/erik/kv7tools/kv7planning-index.py kv7.openov.nl/ GOVI/KV7planning python /home/erik/kv7tools/kv7-import2.py KV7kalender kv7.openov.nl/govi/kv7planning cd /home/erik/ psql -d template_postgis -f /home/erik/leegtabellen.sql cd /home/erik/kv7tools/ psql -d template_postgis -f /home/erik/kv7tools/kv7.sql We hebben nu het Bash-script aangemaakt. Dit Bash-script gaan we als een cronjob neerzetten zodat deze elke nacht om 04:00 uur worden uitgevoerd. Typ CTRL + O. Typ CTRL + X. Het scherm is nu opgeslagen en afgesloten. We gaan nu de cronjob instellen. Typ crontab -e. Ga helemaal naar onderen en typ: 0 4 * * * /home/erik/script.sh. Hiermee word er gezegd: minuut 0, het vierde uur, elke dag. Hij voert het script script.sh uit.