Handleiding Ubuntu Server installeren en configureren voor KV7 & KV8 (Turbo)

Handleiding Ubuntu Server installeren en configureren voor KV7 & KV8 (Turbo) Geschreven door Erik van Heck en bronnen Versie 1.0 op zaterdag 17 november 2012

1.0 Introductietekst Welkom bij deze handleiding! In dit document tref je gedetaileerd aan hoe je gemakkelijk Ubuntu Server kunt installeren op een VirtualBox-image. Daarnaast kun je ook terug lezen hoe je deze server configureert om KV78turbo te ontvangen en KV7 te verwerken. Deze handleiding is samengesteld met behulp van een aantal bronnen. Zo hebben een aantal mensen geholpen via Google Discussiegroepen, zoals Thomas Koch en Stefan de Konink, maar ook andere mensen. Zoek maar eens naar de groep openov. De organisatie achter deze koppelvlakken is OpenOV.nl, welke gestuurd wordt door Stefan de Konink. Zie www.openov.nl voor meer informatie. Hierbij wens ik je veel succes toe met het installeren van de server! Met vriendelijke groeten, Erik van Heck 1.1 Inhoud 1 Opstarten 2 Basisinstallatie 3 Ubuntu basisconfiguratie 3.1 LAMP-server installatie 3.2 PostgreSQL-server installatie 3.3 phpmyadmin en phppgadmin 3.4 FTP-server installeren en configureren 3.5 Webmin: interface voor cronjobs 3.6 SSH-toegang (extra onderdeel) 1.2 Definities / afkortingen KV78turbo: KV7: OpenOV: GOVI: LAMP: FTP: PY: livefeed vanaf de openov.nl-server, met actuele reisinformatie statische dienstregeling vanaf de openov-server organisatie achter de connectie naar afnemers organisatie welke data levert aan OpenOV Linux-Apache-MySQL-PHP File Transfer Protocol (bestanden oversturen) Een Python-script-bestand 1.3 Benodigdheden Computer met minimaal 40 GB harde schijf, 4 GB geheugen, internetverbinding, Windows of Mac-besturingsysteem.

1.4 Opstarten Start het programma VirtualBox. U dient een nieuwe virtuele computer aan te maken en een hardeschijf van minimaal 20 GB en met geheugen van 500 MB. Start de virtuele computer door middel van de start -knop bovenaan in VirtualBox. Als de virtuele computer gaat opstarten en het scherm komt te voorschijn, kiest u bovenin het menu voor Apparaten. Selecteer CD/DVDapparaten en kies voor Kies een virtuele CD-DVD-schijfbestand. Verken naar het.iso-bestand wat u gedownload heeft van de Ubuntu website en selecteer deze. Kies daarna onder Machine op Resetten. Het systeem word nu opnieuw opgestart. Kies de taal voor de installatie. In ons geval uiteraard Nederlands. Let op: in het gehele serversysteem van Ubuntu kunt u de muis niet gebruiken. Gebruik de pijltjestoetsen. Tik het pijltje naar beneden totdat u bij Nederlands bent en druk op Enter. Selecteer daarna Ubuntu Server installeren. Na een tijdje krijgt u de melding dat de taal Nederlands niet volledig beschikbaar is. Kies Ja. In het volgende scherm kiest u Nederland. Daarna krijgt u nog een melding om de toetsenbord indeling te decteren. Kies hiervoor ja. Blijf wachten totdat u alle vragen gehad heeft. Kies y en daarna w. Blijf dan Nee aangeven. Voor de meeste Nederlanders zal dit dan goed ingesteld staan. Het installatieprogramma gaat nu meerdere instellingen configureren en dit kan even duren. Na een tijdje kunt u een computernaam instellen voor de server. In deze handleiding nemen we VHSERVER-UBUNTU. Druk op Enter. Typ de volledige naam in en druk op Enter. Typ de gewenste gebruikersnaam in en druk weer op Enter. Typ tweemaal uw wachtwoord en druk op Enter. Als er een vraag komt over versleuteling van de persoonlijke map kiest u Nee. Bij de vraag of de time zone drukt u nogmaals op Enter. Kies Begeleid benut gehele schijf. Druk op Enter. Druk nogmaals op Enter. Bij het volgende scherm kiest u Ja en drukt u op Enter. Typ bij Proxy niets en druk op Enter. Selecteer Geen automatische updates. Kies voor software selectie: Manual package selection. En kies Enter.

Als het scherm vraagt of de GRUB-opstartlader in het MBR moet worden geinstalleerd drukt u op Ja. Uiteindelijk komt de melding Installatie is voltooid. Kies Volgende. Na een keer opnieuw opstarten is de Ubuntu Server installatie voltooid. We gaan nu verder met een aantal basis programmatjes voor de connectie naar de Koppelvlakken. 3 Ubuntu basisconfiguraties 3.1 LAMP-server installeren We gaan beginnen met de LAMP-server te installeren. Dit pakket bevat MySQL, Apache en PHP. Allereerst installeren we het programma Tasksel. Dit is een soort van installatieframework voor Ubuntu. Typ sudo apt-get install tasksel. Sudo betekend dat je het uitvoert als Administratie, apt-get is het installatieprogramma binnen Ubuntu en daarna install gevolgd door het programma welke je wilt installeren. Vul eventueel uw administratiewachtwoord in. Dit gaat best snel en nadat de instalaltie voltooid is typt u sudo tasksel install lamp-server. Dit op dezelfde manier als hiervoor. Dit is een wat groter pakket en er start een nieuw scherm. Allereerst laadt hij een aantal bestanden in en daarna dien je een MySQL root -gebruiker-wachtwoord in te voeren. Let op! Dit is een Administrator wachtwoord voor MySQL. Druk op Enter. Voor nogmaals hetzelfde wachtwoord in en druk weer op Enter. Na een tijdje is hij klaar met configureren. Typ sudo apt-get install php5-dev. Hiermee installeert u extra benodigheden voor de komende onderdelen. Na de installatie heeft u een werkende Apache, MySQL en PHPserver! U kunt rechtstreeks naar uw IP-adres browsen in een internetbrowser. Het IP-adres kunt u vinden met het commando ifconfig.

3.2 PostgreSQL-server installeren Later in de handleiding gaan we databases gebruiken. Hiervoor gebruiken we voornamelijk PostreSQL (is stabieler dan MySQL). Dit moeten we apart installeren. We beginnen weer met het commando sudo apt-get install postgresql. Typ j bij de vraag om door te gaan. De installatie duurt gemiddeld 5 tot 10 minuten. Om MySQL en PostgreSQL (makkelijk) te kunnen beheren installeren we een webbased interface voor de twee types. Typ sudo adduser tom. Typ sudo adduser tom. Nu is er een nieuwe gebruiker genaamd tom aangemaakt. Typ sudo su - postgres. Typ sudo psql template1. Nu bent u ingelogd in de PostgreSQL-server. Typ CREATE USER tom WITH PASSWORD mypassword ;. Daarna CREATE DATABASE jerry;. Dan GRANT ALL PRIVILEGES ON DATABASE jerry to tom;. Nu heeft u een gebruiker aangemaakt genaamd tom in de PostgreSQL-server. Daarna maakt u een database aan genaamd jerry en geeft u de gebruiker tom alle rechten tot de database jerry. Typ om af te sluiten \q. 3.3 phppgadmin installeren Daarna gaan we phppgadmin installeren voor PostgreSQL. Typ sudo apt-get install phppgadmin. Typ weer j bij de vraag om door te gaan. De installatie duurt gemiddeld 5 minuten. Standaard is er alleen toegang tot /phppgadmin in de webbrowser vanaf de lokale computer (in dit geval de server). We moeten dus toegang gaan geven aan de rest van de computers in het netwerk. Typ sudo nano /etc/phppadmin/apache.conf. Zoek de regel allow from 127.0.0.0. Zet hiervoor het teken #. De regel eronder staat allow from all met het tekentje # ervoor. Haal dit tekentje weg. Sla het bestand op door middel van CTRL + O en sluit het weer af door middel van CTRL + X. REstart Apache door middel van het commando sudo service apache2 reload.

3.4 FTP-server installeren voor bestanden Typ als commando sudo apt-get install vsftpd. Hiermee installeert het programma de FTP-server, waarmee we bestanden kunnen gaan aanpassen (zoals PHP-scripts). Druk weer j en Enter. De FTP-server is nu geinstalleerd. Je kunt dit uitproberen om met een FTP-client (bijvoorbeeld File- Zilla) verbinding te maken. De gebruikersnaam en wachtwoord zijn hetzelfde als in Ubuntu. Je zult zien dat hij de melding geeft: Only anonymous access. We moeten dus nog een aantal instellingen aanpassen. Typ sudo pico /etc/vsftpd.conf. Zoek de regel anonymous_enable=yes. Daaronder staat local_enable met een # ervoor. Haal dit teken weg. Hetzelfde ook bij write_enable. Sla het bestand op (CTRL + O) en sluit het af (CTRL + X). Restart de FTP-server door middel van sudo /etc/init.d/vsftpd restart. De hoofdgebruiker (van Ubuntu) heeft nu via de FTP-server toegang tot de bestanden. 3.5 Webmin: webinterface (extra) Om de server te kunnen controleren, qua geheugen, resterende opslag en eventuele processen is webmin handig. Hierop kun je met bijvoorbeeld grafiekjes bekijken. Typ in als commando: wget http://prdownloads.sourceforge.net/webadmin/webmin_1.600_all. deb. Hij gaat nu de bestanden downloaden. Typ daarna sudo dpkg -install webmin_1.600_all.deb. Hij gaat nu de software installeren. Je kunt nu inloggen op IP-ADRES:10000. Voor ons is dit http://192.22.8.111:10000. Je kunt hiermee inloggen zoals in Ubuntu (administrator). 3.6 SSH-toegang Als je de server niet binnen handbereik hebt, zoals bijvoorbeeld in een Datacenter, kun je SSH-toegang installeren. Hiermee kun je thuis, of op het werk, door middel van Terminal (Mac) of Command Prompt (Windows) verbinding maken met je Ubuntu Server. Dit heet SSH. Als je dit wilt, kun je SSH installeren door het volgende te doen: typ sudo apt-get install ssh. De verbinding word automatisch geconfigureerd. Op de client (dus je eigen, desktop, normale computer) typ in je Terminal of Commandprompt: ssh gebruikersnaam@ip-adres. In ons geval: ssh erik@192.22.8.111. Nu heb je toegang tot het zelfde scherm zoals je rechtstreeks op de server bent.

3.7 Python- en toebehoren installaties Normaal gesproken is Python geinstalleerd bij installatie van Ubuntu. Controleer dit altijd even door het commando python uit te voeren. Indien de volgende regels beginnen met >>> dan is het succesvol geinstalleerd. Indien niet installeert u Python door middel van het commando sudo apt-get install python. We gaan nu ZeroMQ installeren met de binding voor Python. Typ sudo apt-get install python-setuptools. Hiermee kunnen we straks een aantal commando s uitvoeren. Tik j en Enter. Het word nu geinstalleerd. Typ sudo apt-get install git. Tik j en Enter. Met dit programma kunnen we bestanden af gaan halen van OpenOV. Typ sudo apt-get install python-dev. Hiermee worden Python Developmenttools geinstalleerd. Typ het commando sudo apt-get install libzmq-dev Typ het commando sudo easy_install pyzmq. Hiermee word de binding geinstalleerd. We hebben nu de ZMQ-extensie geinstalleerd, maar we moeten ook de extensie python-psycopg2. Typ sudo apt-get install python-psycopg2. Typ j en Enter. De extensie is nu geinstalleerd. Typ sudo apt-get install python-pip. Typ sudo pip install uwsgi. 4.0 Script downloaden en configureren voor OpenOV We hebben nu de basisinstallatie (met een aantal uitbreidingen) van Ubuntu Server geinstalleerd. In de volgende hoofdstukken gaan we verbinding maken met OpenOV.nl en starten we een aantal scripts. 4.1 KV7-database inladen We gaan eerst de statische data inladen, genaamd KV7. Installeer eerst het programma wget doormiddel van het commando sudo apt-get install wget. Typ git clone https://github.com/skywave/kv78turbo-ovapi. Hiermee worden de bestanden gekopieerd naar de server.

Typ git clone https://github.com/skywave/kv7tools. Hiermee worden de overige bestanden gekopieerd. Typ cd kv7tools. Typ wget -N --accept=gz -r http://kv7.openov.nl/govi/kv7planning/ -l 1. Dit kan een paar minuten duren. Typ wget -N --accept=gz -r http://kv7.openov.nl/govi/kv7kalender/ -l 1. Dit kan ook even duren. We hebben nu de benodigde bestanden gedownload. Een korte uitleg: KV7planning bevat de laatste statische dienstregeling die beschikbaar is. Alleen er is niet altijd een nieuwe dienstregeling beschikbaar en in KV7kalender staat welke bestanden uit KV7planning moeten worden gedownload. We hebben nu even handmatig KV7planning en KV7kalender gedownload. Uiteraard moet dit in de toekomst automatisch gedaan worden, dat later. Typ python kv7kalender-index.py kv7.openov.nl/govi/kv7kalender. Je zult op het scherm een aantal regels met vervoerders zien. Om het volgende aan de gang te krijgen dienen we eerst een nieuw bestandje te maken. Typ touch kv7planning.idx. Typ python kv7planning-index.py kv7.openov.nl/govi/kv7planning. Hiermee wordt er net zoals bij kv7planning een idx bestand gevuld met info. Typ python kv7-import2.py KV7kalender kv7.openov.nl/govi/kv7planning. Hiermee word er een bestand, genaamd kv7.sql gemaakt welke we straks gaan inladen in de databaseserver. We gaan nu de structuur van de database aanmaken. Typ psql -d kv78turbo -f kv7_create.sql. Nu gaan we deze structuur vullen met data. Typ psql -d kv78turbo -f kv7.sql.

5.0 KV8 REST API (JSON) We hebben in het vorige hoofdstuk de statische dienstregeling ingeladen via KV7 in PostgreSQL. Nu gaan we de KV8-client starten om de REST API te lanceren. Typ cd. Typ KV78Turbo-OVAPI. Typ python kv7-db-auto.py om de ritten 1 uur van ten voren in te laden. Zo heeft de gebruiker altijd een overzicht van de ritten tussen nu en een uur. Start een nieuw Terminal of SSH-venster. Je hebt nu dus twee vensters openstaan van dezelfde server. Typ python kv78turbo-api.py. Hiermee word het Pythonscript gestart welke er voor zorgt dat de webserver straks (UWSGI) de data binnen krijgt welke hij nodig heeft. Start opnieuw een nieuwe terminal op. We gaan nu de interface starten voor het publiek, de webserver. Typ uwsgi --http-socket 127.0.0.1:8080 -w kv78turbo-client. Vervang 127.0.0.1:8080 door het IP-adres en poort die voor jou goed zijn. Wij hebben weer 192.22.8.112:8080. Ga nu vanaf een externe computer naar IPADRES:POORT. Dus in ons geval http://192.22.8.112:8080. Als alles correct is ingesteld zie je: []. Je server is succesvol online gezet! Probeer een aantal functies: 1. Alle rijdende lijnen: http://192.22.8.112:8080/lines/ 2. Alle rijdende ritten: http://192.22.8.112:8080/journey/ 3. Alle storingen: http://192.22.8.112:8080/generalmessage/ Als je op alle drie de pagina s een antwoord krijgt in JSON dan is je server correct geinstalleerd.

5.1 Cronjobs configureren Typ cd /home/erik/. We gaan een nieuw Bash-script aanmaken om de commando s erin te zetten. Typ touch script.sh. Hiermee wordt het script script.sh gemaakt. Typ sudo pico /home/erik/script.sh. Er opent nu een editor om het bestand te bewerken. We gaan de volgende commando s erin zetten: #!/bin/bash cd /home/erik/kv7tools/ wget -N --accept=gz -r http://kv7.openov.nl/govi/kv7planning/ -l 1 wget -N --accept=gz -r http://kv7.openov.nl/govi/kv7kalender/ -l 1 cd /home/erik/kv7tools/ rm /home/erik/kv7tools/kv7kalender.idx rm /home/erik/kv7tools/kv7planning.idx touch /home/erik/kv7tools/kv7kalender.idx touch /home/erik/kv7tools/kv7planning.idx cd /home/erik/kv7tools/ python /home/erik/kv7tools/kv7kalender-index.py kv7.openov.nl/ GOVI/KV7kalender python /home/erik/kv7tools/kv7planning-index.py kv7.openov.nl/ GOVI/KV7planning python /home/erik/kv7tools/kv7-import2.py KV7kalender kv7.openov.nl/govi/kv7planning cd /home/erik/ psql -d template_postgis -f /home/erik/leegtabellen.sql cd /home/erik/kv7tools/ psql -d template_postgis -f /home/erik/kv7tools/kv7.sql We hebben nu het Bash-script aangemaakt. Dit Bash-script gaan we als een cronjob neerzetten zodat deze elke nacht om 04:00 uur worden uitgevoerd. Typ CTRL + O. Typ CTRL + X. Het scherm is nu opgeslagen en afgesloten. We gaan nu de cronjob instellen. Typ crontab -e. Ga helemaal naar onderen en typ: 0 4 * * * /home/erik/script.sh. Hiermee word er gezegd: minuut 0, het vierde uur, elke dag. Hij voert het script script.sh uit.