Blackboard Gebruikersdag

Blackboard Gebruikersdag Blackboard Gebruikersdag 19 februari 2008 Jo Vanvoorden

Overzicht Jo Vanvoorden? Blackboard Omgeving Setup Load balancer setup DR Setup Database SAN setup Storage backend setup Course Archive operations Concept Issues Preparations Solutions Running projects Future Projects

Jo Vanvoorden Systeem beheerder Blackboard omgeving sinds maart 2006 Toledo Achievements : Omzetting loadbalancers NAT > DR Migratie RedHat NFS Cluster > Netapps cluster Migratie zomer 2007 BB6.3 > BB 7.2 Migratie Oracle9 (32bit) > Oracle10 (64bit) Implementatie HP Blades CourseArchive implementatie

Blackboard omgeving Toledo Universiteit + 12 hoge scholen 75.000 studenten + personeel 1,5T file storage backend 30.000 unieke actieve gebruikers per dag 60.000 cursussen per jaar Elov 200 secundaire scholen 50.000 leerlingen + leraren 500G file storage backend 9000 unieke actieve gebruikers per dag 20.000 cursussen per jaar

Blackboard Team Project team 1 Project manager 1,5 VTE gebruikersondersteuning 4 VTE Development + applicatiebeheer 1,5 VTE sysadmin (< dec 2007 1VTE) Momenteel 2 vacante vacatures in het development team

Blackboard Omgeving Loadbalancer setup

Blackboard Omgeving Loadbalancer setup elov

Blackboard Omgeving Loadbalancer setup DR setup

Database SAN setup DL585G2 DS8100 Brocade Silkworm 4100 Brocade Silkworm 4100

Database SAN setup Backend Setup DS8100 36 X Raid 5 on 8 disks 10 Luns (52 Gb) for GDLO 10 Luns (52 Gb) for Elov 4 striped luns data, 4 striped luns index, 2 striped luns log 2 x 2Gbit connections to SAN 4 x 4Gbit SAN to DS8100 Performance : 1 server 4 Gbit sequential IO Unnoticable on ds8100 (Response time/io < 2ms)

Storage backend setup NAS-SRV cluster NAS-DR FAS 3020c cluster 3 x SATA 500G 2 x FC 300G Database backup (3 x 300G) Data volumes blackboard (1.5T + 560G) FAS 3050 No Cluster 5 x 500G SATA Snapva ult Snapmir ror

Course Archive Operation Concept Elke zomer : Jaarovergang huidige academiejaar => Nieuwe academiejaar 0607 => 0708 (ongeveer 60k + 20k courses ) Via Course Archive Restore Custom Application : Coconut tool java -jar coconut.jar -i ccn.file -p coursecopy.general.properties - llog4j1.properties

Course Archive Operation Issues: Alle actieve cursussen moeten worden gearchiveerd Alle actieve cursussen genereren massaal veel logs in de activity_accumulator QTI_ASI_DATA, QTI_RESULT_DATA, X_QTI_RESULT_DATA and X_ASI_DATA locken de restore operations Geen unique gegenereerd bb-tmp directories voor de course-archive api's van blackboard Import in database genereerd veel archive logs

Course Archive Operation Preparations Opruim operaties : disablen + archiveren oude cursussen Leeg maken activity_accumulator 2 Applicatie servers dediceren voor archive 2 x dual quad core (16G) BL460c Database tuning voor archive lokale redo logfiles verwijderen redo groupen uitbreiden naar 10 ipv 5 redo log file size vergroten naar 300M fast_start_mttr_target verlagen Disable archive logging

Course Archive Operation Preparations Volume store voor archives voorzien (1.5T) Volledige backup nemen voor restore mogelijkheden + intern beschikbaar stellen versie vorig jaar snapshot nemen van de backend storage

Course Archive Operation Solutions Activity_accumulator => Truncate or drop Datawarehouse setup voor vergaren van management statistieken ACCT is in partities gesplitst alvorens blackboard gebruikt werd. Dit levert ons partities per maand, die we kunnen truncaten Verlies course statistics door truncate Archive logs disabled => geen db logging bewuste keuze tijdens migratie (backup is available)

Course Archive Operation Solutions Meerdere Archive-Restore threads home-made patch op blackboard apis om een unique id te gebruiken in de bb-tmp dir meerdere instances om troughput te verhogen (2 x 5 archive threads) meerdere threads om het qti-locking effect tijdens de restore te verlagen

Results System side : Full Archive of 60k courses in 1 dag Full restore of 60k courses in 60 uur Sysadmin side : Minder stress tijdens de zomermaanden Mogelijkheid tot vloeiende overgangen in zo kort mogelijke tijd User side: Happy end users

Running projects Lopend Archief van actieve cursussen Op basis van BatchImportExport en coconut in latere fase. Queries gebaseerd op J.G.A. Jans BatchExport (INHolland) Dagelijks archive van gebruikte cursussen Opbouw backup archief voor de eindgebruikers Building block om de archives ter beschikking te stellen aan lokale blackboard beheerders Oracle Dataguard setup voor DR

Future Projects Xythos Implementatie voor blackboard Blackboard 8...