H10: Persistentie MSO, 2 e deel: Ontwikkeling. Mapping OO ontwerp naar DB Optimaliseren van DB ontwerp (normalisatie, indexeren, enz)

Transcriptie

1 H10: Persistentie MSO, 2 e deel: Ontwikkeling Mapping OO ontwerp naar DB Optimaliseren van DB ontwerp (normalisatie, indexeren, enz)

2 2 Persistentie Org. term: persistence, to pesist te blijven bestaan. Een applicatie kan ineens crashen (bugs, stroom uitval, enz). Je wil je data redden! Persistentie onderdeel van je applicatie die data op een permanente medium opslaat. Files Database

3 Hoe belangrijk? Erg belangrijk in een bedrijfsapplicatie zijn data vaak erg waardevol. Omdat je app kan op ieder moment crashen, in de praktijk wordt data vaak na iedere save/submit van de klant ook direct in de db opgeslagen. 3

4 Uitdaging Betrouwbaar geen data verlies of stuk backup, rollback Prestatie (performance) snel je data te kunnen querien / updaten Concurrentie apps met meerdere cliënten zijn nu gewoon. 4

5 Concurrentie ACID transacties Atomic een transactie wordt nooit half uitgevoerd (volledig of helemaal niet). Consistent een transactie die de DB s constraints zou breken wordt geweigerd. ge-isoleerd tussen toestanden van een transactie zijn niet door andere transacties zichtbaar. 5 Durabel als een transactie voltooit, effect op DB is persistent.

6 File vs DB File goedkoop minder boilerplate je zou rollback, query, concurrentie, enz zelf moeten programmeren (voor zover nodig) geschikt voor kleine apps DB andersom 6

7 Relationeel DB Meest gebruikte DB relationeel bewezen technologie. In wiskunde, een relatie R : A B C is een verzameling van tupels uit A B C zoals: { (a 1,b 1,c 1 ), (a 2,b 2,c 2 ) } Een tabel is een relatie: A B C a 1 b 1 c 1 a 2 b 2 c 2 7

8 Typische architectuur Presentatie (User Interface) laag Bedrijfslogica (Probleemdomein /PD ) laag Klant bestelt * Product 8 Persistentie (Data Access Management / DAM) laag DB save, load, query OrderNr KlantID Naam Staat Tax Black MD William CA William CA Berry DC Berry DC 0.06

9 Impendance mismatch Je ontwerpt met UML, en implementeert in een OO taal. Echter, de meeste DB technologieën zijn relationeel. Data zijn in tabellen georganiseerd. Geen direct ondersteuning voor het opslaan van objecten. 9 Oplossing? Zelf de mapping implementeren? veel werk! Object-relationele DB OO DB Mapping frameworks

10 Entity Relationship (ER) Diagram Klant ID {PK} Naam Leeftijd bestelt * Product ID {PK} Naam Prijs Klant ID Naam Leeftijd 10 Bob 6 11 Patrick 7 Product ID Naam Prijs 1 Appel 10 2 Peer 15 Bestelling 10 KlantID ProdID

11 ERD en klasse diagram Klant Naam Leeftijd bestelt * Product Naam Prijs Impliciet ID Navigatie Klant ID {PK} Naam Leeftijd bestelt * Product ID {PK} Naam Prijs Expliciet PK Geen concept van navigatie 11

12 ERD en klasse diagram Auto Naam = Toyota Prijs = 2000 Bouwjaar = 2000 Auto Bouwjaar Product Naam Prijs Auto ID {PK} Bouwjaar 0..1 is extensie van 1 Product ID {PK} Naam Prijs traditioneel ERD kent geen inheritence. Auto 12 ID Bouwjaar Auto_Product AutoID ProdID Product ID Naam Prijs 1 Appel 10 2 Totoya Toyota 5000

13 Nog meer vraagstukken Persoon Naam = Bob Leeftijd = 6 ID Naam Leeftijd 10 Bob 6 11 Octo 7 Persoon Naam = Octo Leeftijd = 7 Vrienden Persoon Persoon Persoon Hoe sla je een complexe object Octo op in tabellen? Hoe haal je het terug? Navigatie door objecten vs relationele query. Hoe zit het met object encapsulatie? 13

14 Zelf doen * Persoon Naam * heeft vrienden Persoon Naam = Octo Vrienden PersoonDAO find(id) : Persoon insert(persoon) getvrienden(id) : Collection<Persoon> Persoon Persoon DB 14

15 Zelf doen geef een plat object terug! find(id) { qry = select * from PERSOON where ID = + id result = connection.executeqry(qry) return new Persoon(result.getString( Naam )) } Persoon Naam = Octo Vrienden PersoonDAO find(id) : Student insert(persoon) getvrienden(id) : Collection<Persoon> Persoon Persoon Navigatie nu indirect via deze. 15 DB

16 Object-Relationele DB / ORDB CREATE TYPE Persoon AS OBJECT ( Naam CHAR(20) Vrienden SET (REF Persoon) ) CREATE TYPE Klant UNDER Persoon( lidnr INT ) CREATE TABLE PERSOON OF TYPE Persoon INSERT INTO PERSOON VALUES (Klant ( Bob", 123, 10)) SELECT p.vrienden FROM Persoon p WHERE p.naam = Bob 16

17 Object-Relationele DB / ORDB Relationele DB, uitgebreid met OO concepten: User Defined Type class Inheritence REF object ID Ingebouwde navigatie auto.eigenaar.vrienden SET (van REFs) to represent navigable OO one-tomany Zoals in SQL 1999 Producten: Oracle, PostgreSQL 17 Niet native in bijvb. Java. Je zou je DAO nog steeds zelf moeten bouwen maar minder ingewikkeld.

18 Java Persistence Architecture / JPA javax.jpa, implementatie: Apache OpenJPA Entity manager gratis DAO EntityManager em = get em.gettransaction().begin() em.find(persoon.class, 20) em.persist(bob) em.gettransaction().commit() Je moet nog een mapping specificeren 18

19 Object-Relationeel Mapping /ORM In welke tabel sla je objecten van klasse C op? In welke kolommen sla je de attributen van PERSOON ) class ID ) private int id getid() { return id } getnaam() { return naam } getvrienden() { return vrienden NAAM ) private String naam private Collection<Persoon>

20 ORM Je moet ook nog een persistence descriptor maken. In een XML bestand, specificeer: Waar is je implementatie van EntityManager? Waar is de DB, hoe maak je verbinding met DB? Welke klassen neem je mee in de O/R mapping? Nog steeds gedoe, maar je hebt nu veel minder boiler plate Vergelijkbaar technologie: ORM framework zoals Hibernate. 20

21 OO DB Zoals DB4O Er is geen relationele mapping Objecten zijn direct opgeslagen. ID Naam Leeftijd Persoon Naam = Octo Vrienden 10 Bob 6 ID Naam Prijs 11 Patrick 1 Appel Peer 15 Persoon Persoon 21

22 OO DB Code is schoner : native query in Java goed of slecht? db = Db4o.openFile( MijnOODB ) db.get(new Persoon(0, Bob )) db.set(octo) List <Persoon> result = db.query(. p.leeftijd >= 5) db.close() 22 OODB of RDB? Coding overhead is belangrijk, maar er zit nog meer - later.

23 Terug: OODB of RDB? Medische historie van een persoon wat willen we zien? Adres, lijst van klachten, lijst van voorgeschreven medicijnen. lijst of tabel achtige informatie makkelijk met een joint op RDB. Je wil een rijke structuur OO, of ORDB historie arts klacht klacht klacht aantekening medicijn 23 medicijn

24 OODB of RDB? Recursieve navigatie geef alle vrienden van vrienden van x Persoon Naam = Octo Vrienden Persoon Persoon Je moet complexe objecten persisten, je doet veel navigatie OODB is beter en sneller. Platte objecten, je doet vaak query op basis van datadomein (ipv navigatie) RDB 24

25 ORDB vs OODB ORDB Eigen (uitgebreid) query taal (SQL) ondersteunt zowel navigatie en SQL query OODB Zoals in DB40: geen abstracte query taal Integreert goed met Java Voorstellen voor query taal: Xpath, CTL 25

26 Verbeteringen op je ontwerp Op je db-schema: normalisatie en de-normalisatie ID Naam Prod ProdNaam 1035 Bob 555 Appel 1123 Patrick 444 Peer 2242 Octo 111 Aardbei 444 Peer Data redundatie niet zuinig, en leid ook tot problemen en anomalieën. Op fysieke dataontwerp : indexing en clustering 26

27 Normalisatie Transformatie op je tabellen om data redundantie te minimaliseren geen informatie verlies! 1NF.. 3NF ID Naam Prod ProdNaam 1035 Bob 555 Appel 1123 Patrick 444 Peer 2242 Octo 111 Aardbei 444 Peer leidt tot problemen met query en joint. 27 1NF : geen herhalende groepen, en heeft een primaire sleutel.

28 Identificeer attribuut-afhankelijkheden In een tabel T, A,B C (de combo van attributen A,B bepaalt C) als aan de hand van de waarden van A en B kunnen we de waarde van C in T bepalen. 28 ID Naam Prod ProdNaam 1035 Bob 555 Appel 1123 Patrick 444 Peer 2242 Octo 111 Aardbei 2242 Octo 444 Peer Partiële afhankelijkheid redundantie.

29 2NF 2NF: 1NF en de tabel bevat geen partiële afhankelijkheid. ID Naam Prod ProdNaam Tabel BESTELLING ID Naam ID ProdID ID Naam Tabel PERSOON Tabel BESTELLING 555 Appel 444 Peer 29 Tabel PRODUCT

30 3NF Transitieve afhankelijkheid A A B in T (Of, er is A B waar A geen onderdeel is van prim.sleutel) weer redundantie. Tabel PERSOON ID Naam Stad Prov 0 Bob Utrecht UTR 1 Patrick Utrecht UTR 2 Bob Amsterdam NH 3NF: 2NF, en geen trans. afhankelijkheden. Stad Prov 30 ID Naam Stad Tabel PERSOON Utrecht Amsterdam Tabel STAD UTR NH

31 Denormalisatie ID Naam Stad Stad Prov Tabel PERSOON Tabel STAD Als je app vaak naar de stad en prov van persoon x vraagt moet je nu eerst een join doen. Denormalisatie zet het terug naar 2NF. Overweeg de tradeoff tussen query snelheid en anomalieën tgv redundantie. 31

32 Fisieke db-ontwerp Uiteindelijk worden tabellen in fysieke bestanden in H-schijven opgeslagen. De formaat en technieken van deze bestanden bepalen ook de prestatie. Je beslist: Welk formaat? (vb: heap, of met index) Mate van indexatie Wel of niet te clusteren 32

33 Index ID Naam Stad Tabel PERSOON ID als index fysieke opslag Hoe vind je persoon x in de opslag? de records een voor een aflopen Aflopen van een index-tabel is veel sneler! 33

34 Secundaire indexen Je mag ook meerdere indextabellen introduceren ID Naam Stad Tabel PERSOON met ID als index Geef de record van persoon x met naam Bob moet je weer hele tabel aflopen intro Naam als index! Trade off : Extra ruimte nodig per indextabel rekentijd overhead bij update en delete 34

35 Cluster ID Naam PID Kind Tabel PERSOON Tabel OUDER App vraagt vaak naar joint van PERSOON en OUDER cluster. ID Naam Kind 0 Bob Bob Bob Patrick 0 cluster block, kan geindexeerd 35 cluster sleutel

36 Cluster ID Naam Kind 0 Bob Bob Bob Patrick 0 niet goed als je: vaak update/delete doet vaak PERSOON afzonderlijk moet aflopen 36

37 Ruimte estimatie Hoeveel ruimte heb ik nodig medebepalend voor keuze DB engine en hardware. Kijk ook vooruit! Stappen (met een voorbeeld) tabel BESTELLING, 1M records groei 15% per jaar 2M in 5 jaar tijd. 37 Gemiddelde ruimteverbruik per rij, of maak een schatting: ID VARCHAR(10) 10 bytes Naam VARCHAR(100) 50 bytes Totaal 200 bytes

38 Ruimte estimatie Totaal voor tabel BESTELLING 200 * 2M bytes Bereken ruimte overhead van indextabellen Stel ID, en Postcode als indexen In de orde van d*2m per indextabel Andere overhead DB engine specifiek Doe dit voor de rest van tabellen. 38