Indexen.

Transcriptie

1 Indexen

2 Probleem Snel gegevens terugvinden Gegevens moeten netjes geordend zijn Manier waarop hangt af van gebruik

3 Sequentieel Gesorteerde gegevens, die in volgorde overlopen moeten worden HCR TGO APH AVH JVE 1 (2) HCR 2 (3) TGO 3 (4) APH 4 (5) AVH 5 - JVE

4 Sequentieel Ver wijderen HCR TGO APH AVH JVE 1 (2) HCR 2 (4) TGO (5) AVH 5 - JVE

5 Sequentieel Toe voege n GDS HCR TGO AVH JVE 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (5) AVH 5 - JVE

6 Sequentieel Toe voege n GDS HCR TGO AVH JVE 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (5) AVH 5 - JVE

7 Sequentieel Toevoegen (2) 143 (5) DVT GDS DVT HCR TGO AVH JVE 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE

8 Sequentieel Wanordelijk 143 (5) DVT GDS DVT HCR TGO AVH JVE 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE

9 Sequentieel Reorganisatie JVE GDS DVT HCR TGO AVH JVE 1 (2) HCR 2 (3) GDS 3 (4) TGO 4 (5) AVH 5 (143) DVT

10 Index Terugvinden van specifieke data in sequentieel bestand Overlopen van hele bestand -> traag

11 Kleiner in RAM of minder blocks in te lezen HCR (1) GDS (3) TGO (2) AVH (4) DVT (143) JVE (5) Dense Index 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE 143 (5) DVT

12 Kleiner Gesorteerd houden Binair zoeken HCR (1) GDS (3) TGO (2) AVH (4) DVT (143) JVE (5) Dense Index 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE 143 (5) DVT

13 Binair zoeken 3? < 45? < 8? Elke stap halveert rij rij(i+1) = rij(i) / 2 rij(i) = n / 2 i rij(i) = 1 voor i = log2(n)

14 Sparse Index Nog kleiner Binair + lineair zoeken Des te sparser Des te kleiner Des te meer lineair zoeken GDS (3) AVH (4) DVT (143) 1 (3) HCR 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE 143 (5) DVT

15 Andere oplossing multi-level 1 (3) HCR GDS AVH DVT HCR GDS TGO AVH DVT JVE 2 (4) TGO 3 (2) GDS 4 (143) AVH 5 - JVE 143 (5) DVT

16 Meer indices -> trager aanpassen Secundaire index Dense 1 (3) HCR A205 C205 C208 A015 2 (4) TGO A208 3 (2) GDS A015 4 (143) AVH A JVE A205

17 Bomen Datastructuur voor efficient zoeken én efficient aanpassen Ideaal voor index

18 Vertakkingsfactor Diepte Bomen Wortel Interne knopen Bladeren Zoeken? Toe voege n? Balans is belangrijk!

19 B+ boom van orde n Tussen (n-1)/2 en n-1 sleutels n=4 A015 A205 A208 A217

20 B+ boom van orde n Tussen n/2 en n kinderen (behalve wortel) n= _

21 Zoeken Minstens n 2 kinderen in knoop Op niveau i: minstens n 2 i knopen Boom van diepte d heeft minstens n 2 d bladeren Boom met w waardes kan nooit dieper zijn dan diepte log n/2 (w) -> grotere vertakkingsfactor is sneller zoeken (?) O(n logn/2(w))

22 Toe voege n Zoek juiste blad Voeg daar toe Op juiste plaats Bv: _ 2 6 _

23 Toe voege n Zoek juiste blad Voeg daar toe Op juiste plaats Bv: _ nieuwe emmer

24 Toe voege n Zoek juiste blad Als dit vol is Splits het op Bv: _

25 Toe voege n Zoek juiste blad Als dit vol is Splits het op Bv: _ 2 4 _ 5 6 _

26 Zoek juiste blad Als dit vol is Splits het op Toe voege n En herhaal zonodig Bv: _ 5 6 _

27 Toe voege n In diepte = log n/2 (w) knopen Maximum n sleutels + pointers verplaatsen Dus nlog n/2 (w)

28 Zoek juiste blad Verwijderen Verwijder element uit emmer Als emmer leeg is, verwijder sleutel Bv: _

29 Zoek juiste blad Verwijderen Verwijder element uit emmer Als emmer leeg is, verwijder sleutel Bv: _ 2 6 _

30 Verwijderen Als te weinig sleutels overblijven Redistribueer sleutels Bv: _ 2 6 _

31 Verwijderen Als te weinig sleutels overblijven Redistribueer sleutels Bv: _

32 Verwijderen Als te weinig sleutels overblijven Redistribueer sleutels Bv: _ 2 8 _ _

33 Verwijderen Als te weinig sleutels overblijven Of voeg samen Bv: _ 2 8 _ _

34 Verwijderen Als te weinig sleutels overblijven Of voeg samen Bv: _ _

35 Verwijderen Als te weinig sleutels overblijven Of voeg samen Bv: _???

36 Als te weinig sleutels overblijven Verwijderen Of voeg samen En herhaal! Bv: 8 14???

37 Samengevat Zoeken, toevoegen, verwijderen: O(n logn/2(w)) Als n groter wordt Wordt diepte kleiner Maar constante factor groter

38 Ruimte In B+ boom zit data enkel in bladeren Dus interne knopen zijn pure overhead Variant: B boom Data in interne knopen Maakt wel toevoegen/verwijderen complexer

39 Hash functies Adres niet opslaan, maar berekenen uit sleutel 1 HCR A205 AVH h h( AVH ) = 4 2 TGO A208 3 GDS A015 4 AVH A205 5 JVE A205

40 Probleem Ideaal : h berekent voor elke sleutel een unieke geheugenplaats Maar ruimte van alle mogelijke sleutels is heel groot (of oneindig) 1 AAA - - AAB h h( AAB ) = 2 2 AAB AAC AAC - -

41 Oplossing Geheugenruimte opdelen in hashbuckets AAA AZZ h h( AAB ) = AAA- AZZ BAA- BZZ CAA- CZZ DAA- DZZ

42 Probleem Mogelijkheid tot hash clashes APH h 1 AVH APH Niet 1 record, maar bv. gelinkte lijst AVH Veel hash clashes, betekent traag zoeken

43 Hash functies Goede hash functie verdeelt sleutels zo uniform mogelijk over buckets Heel belangrijk: aantal buckets Te groot: lege buckets & verspild geheugen Te klein: te veel sleutels per bucket & traag Dus: hash functie aanpassen aan grootte van bestand (dynamisch vs. statisch)

44 Indexen voor speciale gevallen

45 Bitmap index 1 HCR M Man: Vrouw: TGO M 3 GDS M 4 AVH V 5 JVE M

46 Evaluatie Moeilijk te onderhouden Heel compact, dus past in RAM Gemakkelijk combineren van verschillende bitmap indexen

47 Combineren Man: Vrouw: & 29: : Man van 30 1 HCR M 2 TGO M 3 GDS M 4 AVH V 5 JVE M Populair in OLAP toepassingen hoeveel examplaren van produkt x verkocht in winkel y (en data verandert weinig)

48 Join index 1 A 2 B 3 C 4 D 5 E x 1 F 2 B 3 G 4 C 5 C (2,2) (3, 4) (3, 5) = 2 -> (2) 3 -> (4, 5)

49 Join index Opslaan: sequentieel, B+ boom, hash Ruilt geheugen voor snelheid bij herhaaldelijk berekenen zelfde join Kan incrementeel worden aangepast Kan eventueel ook in bitmap