Indexy, index-sekven cn a indexov e organizace soubor u

Transcriptie

1 Indexy, index-sekven cn a indexov e organizace soubor u PV 062 Organizace soubor u Jan Staudek Ð Û Å«Æ ±²³ µ ¹º»¼½¾ Ý Verze : jaro 2019

2 Osnova predn asky Indexy, sekvencn struktury index u, index jako tabulka Index-sekvencn organizace soubor u Indexov e organizace soubor u Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 1

3 Motivace indexov an Rychlost reakce na polozen y dotaz patr mezi hlavn probl emy resen e pri n avrhu vesmes vsech datab az Pro vyresen (n ekter ych) dotaz u mnohdy postacuje v datab azi zprstupnit pouze jeden z aznam nebo malou skupinu z aznam u Nalezni vsechny ucty veden e v pobocce v meste X Nalezni v ysi kreditu uctu A-101 Nalezni vsechny ucty vlastn en e Janem Staudkem Postupn e (sekvencn) prohlzen kazd eho jednotliv eho z aznamu v datab azi je neefektivn, pomal e Pro urychlen resen dotaz u se k datab azi (k prim arnmu souboru) dopl nuje pomocn a struktura { sekund arn soubor zv. index (resp. tak e indices, indexfile) Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 2

4 Indexovan y sekvencn soubor Mechanismus indexov an patr mezi obecn e, casto pouzvan e n astroje pro urychlen prstupu k pozadovan ym udaj um autorsk y nebo predmetov y katalog v knihovne, rejstrk v knize,... Proc indexovat sekvencn soubor? Mt moznost volby mezi dv ema alternativn pohledy na soubor Indexovan y pohled: soubor z aznam u, kter y je indexovan y pomoc klce Sekvencn pohled: pristupuje se sekvencn e k fyzicky sousedcm z aznam um, vrac se z aznamy v porad podle klce. Systém student na vysoké škole: indexovan y pohled: prstup k jednotliv ym z aznam um sekvencn pohled: d avkov e ukl ad an klasikac Kartový systém: indexovan y pohled: interaktivn kontrola uct u sekvencn pohled: d avkov e zpracov an plateb Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 3

5 Index Obvykl a forma indexu: {vyhledávací klíč, ukazatel záznamu} vyhled avac klc { atribut (mnozina atribut u) pouzit y( a) pro vyhled an z aznam u v souboru Implementace souboru s indexem (s indexy) prim arn soubor { (indexovan a) data, z aznamy sekund arn soubor { index sekund arnch soubor u (index u) m uze b yt vce nez jeden, pokud je soubor indexovan y vce indexy sekund arn soubor(y) index u m a(maj) obvykle mens rozm er nez prim arn soubor, indexov e z aznamy jsou,,mal e" Index m uze mt vce forem: { sekvencn soubor uspor adan y podle hodnoty vyhled avacho klce, { strukturovan y soubor hodnot klc u do vyhled avacho stromu, { hasovan y soubor,... Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 4

6 Hodnotc metriky index u Typ prstupu do prim arnch dat k z aznamu, ke skupin e z aznam u spl nujcch vyhled avac kriterium Doba prstupu do prim arnch dat Doba vlozen prim arnch dat Doba rusen prim arnch dat Pam et'ov a rezie Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 5

7 Jednoduch y index nad neuspor adan ym souborem Index pobocek podle jimi spravovan ych uct u kladen y dotaz { kde se spravuje účet č....? se res bin arnm hled anm v indexu a zsk anm ukazatele z aznamu indexov y z aznam pro blokovan e z aznamy prim arnho souboru {číslo účtu, ukazatel (blok se záznamem, offset zázn. v bloku)} Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 6

8 Z akladn techniky implementace index u r adn e, line arn indexy tabulka dvojic {vyhledávací klíč, ukazatel záznamu} uspor adan a podle hodnoty vyhled avacho klce indexov e bitov e mapy bitov y vektor pro jednu kazdou zjist'ovanou podmnku hodnoty klce vc. existencn podmnky pozice bit u v bitov em vektoru urcuj lokality z aznam u hodnoty bit u v bitov em vektoru indikuj spln en/nespln en podmnky hasovan e indexy ukazatele z aznam u jsou rovnomerne distribuovan e do r adk u tabulky pomoc hasovac funkce vyhled avacho klce stromov e indexy model relace vyhled avacch klc u pomoc grafov e struktury strom Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 7

9 Z akladn typy index u { hust y index / rdk y index hust y index indexov y z aznam ex. pro kazdou hodnotu vyhled avacho klce rdk y index indexov y z aznam ex. pro vybran e hodnoty vyhled avacho klce vybran e = oddelovace interval u v uspor adan e mnozine hodnot klce Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 8

10 Z akladn typy index u { hust y index / rdk y index Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 9

11 Z akladn typy index u { prim arn index / sekund arn index Prim arn index, primary index, resp. tak e clustering indices necht' je prim arn soubor uspor adan y podle jist eho vyhled avacho klce index klce pouzit eho pro uspor ad an prim arnho souboru nazveme prim arn index prim arn index vesmes b yv a rdk y, m uze b yt i hust y vyhled avac klc prim arnho indexu obvykle b yv a, ale nemus b yt, prim arnm klcem Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 10

12 Z akladn typy index u { prim arn index / sekund arn index sekund arn index, secondary index, non-clustering indices kazd y jin y index vypracovan y k prim arnmu souboru nez prim arn index je urcen y pro resen odpov ed na dotazy zalozen e na jin em vyhled avacm klci nez na klci urcujcm prim arn index podle dotazovacho vyhled avacho klce sekund arnho indexu nen prim arn soubor trd en y sekund arn index mus b yt hust y sekund arnch index u m uze b yt k dan emu prim arnmu souboru vypracov ano vce Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 11

13 Hust y index pro kazdou hodnotu vyhled avacho klce existuje alespo n jeden indexov y z aznam indexov y z aznam indexu m uze prp. odkazovat na kapsu, kter a m uze obsahovat { ukazatele na vsechny z aznamy v prim arnm souboru s jednou konkr etn hodnotou vyhled avacho klce nebo { vsechny z aznamy v prim arnm souboru s jednou konkr etn hodnotou vyhled avacho klce setrd en em podle vyhled avacho klce prklad { v datab az uct u uspor adan e podle csel uct u chceme nal ezt vsechny ucty napr. { veden e jistou pobockou { s v ys z urcit eho intervalu apod. Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 12

14 Hust y index typicky b yv a uspor adan y (podle hodnoty vyhled avacho klce) v ide alnm prpad e se vejde pri otevren souboru do RAM, pak zprstupnen z aznamu podle klce { 1 operace s diskem Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 13

15 Hust y index V uspor adan em souboru podle jist eho klce jsou z aznamy se stejnou hodnotou tohoto klce blokovan e do shluk u a hust y prim arn index m uze obsahovat pouze jedinecn e hodnoty klc u Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 14

16 Hust y (sekund arn) index s kapsami nad bilancnm (v ykazov ym) polem,,stav uctu" Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 15

17 Hust y index slozitost sekvencnho hled an v indexu je obecn e line arn, pr umerne n/2, kde n je pocet klc u v indexu umst en hust eho indexu v RAM usnad nuje pouzit logaritmick eh hled an { index mus b yt trden y { slozitost je pak logaritmick a, log 2 n Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 16

18 Hust y index, ilustrace efektivity Soubor EMPLOYEE obsahuje z aznamy s polozkami (NAME, SSN, ADDRESS, JOB, SAL,... ) Plat: z aznam m a d elku R = 150 B, blok vnejs pameti m a d elku B = 512 B, soubor obsahuje z aznam u Pro ulozen z aznam u souboru se uplat nuje blokovac faktor 3 [z aznamy/blok] ( 512/150 =3) Prim arn soubor s daty okupuje tudz blok u, tj. 5,12 MB Hust y index je vypracov an pro prim arn klc SSN. Plat: D elka SSN je 9 B, ukazatel z aznamu v indexu m a d elku 7 B, indexov a polozka m a tudz d elku 16 B, blokovac faktor polozek indexu m uze tudz b yt 32 ( 512/16 =32), Sekund arn soubor s indexem okupuje /32=938 blok u, cca 0,5 MB Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 17

19 Hust y index, ilustrace efektivity Prim arn soubor s daty NENI trden y, index trden y JE Pak efektivitu pouzit indexu charakterizuje: Bin arn hled an v indexu vyzaduje v pr umeru log /32 = log tj. 10 prstup u na disk pro bloky s polozkami indexu plus 1 prstup pro data Line arn prohlzen nesetrd en eho prim arnho souboru vyzaduje v pr umeru /2 = prstup u na disk pro bloky se z aznamy souboru Zv ysen pamet'ov e n arocnosti pouzitm indexu o 10 % se dos ahne 500-kr at nizs n arocnosti na perifern operace Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 18

20 Rdk y index Z aznamy prim arnch dat mus b yt serazeny sekvencne do porad dan eho vyhled avacm klcem Prim arn soubor s daty JE trden y, rovnez index JE trden y Rdk y index obsahuje pouze vybran e hodnoty vyhled avacho klce { tzv. separ atory interval u hodnot vyhled avacho klce (interval { napr. z aznamy seskupen e v jednom fyzick em bloku na disku, tj. na stope, na v alci,... ) Rdk y index umoz nuje efektivne resit operace vkl ad an a rusen z aznam u, pokud se zmeny odehr avaj v blocch (v intervalech vymezen ych indexem). Index se nemus se korigovat. Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 19

21 Rdk y index Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 20

22 Rdk y index Prklad souboru s rdk ym indexem umst en ym na disku: Diskov e bloky obsahujc data nebo index maj d elku 4 KB Soubor obsahuje 10 6 z aznam u, po 10 umsten ych ve blocch d elky 4096 B, tj. okupuje na disku cca 400 MB, d elka klce je 30 B, d elka ukazatele je 8 B, do bloku 4096 B se vejde 100 indexov ych p ar u a necht' rdk y index souboru odkazuje na prv e z aznamy v blocch, pak index obsazuje blok u, tj. cca 4 MB na disku rdk y index o d elce 4 MB lze umstit pri otevren do RAM bez vetsch probl em u Hled an v souboru s rdk ym indexem { idea: v indexu se nalezne nejv ets mens klc nez hledan y klc relevantn blok se prohled a sekvencn e Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 21

23 Rekapitulace 1- urov nov ych index u Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 22

24 Rekapitulace 1- urov nov ych index u Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 23

25 Z akladn typy index u { jedno urov nov e / vce urov nov e indexy vce urov nov y index { index indexu Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 24

26 Vce urov nov y index ke kazd emu indexu (prv e urovn e) lze vypracovat (rdk y) index 2. urovne, index ukazatel u blok u s indexov ymi p ary 1. urovne Pocet urovn lze bez omezen zvysovat Kazd a urove n indexu mus b yt uspor adan a Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 25

27 Prim arn vce urov nov y index Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 26

28 Metriky pro hodnocen kvality index u z adn a z technik realizace index u nen nejleps ve vsech prpadech kazd a z technik realizace index u m a svoje prednosti a nedostatky na hodnocen vhodnosti / optimality dan e techniky realizace index u pro dan e prostred m a vliv: efektivn e podporovan y typ prstupu slozitost doby prstupu k z aznamu (nalezen z aznamu v pam eti) slozitost doby vlozen z aznamu (vlozen z aznamu + uprava indexu) slozitost doby modikace z aznamu (modikace z azn. + uprava indexu) slozitost doby zrusen z aznamu (zrusen z aznamu + uprava indexu) vynucen a pam et'ov a rezie Casto se vytv ar k jednomu souboru vce index u Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 27

29 Implementacn techniky index u, pripomenut Implementace pomoc tabulek (r adn e / hasovan e indexy) umst en z aznam u v prim arnm souboru se identikuje ukazately sdruzen ymi s hodnotami vyhled avacch klc u tabulkou <klíč, ukazatel> urychlen vyhled av an v indexu se dosahuje trd enm / hasov anm indexu Implementace pomoc bitov e mapy ke kazd e hodnote vyhled avacho krit eria se vypracuje bitov a mapa umst en z aznam u v prim arnm souboru se identikuje pozic bitu v bitov e mape (bitov a mapa = bitov y vektor) hodnoty bit u bitov e mapy indikuj, kter e z aznamy souboru spl nuj vyhled avac kriterium Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 28

30 Implementacn techniky index u, pripomenut Implementace pomoc grafov ych struktur (B stromy) umst en z aznam u v prim arnm souboru se identikuje pomoc ukazatel u sdruzen ymi s hodnotami vyhled avacho klce grafovou strukturou (vyhled avac) strom uzly vyhled avacho stromu reprezentuj hodnoty vyhled avacho klce ukazatel e z aznam u mohou b yt lokalizov any { napr. pouze v listech stromu (B+ stromy) { nebo ve vsech uzlech, (neredundantn B stromy)... z akladn pozadavek kladen y na indexov y strom { vyv azenost Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 29

31 Prklad dynamizace trd en z aznam u sekvencnho souboru Udrzuje se sekvencn soubor z aznam u o osob ach klcem je prjmen osoby z aznamy jsou blokovan e, soubor je uspor adan y blokovac faktor = 4, klc bloku = posledn jm eno v bloku bloky se udrzuj alespo n z poloviny pln e uspor ad an se udrzuje i pri prid av an /odebr an z aznam u pomoc stepen / sl ev an blok u a redistribuce z aznam u mezi bloky retezen blok u tvor dvousmerne v azan y seznam Konstruuje se 1- urov nov y index indexuje se vzdy posledn z aznam v bloku Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 30

32 Prklad dynamizace trd en z aznam u sekvencnho souboru Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 31

33 Prklad dynamizace trd en z aznam u sekvencnho souboru Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 32

34 Prklad dynamizace trd en z aznam u sekvencnho souboru Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 33

35 Probl em implementace velk eho tabulkov eho indexu Co delat, kdyz se cel y index nevejde do vnitrn pameti? Prvn n apad resen pouzije se vce- urov nov y index prim arn soubor a rozs ahl y index jeho z aznam u je ulozen y na disku (mens) index indexu je pri otevren souboru ulozen y v RAM Pocet urovn hierarchie nen nijak omezov an Zn am a efeektivn resen implementace rozs ahl eho indexu vce urov nov ymi indexy pokr yvat hierarchicky uspor adan e oblasti dat na vn ejs pam eti { Index-sekvencn organizace souboru, ISAM (Index-Sequential Access Method) prim arn soubor a rozs ahl y index jeho z aznam u je ulozen y na disku index indexu je ulozen y v RAM Stromove uspor adan e indexy { B-trees, B + trees Prp. lze nahradit indexaci hasovanou organizac souboru Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 34

36 Indexovan e soubory cíl moznost kl ast na soubor vce dotaz u extrahovat (logicky vyclenit) podmnoziny z aznam u v souboru spl nujcch zadanou podmnku vyhled av an bez nutnosti proch azen cel eho souboru pri pouzit sekvencn e organizovan ych soubor u by bylo nutn e prov ad et sekvencn prohled av an cel eho souboru Princip, idea prim arn soubor s daty je obvykle netrden y vypracuj se indexy pro vsechny mozn e/pouzvan e dotazy { vyhled avac klce { nen nutn e rozlisovat prim arn a sekund arn klce { indexy mohou b yt trd en e/hasovan e tabulky nebo hierarchick e Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 35

37 Hodnocen r adn ych index u obecn eho souboru Indexy mus b yt hust e indexy Indexy jsou pri vyhled av an zdrojem podstatn eho zv ysen potrebn eho vyhled avacho v ykonu Pri korekcch prim arnho souboru se mus kazd y hust y index modikovat Korekce index u jsou zdrojem zv ysen ych rezijnch ztr at Soubor lze vzdy uspor adat pouze podle jednoho klce napr. podle prim arnho klce se vytvor trd en y prim arn index a tento prim arn klc denuje i uspor ad an souboru sekvencn proch azen souboru podle sekund arnho klce, tj. pomoc sekund arnho indexu, bude,,drah e", kazd y prstup k z aznamu m uze zsk avat z disku nov y blok Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 36

38 Prm e a neprm e indexov an pomoc sekund arnch index u prm e indexov an sekund arn index v aze s hodnotou vyhled avacho klce ukazatel z aznamu v prim arnm souboru neprm e indexov an sekund arn index v aze s hodnotou vyhled avacho klce hodnotu prim arnho klce a ne ukazatel z aznamu v prim arnm souboru resp., sekund arn index v aze s hodnotou vyhled avacho klce kapsu hodnot prim arnch klc u relevantnch z aznam u v prim arnm souboru tudz, lze prov est reorganizaci, restrukturalizaci prim arnho souboru (napr. zm enou implementacnho sch ematu) bez ovlivn en sekund arnho indexu Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 37

39 Neprm e indexov an pomoc sekund arnch index u Prklad 1 { (sekund arn) index pro atribut,,v yse z ustaku na uctu" prim arnm klcem je,,cslo uctu" Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 38

40 Neprm e indexov an pomoc sekund arnch index u Prklad 2 { (sekund arn) indexy pro atributy,,v yse z ustatku na uctu"a,,jm eno pobocky" Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 39

41 Neprm e indexov an pomoc sekund arnch index u Prklad 3 { dals forma sekund arnch index u { kapsy Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 40

42 Index na b azi bitov e mapy speci aln typ indexu navrzen y pro ortogon aln dotazy dotazy na b azi vce vyhled avacch klc u bitov a mapa { pole / vektor bit u Index na b azi bitov e mapy atributu F je kolekce bitov ych vektor u d elky N (pocet z aznam u), jeden vektor pro kazdou hodnotu atributu F. Vektor pro hodnotu v m a 1 v pozici i, pokud m a z aznam i hodnotu atributu F rovnou v z aznamy v souboru jsou cslovan e sekvencn e, pocnaje 0 indexy na b azi bitov ych map jsou pouziteln e, pokud relevantn atributy nab yvaj,,mal eho"poctu hodnot pohlav (2), mesc (12), platov a trda (10 1 ), st aty,... nebo lze mnohohodnotov e atributy sk alovat (napr. prjmy do trd 0{9 999, , a vyss Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 41

43 Index na b azi bitov e mapy Sc en ar soubor S o n z aznamech a atribut A s dom enou o k prvcch: k bitov ych vektor u a j = a j 1,..., aj n, j = 1, 2,..., k a j i = 0: pro i-t y z aznam S neplat podmnka S.A = α, a j i = 1: pro i-t y z aznam S plat podmnka S.A = α α { jak akoliv podmnka, nejjednoduss je,,existence" bitov e mapy jsou efektivn predevsm pri dotazech na vce atribut u ty se implementuj Booleovsk ymi operacemi nad bitov ymi vektory (or, and, not,...) { napr and = , not = ,... pouzvan e predevsm pro implementace SQL relacn datab azov e servery, typicky az 10 3 prvk u dom eny Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 42

44 Indexovan y soubor, bitov a mapa Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 43

45 Indexovan y soubor, bitov a mapa Soubor S obsahuje z aznam u, Z aznamy maj d elku 1 KB pro S je tedy potrebn y pamet'ov y prostor MB, tj. 0, 5 GB, r adove stovky MB z aznam u bitov y vektor o d elce 64 KB 64KB = = bit u prostor potrebn y pro dom enu atributu s jednotkami hodnot (napr. deset) KB = 640 KB, jednotky MB bitov e mapy pozaduj prostor r adov e jednotek % prostoru S Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 44

46 Komprimovan e bitov e mapy n z aznam u, m hodnot atributu: mn bit u v bitov em indexu pro velk a m m uze b yt v yskyt 1 v bitov em vektoru rdk y mezi v yskyty 1 jsou v yskyty vce (i) nul bitov e vektory lze zobrazovat na m ene nez n bitech pomoc komprese { napr. variantou RLE, Run-Length Encoding: pocet 0, i, se k oduje jako i 2 s prexem 2 denujcm d elku i 2 prex 2 = j 1 jednicek n asledovan ych 0, kde j = log 2 i i = 13 se k oduje: = , j = 4, k odov e slovo je i = 1 se k oduje: 01, i = 0 se k oduje: 00 Pokud p uvodn ret ez 1 a 0 je , resp. barevn e pak komprimovan y vektor reprezentuje pocty nul tj. 13, 0, 3, tj komprimace na 80% Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 45

47 Index-sekvencn organizace souboru b azov e komponenty ve sch ematu souboru: prim arn soubor dat (trd en y podle vyhled avacho klce) indexov a struktura, prim arn index oblast pretecen pro docasn e dynamick e resen anom ali struktura indexu rdk y index, indexuj se bloky obsahujc z aznamy hierarchick e uspor ad an { urove n 0: prim arn soubor trden y podle vyhled avacho klce { urovn e vyss: 1 { rdk y index blokovan ych prim arnch dat, 2 { rdk y index blokovan ych indexov ych p ar u urovne 1,... z aznam v indexu na k-t e urovni obsahuje nejv ets (nejmens) klc z oblasti na k 1 urovni indexovan e tmto z aznamem indexu Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 46

48 Index-sekvencn organizace souboru Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 47

49 Index-sekvencn organizace souboru pouzit pouze operac FETCH { statick y soubor pouzit i operac INSERT { dynamick y soubor oblast pretecen pro resen operac INSERT na kazd em v alci nebo jedna spolecn a pro cel y soubor v oblasti pretecen se z aznamy obvykle ret ez sekvencn e periodicky je vhodn e prov ad et operaci REORGANIZACE { vyprazd nov an oblasti() pretecen, { nov e uspor ad an v oblasti prim arnho souboru indexovan e oblasti v prim arnch datech (str anky) { stopy, v alce, svazky index stop na poc atku kazd eho v alce index v alc u na poc atku kazd eho svazku index svazk u (master index) na poc atku prv eho svazku, pri otevren souboru se umst'uje do RAM Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 48

50 Index-sekvencn organizace souboru pr ace s pretokov ymi oblastmi tak jak se vkl adaj data do souboru, pocet z aznam u v pretokov e( ych) oblasti(ech) roste prstup k z aznam um se zpomaluje resen { reorganizace souboru, { vypr azdn en pretokov e oblasti do prim arn oblasti { prpadn e zv ysen poctu urovn indexu z aznamy index u a z aznamy prim arnho souboru jsou z aznamy r uzn ych typ u alternativn resen { kapsy (ret ezen e seznamy blok u) dynamizace d elky indexovan e oblasti (str anky) prim arnho souboru z indexov e struktury se odkazuje na kapsy kapsy se tvor dynamicky index je statick y, dynamicky se men trden y soubor Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 49

51 Index-sekvencn organizace souboru, probl emy Vlozen z aznamu m uze b yt obtzn a operace vsechny z aznamy s v ets hodnotou klce se mohou posunout Zrusen z aznamu m uze ponechat dru Modikace z aznamu m uze vy ustit na zrusen a vlozen z aznamu pokud se modikuje pole s klcem pouzit ym pro setrd en (a indexaci) mnohdy se proto udrzuj diferencn soubory az do doby o-line reorganizace prim arnho souboru s r ustem poctu z aznam u v souboru v ykon zprstup nov an kles a prohlz se rozs ahlejs indexy sekvencn e se proch azej v ets oblasti vc. pretokov ych oblast reoganizace souboru je casov e n akladn a operce Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 50

52 Rekapitulace Index je samostatn y (uspor adan y) sekund arn soubor ve sch ematu organizace souboru Pro prim arn soubor s 10 6 (a vce) z aznam u index racion alne nelze (resp. lze jen obtzne) umstit do RAM Resen index se nahrad hasovac funkc nebo index se zorganizuje do formy vhodn eho m- arnho vyhled avacho stromu (B-strom,... ) Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 51

53 Rekapitulace Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 52

54 Rekapitulace Jan Staudek, FI MU Brno PV062, Organizace soubor u { Indexy, index-sekvencn a indexov e organizace soubor u 53