Datastructuren. Analyse van algoritmen. José Lagerberg. FNWI, UvA. José Lagerberg (FNWI, UvA) Datastructuren 1 / 46

Transcriptie

1 Datastructuren Analyse van algoritmen José Lagerberg FNWI, UvA José Lagerberg (FNWI, UvA) Datastructuren 1 / 46

2 Datastructuren en Algoritmen Datastructuren, 6 ECTS eerstejaars Bachelor INF Datastructuren, 6 ECTS tweedejaars Bachelor KI 1 Organisatie 2 Practicum 3 Inhoud college 4 Analyse van algoritmen 5 ArrayList José Lagerberg (FNWI, UvA) Datastructuren 2 / 46

3 Organisatie college - theorie van datastructuren college - C voor Informatica practicum Java voor KI practicum C voor Informatica Afsluiting 1 Tentamen in 8ste week (moet voldoende zijn, dus 5.6 of hoger) 2 Practicum (moet voldoende zijn, dus 5.6 of hoger) José Lagerberg (FNWI, UvA) Datastructuren 3 / 46

4 Inhoud datastructuren 1 Analyse van Algoritmen 2 Basis Datastructuren Stacks en Queues Lijsten Hash tabellen Priority queues en heaps 3 Zoekbomen Binaire zoekbomen B-bomen AVL bomen, rood-zwart bomen Splay bomen José Lagerberg (FNWI, UvA) Datastructuren 4 / 46

5 Leerdoelen Leerdoelen studenten kunnen operaties op datastructuren en algoritmen classificeren met behulp van de Big-Oh notatie José Lagerberg (FNWI, UvA) Datastructuren 5 / 46

6 Inhoud vandaag 1 Analyse van algoritmen bestuderen van efficiency van algoritme als input grootte verandert, gebaseerd op aantal stappen, computertijd en geheugengebruik 2 Big-Oh notatie Gebruik Big-Oh notatie om algoritme en operaties op datastructuren te karakteriseren 3 Sorteeralgoritmen Bepaal Big-Oh van aantal sorteeralgoritmen 4 ArrayList is datastructuur toegankelijk met index Wat is probleem van ArrayList? José Lagerberg (FNWI, UvA) Datastructuren 6 / 46

7 Datastructuur Datastructuur = Systematische manier om gegevens op te slaan, te wijzigen, en terug te kunnen vinden. Voorbeelden: stapel, wachtrij, lijst, boom José Lagerberg (FNWI, UvA) Datastructuren 7 / 46

8 Algoritme Algoritme = eindige rij instructies om een doel te bereiken José Lagerberg (FNWI, UvA) Datastructuren 8 / 46

9 Worst case, best case, average case Voor probleem van grootte n: Worst case: langste looptijd voor alle mogelijke invoer ter grootte n - bepaal de maximum looptijd van algoritme Best case: kortste looptijd voor alle mogelijke invoer ter grootte n - bepaal de minimum looptijd van algoritme Average case: gemiddelde looptijd voor alle mogelijke invoer ter grootte n - bepaal de gemiddelde looptijd van algoritme José Lagerberg (FNWI, UvA) Datastructuren 9 / 46

10 Voorbeeld van 3 cases Gegeven ongesorteerde rij van n getallen tussen 1 en 100. Probleem: zoek getal 10 Worst case: doorloop hele rij en vindt getal 10 op laatste plek, of helemaal niet Best case: vindt getal 10 op eerste plek van rij Average case: doorloop helft van rij tot getal 10 gevonden José Lagerberg (FNWI, UvA) Datastructuren 10 / 46

11 Running time (looptijd) als functie van grootte input Een algoritme vergt inspanning: tijd, ruimte, (=tijds- of ruimtecomplexiteit) De inspanning neemt toe met de omvang van de input Average-case complexiteit is vaak moeilijk te bepalen We richten ons op de worst case complexiteit José Lagerberg (FNWI, UvA) Datastructuren 11 / 46

12 Experimentele Analyse door implementatie/benchmarking Nadelen Vereist implementatie, slechts steekproeven, Benchmarking: Implementeer je algoritme, test je implementatie uit op input van verschillende grootte en samenstelling, meet de looptijd in seconden en geheugengebruik in bytes teken een grafiek resultaat is hardware- en software-afhankelijk. met andere compiler en andere computer heel ander resultaat mogelijk José Lagerberg (FNWI, UvA) Datastructuren 12 / 46

13 Wiskundige (Asymptotische) Analyse Hoe kunnen we looptijd T (n) van algoritme bepalen uit definitie van algoritme? bepalen van aantal statements in algoritme looptijd T (n) bepalen als functie van invoergrootte n analyse geldt voor willekeurige input, looptijd is onafhankelijk van hardware en software. Asymptotische analyse 1 Groei van T (n) bekijken als n 2 Bepalen van worst case complexiteit van algoritme José Lagerberg (FNWI, UvA) Datastructuren 13 / 46

14 Asymptotische complexiteit Stel dat een algoritme 8n + 5 stappen nodig heeft voor input van grootte n Wat is de betekenis van de 8 en de +5? Als n groot wordt, heeft de +5 geen betekenis meer De 8 is niet nauwkeurig als verschillende operaties verschillende hoeveelheid tijd kosten Fundamenteel is dat de tijd lineair is in n Asymptotische complexiteit: als n groot wordt, vergeet dan alle termen van lagere orde, en beschouw alleen term met hoogste orde José Lagerberg (FNWI, UvA) Datastructuren 14 / 46

15 Complexiteit van algoritme, aantal stappen tellen? Analyse van algoritme voor berekenen van integer exponent s t a t i c i n t exp ( i n t a, i n t n ) { i n t ans = 1 ; w h i l e ( n > 0) { // w h i l e l o o p n k e e r u i t g e v o e r d ans = a ; n = 1 ; r e t u r n ans ; Hoeveel stappen T (n) gebruikt door methode? aantal stappen T (n) = n n T(n) Als n verdubbelt, dan verdubbelt looptijd José Lagerberg (FNWI, UvA) Datastructuren 15 / 46

16 c l a s s Voorbeeld1 { p u b l i c s t a t i c void main ( S t r i n g [ ] a r g s ) { i n t [ ] a = {1, 4, 7, 10, 3, 4, 2, 9 ; i n t i n d e x = s e a r c h ( a, 2 ) ; System. out. p r i n t l n ( i n d e x i s + i n d e x ) ; / zoek naar een waarde i n een a r r a y / s t a t i c i n t s e a r c h ( i n t [ ] x, i n t t a r g e t ) { f o r ( i n t i = 0 ; i < x. l e n g t h ; i ++) { i f ( x [ i ] == t a r g e t ) r e t u r n i ; r e t u r n 1; worst case Als target niet aanwezig loop x.length = n keer uitgevoerd average case Als target wel aanwezig loop gemiddeld n/2 keer uitgevoerd best case Meteen eerste keer raak José Lagerberg (FNWI, UvA) Datastructuren 16 / 46

17 c l a s s Voorbeeld2 { p u b l i c s t a t i c void main ( S t r i n g [ ] a r g s ) { i n t [ ] a = {1, 4, 7, 10, 3, 4, 2, 9 ; i n t [ ] b = {3, 9, 8, 2, 5, 6 ; System. out. p r i n t l n ( arethesame ( a, b ) ) ; / b e p a a l o f twee a r r a y s een z e l f d e element b e v a t t e n / s t a t i c boolean arethesame ( i n t [ ] x, i n t [ ] y ) { f o r ( i n t i = 0 ; i < x. l e n g t h ; i ++) { i f ( s e a r c h ( y, x [ i ] )!= 1) // element gevonden r e t u r n true ; r e t u r n f a l s e ; Loop in arethesame x.length = n keer uitgevoerd Loop binnen search y.length = m keer uitgevoerd Totale executie-tijd evenredig met n * m José Lagerberg (FNWI, UvA) Datastructuren 17 / 46

18 c l a s s Voorbeeld3 { p u b l i c s t a t i c void main ( S t r i n g [ ] a r g s ) { i n t [ ] a = {1, 4, 7, 10, 3, 4, 2, 9 ; System. out. p r i n t l n ( a reunique ( a ) ) ; / b e p a a l o f a r r a y u n i e k e elementen b e v a t / s t a t i c boolean a reunique ( i n t [ ] x ) { f o r ( i n t i = 0 ; i < x. l e n g t h ; i ++) { f o r ( i n t j = 0 ; j < x. l e n g t h ; j ++) { i f ( i!= j && x [ i ] == x [ j ] ) // n i e t u n i e k r e t u r n f a l s e ; r e t u r n true ; worst case is als elementen uniek zijn i-for loop x.length = n keer, j-for loop x.length = n keer If-statement n 2 keer uitgevoerd José Lagerberg (FNWI, UvA) Datastructuren 18 / 46

19 c l a s s Voorbeeld4 { / b e p a a l o f a r r a y u n i e k e elementen b e v a t t e n / s t a t i c boolean a reunique ( i n t [ ] x ) { f o r ( i n t i = 0 ; i < x. l e n g t h ; i ++) { f o r ( i n t j = i + 1 ; j < x. l e n g t h ; j ++) { i f ( x [ i ] == x [ j ] ) r e t u r n f a l s e ; r e t u r n true ; worst case is als elementen uniek zijn eerste keer j-for loop x.length - 1 = n - 1 keer tweede keer j-for loop x.length - 2 = n - 2 keer laatste keer j-for loop 1 keer aantal keren if-statement n (n 1) (n 1) + (n 2) = = 0.5n 2 0.5n 2 José Lagerberg (FNWI, UvA) Datastructuren 19 / 46

20 Gebruik van Big-Oh (Asymptotische notatie) Wat is relatie tussen grootte van input en looptijd van algoritme? 1 als looptijd verdubbelt bij verdubbeling van n, dan algoritme van orde n (lineair) 2 als looptijd verviervoudigt bij verdubbeling van n, dan algoritme van orde n 2 (kwadratisch) 1 eerste algoritme van orde O(n) 2 tweede algoritme van orde O(n 2 ) Deze Big-Oh notatie gebruikt om algoritmen te classificeren: hoe reageren algoritmen op verandering van grootte van input? Bepaling van Big-Oh van algoritme: bekijk loops en of ze genest zijn bekijk hoe vaak een loop wordt doorlopen José Lagerberg (FNWI, UvA) Datastructuren 20 / 46

21 Executietijd T (n) f o r ( i n t i = 0 ; i < n ; i ++) { f o r ( i n t j = 0 ; j < n ; j ++) { s t a t e m e n t f o r ( i n t i = 0 ; i < n ; i ++) { s t a t e m e n t 1 s t a t e m e n t 2 s t a t e m e n t 3 s t a t e m e n t 4 s t a t e m e n t 5 Neem aan statement gebruikt één tijdseenheid en for-loops kosten niets Executietijd T (n) als functie van n is T (n) = n 2 + 3n + 2 T (n) = O(n 2 ) José Lagerberg (FNWI, UvA) Datastructuren 21 / 46

22 Definitie van Big-Oh Definitie Zij f, g : N R. We zeggen f (n) is O(g(n)) als er c R en n 0 N bestaan met c > 0 en n 0 1 zo dat f (n) c g(n) voor n n 0 José Lagerberg (FNWI, UvA) Datastructuren 22 / 46

23 Big-Oh Definitie Zij f, g : N R. We zeggen f (n) is O(g(n)) als er c R en n 0 N bestaan met c > 0 en n 0 1 zo dat f (n) c g(n) voor n n 0 Voorbeeld 2n + 10 is O(n) 2n + 10 cn (c 2)n 10 n 10/(c 2) Neem c = 3 en n 0 = 10 2n n voor n 10 José Lagerberg (FNWI, UvA) Datastructuren 23 / 46

24 Big-Oh Voorbeeld Voorbeeld n 2 is NIET O(n) n 2 cn n c Onmogelijk... c is constante José Lagerberg (FNWI, UvA) Datastructuren 24 / 46

25 Meer Big-Oh Voorbeelden Voorbeeld (7n 2) 7n 2 is O(n). We hebben c > 0 en n 0 1 nodig met 7n 2 cn voor n n 0. Neem c = 7, n 0 = 1. 7n 2 7n voor n 1 José Lagerberg (FNWI, UvA) Datastructuren 25 / 46

26 Big-Oh voorbeeld Voorbeeld (3n n 2 + 5) 3n n is O(n 3 ). We hebben c > 0 en n 0 1 nodig met 3n n cn 3 voor n n 0. Neem c = 4 en n 0 = 21. 3n n n 3 voor n 21. José Lagerberg (FNWI, UvA) Datastructuren 26 / 46

27 Big-Oh voorbeeld Voorbeeld (3 log n + 5) 3 log n + 5 is O(log n). We hebben c > 0 en n 0 1 nodig met 3 log n + 5 c log n voor n n 0. Je kunt nemen c = 4 en dan is n 0 = 32. (log 2 5 = 5 log n) Of je kunt nemen c = 5 en dan is n 0 = 7. (log 2 5/2 = 5/2 log n). 3 log n log n voor n log n log n voor n 7. José Lagerberg (FNWI, UvA) Datastructuren 27 / 46

28 Big-Oh begrenst de groei van boven De uitspraak f (n) is O(g(n)) betekent dat het groeitempo van f (n) niet groter is dan dat van g(n). Big-Oh Regels a k n k + a k 1 n k 1 + a 1 n + a 0 is O(n k ): laat constanten en kleine orde-termen weg! Zeg 2n is O(n) i.p.v. 2n is O(n 2 ) (minimale) 3n + 5 is O(n) i.p.v. 3n + 5 is O(3n). José Lagerberg (FNWI, UvA) Datastructuren 28 / 46

29 Meest voorkomende groeitempo s O(1) constant bepalen of getal even of oneven O(log(n)) logaritmisch binair zoeken in gesorteerd array O(n) lineair zoeken van item in ongesorteerd array O(n log(n)) log-lineair FFT, heap sort, merge sort O(n 2 ) kwadratisch bubble-, insertion-, selection sort O(n 3 ) derdemachts O(2 n ) exponentieel traveling salesman problem O T(50) T(100) T(100)/T(50) O(1) O(log(n)) O(n) O(n log(n)) O(n 2 ) O(n 3 ) O(2 n ) Table: uit Datastructures van Koffman en Wolfgang José Lagerberg (FNWI, UvA) Datastructuren 29 / 46

30 José Lagerberg (FNWI, UvA) Datastructuren 30 / 46

31 Opgaven Opgave 1 Hoe vaak worden de statements in de binnenste loop uitgevoerd? Wat is de orde van dit programmaonderdeel? for (int i = 0; i < n; i++) { for (int j = 0; j < n; j++) {... Oplossing aantal keren is n n = n 2 orde O(n 2 ) José Lagerberg (FNWI, UvA) Datastructuren 31 / 46

32 Opgaven Opgave 2 Hoe vaak worden de statements in de binnenste loop uitgevoerd? Wat is de orde van dit programmaonderdeel? for (int i = 0; i < n - 1; i++) { for (int j = i + 1; j < n; j++) {... Oplossing aantal keren is ((n 1) + (n 2) + + (1)) = n(n 1) 2 = 0.5n 2 0.5n orde O(n 2 ) José Lagerberg (FNWI, UvA) Datastructuren 32 / 46

33 Opgaven Opgave 3 Hoe vaak worden de statements in de loop uitgevoerd? Wat is de orde van dit programmaonderdeel? for (int i = 1; i < n; i *= 2) {... Oplossing Loop wordt uitgevoerd voor de volgende waarden van i: 1, 2, 4, 8, 16, 32,..., 2 k 1 met 2 k n 2 k 1 n 2 k k 1 log n k orde O(log n) José Lagerberg (FNWI, UvA) Datastructuren 33 / 46

34 Opmerking Big-Oh notatie drukt een relatie tussen functies uit Het zegt niet wat de functies zijn! Functie links hoeft niet de worst-case running time te zijn Voorbeeld Binair zoeken in gesorteerd array van grootte n We zullen later zien dat: worst-case running time is O(log n) best-case running time is O(1) gemiddelde running time is O(log n/2) = O(log n) geheugengebruik is O(n) José Lagerberg (FNWI, UvA) Datastructuren 34 / 46

35 De buren van Big-Oh ondergrens f (n) is Ω(g(n)) c > 0, n 0 1, n n 0 : f (n) c g(n) bovengrens én ondergrens f (n) is Θ(g(n)) c, c > 0, n 0 1, n n 0 : c g(n) f (n) c g(n) dwz. f (n) is O(g(n)) en Ω(g(n)) José Lagerberg (FNWI, UvA) Datastructuren 35 / 46

36 Sorteeralgoritmen Fundamenteel probleem van informatica: sorteren lijst Bubble-Sort O(n 2 ) Selection-Sort O(n 2 ) Insertion-Sort O(n 2 ) Merge-Sort O(n log n) Quick-Sort O(n log n) José Lagerberg (FNWI, UvA) Datastructuren 36 / 46

37 Vergelijking O(n 2 ) sorteeralgoritmen José Lagerberg (FNWI, UvA) Datastructuren 37 / 46

38 Vergelijking O(n log n) sorteeralgoritmen José Lagerberg (FNWI, UvA) Datastructuren 38 / 46

39 ArrayList is datastructuur met index Toegang elementen in willekeurige volgorde met index lengte array is vast toevoeging add(int index, E e) op bepaalde plek schuift andere elementen op (van orde O(n)) weghalen remove(int index) op bepaalde plek schuift andere elementen terug (van orde O(n)) als ArrayList vol, moet nieuw groter array gealloceerd worden en oude data hierin gecopieerd worden de add(e e) operatie voegt element toe aan einde lijst (van orde O(1)) wat kost deze add(e e) operatie gemiddeld? (volgende week) I n d o c u m e n t a t i e van A r r a y L i s t The add o p e r a t i o n r u n s i n a m o r t i z e d c o n s t a n t time, t h a t i s, adding n e l e m e n t s r e q u i r e s O( n ) time. José Lagerberg (FNWI, UvA) Datastructuren 39 / 46

40 Toevoegen aan en weghalen uit ArrayList A r r a y L i s t <S t r i n g > l i s t = new A r r a y L i s t <S t r i n g >(); l i s t. add ( Jansen ) ; l i s t. add ( P i e t e r s e n ) ; l i s t. add ( D i r k s e n ) ; l i s t. add ( Arends ) ; System. out. p r i n t l n ( l i s t ) ; l i s t. add ( 2, Willems ) ; System. out. p r i n t l n ( l i s t ) ; l i s t. add ( Burger ) ; System. out. p r i n t l n ( l i s t ) ; l i s t. remove ( 0 ) ; System. out. p r i n t l n ( l i s t ) ; [ Jansen, P i e t e r s e n, Dirksen, Arends ] [ Jansen, P i e t e r s e n, Willems, Dirksen, Arends ] [ Jansen, P i e t e r s e n, Willems, Dirksen, Arends, Burger ] [ P i e t e r s e n, Willems, Dirksen, Arends, Burger ] José Lagerberg (FNWI, UvA) Datastructuren 40 / 46

41 Reallocatie van List a b s t r a c t S i m p l e L i s t < > I L i s t / \ add ( ) / \ s i z e ( ) / \ c l e a r ( ) / \ a b s t r a c t r e s i z e ( ) / \ S i m p l e L i s t D o u b l i n g S i m p l e L i s t F i x e d r e s i z e ( ) r e s i z e ( ) José Lagerberg (FNWI, UvA) Datastructuren 41 / 46

42 Reallocatie van List p u b l i c i n t e r f a c e I L i s t { p u b l i c void add ( Object x ) ; p u b l i c i n t s i z e ( ) ; p u b l i c void c l e a r ( ) ; p u b l i c a b s t r a c t c l a s s S i m p l e L i s t implements I L i s t { p r i v a t e s t a t i c f i n a l i n t INIT SIZE = 1 0 ; Object [ ] mycon ; i n t mysize ; p u b l i c S i m p l e L i s t ( ) { mycon = new Object [ INIT SIZE ] ; mysize = 0 ;... José Lagerberg (FNWI, UvA) Datastructuren 42 / 46

43 Voorbeeld van eigen SimpleList methoden p u b l i c void add ( Object x ) { i f ( s i z e ( ) == mycon. l e n g t h ) r e s i z e ( ) ; mycon [ mysize ] = x ; mysize++; a b s t r a c t void r e s i z e ( ) ; p u b l i c i n t s i z e ( ) { r e t u r n mysize ; p u b l i c void c l e a r ( ) { mycon = new Object [ 1 0 ] ; mysize = 0 ; José Lagerberg (FNWI, UvA) Datastructuren 43 / 46

44 Fixed of Doubling p u b l i c c l a s s S i m p l e L i s t F i x e d extends S i m p l e L i s t { void r e s i z e ( ) { Object [ ] temp = new Object [ s i z e ( ) ] ; System. a r r a y c o p y (mycon, 0, temp, 0, s i z e ( ) ) ; mycon = temp ; p u b l i c c l a s s S i m p l e L i s t D o u b l i n g extends S i m p l e L i s t { void r e s i z e ( ) { Object [ ] temp = new Object [ s i z e ( ) 2 ] ; System. a r r a y c o p y (mycon, 0, temp, 0, s i z e ( ) ) ; mycon = temp ; José Lagerberg (FNWI, UvA) Datastructuren 44 / 46

45 Fixed of Doubling A r r a y L i s t <I L i s t > l i s t s = new A r r a y L i s t <I L i s t >(); l i s t s. add ( new S i m p l e L i s t D o u b l i n g ( ) ) ; l i s t s. add ( new S i m p l e L i s t F i x e d ( ) ) ; f o r ( I L i s t l i s t : l i s t s ) { System. out. p r i n t l n ( l i s t. g e t C l a s s ( ). getsimplename ( ) ) ; t e s t L i s t ( l i s t ) ; s t a t i c void t e s t L i s t ( I L i s t l i s t ) { f o r ( i n t i = 1000; i < ; i = 2){ long s t a r t = System. c u r r e n t T i m e M i l l i s ( ) ; f o r ( i n t j = 0 ; j < i ; j ++) l i s t. add ( j ) ; long s t o p = System. c u r r e n t T i m e M i l l i s ( ) ; show ( Time to add + i + e l e m e n t s + ( s t o p s t a r t ) + m i l l i s e c o n d s. ) ; l i s t. c l e a r ( ) ; José Lagerberg (FNWI, UvA) Datastructuren 45 / 46

46 java -Xint ListTester % j a v a X i n t L i s t T e s t e r S i m p l e L i s t D o u b l i n g Time to add 1000 e l e m e n t s 1 m i l l i s e c o n d s. Time to add 2000 e l e m e n t s 1 m i l l i s e c o n d s. Time to add 4000 e l e m e n t s 1 m i l l i s e c o n d s. Time to add 8000 e l e m e n t s 3 m i l l i s e c o n d s. Time to add e l e m e n t s 5 m i l l i s e c o n d s. Time to add e l e m e n t s 10 m i l l i s e c o n d s. Time to add e l e m e n t s 21 m i l l i s e c o n d s. Time to add e l e m e n t s 44 m i l l i s e c o n d s. S i m p l e L i s t F i x e d Time to add 1000 e l e m e n t s 0 m i l l i s e c o n d s. Time to add 2000 e l e m e n t s 0 m i l l i s e c o n d s. Time to add 4000 e l e m e n t s 2 m i l l i s e c o n d s. Time to add 8000 e l e m e n t s 2 m i l l i s e c o n d s. Time to add e l e m e n t s 5 m i l l i s e c o n d s. Time to add e l e m e n t s 16 m i l l i s e c o n d s. Time to add e l e m e n t s 36 m i l l i s e c o n d s. Time to add e l e m e n t s 117 m i l l i s e c o n d s. José Lagerberg (FNWI, UvA) Datastructuren 46 / 46