Logische Complexiteit Hoorcollege 12

Transcriptie

1 Logische Complexiteit Hoorcollege 12 Jacob Vosmaer Bachelor CKI, Universiteit Utrecht 22 maart 2011

2 Tijdscomplexiteit Inleiding Grote O en kleine o Complexiteitsanalyse van een simpele taal Complexiteitsverschillen tussen modellen van berekening

3 Inleiding In de berekenbaarheidsleer stellen we vragen als: Is taal A TM-beslisbaar? Is A TM-herkenbaar? Is A onbeslisbaar?... In de complexiteitsleer kijken naar: Asymptotisch gedrag van TM s Worst case-analyse Analyse van TM s modulo polynomiale reductie

4 Tijdscomplexiteit Zij M een beslisser-tm. De tijdscomplexiteit van M is gegeven als de functie f M : N N waar f M (n) = max { lengte(run van M op w) w Σ n}. In de praktijk zullen we f altijd afschatten; vaak door middel van O- en o-notatie.

5 Tijdscomplexiteit Zij M een beslisser-tm. De tijdscomplexiteit van M is gegeven als de functie f M : N N waar f M (n) = max { lengte(run van M op w) w Σ n}. In de praktijk zullen we f altijd afschatten; vaak door middel van O- en o-notatie.

6 Grote O Laat g : N + R +. O(g) = { f : N + R + c N +, n 0 N, n n 0 [f(n) cg(n)] }. Gangbaar notatiemisbruik: f(n) = O(g(n)) ipv f O(g). Voorbeeld: 5n 3 + 3n n + 6 = O(n 3 ). Bij logaritmes verdwijnt het grondtal. Immers, als b > 1 dan log b n = log n log b, dus log b n = O(log n). Voorbeeld: 3n log 2 n + 5n log 2 log 2 n + 2 = O(n log n).

7 Grote O Laat g : N + R +. O(g) = { f : N + R + c N +, n 0 N, n n 0 [f(n) cg(n)] }. Gangbaar notatiemisbruik: f(n) = O(g(n)) ipv f O(g). Voorbeeld: 5n 3 + 3n n + 6 = O(n 3 ). Bij logaritmes verdwijnt het grondtal. Immers, als b > 1 dan log b n = log n log b, dus log b n = O(log n). Voorbeeld: 3n log 2 n + 5n log 2 log 2 n + 2 = O(n log n).

8 Grote O Laat g : N + R +. O(g) = { f : N + R + c N +, n 0 N, n n 0 [f(n) cg(n)] }. Gangbaar notatiemisbruik: f(n) = O(g(n)) ipv f O(g). Voorbeeld: 5n 3 + 3n n + 6 = O(n 3 ). Bij logaritmes verdwijnt het grondtal. Immers, als b > 1 dan log b n = log n log b, dus log b n = O(log n). Voorbeeld: 3n log 2 n + 5n log 2 log 2 n + 2 = O(n log n).

9 Kleine o Laat g : N + R +. o(g) = { f : N + R + c R +, n 0 N, n n 0 [f(n) < cg(n)] }. f(n) Alternatieve omschrijving: f(n) = o(g(n)) als lim n g(n) = 0. Voorbeelden: n = o(n) n = o(n log log n) n log log n = o(n log n) n log n = o(n 2 )

10 Kleine o Laat g : N + R +. o(g) = { f : N + R + c R +, n 0 N, n n 0 [f(n) < cg(n)] }. f(n) Alternatieve omschrijving: f(n) = o(g(n)) als lim n g(n) = 0. Voorbeelden: n = o(n) n = o(n log log n) n log log n = o(n log n) n log n = o(n 2 )

11 Kleine o Laat g : N + R +. o(g) = { f : N + R + c R +, n 0 N, n n 0 [f(n) < cg(n)] }. f(n) Alternatieve omschrijving: f(n) = o(g(n)) als lim n g(n) = 0. Voorbeelden: n = o(n) n = o(n log log n) n log log n = o(n log n) n log n = o(n 2 )

12 Complexiteitsanalyse van een simpele taal Beschouw A = {0 k 1 k k 0} en de volgende beslisser M 1 met L(M 1 ) = A. M 1 = Gegeven invoer w: 1. Loop de tape na en verwerp als je een 0 na een 1 ziet. 2. Herhaal zolang er zowel 0 en en 1 en op de tape staan: 2.1 Loop de tape na en kruis één 0 en één 1 door. 3. Als er 0 en of 1 en over zijn, verwerp dan. Anders accepteren.

13 Complexiteitsanalyse van een simpele taal Beschouw A = {0 k 1 k k 0} en de volgende beslisser M 1 met L(M 1 ) = A. M 1 = Gegeven invoer w: 1. Loop de tape na en verwerp als je een 0 na een 1 ziet. 2. Herhaal zolang er zowel 0 en en 1 en op de tape staan: 2.1 Loop de tape na en kruis één 0 en één 1 door. 3. Als er 0 en of 1 en over zijn, verwerp dan. Anders accepteren.

14 Wat is de tijdscomplexiteit van M 1?

15 Wat is de tijdscomplexiteit van M 1? We zien dat de tijdscomplexiteit van M 1 O(n 2 ) is.

16 Wat is de tijdscomplexiteit van M 1? We zien dat de tijdscomplexiteit van M 1 O(n 2 ) is. Definitie Laat t : N + N + zodat n t(n). We definiëren: TIME(t(n)) = { A Σ er is een TM-beslisser M met tijdscomplexiteit O(t(n)) zodat A = L(M) }

17 Wat is de tijdscomplexiteit van M 1? We zien dat de tijdscomplexiteit van M 1 O(n 2 ) is. Definitie Laat t : N + N + zodat n t(n). We definiëren: TIME(t(n)) = { A Σ er is een TM-beslisser M met tijdscomplexiteit O(t(n)) zodat A = L(M) } Dus: A TIME(n 2 ). Kan dit beter?

18 M 2 = Gegeven invoer w: 1. Loop de tape na en verwerp als je een 0 na een 1 ziet. 2. Herhaal zolang er zowel 0 en en 1 en op de tape staan: 2.1 Loop de tape na en kijk of het totale aantal 0 en en 1 en even is. Zo nee, verwerp. 2.2 Loop de tape na; kruis eerst om en om een 0 door, beginnend met de eerst 0. Kruis daarna om en om een 1 door, beginnend met de eerste Loop de tape na om te zien of er nog 1 en of 0 en op de tape staan. Zo ja, verwerp. Zo nee, accepteer.

19 We zien nu dat A TIME(n log n) Dit valt te verbeteren als we een 2-MTM gebruiken.

20 Een MTM voor A = {0 k 1 k k 0} M 3 = Gegeven invoer w: 1. Loop tape 1 na en verwerp als je een 0 na een 1 ziet. 2. Loop de 0 en op tape 1 na en kopieer de 0 en tegelijk naar tape 2; net zolang tot je de eerste 1 vindt. 3. Loop de 1 en op de rest van tape 1 na en kruis ondertussen de 0 en op tape 2 af. Verwerp als de 0 en op tape 2 opraken. 4. Verwerp als er nog 0 en op tape 2 staan. Anders accepteren. Wat is de complexiteit van M 3? Conclusie: model van berekening maakt uit voor tijdscomplexiteit!

21 Een MTM voor A = {0 k 1 k k 0} M 3 = Gegeven invoer w: 1. Loop tape 1 na en verwerp als je een 0 na een 1 ziet. 2. Loop de 0 en op tape 1 na en kopieer de 0 en tegelijk naar tape 2; net zolang tot je de eerste 1 vindt. 3. Loop de 1 en op de rest van tape 1 na en kruis ondertussen de 0 en op tape 2 af. Verwerp als de 0 en op tape 2 opraken. 4. Verwerp als er nog 0 en op tape 2 staan. Anders accepteren. Wat is de complexiteit van M 3? Conclusie: model van berekening maakt uit voor tijdscomplexiteit!

22 Complexiteitsverschillen tussen modellen van berekening Stelling Laat t : N + R + een functie zijn met n t(n). Dan is elke MTM van tijdscomplexiteit t(n) equivalent met een TM van tijdscomplexiteit O(t 2 (n)).

23 S simuleert MTM M S = gegeven invoer w = w 1 w n : 1. Herschrijf de invoer alsvolgt: # w 1 w 2 w n # # # # (k + 1 #-jes). 2. Simuleer een stap van M: 2.1 Ga van links naar rechts en onthoud de symbolen onder de stipjes en hun volgorde. 2.2 Update de virtuele koppen en de tapesegmenten zoals M dat zou doen. 3. Als S een virtuele kop naar rechts op een # duwt, schrijf daar dan en schuif de rest van de tape 1 plaats op.

24 Volgende stap: NTM s. Definitie Als N een NTM-beslisser is dan is de tijdscomplexiteit van N de functie f N (n) = max { diepte evaluatieboom(w) w Σ n}. Stelling Laat t : N + R + een functie zijn met n t(n). Dan is elke NTM van tijdscomplexiteit t(n) equivalent met een TM van tijdscomplexiteit 2 O(t(n)).

25 Volgende stap: NTM s. Definitie Als N een NTM-beslisser is dan is de tijdscomplexiteit van N de functie f N (n) = max { diepte evaluatieboom(w) w Σ n}. Stelling Laat t : N + R + een functie zijn met n t(n). Dan is elke NTM van tijdscomplexiteit t(n) equivalent met een TM van tijdscomplexiteit 2 O(t(n)).

26 NTM s simuleren De TM D heeft 3 tapes: invoertape, simulatietape en adrestape. De laatste twee zijn leeg bij aanvang. D = Gegeven invoer w: 1. Maak de simulatietape leeg en kopieer w van de invoertape naar de simulatietape. 2. Simuleer een beginsegment van een run uit de boom die N bij w zou maken. Kies bij elke stap in de boom een afslag volgens de adressering op de adrestape. Als het adres op of ongeldig is, ga dan naar stap 3. Als je onderweg een verwerpstaat van N tegenkomt, ga dan ook naar stap 3. Accepteer als je een accepteerstaat van N tegenkomt. 3. Vervang het adres op de adrestape door het eerstvolgende adres in de lexicografische ordening en ga naar stap 1.