String Matching. Algoritmiek

Transcriptie

1 String Matching Algoritmiek

2 String Matching Gegeven string (haystack): aabaabbabaaba zoek patroon abba (needle) 4 algoritmen: Naïef Rabin-Karp Eindige Automaat Knuth-Morris-Pratt 2

3 String Matching (formeel) Tekst A[0 n 1], patroon P[0 m 1] Wil: k zodat A k k + m = P[0 m 1] Substring met lengte m van A die begint op positie k Tekst is over alfabet Σ ({0,1}, {A, B,, Z}, [0,255], o.i.d.) 3

4 Naïef NaiveMatch(A,P) for i := 0 to n-m-1 if Checkmatch(A,i,P) yield i return Bekijk alle mogelijke shifts Looptijd? CheckMatch(A,k,P) for i := 0 to m-1 if A[k+i] P[i] return false return true 4

5 Rabin-Karp Idee: vat strings op als getallen in base Σ hallo is base 26 (= ) is base 2 (= 20) Vergelijk getallen ipv. strings 5

6 Voorbeeld Zoek orit in algoritme orit = = algo = = lgor = = gori= = orit= =

7 Rabin-Karp (1) RK1(A,P) H = String2Int(P) for i := 0 to n-m-1 if String2Int(A[I i+s]) = H yield i return String2Int(A) r = h for i := 0 to n-1 h := Σ h + A[i] return h Looptijd? 7

8 Snel herberekenen Herberekenen kan in O 1 door te schuiven H 0 = H 1 = Algemeen: H i + 1 = A i + m Σ (H i A i Σ m 1 ) Rolling Hash 8

9 Rabin-Karp (2) RK2(A,P) ph = String2Int(P) sh = String2Int(A[1 m]) for i := 0 to n-m-1 if ph = sh yield i sh := sh Σ + A[i+m] A[i] Σ m return Looptijd? 9

10 Wat schiet dit op? Hash is 32-bit integer: werkt alleen voor m 5 (26 7 > 2 32 ) Idee: bekijk getallen modulo q Je kan alle tussenresultaten mod q nemen, resultaat blijft gelijk 10

11 Voorbeeld = (mod 23) 1 1 (mod 23) = (mod 23) = (mod 23) = (mod 23) Rekent nooit met getallen > q Σ 11

12 Rabin-Karp (3) RK3(A,P) ph = String2Int(P) % q sh = String2Int(A[0 m-1]) % q for i := 0 to n-m-1 if ph = sh yield i sh := sh Σ + A[i+m] A[i] Σ m % q return 12

13 Spurious Hits Zoek orit in algoritme; orit = = mod 17 algo = = mod 17 lgor = = mod 17 13

14 Rabin-Karp (4) RK4(A,P) ph = String2Int(P) % q sh = String2Int(A[0 m-1]) % q for i := 0 to n-m-1 if ph = sh && CheckMatch(A,i,P) yield i sh := sh Σ + A[i+m] A[i] Σ m % q return 14

15 Looptijd O(n) voor het checken van de hash, PLUS: 1. O(m) per gevonden substring 2. O(m) per spurious hit Wat is het aantal spurious hits? 15

16 Gemiddelde looptijd Aaname: q vast, tekst vast, patroon random Kans dat het patroon zelfde hash heeft als een gegeven shift van de tekst is 1/q E spurious hits = E Σ i I shift i is hit = Σ i E I shift i is hit = Σ i 1/q = n/q Gemiddelde looptijd: O n + nm/q 16

17 Aanvallen! Er zijn superslechte invoeren te bedenken Tekst: aaaaaaaaaaaaaaa, patroon: aaaaaaxx Een aanvaller kan ons systeem platleggen met slechte invoer (DOS-aanval) Oplossing: maak q random (priem) 17

18 Verwachte looptijd Gemiddeld v.s. Verwacht Bekijk vaste strings en shift orit = = lgor = = Wanneer spurious hit? 18

19 Verwachte looptijd orit = = lgor = = H A k k + m H P mod q H A k k + m H P 0 (mod q) = = Spurious hit als q een van de priemfactoren is 19

20 Rabin-Karp Rolling hash met O(1) updates Uit te breiden naar 2D (en 3D, ) String matching in verwacht O n + mk + m sp. hits = O(n + mk) tijd Nog wel O m tijd per echte hit Veel hits = veel tijd 20

21 Matching met Eindige Automaat Eindige Automaat/Finite Automaton O(n) tijd met O m Σ preprocessing Geen kosten voor hits 21

22 Eindige Automaat Toestanden: Q Overgangen: δ: Q Σ Q 22

23 Eindige Automaat Toestanden: Q Overgangen: δ: Q Σ Q niks niks eten eten,niks eten 23

24 Constructie (formeel) m + 1 states: niks gematched, 1 gematched,, n gematched (alles) δ i, x = i + 1 als x = P[i] de grootste j i zodat P i j i 1 = P[0 j 2] en P j 1 = x 0 indien zo n j niet bestaat 24

25 Constructie (informeel) We weten dat P[0 i 1] het huidige stuk tekst matcht Toevoegen karakter x Als x = P[i] matchen we één karakter meer Anders zoeken we de langste suffix van P 0 i 1 x die ook een prefix van P is P = abbaba: als je na abbab een b ziet, is de langste suffix abbabb 25

26 DFA Matcher DFA-Match(A,P) s := 0 δ := overgangsfunctie van P for i := 0 to n-1 s := δ(s, A[i]) if s = m yield i-m+1 return 26

27 Bouwen van δ Kan in O m 3 Σ met naïef algoritme Kan ook in O m Σ Finite Automata: je kan op iedere reguliere expressie matchen O(n) tijd, O m Σ preprocessing Worst case: O m 2 preprocessing én ruimte 27

28 Knuth-Morris-Pratt Verbetering van Eindige Automaat Automaat: indien x een mismatch is, kijk welke suffix van P 0 i 1 x een prefix van P is KMP: kijk alleen naar P 0 i 1, niet naar x! In geval van mismatch schuift i niet verder 28

29 KMP Matcher KMP-Match(A,P) s := 0 π := prefixfunctie van P for i := 0 to n-1 if A[i] = P[s] s := s + 1 else if s > 0 s = π[s] i := i - 1 if s = m yield i-m+1 ; s = π[s] ; i := i - 1 return 29

30 Prefixfunctie π s = grootste j < s zodat P 0 j 1 = P[s j s 1] Opmerking 1: je kan deze j s enumereren while(j > 0) j = π[j] yield j Geeft alle j s die aan de eis voldoen 30

31 Prefixfunctie while(j > 0) j = π[j] yield j π s = grootste j < s zodat P 0 j 1 = P[s 1 j s 1] Opmerking 1: je kan deze j s enumereren Opmerking 2: splits de eis in twee delen a) P 0 j 2 = P s 2 j s 2 b) P j 1 = P[s 1] a) kun je met opmerking 1 bepalen! 31

32 Prefixfunctie ComputePI(s) j := ComputePI(s 1) while(j > 0 && P[j] P[s - 1]) j := ComputePI(j) if(p[j] P[s - 1]) return 0 return j + 1 Dynamisch Programmeren! 32

33 Prefixfunctie (iteratief) ComputePI(s) π[0] := 0 ; π[1] := 0 j := 0 for s := 2 to m 1 while(j > 0 && P[j] P[s - 1]) j = π[j] if(p[j] = P[s - 1]) j := j + 1 π[s] = j 33

34 Knuth-Morris-Pratt Matching in O(n) met O m preprocessing Eindige Automaat maar dan slimmer Automaat bekijkt elke letter 1 keer KMP vaker 34

35 Eindfeest k 18 vrienden naar feest brengen in graaf met n 5000 nodes Looptijd: 2 k poly n GEEN n k (FPT) Vrienden lopen S langzamer dan auto Ophalen op handige locaties, wachten op lopende vrienden NP-volledig 35

36 Eindfeest Gelaagde graaf: v, S, v V, S Vrienden Niet expliciet maken (O 2 k n geheugen met kleine constante) Doorzoeken met Dijkstra Wanneer heb je een kant, welke gewichten? Fruitmand. 36

37 Eindfeest Zie ook Tom s Quest uit Wybe Workshop 37