Exact string matching - caagt

Exact string matching 

brute-kracht-algoritme 

algoritme van Rabin-Karp 

algoritme van Boyer-Moore-Horspool 

Cursus Algoritmen en Datastructuren III - Parallelle Algoritmen (2006–2007) – p.1/32

Brute-kracht-algoritme 


Brute-kracht-algoritme 

Input: patroon P , lengte m; tekst T , lengte n 

Output: kleinste i zo dat T [i..i + m − 1] = P , of 

−1 wanneer P niet optreedt in T 

1: i ← 0 

2: while i + m ≤ n do 

3: j ← 0 

4: while T [i + j] = P [j] do 

5: j ← j + 1 

6: if j ≥ m then 

7: return i 

8: i ← i + 1 

9: return −1 


Voorbeeld 

Zoeken P = 001 in T = 010001 

T 0 1 0 0 0 1 

P 0 0 1 

0 0 1 

0 0 1 

0 0 1 


Complexiteit 

Uitvoeringstijd: Θ(m(n − m)) 


Complexiteit 


slechtste geval: P komt niet voor in T 

uitvoeringstijd Θ(m(n − m)) 


Complexiteit 




beste geval: P aan begin van T 

uitvoeringstijd Θ(m) 


Complexiteit 




beste geval: P aan begin van T 

uitvoeringstijd Θ(m) 

In de praktijk 

beter dan Θ(m(n − m)) 

want binnenste lus herkent 

niet-overeenstemmend patroon snel 


Beschouwde algoritmen 

Uiteindelijke bedoeling 

algoritme met uitvoeringstijd Θ(n + m) 





Gemiddeld Θ(n + m) 








Slechtste geval Θ(n + m) 

algoritme van Knuth-Morris-Pratt 

algoritme van Boyer-Moore 







Slechtste geval Θ(n + m) 

algoritme van Knuth-Morris-Pratt 

algoritme van Boyer-Moore 

Slechtste geval Θ(nm) maar toch snel 

algoritme van Boyer-Moore-Horspool 


Algoritme van Rabin-Karp 


Fingerprinting 

Merk op 

expliciete controle P kost Θ(m) 



Merk op 


Basisidee 

vóór expliciete controle op positie i 

eerst eenvoudige test die i evt. elimineert 



Merk op 


Basisidee 

vóór expliciete controle op positie i 

eerst eenvoudige test die i evt. elimineert 


beschouwen niet volledige patroon 

maar slechts een aspect ervan (vingerafdruk) 


Ideaal 

test in Θ(1) 

elimineert alle behalve 1/m-de van posities 


Ideaal 

test in Θ(1) 

elimineert alle behalve 1/m-de van posities 

Immers 

totale kost van testen = Θ(n − m) 

totale kost expliciete controles = Θ(n − m) 

controle op (n − m + 1)/m posities 

elk van kost Θ(m) 


Voorbeeld 

Zoek P = 0011 in T = 0001001000 

T 0 0 0 1 0 0 1 0 0 0 

P 0 0 1 1 

0 0 1 1 

0 0 1 1 

0 0 1 1 

0 0 1 1 

0 0 1 1 

0 0 1 1 


Pariteitscontrole 

Voorbeeld 

zoeken P = 0011 in T = 0001001000 



Voorbeeld 

zoeken P = 0011 in T = 0001001000 

P heeft pariteit 2 

elke T [i..i + 3] heeft pariteit 1, behalve i = 3 

6 van 7 posities te elimineren op basis van 

pariteit 



Voorbeeld 

zoeken P = 0011 in T = 0001001000 

P heeft pariteit 2 

elke T [i..i + 3] heeft pariteit 1, behalve i = 3 

6 van 7 posities te elimineren op basis van 

pariteit 

Aanpassen algoritme 

voor elke positie, eerst pariteit bepalen 

enkel als pariteit OK, ook volledige 

patrooncontrole 


Implementatie pariteitscontrole 

Merk op 

bepalen van pariteit van m bits kost Θ(m) 



Merk op 


Efficiënte implementatie 

vooraf: bereken pariteit P en T [0..m − 1] 

kost Θ(m) 



Merk op 


Efficiënte implementatie 

vooraf: bereken pariteit P en T [0..m − 1] 

kost Θ(m) 

in elke stap i 

stel xi = pariteit van T [i..i + m − 1] 

xi = xi−1 + T [i − 1] + T [i + m − 1] mod 2 

dus: kost Θ(1) per stap 


Performantie pariteitscontrole 

Performantie 

gemiddeld verwachten dat pariteitscontrole 

helft van posities elimineert 

totale tijd nog steeds Θ(n(n − m)) 



Performantie 




Probleem 

teveel waarden delen dezelfde vingerafdruk 



Performantie 




Probleem 

teveel waarden delen dezelfde vingerafdruk 

Gewenst 

versnellingsfactor q bekomen 


Uitbreiding 

Vereisten vingerafdrukfunctie 

(a) bitstrings van lengte m afbeelden op q = 

waarden 

(b) gelijkmatig verdelen over q vingerafdrukken 

(c) gemakkelijk “in sequentie” berekenbaar 


Uitbreiding 



waarden 



Merk op 

hashfunctie voldoet aan (a) en (b) 


Uitbreiding 



waarden 



Merk op 

hashfunctie voldoet aan (a) en (b) 

Eenvoudige hashfunctie: som van de bits 

voldoet niet aan (b) 


Hashfunctie van Rabin-Karp 

Hashfunctie 

beschouw bitstring als natuurlijk getal, neem 

rest bij deling door q 

h(s0 . . . sm−1) = m−1 

j=0 sj2 m−1−j mod q 



Hashfunctie 



h(s0 . . . sm−1) = m−1 


Goede hashfunctie? 

voldoet aan (a) 



Hashfunctie 



h(s0 . . . sm−1) = m−1 




voldoet aan (b) voor priemgetal q > m 



Hashfunctie 



h(s0 . . . sm−1) = m−1 




voldoet aan (b) voor priemgetal q > m 

voldoet aan (c) want 

h(s1 . . . sm) = sm + 2(h(s0 . . . sm−1) − 2 m−1 s0) mod q 


Algoritme van Rabin-Karp 

1: q ← een priemgetal > m 

2: r ← 2 m−1 mod q 

3: fp ← m−1 

j=0 P [j]2m−1−j mod q 

4: ft[0] ← m−1 

j=0 T [j]2m−1−j mod q 

5: i ← 0 


7: if ft[i] = fp then 

8: if T [i..i + m − 1] = P then 

9: return i 

10: ft[i + 1] ← 2(ft[i] − rT [i]) + T [i + m] mod q 

11: i ← i + 1 



Algoritme van 

Boyer-Moore-Horspool 


Algoritme van Boyer-Moore 

Idee van Boyer-Moore 

P met T vergelijken van rechts naar links 

verschuiven P van links naar rechts 






Voorbeeld 

zoek P = roos in T = klaproos 

klaproos 

...s 






Voorbeeld 


klaproos 

...s 

verschuiven een positie naar rechts 

klaproos 

...s 






Voorbeeld 


klaproos 

...s 

verschuiven een positie naar rechts 

klaproos 

...s 

enz., tot match gevondenCursus Algoritmen en Datastructuren III - Parallelle Algoritmen (2006–2007) – p.18/32

Eenvoudig B-M-algoritme 

Input: patroon P , lengte m; tekst T , lengte n 

Output: kleinste i zo dat T [i..i + m − 1] = P , of 

−1 wanneer P niet optreedt in T 

1: i ← 0 


3: j ← m − 1 


5: j ← j − 1 

6: if j < 0 then 

7: return i 

8: i ← i + 1 



Complexiteit 

Uitvoeringstijd 

slechtste geval Θ(nm) 


Complexiteit 



Uitbreiden met heuristieken 

occurrence-heuristiek 

match-heuristiek 


Complexiteit 



Uitbreiden met heuristieken 

Idee 



bij mismatch P over > 1 positie verschuiven 

→ significant versnellen van algoritme 


Voorbeeld 1 

Zoek P = roos in T = klaproos 

mismatch bij eerste vergelijking 

klaproos 

...s 


Voorbeeld 1 



klaproos 

...s 

geen p in P , dus over 4 posities verschuiven 

klaproos 

.... 


Voorbeeld 1 



klaproos 

...s 

geen p in P , dus over 4 posities verschuiven 

klaproos 

.... 

match wordt gevonden 

klaproos 

roos 


Voorbeeld 2 

Zoek P = roes in T = marsroes 

mismatch bij tweede vergelijking 

marsroes 

..es 


Voorbeeld 2 



marsroes 

..es 

r uit T komt voor in P , aligneer 

marsroes 

r... 

...s 


Voorbeeld 2 



marsroes 

..es 


marsroes 

r... 

...s 

mismatch bij o uit T , aligneer 

marsroes 

.o.. 


Voorbeeld 2 



marsroes 

..es 


marsroes 

r... 

...s 

mismatch bij o uit T , aligneer 

marsroes 

.o.. 

roes Cursus Algoritmen en Datastructuren III - Parallelle Algoritmen (2006–2007) – p.22/32

Occurrence-heuristiek 

Algemene formulering 

vergelijk P met T van rechts naar links 

wanneer mismatch bij α uit T 

verschuif P zo dat meest rechtse voorkomen 

van α in P gealigneerd is met α van 

mismatch in T 

als P geen α bevat, verschuif P tot voorbij α 

in T 


Probleem 

Mogelijk probleem 

P kan naar links schuiven i.p.v. naar rechts 


Probleem 



Voorbeeld: zoek rage in regeneratie 

mismatch bij derde vergelijking 

regeneratie 

.age 

zou leiden tot verschuiving 

regeneratie 

...e 


Probleem 



Voorbeeld: zoek rage in regeneratie 

mismatch bij derde vergelijking 

regeneratie 

.age 

zou leiden tot verschuiving 

regeneratie 

...e 

Oplossing: P één positie naar rechts schuiven 


Match-heuristiek 

Idee 

cfr. Knuth-Morris-Pratt (zie later) 

wanneer match-proces faalt, informatie over 

geziene stuk T gebruiken om P te 

verschuiven 

vergelijken van links naar rechts → 

verschuivingstabel voor achterstevoren P 



Algoritme 

eenvoudig B-M-algoritme 

met bijkomend grootste verschuiving van 



garandeert uitvoeringstijd Θ(n + m) 



Algoritme 

eenvoudig B-M-algoritme 

met bijkomend grootste verschuiving van 



garandeert uitvoeringstijd Θ(n + m) 

In de praktijk 

complexe implementatie, match-heuristiek 

variante van Horspool 


Algoritme van B-M-Horspool 

Algoritme 

eenvoudig BM-algoritme, met bijkomend 

variant van occurrence-heuristiek 



Algoritme 



Complexiteit 


in de praktijk zeer snel 



Algoritme 



Complexiteit 


in de praktijk zeer snel 

Algemene ideeën 

doel: vermijden P naar links te verschuiven 

idee Horspool: bepaal verschuiving uit laatste 

teken i.p.v. teken dat mismatch levert 


Voorbeeld 

Zoek P = rage in T = regeneratie 

mismatch bij P [1] = a en T [1] = e 

regeneratie 

.age 


Voorbeeld 



regeneratie 

.age 

verschuif zodat T [3] gealigneerd met 

volgende e in P 


Voorbeeld 



regeneratie 

.age 

verschuif zodat T [3] gealigneerd met 

volgende e in P 

geen e meer in P 

dus P opschuiven tot voorbij T [3] 

regeneratie 

.... 


Implementatie 

voor elk karakter x uit alfabet 

bijhouden van meest rechtse positie van x in 

P links van P [m − 1] 


Implementatie 

voor elk karakter x uit alfabet 

bijhouden van meest rechtse positie van x in 

P links van P [m − 1] 

Formeel 

als x behoort tot P [0..m − 2]: 

S[x] = m − 1 − max{i < m − 1 | P [i] = x} 

anders S[x] = m 


Voorbeeld 

Patroon P = lege 

S[l] = 3, S[e] = 2, S[g] = 1 


Voorbeeld 


S[l] = 3, S[e] = 2, S[g] = 1 

Zoeken P in tekst T = regeneratieleger 

mismatch van T [0] en P [0] 

regeneratieleger 

lege 


Voorbeeld 


S[l] = 3, S[e] = 2, S[g] = 1 




lege 

verschuif over S[T [3]] = 2 


.e.. 


Voorbeeld 


S[l] = 3, S[e] = 2, S[g] = 1 




lege 

verschuif over S[T [3]] = 2 


.e.. 

..ge 


Vervolg voorbeeld 

r e g e n e r a t i e l e g e r 

l e g e 

l e g e 

l e g e 

l e g e 

l e g e 


Algoritme van B-M-H 

1: for k from 0 to |Σ| − 1 do 

2: S[k] ← m 

3: for k from 0 to m − 2 do 

4: S[P [k]] ← m − 1 − k 

5: i ← 0 


7: j ← m − 1 


9: j ← j − 1 

10: if j < 0 then 

11: return i 

12: i ← i + S[T [i + m − 1]] 

13: return −1 Cursus Algoritmen en Datastructuren III - Parallelle Algoritmen (2006–2007) – p.32/32

Exact string matching - caagt

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?