Theoretische Informatik I 1. Automatentheorie und formale Sprachen ...

Theoretische Informatik I
1. Automatentheorie und formale Sprachen
1.1 Grammatiken
1.1.1 Definitionen
1.1.2 Chomsky-Hierarchie
1.1.3 Wortproblem
1.1.4 Syntaxbäume
Grammatik:
G = (V,∑,P,S)
V = Menge der Variablen
∑ = Terminalalphabet
P = Menge der Produktionen
S = Startvariable
Sprache:
L(G) = {w ∈ ∑ | S =>*G w}
Ableitung:
(w0, w1, ... , wn) mit w0 = S und wn ∈ ∑*
und w0 => w1 => ... => wn heißt Ableitung
Typ 0 (Phrasenstrukturgrammatik)
=> alle Grammatiken
Typ 1 (kontextsensitive Grammatik)
=> Wörter werden durch Ableitung nicht kürzer
Typ 2 (kontextfreie Grammatik)
=> auf der linken Seite nur einzelne Variablen
Typ 3 (reguläre Grammatik)
=> die rechte Seite besteht entweder aus einem Terminalzeichen oder
aus einem Terminalzeichen gefolgt von einer Variablen
-Sonderregelung
S => wird zugelassen
=> S darf auf der rechten Seiten nicht mehr vorkommen
=> 1. S => rechten Seiten der S-Regeln (S ersetzt durch S')
2. alle Regeln mit S ersetzen durch S'
3. S =>
Das Wortproblem für Typ 1,2,3-Sprachen ist entscheidbar, d.h. es gibt einen
Algorithmus, der bei eingabe einer kontextsensitiven Grammatik in endlicher Zeit
entscheidet, ob das Wort in der Sprache liegt oder nicht.

Sei x ∈ L(G) und S = x0 => x1 => x2 => ... => xn = x eine Ableitung des Wortes.
Die Wurzel des Baumes ist S, for i = 1 to n: wird die Variable A durch ein Wort z
ersetzt, dann im Syntaxbaum |z| viele Söhne von A vorsehen, und mit den einzelnen
Zeichen von z beschriften.
Verschiedenen Ableitungen kann der selbe Syntaxbaum zugeordnet sein, jedoch kann es
für das selbe Wort verschieden strukturierte Syntaxbäume geben. Mehrdeutigkeit kann
oft aber nicht immer eliminiert werden. Unvermeidbare Mehrdeutigkeit wird auch als
inhärent mehrdeutig bezeichnet und deren Feststellung ist im Allgemeinen algorithmisch
unmöglich.
1.1.5 Backus-Naur-Form (BNF)
Formalismus zum kompakten Niederschreiben von Typ 1,2,3-Grammatiken, d.h. EBNF
und kontextfreie Grammatiken gleichwertig.
Metaregel: A => 1 | 2 | ... | n ( => wird ersetzt durch :== )
In der EBNF sind weiterhin vorgesehen:
A => [] (das Wort kann, muß aber nicht eingefügt werden)
A => {} (das Wort kann beliebig oft oder gar nicht eingefügt werden)
1.2 Reguläre Sprachen (Typ 3)
1.2.1 Endliche Automaten
Ein Automat wird auf ein Eingabewort angesetzt und erkennt dieses oder nicht. Die
Menge der Akzeptierten Wörter bildet dann die darstellbare oder definierte Sprache. Die
Funktion eines Automaten ist quasi umgekehrt wie die einer Grammatik.
endlicher Automat (DFA):
M = (Z,∑,,z0,E)
Z = Menge der Zustände
∑ = Eingabealphabet
z0 = Startzustand
E = Menge der Endzustände
= Überführungsfunktion
Sprache:
T(M) = { x ∈ ∑* | '(z0,x) ∈ E }
mit '(z,) = z und '(z,ax) = '((z,a),x) (Erweiterung von auf Wörter)
sowie '(z,a1,a2,...,an) = (... ((z,a1),a2)...,an)
Erkennung läuft folgendermaßen: Die Zustände werden in Abhängigkeit des
Eingabeworts durchlaufen und der letzte Zustand muß ein Endzustand sein, damit das
Wort akzeptiert wird.
Jede durch endliche Automaten erkennbare Sprache ist Typ 3.

1.2.2 Nichtdeterministische Automaten
1.2.3 Reguläre Ausdrücke
Der Unterschied zum DFA ist, daß von einem Zustand mehrere oder gar keine Pfeile
ausgehen, die mit a ∈ ∑ beschriftet sind. Des weiteren sind mehrere Startzustände
zugelassen. Ein Wort wird erkannt, wenn es mindestens eine Zustandsfolge gibt, die auf
einen Endzustand führt.
nichtdeterministischer, endlicher Automat (NFA):
M = (Z,∑,,S,E)
Z = Menge der Zustände
∑ = Eingabealphabet
S = Menge der Startzustände
E = Menge der Endzustände
= Überführungsfunktion
Sprache:
T(M) = { x ∈ ∑* | '(S,x) ∩ E ≠ 0 }
mit '(Z',) = Z' für alle Z' ⊆ Z
und '(Z',ax) = ∪ '('(z,a),x) mit z ∈ Z'
Jede von einem NFA akzeptierbare Sprache ist auch durch einen DFA akzeptierbar.
NFAs können reguläre Sprachen unter Umständen viel kompakter repräsentieren.
NFA => DFA
1. Startzustand bestimmen (z.B. {1,2}, d.h. 1+2 Sind die Startzustände)
2. vom Startzustand aus alle möglichen Wegesuchen
(z.B. '({1,2},a (und b)) = '(1,a) ∪ '(2,a) = ∅ ∪ {3,4})
3. falls neue Zustände enstehen mit diesen wie bei 2. verfahren, bis keine mehr da
5. Endzustände bestimmen (d.h. alle Paare, die mindestens einen Endzustand enthalten)
4. Automaten zeichnen
Für jede Typ 3-Grammatik G gibt es einen NFA M mit L(G) = T (M)
=> keine reguläre Sprache ist inhärent mehrdeutig
Ausdrücke:
- ∅, sind reguläre Ausdrücke
- falls a ∈ ∑, dann ist a ein regulärer Ausdruck
- falls und reguläre Ausdrücke sind, dann auch , ( | ), (*)
Sprache:
- falls = ∅, dann L() = ∅
- falls = , dann L() = {}
- falls = a, dann L() = {a}
- falls = , dann L() = L()L()
- falls = | , dann L() = L() ∪ L()

1.2.4 Pumping Lemma
- falls = ()*, dann L() = L()*
Die Menge der durch reguläre Ausdrücke beschreibbaren Sprachen ist genau die Menge
der regulären Sprachen.
Sei L eine reguläre Sprache, dann gibt es eine Zahl n, so daß sich alle Wörter x mit
|x| ≥ n zerlegen lassen in x = uvw, so daß folgende Eigenschaften gelten:
1. |v| ≥ 1
2. |uv| ≤ n
3. für alle i = 0,1,2,... gilt: uv i w L
Die typischen Anwendung des Pumping Lemmas ist der Nachweis, daß gewisse Sprachen
nicht regulär sind, was allerdings nicht bei jeder nicht-regulären Sprache gelingen muß.
1.2.5 Äquivalenzrelationen und Minimalautomaten
Definition:
Es gilt x RL y genau dann, wenn für alle Wörter z ∑* gilt: xz L yz L
Zwei Wörter x,y sind äquivalent, wenn sich beim Anfügen von z die Wörter xz und yz
bezügl. Mitgliedschaft in L gleich verhalten.
Eine Sprache L ist genau dann regulär, wenn der Index (Anzahl der erzeugten
Äquivalenzklassen) endlich ist.
Der Äquivalenzklassenautomat ist der Automat mit der kleinsten Anzahl an Zuständen,
der so genannte Minimalautomat. Die Äquivalenzklassen bilden die Zustände dieses
Automaten.
Algorithmus Minimalautomat:
1. Tabelle aller Zustandspaare {z,z'} mit z ≠ z'
2. Markiere alle Paare {z,z'} mit z E und z' ∉ E (oder umgekehrt)
3. Für jedes noch unmarkierte Paar {z,z'} und jedes a ∑ teste, ob
{ (z,a), (z',a) } markiert ist, wenn ja {z,z'} markieren
4. Punkt 3 wiederholen, bis keine Veränderungen mehr
5. Alle jetzt noch unmarkierten Paare werden verschmolzen
1.2.6 Abschlußeigenschaften
Die regulären Sprachen (Typ 3) sind abgeschlossen unter:
- Vereinigung
- Schnitt
- Komplement
- Produkt
- Stern

1.2.7 Entscheidbarkeit
- Wortproblem (liegt x in L(G) bzw T(M)) ist entscheidbar
- Leerheitsproblem (ist L(G) / T(M) = ∅) ist entscheidbar
- Endlichkeitsproblem ( |L(G)| < ∞ ) ist entscheidbar
- Schnittproblem (L(G1) ∩ L(G2) =? ∅) entscheidbar
- Äquivalenzproblem (G1,G2 => L(G1) =? L(G2)) ist enscheidbar
1.3 Kontextfreie Sprachen (Typ 2)
1.3.1 Normalformen
1.3.2 Pumping Lemma
Jede kontextfreie Grammatik kann „-frei„ gemacht werden (siehe oben).
Chomsky Normalform:
Zu jeder kontextfreien Grammatik mit ∉ L(G), gibt es eine Chomsky Normalform,
deren Regeln eine der beiden Formen haben:
A => BC
A => a
=> Ableitungsbäume für solche Grammatiken sind bis auf den letzten Ableitungsschritt
Binärbäume
=> ein Wort x ∈ L(G) wird in genau 2|x|-1 Ableitungsschritten erzeugt
Algorithmus:
1. für jedes Terminalzeichen a wird eine neue Variable hinzugefügt sowie folgende
Regel: B => a
2. jedes Terminalzeichen auf der rechten Seite wird durch die jeweilige neue Variable
ersetzt (außer die Regel hat bereits die Form A => a)
3. Regeln der Form A => B1 B2 ... Bk , k ≥ 2 werden wie folgt geändert:
A => B1 C2
C2 => B2 C3
....
Ck-1 => Bk-1 Bk
Greibach Normalform:
Zu jeder kontextfreien Grammatik mit ∉ L(G), gibt es eine Greibach Normalform,
deren Regeln alle die Form habe:
A => a B1 B2 ... Bk (k ≥ 0)
Algorithmus:
1. Chomsky Normalform herstellen
2. falls bei einer Regel die linke Seite einen größeren Index wie die erste Variable der
rechten Seite, dann 2x diese mit Hilfe einer vorrangegangenen Regel ersetzen
3. falls eine Regel links-rekursiv ist, ...

Sei L eine kontextfreie Sprache, dann gibt es eine Zahl n, so daß sich alle Wörter z mit
|z| ≥ n zerlegen lassen in z = uvwxy, so daß folgende Eigenschaften gelten:
1. |vx| ≥ 1
2. |vwx| ≤ n
3. für alle i = 0,1,2,... gilt: uv i wx i y L
Jede kontextfreie Sprache über einem einelementigen Alphabet ist bereits regulär.
1.3.3 Abschlußeigenschaften
1.3.4 CYK-Algorithmus
1.3.5 Kellerautomaten
Die kontextfreien Sprachen (Typ 2) sind abgeschlossen unter:
- Vereinigung
- Produkt
- Stern
und nicht abgeschlossen unter:
- Schnitt
- Komplement
Effizienter Algorithmus zum Lösen des Wortproblems für kontextfreie Sprachen, falls
diese in Chomsky Normalform gegeben sind.
Algorithmus:
1. Dreiecksmatrix aufstellen mit Länge des Wortes
2. erste Zeile mit Regeln füllen, die die Form A => ai haben und die obenstehenden
Buchstaben des Eingabeworts erzeugen können
3. for j=2 to n
for i=1 to n+1-j
for k=1 to j-1
Feld T[i,j] mit Regel der Form A => BC füllen, falls
T[i,k] und T[i+k,j-k] erzeugt werden kann
4. steht im untersten Kästchen ein S, dann gehört das Wort zur Sprache
Erweiterung des endlichen Automaten um kontextfreie Sprachen mittels eines
„Speichers“ erkennen zu können, d.h. Automat muß wissen, welche Zeichen er schon
gelesen hat. Beim Kellerautomaten wird das NFA-Modell um einen Stack erweitert.
nichtdeterministischer Kellerautomat (PDA):
M = (Z,∑,,,z0,#)
Z = Menge der Zustände
∑ = Eingabealphabet
= Kelleralphabet

z0 = Startzustand
= Überführungsfunktion
# = unterstes Kellerzeichen
Der Kellerautomat akzeptiert ein Wort, wenn nach dem Abarbeiten eines Wortes der
Keller leer ist. Mehrere Startzustände können mit Hilfe von spontanen Übergängen (d.h.
ohne Einlesen eines Zeichens) „emuliert“ werden.
Akzeptierte Sprache:
N(M) = { x ∈ ∑* | (z0,x,#) ∣−* (z,,) für ein z ∈ Z }
Eine Sprache L ist kontextfrei, wenn L von einem nichtdeterministischen
Kellerautomaten erkannt wird.
1.3.6 Deterministisch kontextfreie Sprachen
1.3.7 Entscheidbarkeit
Der Unterschied zum normalen Kellerautomaten ist, daß die Konfigurtionsbäume zu
linearen Ketten „degenerieren“, d.h. aus der Relation ∣− wird eine Funktion. Ein DPDA
erkennt deterministisch kontextfreie Sprachen per Endzustand, nicht per leerem Keller.
Die deterministisch kontextfreien Sprachen sind abgeschlossen unter:
- Komplement
und nicht abgeschlossen unter:
- Schnitt
- Vereinigung
Der Schnitt einer (deterministisch) kontextfreien Sprache mit einer regulären Sprache ist
wieder (deterministisch) kontextfrei.
- Wortproblem (liegt x in L(G) bzw T(M)) ist entscheidbar
- Leerheitsproblem (ist L(G) / T(M) = ∅) ist entscheidbar
- Endlichkeitsproblem ( |L(G)| < ∞) ist entscheidbar
- Schnittproblem (L1,L2 => L1 =? L2 ) entscheidbar
- Äquivalenzproblem (G1,G2 => L(G1) =? L(G2)) ist enscheidbar
1.4 Kontextsensitive (Typ 1) und Typ 0-Sprachen
1.4.1 Kuroda Normalform
1.4.2 Turingmaschiene
Eine Typ 1-Grammatik ist in Kuroda Normalform, falls alle Regeln eine der Formen
haben (was auch bei jeder Typ 1-Grammatik möglich ist):
A => a A => B
A => BC AB => CD

Touringmaschiene (TM):
M = (Z,∑,,,z0, ,E)
Z = Menge der Zustände
∑ = Eingabealphabet
= Arbeitsalphabet
z0 = Startzustand
= B lank
= Überführungsfunktion
E = Menge der Endzustände
Akzeptierte Sprache:
T(M) = { x ∈ ∑* | z0x ∣−* z, , ∈ *, z ∈ E }
Die durch allgemeine Turingmaschienen akzeptierbaren Sprachen sind genau die Typ 0-
Sprachen.
1.4.3 Linear beschränkte Turingmaschiene
2. Berechenbarkeitstheorie
Eine LBA verläßt das Band nicht indem es den Startzustand markiert und eine schon
markiertes letztes Zeichen benutzt, d.h. es arbeitet auf
z0 a1 a2 ... an-1 ân statt auf z0 a1 a2 ... an-1 an
Akzeptierte Sprache:
T(M) = { a1 a2 ... an-1 an ∈ ∑* | z0 a1 a2 ... an-1 ân ∣−* z, , ∈ *, z ∈ E }
Die von linear beschränkten, nichtdeterministischen Turingmaschienen (LBAs)
akzeptierbaren Sprachen sind genau die kontextsensitiven (Typ 1) Sprachen.
Die Klasse der kontextsensitiven (Typ 1) Sprachen ist unter Komplementbildung
abgeschlossen.
2.1 Berechenbarkeitsbegriff und Churchsche These
Berechenbarkeitsbegriff:
Eine Funktion f: N k => N wird als berechenbar angesehen, falls es ein Rechenverfahren /
Algorithmus gibt, das f berechnet, d.h. es wird mit (n1, ..., nk) ∈ N k als Eingabe gestartet
und der Algorithmus stoppt nach endlich vielen Schritten mit der Ausgabe f(n1, ..., nk).
Churchsche These:
Die durch die formale Definition der Turing-Berechenbarkeit erfasste Klasse von
Funktionen stimmt genau mit der Klasse der im intuitiven Sinn berechenbaren
Funktionen überein.
2.2 Turingberechenbarkeit
Definition für natürliche Zahlen:

Funktion f: Nk => N
f(n1, ..., nk) = m
z0 bin(n1) # ... # bin(nk) ∣−* ... z e bin(m) ...
Definition für Wörter:
Funktion f: ∑* => ∑*
f(x) = y
z0 x ∣−* ... ze y ...
Jede Mehrbandturingmaschiene kann durch einen Einbandturingmaschiene simuliert
werden.
2.3 LOOP, WHILE, GOTO-Berechenbarkeit
2.3.1 LOOP
2.3.2 WHILE
2.3.3 GOTO
2.3.4 Zusammenfassung
Aufbau:
Variablen: x0, x1, x2, ...
Konstanten: 1, 2, 3, ...
Trennsymbole: ; und :=
Operationszeichen: + und -
Schlüsselwörter: LOOP, DO, END
Erlaubt sind:
Wertzuweisungen xi := xj + c
Hintereinanderschaltungen: P1; P2
If-Then-Anweisungen: IF x = 0 THEN A END
Aufbau wie LOOP-Programme, jedoch Erweiterung um WHILE-Schleifen, d.h.
Wiederholungen bis die Variable = 0 ist sind dadurch möglich. Nachträglich kann das
LOOP-Konzept wieder fallengelassen werden, da dies durch WHILE simulierbar ist.
Aufbau:
Sequenz von Anweisungen Ai, die jeweils durch eine Marke Mi eingeleitet werden.
Wertzuweisungen: xi := xj +/- c
unbedingter Sprung: GOTO Mi
bedingter Sprung: IF xi = c THEN GOTO Mj
Stopanweisung: HALT
- WHILE/GOTO/TM kann LOOP simulieren
- GOTO und WHILE sind äquivalent
- GOTO kann mit nur einer WHILE-Schleife simuliert werden
- Turingmaschienen können WHILE/GOTO/LOOP simulieren

2.4 Primitiv rekursive und µ-rekusive Funktionen
2.4.1 Primitv rekursive Funktionen
Definition:
1. alle konstanten Funktionen sind primitiv rekursiv
2. alle identischen Abbildungen (Projektionen) sind primitiv rekursiv
3. die Nachfolgerfunktion s(n) = n+1 auf N ist primitiv rekursiv
4. jede Funktion, die durch Einsetzung (Komposition) von primitv rekursiven Funktionen
entsteht ist auch wieder primitiv rekursiv
5. jede Funktion, die durch so genannte primitive Rekursion aus primitiv rekursiven
Funktionen entsteht ist auch wieder primitiv rekursiv. Primitive Rekursion bedeutet,
daß die Definition von f(n+1,...) zurückgeführt wird auf f(n,....).
1. - 3. werden als Basisfunktionen bezeichnet.
Die Klasse der primitiv rekursiven Funktionen stimmt genau mit der Klasse der LOOPberechenbaren
Funktionen überein.
2.4.2 µ-rekursive Funktionen
2.5 Ackermannfunktion
Erweiterung der primitiv rekursiven Funktionen durch Hinzunahme des µ-Operators,
wodurch wirklich partielle Funktionen entstehen.
Der µ-Operator ist wie folgt definiert:
µf(x1, ..., xk) =
{ das kleinste n mit f(n, x1, ... , xk) = 0 und für alle m < n ist f(m, x1, ..., xk) def.
{ ansonsten undefiniert
Die Klasse der µ-rekursiven Funktionen stimmt genau mit der Klasse der
WHILE/GOTO/TM-berechenbaren Funktionen überein.
Für jede n-stellige µ-rekursive Funktion f gibt es zwei (n+1)-stellige, primitiv rekursive
Funktionen p,q so daß sich f wiefolgt darstellen lässt:
f(x1, ..., xn) = p(x1, ..., xn, µq(x1, ..., xn))
a(0,y) = y+1
a(x,0) = a(x-1,1) x > 0
a(x,y) = a(x-1,a(x,y-1)) x,y > 0
Es gilt:
1. y < a(x,y)
2. a(x,y) < a(x,y+1)
3. a(x,y+1) ≤ a(x+1,y)
4. a(x,y) < a(x+1,y)

Die Ackermannfunktion ist nicht LOOP-berechenbar.
=> Es gibt totale, WHILE-berechenbare Funktionen, die nicht LOOP-berechenbar sind.
2.6 Halteproblem, Unentscheidbarkeit, Reduzierbarkeit
2.6.1 Enscheidbarkeit
2.6.2 Halteprobleme
Eine Menge A (aus ∑*) heißt entscheidbar, falls dir charakteristische Funtkion
xA: ∑* => {0,1} berechenbar ist. Hierbei ist für alle w ∈ ∑*
xA(w) = { 1, w ∈ A
{ 0, w ∉ A (falls undefiniert: semi-entscheidbar)
Eine Sprache ist entscheidbar genau dann wenn sowohl A als auch ¬A semi-entscheidbar
sind.
Eine Sprache A (aus ∑*) heißt rekursiv aufzählbar, falls A = ∅ oder falls es eine totale
und berechenbare Funktion f gibt, so daß A = {f(0), f(1), f(2), ... }
Eine Sprache ist rekursiv aufzählbar genau dann wenn sie semi-entscheidbar ist.
Das spezielle Halteproblem (K = {w ∈ {0,1}* | Mw angesetzt auf w hält} ist nicht
entscheidbar.
Das Halteproblem (H = {w#x | Mw angesetzt auf x hält} ist nicht entscheidbar.
Das Halteproblem auf leerem Band (H0 = {w | Mw angesetzt auf leerem Band hält) ist
nicht entscheidbar.
Satz von Rice:
Sei R die Klasse aller Turing-berechenbaren Funktionen. Sei S eine beliebige Teilmenge
hiervon (Ausnahmen S = ∅ und S = R), dann ist die Sprache
unentscheidbar.
2.7 Postsches Korrespondenzproblem PCP
C(S) = {w | Die von Mw berechnete Funktion liegt in S}
Gegeben ist eine endliche Folge von Wortpaaren (x1,y1), ..., (xk,yk), wobei xi, yi ∈ ∑ + .
Gesucht ist eine Folge von Indizes i1, i2, ..., in ∈ {1, ..., k}, sodaß
xi1 xi2 ... xin = yi1 yi2 ... yin
Das PCB ist unentscheidbar, auch wenn man sich nur auf das Alphabet {0,1} beschränkt.
H ≤ MPCP ≤ PCP

2.8 Gödelscher Satz
Jede WHILE-berechenbare Funktion ist arithmetisch repräsentierbar.
Die Menge der wahren arithmetischen Formeln ist nicht rekursiv aufzählbar.
Jedes Beweissystem für die Menge der wahren arithmetischen Formeln ist
notwendigerweise unvollständig, d.h. es bleiben immer wahre arithmetische Formeln
übrig, die nicht beweisbar sind.