TEORETYCZNE PODSTAWY INFORMATYKI zło ˙zono ´s ´c ...

✬
✩
TEORETYCZNE PODSTAWY INFORMATYKI
złożoność algorytmiczna
klasyfikacja problemów algorytmicznych
dr hab. inż. Andrzej Obuchowicz, prof. UZ
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 1/20
✬
✩
Algorytm „dobry”
✘ Poprawność algorytmiczna – własność
oczekiwana od każdego algorytmu.
✘ Kryteria wyboru algorytmu spośród algorytmów
poprawnych:
✖ konieczność wykorzystania możliwie jak
najmniej pamięci;
✖ czas wykonywania możliwie jak najkrótszy.
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 2/20
✬
Porównywanie czasu działania algorytmów
✩
Na czas pracy algorytmu maja˛
wpływ:
✔ specyfika problemu algorytmicznego;
✔ konfiguracja sprzętu komputerowego;
✔ wybór języka programowania;
✔ wybór kompilatora;
✔ warunki wykonywania programu (liczba
procesów wykonywanych „w tle”, temperatura
procesora itp.).
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 3/20
✬
Złożoność jako funkcja rozmiaru problemu
Czas pracy algorytmu zależy od rozmiaru zadania. Przykłady
zadań o rozmiarze n:
✒ znaleźć najmniejsza˛
wartość w tablicy n liczb całkowitych;
✒ rozwiazać ˛ układ n równań liniowych A⃗x = ⃗ b na n
niewiadomych;
✒ wynaczyć wartość wielomianu P n (x) = ∑ n
k=0 a kx k dla
wybranej wartości x ⋆ ;
✒ znajdź minimalne drzewo rozpinajace ˛ graf o n
wierzchołkach.
✩
Jeżeli trudno jest wskazać wprost rozmiar zadania to n może
być długościa˛
kodu danych zadania na komputerze.
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 4/20
✬
✩
Definicja złożoności problemu
algorytmicznego
Mówimy, że problem ma złażoność O(g(n))
(rzędu g(n)), jeżeli algorytm go rozwiazuj ˛ acy ˛ dla n
danych wejściowych potrzebuje co najwyżej cg(n)
czasu dla uzyskania wyniku, gdzie c jest pewna˛
stała˛
rzeczywista.
˛
O(g(n)) : g(n) jest asymptotycznie górna˛
granica˛
procesu obliczeniowego.
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 5/20
✬
Asymptotyczne oszacowanie górne
✩
cg( n)
f( n)
n 0
n
O(g(n)) = {f(n) : ∃c > 0 ∃n 0 ∀n > n 0 0 ≤ f(n) ≤ cg(n)}
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 6/20
✬
Asymptotyczne oszacowanie dolne
✩
f( n)
cg( n)
n 0
n
Ω(g(n)) = {f(n) : ∃c > 0 ∃n 0 ∀n > n 0 cg(n) ≤ f(n)}
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 7/20
✬
Asymptotyczne dokładne oszacowanie
✩
f( n)
c1 g( n)
n 0
c2 g( n)
n
Θ(g(n)) = { f(n) : ∃c 1 , c 2 > 0 ∃n 0 ∀n > n 0
c 2 g(n) ≤ f(n) ≤ c 1 g(n) }
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 8/20
✬
Górne i dolne ograniczenia złożoności
✩
O(F 4 )
Z£O¯ONOŒÆ
ALGORYTM O Z£O¯ONOŒCI O(F 4 )
KOLEJNE GÓRNA
OGRANICZENIA
O(F 3 )
ALGORYTM O Z£O¯ONOŒCI O(F 3 )
(F o )
Z£O¯.
NATUR.
(F 2 )
LUKA ALGORYTMICZNA
LUKA ALGORYTMICZNA
DOWÓD, ¯E Z£O¯ONOŒÆ NIE MO¯E
BYÆ LEPSZA NI¯ O(F 2 )
CZAS
POSZUKIWAÑ
OPTYMALNEGO
ALGORYTMU
(F 1 )
DOWÓD, ¯E Z£O¯ONOŒÆ NIE MO¯E
BYÆ LEPSZA NI¯ O(F 1 )
KOLEJNE DOLNE
OGRANICZENIA
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 9/20
✬
Złożoność średnia algorytmu
✩
Niech cf(n,⃗x) będzie czasem pracy algorytmu dla problemu o
rozmiarze n i konkretnych danych ⃗x.
Niech P(⃗x) oznacza prawdopodobieństwo wystapienia ˛ danych ⃗x
(przypadek dyskretny),
lub niech P(⃗a < ⃗x < ⃗ b) = ∫ b 1
a 1
. . . ∫ b m
a m
µ(⃗x)dx 1 . . .dx m będzie
prawdopodobieństwem że dane ⃗x znajda˛
się w zakresie (⃗a, ⃗ b)
(przypadek ciagły), ˛ funkcja µ(⃗x) jest gęstościa˛
prawdopodobieństwa
wektora losowego ⃗x.
Złożoność średnia jest O(F s (n)), gdzie
F s (n) = ∑ ⃗x
f(n,⃗x)P(⃗x) (przypadek dyskretny)
F s (n) = ∫ b 1
a 1
. . . ∫ b m
a m
f(n,⃗x)µ(⃗x)dx 1 . . .dx m (przypadek ciagły)
˛
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 10/20
✬
Złożoność średnia, cd
✩
Możliwe histogramy czasu wykonań dwóch
algorytmów rozwiazuj ˛ acych ˛ hipotetyczny problem
algorytmiczny dla zbioru losowych zestawów danych.
N(t)
t
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 11/20
✬
Problemy łatwo- i trudnorozwiazywalne
˛
O(log(n))
O(n)
O(n log(n))
O(n 2 )
. . .
O(n k )
O(2 n )
O(n!)
O(n n )
⎫
⎪⎬
⎪⎭
⎫
⎪⎬
⎪⎭
problemy łatworozwiazywalne
˛
problemy trudnorozwiazywalne
˛
✩
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 12/20
✬
✩
funkcja
rozmiar problemu n
złożoności 10 100 1000 10000
log(n) 3.2 6.6 10.0 13.3
n 10 100 1000 10000
n log(n) 33.2 664.4 9.9 × 10 3 1.3 × 10 5
n 2 1000 7746 60000 5.6 × 10 6
2 n 1024 1.27 × 10 30 1.07 × 10 301 2.0 × 10 3010
n! 3.0 × 10 6 9.3 × 10 157 4.0 × 10 2567 > 10 5000
szacowana liczba mikrosekund od wielkiego wybuchu: 10 24
szacowana liczba protonów w znanym wszechświecie: 10 126
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 13/20
✬
✩
funkcja
złożoności
czasowej
maksymalny rozmiar problemu
możliwy do rozwia¸zania w czasie
(przy założeniu 10 6 operacji na sekundȩ)
1 sek 1 min 1 godz 1 rok
log(n) 2 106 2 6×107 2 3.6×109 2 3×1013
n 10 6 6 × 10 7 3.6 × 10 9 3 × 10 13
n log(n) 62746 2.8 × 10 6 1.3 × 10 8 8.0 × 10 11
n 2 1000 7746 60000 5.6 × 10 6
2 n 19 25 31 44
n! 9 11 12 16
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 14/20
✬
✩
Zawieranie się klas złożoności
EXPSPACE
EXPTIME
PSPACE
PTIME
LOGSPACE
LOGTIME
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 15/20
✬
Problem klasy LOG: przeszukiwanie binarne
✩
Acki
Backi
Cacki
Dacki
Ecki
Fecki
Gecki
Hecki
Icki
Kicki
Licki
Micki
Nicki
Ecki=Ecki
Ecki>Dacki
Ecki

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 16/20
✬
✩
Problem klasy P: sortowanie przez
wybieranie
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 17/20
✬
Przykład problemu klasy EXP: wieże Hanoi
✩
G
O
Y
B
1 2 3
liczba przestawień : 2 n − 1
G 1–3
O 1–2
G 3–2
Y 1–3
G 2–1
O 2–3
G 1–3
B 1–2
G 3–2
O 3–1
G 2–1
Y 3–2
G 1–3
O 1–2
G 3–2
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 18/20
✬
✩
Nieroztrzygalność i nierozwiazywalność
˛
Problemy nieroztrzygalne (nierozwiazywalne) ˛ — nie
istnieje żaden algorytm poprawny, tzn. jakikolwiek
algorytm nie wymyślimy, to zawsze będzie istniał taki
zbiór poprawnych danych wejściowych, że
✐ albo algorytm odda błędne wyniki,
✐ albo zawiesi się,
✐ albo będzie działał w nieskończoność.
✫
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 19/20
✬
Przykład problemu nieroztrzygalnego:
małpia układanka
✩
✫
Dane jest n opisów kart.
Liczba kart danego opisu
jest nieskończona.
Czy możliwe jest pokrycie
dowolnej skończonej powierzchni
tak, aby boki kart przystawały
do siebie małpami i kolorami
✪

TPI złożoność algorytmiczna – dr hab. inż. A. Obuchowicz, prof. UZ 20/20
✬
✩
Problemy z nieroztrzygalnościa: ˛ waż ˛ domino
Q=płaszczyzna: roztrzygalne
Q=obszar ograniczony: roztrzygalne
Q=półpłaszczyzna: nieroztrzygalne
Dane jest n opisów kart.
Liczba kart danego opisu
jest nieskończona.
Czy możliwe poprowadzenie
węża pomiędzy wybranymi
punktami nie przekraczajac
˛
zadanego obszaru Q
✫
✪