Pełen tekst pracy (~3,8MB)

ROZDZIA̷L 1. WST ↩ EP 7
segmentacji ciag̷lej ↩ sekwencji gestów. Pojedyncze wyrazy rozpoznawane by̷ly w pracach
[2, 3, 10, 25, 26, 27, 30, 33, 41, 44, 49, 50, 62, 68, 69, 74, 77, 78, 80], ca̷le
sekwencje natomiast w [2, 17, 44, 57, 61, 75, 77].
W pracach [10, 25, 26, 27, 33, 41, 44, 50, 68, 74] rozwa˙zano jedynie gesty wykonywane
jedna↩ rek ↩ a, ↩ natomiast w pracach [2, 3, 17, 30, 49, 57, 61, 62, 69, 75, 77, 78, 80]
uwzgl ↩ edniano tak˙ze gesty dwur ↩ eczne.
Przy wyznaczaniu wektorów cech z wykorzystaniem uk̷ladów wizyjnych przyjmowano
szereg za̷lo˙zeń wstepnych. ↩ Najcze´sciej ↩ zak̷ladano, ˙ze osoba wykonujaca ↩ gest
ma ubranie z d̷lugim rekawem ↩ [2, 3, 27, 30, 61, 68, 69, 80]. Czesto ↩ osoba wykonujaca ↩
gest mia̷la kolorowe rekawice ↩ u̷latwiajace ↩ identyfikacje↩ d̷loni i poszczególnych palców
w obrazie [2, 3, 26, 49]. Zak̷ladano, ˙ze t̷lo musi być jednorodne [2, 3, 26, 27, 49, 68, 80]
albo z̷lo˙zone lecz stacjonarne [10, 30, 61, 69]. Przyjmowano tak˙ze, ˙ze g̷lowa osoby
wykonujacej ↩ gest pozostaje nieruchoma, albo jej ruchy sa↩ znikome w porównaniu z
ruchami d̷loni [10, 27, 30, 61, 68, 69]. W pracy [10] d̷lonie musza↩ być w ciag̷lym ↩
ruchu, natomiast w pracach [61, 69] musza↩ one przyjmować pewna↩ ustalona↩ pozycje↩ poczatkow ↩ a↩ przed rozpoczeciem ↩ nagrywania. W metodach [10, 27, 68] przyjeto, ↩ ˙ze
kamera obserwuje tylko jedna↩ d̷loń.
Kszta̷lty przyjmowane przez d̷lonie i ich ruchy maja↩ charakter przestrzenny. W
wiekszo´sci ↩ dostepnych ↩ w literaturze rozwiazań ↩ do wyznaczania wektorów cech stosowano
jednak uk̷lady wizyjne z jedna↩ kamera. ↩ Uk̷lad stereowizyjny wykorzystano
w pracach [26, 49].
Klasyfikacje↩ przeprowadzano najcze´sciej ↩ za pomoca↩ ró˙znych wariantów sztucznych
sieci neuronowych [27, 50, 62, 74, 80] i ukrytych modeli Markowa [2, 3, 17, 41,
44, 61, 69, 75, 77]. Sieci neuronowe wykorzystywano przede wszystkim do rozpoznawania
kszta̷ltu d̷loni w gestach statycznych. Poniewa˙z wiekszo´sć ↩ znaków migowych
to gesty dynamiczne, ich rozpoznawanie wia˙ze ↩ sie↩ z klasyfikacja↩ szeregów czasowych.
Tu zastosowanie sieci neuronowych jest trudniejsze. Spotyka sie↩ podej´scia polegajace ↩
na uwzglednieniu ↩ na wej´sciu sieci danych reprezentatywnych tylko dla trzech etapów,
tj. poczatkowej, ↩ ´srodkowej i końcowej fazy gestu [76]. Inne rozwiazania ↩ polegaja↩ na
zastosowaniu sieci rekurencyjnej [50] lub sieci z opó´znieniem [80]. Jak widać z tab.
1.1, sieci neuronowe s̷lu˙zy̷ly raczej do rozpoznawania s̷lów. W przypadku zdań ko-
nieczne jest uprzednie wyodr ↩ ebnienie poszczególnych s̷lów. Propozycj ↩ e segmentacji
szeregu czasowego oparta↩ na detekcji zmiany kierunku ruchu d̷loni przedstawiono w
pracy [57].
Przewa˙zajaca ↩ liczba prac wykorzystuje ukryte modele Markowa. Jest to miedzy ↩ innymi
konsekwencja↩ do´swiadczeń wynikajacych ↩ z szerokiego stosowania tego narzedzia ↩
w systemach rozpoznawania mowy, które potwierdzaja, ↩ ˙ze ukryte modele Markowa
dobrze sprawdzaja↩ sie↩ w zadaniach modelowania i rozpoznawania szeregów czasowych,
wykazujac ↩ w̷la´sciwo´sci automatycznego dokonywania nieliniowej transformacji
czasowej i segmentacji. Skuteczno´sci rozpoznawania uzyskane w uk̷ladach rozpozna-
wania jezyków ↩ migowych zestawiono w tab. 1.1.
Na podstawie przegladu ↩ literatury mo˙zna sformu̷lować nastepuj ↩ ace ↩ wnioski.
• Poza niektórymi intuicyjnymi znakami o uniwersalnym zastosowaniu jezyki ↩
migowe u˙zywane w ró˙znych krajach sa↩ znaczaco ↩ odmienne.