Vytežování Dat Prednáška 11 – Testování modelu: krížová validace ...

More documents

Recommendations

Info

Nevýhoda trénovacích/testovacích/validačních chyb Pˇredstavme si datovou mnoˇzinu se dvěma tˇrídami – zdraví pacienti a nemocní pacienti. Zdravých pacient˚u je 95% dat a nemocných je zbývajících 5% pacient˚u. Jakou chybu na testovacích datech (vybraných jako podmnoˇzinu z tohoto datasetu) bude mít klasifikátor, který bude pˇredpovídat, ˇze vˇsichni pacienti jsou v poˇrádku? 95% – to je super klasifikátor! Ale dělá něco uˇzitečného? NE! Takový klasifikátor je k ničemu. ČVUT (FEL) Testování model˚u 3.12.2011 18 / 31
Nevýhoda trénovacích/testovacích/validačních chyb Pˇredstavme si datovou mnoˇzinu se dvěma tˇrídami – zdraví pacienti a nemocní pacienti. Zdravých pacient˚u je 95% dat a nemocných je zbývajících 5% pacient˚u. Jakou chybu na testovacích datech (vybraných jako podmnoˇzinu z tohoto datasetu) bude mít klasifikátor, který bude pˇredpovídat, ˇze vˇsichni pacienti jsou v poˇrádku? 95% – to je super klasifikátor! Ale dělá něco uˇzitečného? NE! Takový klasifikátor je k ničemu. Dokáˇzi zjistit z testovací chyby, ˇze klasifikátor provádí něco takového? ČVUT (FEL) Testování model˚u 3.12.2011 18 / 31
Page 1 and 2: Vytěˇzování Dat Pˇrednáˇska
Page 3 and 4: Chyba modelu Jak zjistíme jestli j
Page 5 and 6: Chyba na trénovacích datech M˚u
Page 7 and 8: Chyba na trénovacích datech M˚u
Page 9 and 10: ˇSpatný model Pˇredstavme si kl
Page 11 and 12: ˇSpatný model Pˇredstavme si kl
Page 13 and 14: Trénovací data Ale tyto nechci, a
Page 15 and 16: Testovací data Jak se tedy vyzrát
Page 17 and 18: Trénovací a testovací data Jak z
Page 19 and 20: Trénovací a testovací data Jak z
Page 21 and 22: Chyba modelu pˇri jiných testova
Page 23 and 24: Chyba modelu pˇri jiných testova
Page 25 and 26: Chyba modelu pˇri jiných trénov
Page 27 and 28: Chyba modelu pˇri jiných trénov
Page 29 and 30: Statistika chyb Takˇze pr˚uměrn
Page 31 and 32: X-fold cross validace (1) ˇReˇsen
Page 33 and 34: X-fold cross validace (2) A model p
Page 35 and 36: X-fold cross validace (3) Takto zí
Page 37 and 38: Pouˇzití kˇríˇzové validace M
Page 39 and 40: Pouˇzití kˇríˇzové validace M
Page 41 and 42: Nevýhoda trénovacích/testovací
Page 43: Nevýhoda trénovacích/testovací
Page 47 and 48: Specificita a senzitivita (1) Pokud
Page 49 and 50: Specificita a senzitivita (2) True
Page 51 and 52: Specificita a senzitivita (2) Kdyˇ
Page 53 and 54: Specificita a senzitivita (4) Kdyˇ
Page 55 and 56: ROC kˇrivka (1) Specificita a senz
Page 57 and 58: ROC kˇrivka (2) Mějme klasifikát
Page 59 and 60: ROC kˇrivka (4) Jak bude vypadat R
Page 61 and 62: Lift Lift je dalˇsí zp˚usob, jak
Page 63: Zdroje a dalˇsí čtení http://gi

Vytežování Dat Prednáška 11 – Testování modelu: krížová validace ...

Create successful ePaper yourself

Delete template?

Save as template?