Klassifikation - Database Systems Group - Ludwig-Maximilians ...
Klassifikation - Database Systems Group - Ludwig-Maximilians ...
Klassifikation - Database Systems Group - Ludwig-Maximilians ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
DATABASE<br />
SYSTEMS<br />
GROUP<br />
Bewertung von Klassifikatoren<br />
Train-and-Test<br />
Bewertung ohne Overfitting durch Aufteilen von O in :<br />
• Trainingsmenge TR<br />
zum Lernen des Klassifikators (Konstruktion des Modells)<br />
• Testmenge TE<br />
zum unabhängigen Bewerten des Klassifikators<br />
• Zi Ziel: l Abschätzen Ab hät der d Erfolg- E f l bbzw. Fehlerrate F hl t des d Kl Klassifikators ifik t<br />
DATABASE<br />
SYSTEMS<br />
GROUP<br />
Daher: Test-Daten müssen unabhängig von Trainingsdaten sein<br />
TTrainings- i i und dT Testdaten d sollen ll das d Problem P bl angemessen wiederspiegeln<br />
i d i l<br />
(z.B. proportionale Anteile der verschiedenen Klassen)<br />
Bewertung von Klassifikatoren<br />
m-fache Überkreuz-Validierung<br />
• sinnvolle manuelle Aufteilung in Trainings- und Testmenge<br />
nicht trivial<br />
•Train-and-Test nicht anwendbar, wenn nur wenige Objekte<br />
mit bekannter Klassenzugehörigkeit vorhanden sind.<br />
•Stattdessen: m-fache ÜÜberkreuz-Validierung<br />
(m-fold Cross-<br />
Validation)<br />
• teile die Menge O zufällig in m gleich große Teilmengen<br />
• verwende jeweils m−1 Teilmengen zum Training<br />
und die verbleibende Teilmenge zur Bewertung<br />
• kombiniere die erhaltenen m <strong>Klassifikation</strong>sfehler<br />
• Wiederhole das Verfahren mehrmals<br />
17<br />
18
Change language