RapidMiner im akademischen Einsatz - Documentation - Rapid

2. Die Anwendungsfälle
Abbildung 2.2: Ein ROCChart zum Vergleich dreier Modelle
die Standardabweichung an, die sich über die verschiedenen Durchläufe der intern
verwendeten Kreuzvalidierung ergibt. Ein Beispiel für den Vergleich von Naive
Bayes, Decision Tree und einem Rule Set finden sich im Prozess 00.6 - Comparing
ROCs.
Zu guter Letzt sollte man beachten, dass alle Plots und Ergebnisse von zufälligen
Schwankungen abhängen können. Daher sollte man sich nicht alleine auf ein Vergleich
der Gütekriterien verlassen, sondern auch testen, ob Unterschiede signifikant
sind. In RapidMiner können dafür die Ergebnisse mehrerer Kreuzvalidierung
einfach an einen T-Test oder Anova-Operator angelegt werden. Man erhält dann
eine Tabelle, die die jeweiligen Testresultate anzeigt. Das Signifikanzniveau kann
dabei als Parameter angegeben werden. Ein Prozess, der diese Tests beispielhaft
auf mehreren Datensätzen durchführt findet sich in 00.7 - Significance Test.
16