Verbesserung der Untergrundunterdrückung eines neuen CAST ...

6 Klassifikation mittels TMVA
6.4 Klassifikation der künstlich erzeugten Daten
Für die zuvor in Abschnitt 5.2 künstlich erzeugten, niederenergetischen Daten werden zunächst neue
Methoden unter Verwendung dieser Daten trainiert und getestet. Im Anschluss wird untersucht, wie
effizient die in den vorigen Abschnitten trainierten Methoden sind, wenn die künstlich erzeugten Daten
zur Klassifikation gegeben werden.
6.4.1 Training neuer Methoden
Die Verwendung der künstlichen niederenergetischen Daten entspricht stets auch einem Schnitt auf die
Energie, da für die Erzeugung der künstlichen Ereignisse nur Ereignisse aus einem Energiebereich um
5,76 keV verteilt, verwendet wurden. Es werden erneut die gleichen Methoden wie in Abschnitt 6.1
verwendet.
Die Graphen der Ausgabeverteilungen und die Schnitteffizienzen sind erneut im Anhang A.3.3 zu
finden.
Anhand der Signaleffizienzen in Tabelle 6.6 ist zu erkennen, dass in diesem Fall alle Methoden eine
extrem gute Trennung erreichen. Das künstliche neuronale Netzwerk MLP_BFGS erreicht mit einer Effizienz
von 99,69 % bei einem Schnittwert von 0,6522 die höchste Effizienz. Unter Berücksichtigung der
Untergrundunterdrückung erzielt erneut die SVM die besten Ergebnisse mit einer Signaleffizienz von
99,57 % bei einer Untergrundunterdrückung von 99,56 %. Overtraining spielt nach dem Kolmogorov-
Smirnov Test erneut bei einer Signifikanz α = 0.001 keine Rolle.
In Abbildung 6.6 sind die Untergrundunterdrückungen aller Methoden dargestellt. Es ist zu erkennen,
dass alle Methoden selbst bei sehr hohen Untergrundunterdrückungen von über 99 % noch Signaleffizienzen
von mehr als 99 % erreichen. Die hohen Effizienzen sind darauf zurückzuführen, dass für die
Erzeugung des Datensatzes ein Schnitt auf die Energie vorgenommen wurde. Daher müssen die Signaleffizienzen
mit denen des Trainierens mit einem Schnitt auf die Energie verglichen werden. Es kann
geschlussfolgert werden, dass das Trainieren für geringere Energien nicht schlechter wird, sondern die
geringere Energie dazu führt, dass die Verteilungen der Variablen zwischen Signal und Untergrund stärker
getrennt wird.
Methode Schnittwert Signaleffizienz Untergrundunterdrückung
BDT_AdaBoost 0,0407 0,9962 0,9945
BDT_AdaBoost_Depth 0,3562 0,9926 0,9956
SVM 0,6715 0,9957 0,9956
MLP_BFGS 0,6522 0,9969 0,9926
MLP_BP 0,6848 0,9958 0,9925
Tabelle 6.6: Signaleffizienzen bei optimalem Schnittwert der einzelnen Methoden basierend auf den künstlichen
Daten.
6.4.2 Klassifikation mittels vorhandener Methoden
Eine andere Fragestellung ist, inwieweit es mit Methoden, welche für höhere Energien trainiert wurde,
möglich ist die niederenergetischen Ereignisse zu klassifizieren. Dies in von Relevanz, da die Methoden
natürlich zuverlässiger mit den Daten der 55 Fe Quelle trainiert werden können, als mit den künstlichen
42