Softwarezuverlässigkeitsbewertung auf Basis von ...

kann, wurde in [15, 16] illustriert, wie sich dieser durch
Nutzung von Betriebserfahrung wesentlich reduzieren
lässt. Für die Anwendbarkeit der statistischen Stichprobentheorie
müssen allerdings einige Bedingungen nachweisbar
erfüllt sein.
Die folgenden Voraussetzungen betreffen allgemeine
Anforderungen an den Test:
• Unabhängige Ausführung der Testfälle (notfalls
durch reset - Mechanismen erzielbar);
• Erkennung aller Versagen (domänenspezifische
Herausforderung);
• Kein Versagensauftreten (prinzipiell auch auf wenige
Versagen erweiterbar, natürlich auf Kosten entsprechend
geringerer Zuverlässigkeitsschätzwerte).
Die Voraussetzungen für die Auswahl der Testdaten
betreffen:
• Betriebsprofiltreue (Auswahl der Testfälle wie im
Betrieb zu erwarten);
• Unabhängige Auswahl der Testfälle (ein Testfall
beeinflusst nicht die Auswahl weiterer).
Daraus lässt sich zu jeder beliebigen Aussagesicherheit
β anhand einer Anzahl n (n > 100) an erfolgreich ausgeführten
Testfällen eine obere Schranke p ~ der tatsächlichen
Versagenswahrscheinlichkeit p herleiten [3, 18]:
~
p = 1 −
n 1
− β
Die oben eingeführte Aussagesicherheit β ist als Komplement
der Irrtumswahrscheinlichkeit α = 1 - β zu verstehen,
die ein Hypothesentest mit Nullhypothese
H : p
~
0 ≤ p nicht überschreiten darf.
3 Testfallgenerierung mittels multiobjektiver
Optimierung
Da sich der Ansatz in diesem Artikel mit der Erstellung
adäquater Testfälle beschäftigt, werden im Weiteren nur
die Voraussetzungen betrachtet, die die Auswahl der
Testdaten selbst betreffen. Die Einhaltung der allgemeinen
Voraussetzungen zur Anwendung der statistischen
Stichprobentheorie ist im Falle der unabhängigen Ausführung
durch reset - Mechanismen und in den anderen Fällen
durch Domänen-Experten oder Software-Entwickler
zu gewährleisten. Es werden prinzipiell zwei Arten von
Abhängigkeiten unterschieden:
Zum einen können semantische Abhängigkeiten zwischen
Eingabeparametern existieren, die durch die Anwendung
vorgegeben werden, etwa Korrelationen der
Eingabedaten infolge physikalischer Gesetze oder logischer
Muster. Diese inhärenten Abhängigkeiten müssen
bei der Erstellung des Betriebsprofils berücksichtigt werden
(siehe Abschnitt 3.1).
Zum anderen können zufallsbedingte Abhängigkeiten
bei der Instantiierung der Parameter auftreten. Diese sind
zu vermeiden bzw. herauszufiltern (siehe Abschnitt 3.2).
3.1 Ziel 1: Betriebsprofiltreue
Es wird vorausgesetzt, dass eine akzeptable Schätzung
des zu erwartenden Betriebsprofils mittels der Verteilungsfunktionen
der Eingabeparameter unter Berücksichtigung
anwendungsspezifischer funktionaler Abhängigkeiten
vorliegt.
Zur Messung der Betriebsprofiltreue generierter Testfälle
stehen verschiedene Goodness-of-Fit-Tests wie der
χ 2 -Test [6], der Kolmogorow-Smirnow-Test [6] oder der
Anderson-Darling-Test [6] zur Verfügung. Dabei wird
zunächst folgende Nullhypothese formuliert:
H0: Die beobachtete Datenverteilung stimmt mit der erwarteten
Verteilung überein.
Die Gültigkeit dieser Aussage wird mittels eines Signifikanztests
überprüft. Dabei wird zu vorgegebenem Signifikanzniveau
α der kritische Wert zur Annahme oder Ablehnung
der Nullhypothese ermittelt. Ist der Wert der dem
entsprechenden Goodness-of-Fit-Test zugrunde liegenden
Teststatistik höher als der kritische Wert, so ist die Nullhypothese
zum Signifikanzniveau α abzulehnen; liegt er
unterhalb des kritischen Werts, so können die beobachteten
Daten als ausreichend betrieblich repräsentativ angesehen
werden. Abbildung 1 zeigt ein Beispiel für die Verteilungsanpassung
einer Menge von Werten an eine Weibull-Verteilung.
Abbildung 1: Beispiel für Verteilungsanpassung
3.2 Ziel 2: Unabhängigkeit der Testfallauswahl
Um die unabhängige Auswahl der Testfälle sicherzustellen,
dürfen die Werte der zuvor als unabhängig eingestuften
Eingabeparameter keine Korrelationen aufweisen.
Zum Zwecke der Überprüfung unterscheidet man zwischen
den beiden folgenden Korrelationsarten: