Download als PDF (730 kB)

Software EMEA
Performance Tour 2013
17.-19 Juni, Berlin

Solution Confidence - richtig
aufgestellt für das Testen
der Zukunft!
Dr. Frank Spiegel
18.06.2013
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Firmenporträt Haufe-Lexware
Produktbeispiele:
Wir machen unsere Kunden erfolgreicher durch:
• Finanz-/Buchhaltungs-/Spezial-Software
• Digitale Arbeitsplatzlösungen (Fachinformationen,
Wissensportale etc.)
• Webbasierte Services (Beschaffungsplattformen etc.)
• Fortbildungs- und Trainingsprogramme
Haufe Gruppe:
• rd. 1.300 Mitarbeiter in Freiburg (HQ), München u. Temeswar
• rd. 250 Mio € Umsatz
Seite 3
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Softwareentwicklung bei Haufe-Lexware
Der Geschäftsbereich „Software Development & Research“ (SWD) verantwortet mit rd. 250
Mitarbeitern den überwiegenden Teil der Softwareentwicklung bei Haufe-Lexware.
Davon umfasst die SWD-Qualitätskontrolle (QK) rd. 50 test engineers und test managers.
Hinzu kommen externe Testfirmen und Einzelpersonen zur Unterstützung bei Bedarf. Sie
alle erbringen professionelle Test-Leistungen in >30 parallel laufenden Entwicklungsprojekten.
In der SWD-Qualitätskontrolle eingesetzte Standardwerkzeuge von Hewlett-Packard:
ALM ◊ Sprinter ◊ UFT ◊ QA Inspect ◊ Performance Center
Seite 4
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

„Testen der Zukunft“ – Mehrwert durch „Solution Confidence“
Qualitätserwartung
der Kunden,
business value
Testziele nach Spillner & Linz*
(ergänzt):
Fehlerwirkungen
nachweisen
Prozess- und
Organisationsreife
Seite 5
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG
* Spillner, A. & Linz, T. (2005): Basiswissen Softwaretest.
dpunkt.verlag.

Stufen der Organisations- u. Prozessexzellenz
Kontrolle, um Eignung & Konformität des
Produktes nachzuweisen.
Seite 6
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG
aus: Hirano, Furuyana (2006): „Jit is flow -practice and principles of lean manufacturing“
verfügbar u.a. unter www.wandelweb.de

Problemstellung
• Wie kann der Softwaretest noch besser dazu beitragen, die Qualität eines Softwareproduktes aus
Kundensicht und damit die Wahrscheinlichkeit eines Markterfolges des Produktes zu bewerten?
• Wie misst man diese Produktqualität schon im Entwicklungsprozess und schafft damit das nötige
Vertrauen für die Entscheidung über eine Markteinführung?
• Wie bestimmt man einen angemessenen Testumfang und welche Tests sind aus Wirtschaftlichkeitsoder
Termingründen verzichtbar?
-> Solution Confidence (Sicherheit, Vertrauen, Konfidenz, Gewissheit): Messbare Kenngröße für den
Beitrag, den ein einzelner Test (-fall) bei fehlerfreier Durchführung leistet zur Erhöhung des Vertrauens
in die Qualität des Softwarereleases
-> ermöglicht fundiertere Entscheidungen für Qualitätsmaßnahmen während des Entwicklungsprojektes
und im weiteren Applikationslebenszyklus.
„Wissen, dass es funktioniert“ als Erweiterung von „Suchen, was nicht funktioniert“.
Seite 7
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Solution Confidence: Vorgehen
1. Bewertung aller Testfälle hinsichtlich ihres Potentials, das Fehlerrisiko in einem
Produktrelease zu minimieren und damit das Vertrauen in das Produkt zu erhöhen
(Risikopunkte, s. nächste Seiten).
2. Entscheidung, welches Maß an Vertrauen / Gewissheit mindestens erreicht werden
muss in einer Testphase, um die Produktqualität als ausreichend zu erachten.
3. Auswahl der hierfür mindestens erforderlichen Testfälle aufgrund ihres jeweiligen
Beitrags zum Vertrauenszuwachs.
4. Festlegung der Durchführungsreihenfolge nach Maßgabe „Confidence first“, also zuerst
diejenigen Testfälle mit den höchsten Risikopunkten.
NB: Die Risikopunkte eines Testfalls können sich von Testphase zu Testphase bzw. von
Release zu Release ändern!
Seite 8
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Risikopunkte = Schadenshöhe x Eintrittswahrscheinlichkeit
Die Severity gibt an, welche Schadenshöhe ein Fehler in dem entsprechenden Test hat:
Anzahl der betroffenen Kunden.
Der durch die Fehlfunktion verursachte Schaden beim Kunden.
Höhe des durch den Fehler verursachten Supportaufkommens.
Imageverlust der Firma.
…
Die Probability gibt an, wie hoch die Eintrittswahrscheinlichkeit eines Fehlers im entsprechenden Test des
aktuellen Releases ist. Einflussfaktoren sind:
Codeänderungen am zu testenden SW-Modul oder an benachbarten SW-Modulen.
(Integrationstests neuer Features sind immer High!)
Zeitraum, wann der betreffende Test zuletzt ausgeführt wurde.
Bereits erfasstes Supportaufkommen in dem betroffenen Bereich.
…
Seite 9
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Berechnung der Risikopunkte
Severity pro Testfall, releaseunabhängig
(-> Test Plan)
A – high; B – medium; C – low
Festlegung durch Produktmanager,
Business Analyst und Testmanager
Probability pro Testfall, releaseabhängig
(-> Test Lab)
1 – high; 2 – medium; 3 – low
Festlegung durch Enticklung und
Testmanager
Risikopunkte = Severity x Probability
Severity / Probability 1- high 2 - medium 3 – low
Faktor 3 2 1
A – high 3 9 6 3
B – medium 2 6 4 2
C – low 1 3 2 1
Seite 10
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Beispiel
Solution Confidence: Verteilung der Testfälle für ein bestimmtes Release einer
Softwareapplikation:
Risikopunkte
Severity
Probability
Severity: Es gibt deutlich mehr
Testfälle mit kritischer Bedeutung als
unkritischer, was auf ein effektives,
risikoorientiertes Testdesign
hindeutet.
Probability: Das aktuell zu testende
Release ist offensichtlich sehr
kritisch, da von denjenigen
Testfällen, die aktuell eine hohe
Fehlerwahrscheinlichkeit haben, die
meisten auch eine hohe Severity
haben.
Seite 11
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Solution Confidence in HP ALM-Projekten
Test Plan: 3 neue Felder und 2 workflows:
3) 4)
1)
3)
2)
berechnetes Feld!
4)
Seite 12
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Solution Confidence in HP ALM-Projekten
Test Set: 2 neue Felder und 1 neuer workflow:
6)
5)
aus Test Plan
Seite 13
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Beispiel
aktuell erreichte Solution Confidence in
einem Entwicklungsprojekt:
Confidence-Ziel: 80%
Gesamtrisiko:
3.320 Punkte (= alle verfügbaren
Testfälle)
entscheidend ist nicht „No
Run“, sondern „Passed“
Confidence-Ziel für dieses Release:
80%
aktuell erreichte Risikopunkte
(Passed-Testfälle):
2.434 Punkte
=> aktuell erreichte Sol. Confidence:
73,3%
Seite 14
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Warum nicht mit der Standard-RBQM-Funktionalität?
• Anforderungen werden in unseren Projekten nicht immer in ALM geführt, bzw. sie
werden dorthin nur synchronisiert, weil sie in anderen Tools gepflegt werden.
• Anforderungsammlung ist oft nicht vollständig.
• Ungelöste Fragen bei RBQM:
o
o
o
Wie ist umzugehen in dem Fall, dass es zu einer Anforderung mehrere Testfälle gibt
(1:n), und diese wiederum unterschiedliche Fehlerwahrscheinlichkeiten oder
Business-Criticality-Werte haben?
Wie ist umzugehen mit Testfällen (i.d.R. end-to-end-Prozesstests), die mehrere
Anforderungen gleichzeitig tangieren (aber nicht vollständig abtesten)?
=> allgemein: Requ. : Testfall = n : m
Seite 15
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Fazit und offene Fragen
Der Ansatz der Solution Confidence hilft
• bei der Bewertung der Produktqualität auf eine nicht-technische, kundenorientierte Weise und
erleichtert damit v.a. dem Produkt- und Projektmanager seine Entscheidungen.
• bei der Planung, Durchführung und Auswertung von (Regressions-) Testphasen vor dem Hintergrund
knapper finanzieller und zeitlicher Spielräume.
• bei der Maximierung der Wertschöpfung (business value) des Testgeschäftes.
offene Fragen:
• Problem der absoluten Gewissheit: Was sind 100%?
• noch zu berücksichtigen: Aufwand für die Durchführung eines Testfalls. Dies kann noch einmal einen
signifikanten Einfluss nehmen auf die Testplanung und auf die Frage, welches Restrisiko man in Kauf
nimmt.
Seite 16
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Kontakt
Dr. rer. nat. Frank Spiegel
Bereichsleiter Qualitätsmanagement
frank.spiegel@haufe-lexware.com
‣ Certified Manager of Quality/Organizational Excellence (American Society for Quality)
‣ Certified Quality Manager (New Zealand Organization for Quality)
‣ Six Sigma Green Belt
‣ Certified Lead Auditor DIN/ISO 9001
Stellenangebote: http://www.haufe-lexware.com/karriere
Seite 17
Juni 2013
Dr. Frank Spiegel, Haufe-Lexware GmbH & Co. KG

Vielen Dank
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.