Value Driven Testing - Anecon
Value Driven Testing - Anecon
Value Driven Testing - Anecon
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
Welchen Wert hat der Test?<br />
Was ist es wert zu testen?<br />
Dipl.-Ing. Manfred Baumgartner<br />
Leiter Geschäftsfeld Software-Test / ANECON<br />
© ANECON Software Design und Beratung G.m.b.H. | Alser Str. 4/Hof 1 | A-1090 Wien | Tel.: +43 1 409 58 90 | www.anecon.com | office@anecon.com
ANECON Software Design und Beratung G.m.b.H.<br />
• Gründung im Jänner 1998<br />
• 4 private Eigentümer<br />
2 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner<br />
• MitarbeiterInnen 2009: über 95<br />
• Jahresumsatz 2009: ~ € 8 Mio.
Ausgangssituation<br />
• Gerade in wirtschaftlich schwierigen Zeiten<br />
ist dem effizienten und effektiven Einsatz<br />
der vorhandenen Mitteln höchste<br />
Aufmerksamkeit zu schenken<br />
• Insbesondere die Themen<br />
Qualitätssicherung und Testen geraten als<br />
nicht „primärproduktiv“ unter Druck<br />
3 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Welchen Wert hat der Test?<br />
Test ist eine Software Engineering Aktivität, die Kosten,<br />
aber auch Nutzen bringt.<br />
Test-ROI = (Test Nutzen – Test Kosten) / Test Kosten<br />
Nach DIN 55350 Teil 11, versteht man unter Qualitätskosten<br />
alle Kosten, die durch Tätigkeiten der Fehlerverhütung, durch<br />
planmäßige Qualitätsprüfungen, sowie durch intern oder<br />
extern festgestellte Fehler verursacht werden.<br />
4 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Qualität kostet!<br />
Kosten = Fehlerverhütungskosten + Prüfkosten<br />
• Fehlerverhütungskosten (Prevention Costs)<br />
Kosten für vorbeugende, konstruktive Qualitätssicherung<br />
• Qualitätsmanagement, -planung und -controlling<br />
• Qualitätssicherung der Prozesse<br />
• Standardisierungen, Methoden, Techniken, Werkzeuge<br />
• Schulungsmaßnahmen<br />
• Prüfkosten (Appraisal Costs)<br />
Personal- und Sachkosten für die analytische Qualitätssicherung<br />
• Reviews und Inspektionen von Entwürfen (Fachentwurf, Design, Architektur,..)<br />
• Software Tests (Komponenten-, System-, Integrations-, Abnahmetest, …)<br />
• Interne Audits für Produkte, Prozesse und Services<br />
• Kosten für die Prüfmittel (Werkzeuge, Testumgebungen, etc.)<br />
5 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Je komplexer die Systeme desto höher der<br />
Aufwand für die Qualitätssicherung!<br />
6 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner<br />
Quelle: P. Liggesmeyer , Conquest 2009,<br />
C.Jones, Applied Software Management, 1991
Fehlende Qualität kostet mehr!<br />
• Interne Fehlerkosten (Internal Failure Costs)<br />
Kosten für die Behebung von Fehlern, die innerhalb des<br />
Unternehmens, während des Projekts bzw. vor Produktivsetzung<br />
entdeckt und beseitigt werden.<br />
• Änderungskosten (Änderungen von Anforderungen, Design,<br />
Architektur ..)<br />
• Nacharbeiten<br />
• Fehleranalyse- und -behebungskosten<br />
• Re-testing<br />
• Projektverzögerungen<br />
7 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Fehlende Qualität kostet mehr!<br />
• Externe Fehlerkosten (External Failure Costs)<br />
Aufwendungen für die Beseitigung von Fehlern, die außerhalb des<br />
Unternehmens bzw. nach Produktivsetzung entdeckt werden.<br />
• Garantie- und Kulanzkosten, Vertragsstrafen<br />
• Produkthaftung, Umweltkosten<br />
• Rückrufaktionen<br />
• Reklamationsbearbeitung, Aufwände in Hotline und Support<br />
• Marktverluste (durch schlechte Qualität und Zeitverluste)<br />
• Verlust an Ansehen und Vertrauen<br />
• Harry Sneed: Corrective Maintenance makes up for 26-40 % of all<br />
software maintenance costs<br />
Nutzen = verhinderte bzw. verminderte Interne und<br />
Externe Fehlerkosten<br />
8 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Das Optimum ist stets neu zu finden!<br />
9 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner<br />
•Effizienz<br />
•Effektivität
Das Optimierungspotential ist enorm!<br />
• NIST – Studie 2002 (National Institute of Standards & Technology)<br />
• Jährliche Kosten durch Software Fehler für die U.S. Wirtschaft:<br />
$ 59,5 Milliarden<br />
• 50% dieser Kosten werden durch die Anwender, 50 % durch die<br />
Hersteller/Lieferanten getragen<br />
• Ca. 1/3 dieser Kosten ($ 22,2 Mrd.) könnten durch verbesserte<br />
Testinfrastruktur und frühere und effektivere Fehleridentifikation<br />
und –behebung vermieden werden<br />
• Royal Academy of Engineering 2005<br />
• In Europa: jährlich € 100 -150 Mrd.<br />
Schaden durch Software Fehler<br />
10 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner<br />
Software Quality’s<br />
Role in Profit<br />
Maximization
Was ist es wert zu testen?<br />
• <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
• Die Anwendung von Techniken, zur Überprüfung,<br />
ob die Software die erwarteten Ziele hinsichtlich des<br />
Business <strong>Value</strong> leisten kann<br />
• Die Anwendung von Prozessen und Verfahren zur<br />
Priorisierung und Planung der Testaktivitäten im Sinne<br />
eines Business Investments<br />
• und nicht<br />
• Testen, wo man am meisten Fehler vermutet<br />
• Vollständiger, strukturierter Funktionaler Test<br />
• Testende = 80 % Code-Abdeckung …….<br />
11 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> Based Software Engineering<br />
12 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
• Testdesign und Priorisierung entlang des „<strong>Value</strong>s“<br />
des Systems bzw. der Teilsysteme und<br />
Funktionen<br />
• Testdurchführung, -management und -steuerung<br />
auf Basis des „Benefits Realized“<br />
• <strong>Value</strong> Points<br />
• Relatives Maß für den (erwarteten) Nutzen, da absolute<br />
Größen meist nicht verfügbar<br />
• können pro Funktion / Use Case bzw. nicht<br />
funktionalem Requirement festgelegt werden<br />
13 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
Nutzengewichtung u. Aufwandsschätzung<br />
14 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
Priorisierung und Testplanung<br />
15 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
Priorisierung und Testplanung<br />
16 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
<strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong><br />
Herausforderungen und Chancen<br />
• Für <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> muss das Gesamtprojekt auf<br />
<strong>Value</strong> Based Software Engineering ausgerichtet sein<br />
• Business <strong>Value</strong> Betrachtung nicht nur auf<br />
Applikationsebene sondern hinuntergebrochen auf<br />
funktionale und nicht funktionale Requirements, inkl. Zeit<br />
• Starke Einbeziehung der Stakeholder in das Projekt<br />
(vgl. Agile Methoden)<br />
• Einbettung von <strong>Value</strong> Based SE-Konzepten in Iterative<br />
oder Agile Vorgehensweisen<br />
• Testendekriterien auf Basis des erreichten <strong>Value</strong>s<br />
• Erfordert neues Denken insbesondere im Management<br />
sowie Steuerung und Controlling<br />
17 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Software Test<br />
mit optimalem<br />
Kosten/Nutzen-Faktor<br />
ANECON Software Design und Beratung G.m.b.H.<br />
Alser Straße 4 / Hof 1 | A-1090 Wien | www.anecon.com<br />
office@anecon.com | Tel.: +43 1 409 58 90 - 0 | Fax: -998
<strong>Value</strong> <strong>Driven</strong> oder und Risk Based<br />
19 | © ANECON 2010 | <strong>Value</strong> <strong>Driven</strong> <strong>Testing</strong> | Dipl.-Ing. Manfred Baumgartner
Change language