Tabellarischer Vergleich der Prozessmodelle für modellbasiertes ...
Tabellarischer Vergleich der Prozessmodelle für modellbasiertes ...
Tabellarischer Vergleich der Prozessmodelle für modellbasiertes ...
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
<strong>Tabellarischer</strong> <strong>Vergleich</strong> <strong>der</strong><br />
<strong>Prozessmodelle</strong><br />
<strong>für</strong> <strong>modellbasiertes</strong> Testen aus<br />
MManagementsicht t i ht<br />
Dominik Beulen, Barış Güldalı,<br />
Michael Mlynarski<br />
TAV 29, Stralsund<br />
12.11.2009
Überblick<br />
• Wie sieht <strong>der</strong> Prozess <strong>für</strong> MBT aus?<br />
• Worauf muss <strong>der</strong> Testmanager achten?<br />
• Welche Aufwände müssen Tester betreiben?<br />
• Welche e c e uunterschiedlichen te sc ed c e Ansätze sät e ggibt bt es es?<br />
• Wie kann man die Ansätze miteinan<strong>der</strong><br />
vergleichen?<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 2
Fundamentaler Prozess <strong>für</strong> MBT<br />
[Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005]<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 3
Unterschiedliche Ansätze in <strong>der</strong> Literatur<br />
Pretschner et.al.<br />
imbus AG<br />
Pretschner et.al.<br />
Pretschner et.al.<br />
El Far et.al.<br />
AGEDIS<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen<br />
Pretschner et.al.<br />
Pretschner et.al.<br />
DACS<br />
4
Überblick<br />
• Wie sieht <strong>der</strong> Prozess <strong>für</strong> MBT aus?<br />
• Worauf muss <strong>der</strong> Testmanager achten?<br />
• Welche Aufwände müssen Tester betreiben?<br />
• Welche e c e uunterschiedlichen te sc ed c e Ansätze sät e ggibt bt es es?<br />
• Wie kann man die Ansätze miteinan<strong>der</strong><br />
vergleichen?<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 5
Sicht des Testmanagers<br />
???<br />
Testfälle<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 6
Aufwände <strong>für</strong> MBT<br />
Testfälle<br />
AAufwand f d<br />
Erstellung <strong>der</strong> Testmodelle<br />
Generierung <strong>der</strong> Testfälle<br />
Ausführung <strong>der</strong> Testfälle<br />
Auswertung <strong>der</strong> Testergebnisse<br />
Schulung <strong>der</strong> Tester<br />
Koordination mit <strong>der</strong> Entwicklung<br />
Ei Einführung füh von WWerkzeugen k<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 7
<strong>Vergleich</strong>skriterien<br />
Aufwand Kriterium<br />
Erstellung <strong>der</strong> Testmodelle Wie<strong>der</strong>verwendung<br />
Generierung <strong>der</strong> Testfälle Automatisierungslevel<br />
Ausführung f <strong>der</strong> Testfälle f<br />
Automatisierungslevel<br />
Auswertung <strong>der</strong> Testergebnisse Redundanz<br />
Schulung <strong>der</strong> Tester Testing Maturity Level<br />
Koordination mit <strong>der</strong> Entwicklung Reihenfolge <strong>der</strong> Aktivitäten<br />
Einführung von Werkzeugen Modeling Maturity Level<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 8
<strong>Vergleich</strong>stabelle<br />
Ansätze<br />
Ansatz 1<br />
Ansatz 2<br />
...<br />
Kriterien<br />
Wie<strong>der</strong>rverwendunng<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 9<br />
Reddundanz<br />
Automattisierungslevvel<br />
Reihenfolge<br />
TML<br />
MML
Keine Aussagen über ...<br />
• Gesamtkosten<br />
• Testqualität<br />
• Testabdeckung<br />
• Kombination o b ato von o Ansätzen sät e<br />
• Mitarbeiterzufriedenheit<br />
• ...<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 10
Überblick<br />
• Wie sieht <strong>der</strong> Prozess <strong>für</strong> MBT aus?<br />
• Worauf muss <strong>der</strong> Testmanager achten?<br />
• Welche Aufwände müssen Tester betreiben?<br />
• Welche e c e uunterschiedlichen te sc ed c e Ansätze sät e ggibt bt es es?<br />
• Wie kann man die Ansätze miteinan<strong>der</strong><br />
vergleichen?<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 11
Gemeinsames Modell<br />
Anfor<strong>der</strong>ungen<br />
Testfall f ll<br />
Spezifikation<br />
Modell<br />
Testfälle<br />
generieren<br />
manuelle<br />
Auswertung<br />
generieren<br />
[Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005]<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 12<br />
Code
Generierung TM aus SUT<br />
Anfor<strong>der</strong>ungen<br />
Testmodell<br />
Testfall<br />
Spezifikation Testfälle<br />
generieren<br />
Extraktion<br />
manuelle<br />
Auswertung<br />
[Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005]<br />
Spezifikation<br />
Code<br />
Manuelle<br />
Code‐<br />
erstellung<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 13
Manuelle Erstellung TM<br />
Anfor<strong>der</strong>ungen<br />
Testmodell<br />
Testfall<br />
Spezifikation Testfälle<br />
generieren<br />
automatische<br />
Auswertung<br />
[Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005]<br />
Spezifikation<br />
Manuelle<br />
Code‐<br />
erstellung<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 14<br />
Code
Separate Modelle<br />
Anfor<strong>der</strong>ungen<br />
Testmodell<br />
Testfall<br />
Spezifikation Testfälle<br />
generieren<br />
automatische<br />
Auswertung<br />
Entwicklungs‐<br />
modell<br />
[Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005]<br />
Manuelle<br />
o<strong>der</strong><br />
automat.<br />
Code‐<br />
erstellung<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 15<br />
Code
Generierung TM aus Testfällen<br />
Anfor<strong>der</strong>ungen<br />
Testfall<br />
Spezifikation<br />
Reverse<br />
Engineering<br />
Testmodell<br />
Testfälle<br />
Alt Neu<br />
generieren<br />
Spezifikation<br />
z.B. [Jääskeläinen, et al. Synthesizing Test Models from Test Cases. 2008]<br />
Entwicklungs‐<br />
modell<br />
Manuelle<br />
o<strong>der</strong> d<br />
automat.<br />
Code‐<br />
erstellung<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 16<br />
Code
TM nach Transformation<br />
Anfor<strong>der</strong>ungen<br />
Testfall<br />
Spezifikation<br />
Transformation<br />
Testmodell<br />
Testfälle<br />
generieren i<br />
Transformation<br />
Entwicklungs‐<br />
modell<br />
Code<br />
Manuelle<br />
o<strong>der</strong><br />
automat.<br />
Code‐<br />
erstellung<br />
z.B. [Mlynarski, M., Güldali, B., Späth. M., Engels, G.: From Design Models to Test Models by Means of Test Ideas. 2009]<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 17
Überblick<br />
• Wie sieht <strong>der</strong> Prozess <strong>für</strong> MBT aus?<br />
• Worauf muss <strong>der</strong> Testmanager achten?<br />
• Welche Aufwände müssen Tester betreiben?<br />
• Welche e c e uunterschiedlichen te sc ed c e Ansätze sät e ggibt bt es es?<br />
• Wie kann man die Ansätze miteinan<strong>der</strong><br />
vergleichen?<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 18
<strong>Vergleich</strong> <strong>der</strong> Ansätze mittels Kriterien<br />
Ansätze<br />
Kriterien<br />
Wiedeerverwendung<br />
1) ) Gemeinsames Modell parallel ≥7 5<br />
2) Generierung TM aus SUT später ≥7 ≥1<br />
3) Manuelle Erstellung TM parallel ≥7 ≥3<br />
4) SSeparate t MModelle d ll<br />
egal ≥7 ≥4/5<br />
5) Generierung TM aus Testfällen egal ≥7 ≥1<br />
6) TM nach Transformation<br />
Reedundanz<br />
Automaatisierungsleevel<br />
<br />
Reeihenfolge<br />
später<br />
bzw. egal<br />
TML<br />
MML<br />
≥7 5<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 19
<strong>Vergleich</strong> <strong>der</strong> Ansätze mittels Aufwände<br />
AAnsätze ät<br />
Aufwände<br />
1) ) Gemeinsames Modell<br />
2) Generierung TM aus SUT<br />
3) Manuelle Erstellung TM<br />
4) SSeparate t MModelle d ll<br />
5) Generierung TM aus Testfällen<br />
6) TM nach Transformation<br />
Hoher Aufwand:<br />
Mittlerer Aufwand:<br />
Wenig Aufwand:<br />
Erstellu<br />
ng <strong>der</strong><br />
Testmo<br />
delle<br />
Auswert<br />
ung <strong>der</strong><br />
Testerg<br />
ebnisse<br />
Generier<br />
ung <strong>der</strong><br />
Testfälle,<br />
Ausführu<br />
ng <strong>der</strong><br />
Testfälle<br />
Koordina<br />
tion mit<br />
<strong>der</strong><br />
Entwickl<br />
ung<br />
Schulu<br />
ng <strong>der</strong><br />
Tester<br />
Einführ<br />
ung<br />
von<br />
Werkze<br />
ugen<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 20
Zusammenfassung<br />
• MBT ist nicht „umsonst“ umsonst“<br />
• Unterschiedliche Ansätze, unterschiedliche<br />
Aufwände<br />
• <strong>Vergleich</strong> von Ansätzen möglich<br />
• Kombination von Ansätzen möglich<br />
• Unser Beitrag:<br />
– Literatursichtung<br />
– übersichtliche <strong>Vergleich</strong>skriterien<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 21
Vielen Dank <strong>für</strong> die Aufmerksamkeit<br />
Hoffe auf ein Wie<strong>der</strong>sehen in SWQD 2010!<br />
Tutorial: Modellbasiertes Testen - praktisch angewandt<br />
Barış a ş Güda Güldalı, , Dr.-Ing. g CChristof s o JJ. Budnik ud<br />
Software Quality Lab (s-lab)<br />
Universität Pa<strong>der</strong>born<br />
Warburger Str Str. 100<br />
33098 Pa<strong>der</strong>born<br />
htt http://s-lab.upb.de<br />
// l b b d<br />
© Software Quality Lab (s-lab) Güldali: <strong>Vergleich</strong> von MBT-Ansätzen 22
Change language