Tool-Evaluierung - Software Quality Lab

Seite 1 � 27.12.2006 

improve your quality 

Ausgabe 2006 / 3 

Erscheinungsart: ca. 4 x jährlich in elektronischer Form 

In dieser Ausgabe … 

� Tool Evaluierung 

� Das Software Quality Lab TEC - Tool Evaluation Center 

� Beispielhafte Vorstellung einiger Test-Tools 

� Literatur und Zitate 

Tool Evaluierung … 

Wie kann eine Tool-Evaluierung effizient und auf einer fundierten Basis 

durchgeführt werden? 

Die Tool-Evaluierung besteht im Wesentliche aus folgenden Schritten: 

1. Definition der eigenen Anforderungen und Entscheidungsgrundlagen 

(z.B. in Form einer Checkliste oder eines ersten groben Lastenhefts) 

2. Schaffen eines Marktüberblicks von in Frage kommenden Tools 

3. Gegebenenfalls grobe Vorauswahl von passenden Tools (z.B. anhand der 

individuell definierten Tool-Evaluierungs-Checkliste) 

4. Anfordern oder Beschaffen der Tools 

5. Installation und Konfiguration der Tools 

6. Erstellen von passenden Evaluierungs-Szenarien und Beispielen 

7. Vergleich der Tools und Erstellung einer Grundlage für die Entscheidungsträger 

(z.B. in Form einer SWOT- oder Nutzwert-Analyse) 

8. Erstellung einer detaillierten Anforderungsspezifikation 

9. Start des detaillierten Verhandlungs– und Einführungsprozesses/-projekts 

Im Rahmen der Tool- 

Evaluierung sind vielfältige 

Aspekte zu berücksichtigen. 

Abbildung 1 zeigt einige der 

wesentlichen Aspekte. 

Wie kann nun eine 

Tool-Evaluierung effizient 

und auf einer fundierten 

Basis durchgeführt werden? 

Dazu kann z.B. ein 

sogenanntes „Tool Evaluation 

Center“ herange- 

Unternehemens- 

Kultur 

Prozesse 

Integration, 

Schnittstellen 

zogen werden. Dies ist eine typischerweise ständig betriebene Umgebung in der 

die aktuellsten Tools vorkonfiguriert und mit plausiblen Testbeispielen hinterlegt 

zur Evaluierung bereitgestellt werden. 

Dieses Tool Evaluierungs Center kann den Tool-Interessenten die Schritte 

2.-6. der Tool-Evaluierung abnehmen und die Schritte 7. bis 9. wesentlich erleichtern 

und kann damit enorm viel Zeit sparen, da diese Aktivitäten üblicherweise 

zumindest mehrere Tage, bei komplexeren Evaluierungen sogar viele 

Wochen an Arbeitszeit erfordert. 

Im nachfolgenden Beitrag wird beispielhaft das TEC - Tool Evaluation Center 

von Software Quality Lab vorgestellt. 

Software Quality Lab GmbH 

A-4222 Langenstein / Linz Fliederstrasse 8 www.software-quality-lab.at 

� � 

Methoden 

TOOL 

Anforderungen 

Projekte 

Kosten/ 

Nutzen 

Anwender 

Abb.1: Einige Aspekte im Rahmen der Tool-Auswahl 

Quelle: Bergsmann 

K 

Quality 

nowledge 

Letter 

www.software-quality-lab.at 

Tool-Evaluierung 

Wie treffen Sie die 

Entscheidung? 

In Gesprächen mit unseren Kunden und 

Interessenten kommen wir auch immer wieder 

auf das Thema Tools zu sprechen. 

Dabei ist natürlich ein wesentlicher Erfolgsfaktor, 

wie man die passenden Tools evaluiert 

und auswählt. 

Leider wird dieses doch vielfach auch strategisch 

wichtige Thema oft recht halbherzig 

angegangen. 

Die Gründe dafür sind vielfältig: 

� keine Zeit, da gerade viele andere wichtige 

Projekte laufen 

� keine qualifizierten Leute, die das beurteilen 

können 

� zu wenig Marktüberblick über die gängigen 

Tools 

� … 

Um den Aufwand der Evaluierung zu minimieren, 

holt man sich oft auch einen billigen 

Studenten oder Praktikanten, der das dann 

erledigt und auf dessen Ergebnissen die 

strategische Entscheidung basiert. 

Dass diesen jungen Leuten oft der Überblick, 

die notwendige praktische Erfahrung sowie 

auch die strategisch/unternehmerische Sicht 

fehlt, wird dabei nicht bedacht. 

Außerdem wird oft zu wenig Zeit in die Evaluierung 

investiert, sodass nach ein bisschen 

„Herumspielen“ diese wichtige Entscheidung 

auf Basis einer wackeligen Grundlage getroffen 

wird. 

Wie die Tool-Entscheidung auch effizienter 

und auf Basis einer fundierten Evaluierung 

getroffen werden kann, lesen Sie in diesem 

Knowledge-Letter. 

Dipl.-Ing. Johannes Bergsmann 

Staatl. befugter und beeideter Ingenieurkonsulent für Informatik 

Der Quality-Knowledgeletter ist ein periodisches Informationsmedium 

von Software Quality Lab und dessen Partnern mit den 

Schwerpunkten IT-Qualitätsmanagement, Projekt- und Prozess- 

Management. 

Inhalt: fachliche Beiträge und Schwerpunktthemen, Vorstellung 

neuer Produkte und Leistungen, neue wissenschaftliche Erkenntnisse, 

... 

Aktuelle Fach- und Forschungsbeiträge sind willkommen. 

Einsendungen an info@software-quality-lab.at . 

Weitere Infos zu diesem und anderen Themen finden Sie auf 

http://www.software-quality-lab.at . 

Telefon +43-(0)7237-4941-20 � FAX -11 � info@software-quality-lab.at 

Firmenbuch: Landesgericht Linz, FN 274343 x � UID: ATU62264668

Seite 2 � 27.12.2006 


Längst genügt es nicht mehr, irgendwelche Tools einzusetzen, 

um die Entwicklungsprozesse zu unterstützen. 

Sind die Werkzeuge nicht optimal auf die Prozesse abgestimmt, 

können die Folgekosten und die Folgewirkungen sehr 

hoch und möglicherweise sogar geschäftskritisch sein. 

Dabei sind nicht nur die Aufwände für Anpassung, Wartung 

und Updates zu berücksichtigen, sondern auch für Effizienzminderung 

oder gar Produktionsausfall. Deshalb müssen 

die Anforderungen systematisch erfasst und die betrachteten 

Produkte/Werkzeuge auf ihre Leistungsfähigkeit in Bezug auf 

die Anforderungen geprüft werden. 

Nicht selten werden bei Produkt-Vorführungen Funktionalitäten 

präsentiert, die nur teilweise, fehlerhaft oder noch gar 

nicht implementiert sind. Auch wird kaum ein Anbieter auf alternative 

Produkte anderer Hersteller aufmerksam machen. 

Vor der Auswahl einer Software sollten unter anderem 

folgende Fragen gestellt werden: 

� Welche Geschäftsprozesse sollen unterstützt werden? 

� Welche Anforderungen muss die Software dafür erfüllen? 

� Sind die Anforderungen vollständig und korrekt erfasst? 

� Sind die Bewertungskritierien dokumentiert und nachvollziehbar? 

� Haben Sie den Überblick über den Markt? 

� Wie vollständig und flexibel ist die angebotene Software? 

� Welche Schnittstellen hat die angebotene Software? 

� Inwieweit ist die angebotene Software kompatibel zu anderen 

Systemen? 

� Können die Anbieter gegebenenfalls Referenzen nachweisen? 

� Wer hat einen Vorteil von der Auswahl einer bestimmten 

oder keiner Software? 

� … 

Eine Evaluierung sollte idealer Weise nicht von einem Software-Anbieter 

durchgeführt werden, da er nicht unparteiisch 

ist. Wenn man sich für die Investition in eine neue Software 

entscheidet, sollte die notwendige Evaluierung und Auswahl 

möglichst auch durch einen neutralen Experten unterstützt 

werden, der weder von der Auswahl einer speziellen Software 

profitiert, noch davon, ob überhaupt eine Software ausgewählt 

wird. 

Software Quality Lab bietet daher mit dem TEC - Tool Evaluation 

Center eine herstellerunabhängige Unterstützung beim 

Auswahlprozess, damit Sie sich für die Software-Werkzeuge 

entscheiden, die Ihre Organisation und Ihre Prozesse optimal 

unterstützen. 

Dabei begleitet Sie das Software Quality Lab TEC im gesamten 

Auswahl-Verfahren. 



� � 

Ziele des Software Quality Lab TEC 

K 


nowledge 

Letter 

Software Quality Lab TEC - Tool-Evaluation-Center 

von Dipl.-Ing. Johannes Bergsmann 


Software Quality Lab stellt eine spezielle Umgebung bereit, in der die wichtigsten Test-Tools und Application-Life-Cycle- 

Werkzeuge für Kunden und Interessenten für Evaluierungen zur Verfügung stehen. 

Das Software Quality Lab Tool Evaluation Center unterstützt Kunden und Interessenten bei der neutralen Auswahl von 

Tools für Ihren Application-Life-Cycle. 

� Kunden und Interessenten wird der direkte Vergleich von 

Produkten und Tools unterschiedlicher Anbieter ermöglicht. 

� Das mühsame Produkt-Anfordern, probeweise Installieren, 

hektische Ausprobieren, … kann vermeiden werden und 

eine objektive Evaluierung der Produkte wird ermöglicht. 

� Durch sehr breit angelegte, bereits vorbereitete Evaluierungs-Beispiele 

wird ein praxisgerechter Vergleich der Produkte 

ermöglicht. 

� Durch die Betreuung durch einen Tool-Spezialisten wird 

sicher gestellt, dass die Produkt-Evaluierung zielgerichtet 

und effizient verläuft. 

Nutzen für die Kunden und Interessenten 

� Es kann sehr viel Zeitaufwand durch den Wegfall der sonst 

üblichen Vorbereitungsarbeiten gespart werden. 

� Es können auf einfache Art und Weise mehrere Produkte 

im direkten Vergleich evaluiert werden. 

� Viele Interessenten wollen nicht vom Vertrieb des Herstellers 

„überredet“ werden, sondern wollen sich Produkte in 

Ruhe selbst ansehen und evaluieren. 

� Es stehen von allen relevanten Produkten bereits die vorkonfigurierten 

und mit Beispielen versehenen Voll- 

Versionen der Produkte zur Verfügung. 

� Es sind durchgängige und praxistaugliche gleiche Beispiele 

für jedes der Produkte vorbereitet, sodass ein objektiver 

Vergleich der Produkte möglich ist. 

� Optional wird der Tool-Interessenten auch beim Aufbereiten 

einer Entscheidungsgrundlage inkl. einer Kosten-/Nutzen- 

Bewertung der Systeme unterstützt. 

� 1x pro Jahr ist eine Produkt-Evaluierungs-Studie vorgesehen, 

in der alle Produkte, die im Software Quality Lab TEC 

präsentiert werden, aus einer neutralen Sicht dargestellt 

werden. Diese Studie wird den Tool-Interessenten ebenfalls 

zur Verfügung gestellt. 

Rahmenbedingungen 

Um die Neutralität zwischen den Tool-Herstellern sowie die 

Aktualität der Tool in der Evaluierungsumgebung sicherzustellen, 

werden sowohl mit Herstellern als auch mit Kunden entsprechende 

Vereinbarungen getroffen. 

Weiters werden auch entsprechende Vereinbarungen getroffen, 

die eine Missbräuchliche Verwendung der Tools ausserhalb 

der Evaluierungsumgebung sicherstellen. 

� Software Quality Lab verpflichtet sich gegenüber Kunden 

(Fortsetzung auf Seite 3) 



Seite 3 � 27.12.2006 


(Fortsetzung von Seite 2) 

und Interessenten, von den Herstellern keinerlei Provisionen 

für die Präsentation der Produkte zu erhalten, auch 

wenn aus der Präsentation ein Verkauf des Herstellers resultiert. 

� Software Quality Lab verpflichtet sich gegenüber den Herstellern, 

dass die Produkte ausschließlich für Evaluierungszwecke 

und nicht in konkreten Projekten verwendet werden. 

� Für die Hersteller ist die Teilnahme an den durch die Kunden/Interessenten 

durchgeführten Evaluierungen im Software 

Quality Lab TEC nur auf ausdrücklichen Wunsch des 

Kunden möglich. 

� Grundsätzlich wird dem Interessenten nur ermöglicht, das 

Produkt innerhalb der Software Quality Lab Evaluierungs- 

Umgebung zu testen. Es bestehet daher die Sicherheit für 

den Hersteller, dass der Interessent das Produkt (auch 

wenn es sich um die Voll-Version handelt) nur für die Evaluierung 

verwendet. Die Evaluierungslizenz wird in keinem 

Fall bei einem Kunden oder Interessenten installiert. Dies 

ist nur über den direkten Kontakt zum Hersteller möglich. 

� Die Hersteller stellen in regelmäßigen Abständen 

(mindestens 1 x jährlich) die aktuellen Produkt-Versionen 

als Voll-Versionen (ev. mit eingeschränkter Benutzerzahl) 

für die Evaluierung zur Verfügung. 

� Die Hersteller können jederzeit Einblick in des TEC bzw. 

die Präsentation ihrer Tools nehmen und können auch Marketing-Material 

im TEC auflegen, 

das den Kunden und 

Interessenten zur Entnahme 

zur Verfügung seht. 

� Weiters wird auf Wunsch der 

Kunden und Interessenten 

auch der direkte Kontakt zum 

Tool-Anbieter hergestellt, z.B. 

für eine weitere detailliertere 

Betreuung oder für die Erstellung 

von konkreten Angeboten 



� � 

Verfügbare Tools 

K 


nowledge 

Letter 


Nachfolgend sind einige Hersteller / Tools, die im TEC vertreten 

sind in alphabetischer Reihenfolge angegeben: 

� Compuware 

� IBM / Rational 

� Mercury 

� Orcanos 

� Polarion 

� QA Systems 

� Telelogic 

� TPTP / Eclipse 

Der Schwerpunkt liegt zur Zeit auf Tools in den Themenberiechen 

Anforderungsmanagement und Testen. 

Die Tools werden jedoch laufend erweitert und im Endausbau 

ist geplant, unterschiedlichste Tools für den kompletten 

Application-Life-Cycle zu präsentieren. 

Tool-Hersteller, die Interesse haben, Ihre Tools im TEC zu 

präsentieren, sind jederzeit gerne dazu eingeladen. 

Nutzen und Kosten für Kunden und Interessenten 

Kunden und Interessenten sparen sich viele Tage oder 

sogar Wochen Aufwand durch die Nutzung des TEC. 

Zu bezahlen ist ein Beitrag für die Zeitdauer der Nutzung 

des TEC sowie gegebenenfalls weitere Betreuungsleistungen 

im Rahmen der Evaluierung. 

Preisauskünfte werden auf Anfrage gerne erteilt. 

Technisches Umfeld im TEC 

Basis für die Tool- 

Evaluierung bildet ein zentraler 

Evaluierungs-Server auf dem 

eine Virtualisierungssoftware 

installiert ist. 

Die Tools der Anbieter werden 

Abb.2: Technische Grundstruktur des Software Quality Lab TEC - Tool Evaluation Center, Quelle: Bergsmann 

jeweils in eigenen virtuellen Maschinen installiert und vorkonfiguriert. 

Wenn Sie mehr wissen wollen … 

Bei Interesse an mehreren zu evaluierenden Tools werden 

die entsprechenden virtuellen Maschinen gestartet und der 

Tool-Interessent kann die jeweiligen Produkte dann nach Belieben 

auf verschiedenen Computern bzw. Bildschirmen nebeneinander 

oder auch auf einem einzelnen Bildschirm in mehreren 

Fenstern testen. 

Vereinbaren Sie einen Termin, um sich in einem persönlichen 

Gespräch zu informieren, wie Sie von der Nutzung des 

Software Quality Lab TEC - Tool-Evaluation-Center profitieren 

können. 

Die virtuellen Maschinen können auch über das Internet Dipl.-Ing. Johannes Bergsmann 

aufgerufen werden, sodass grundsätzlich auch eine Evaluie- johannes.bergsmann@software-quality-lab.at 

rung und Demonstration an beliebigen Orten möglich ist. +43-(0)664-1620220 



Seite 4 � 27.12.2006 

Eclipse TPTP 


Eclipse ist ein Open Source Framework für die Erstellung 

von Rich Client Applikationen. Unter Eclipse gibt es mehrere 

Top-Level Projekte, so auch Eclipse TPTP. 

TPTP steht für Test and Performance Tools Project. 

Namhafte Unternehmen, wie Compuware, IBM, Intel, SAP 

(als strategischer Kunde) und Scapa Technologies arbeiten 

zusammen, um eine offene Plattform für verschiedenste Arten 

des Testens zu entwickeln. Diese Unternehmen bauen auf 

TPTP teilweise auch ihre eigenen, kommerziellen Produkte 

auf. Beispiele hierfür sind IBM Rational Functional Tester und 

IBM Manual Tester. 

Auf der Homepage www.eclipse.org/tptp/ wird das Ziel wie 

folgt beschrieben: 

The mission of the Eclipse Test & Performance Tools Project 

is to build a generic, extensible, standards-based tool 

platform upon which software developers can create specialized, 

differentiated, and interoperable offerings for world class 

test and performance tools. 

Bei der Benutzung von Eclipse TPTP bemerkt man, dass 

die Hersteller gewisse Funktionalitäten hinten anstellen, um 

durch TPTP nicht Konkurrenz zu eigenen kommerziellen Produkten 

zu erzeugen. Ein Beispiel hierfür ist das Fehlen einer 

Anbindung an andere Softwareentwicklungsaktivitäten, wie 

etwa Werkzeugen zur Anforderungsanalyse. Ein weiteres 

Beispiel ist die oft karge Benutzeroberfläche. 

Unter der Fassade verbirgt sich jedoch eine mächtige 

Plattform. Die Datenmodelle entsprechen weit verbreiteten 

Standards. Der Agent Controller ermöglicht die Ausführung 

von Tests lokal, als auch remote auf verschiedensten Plattfor- 



� � 

Testautomatisierungswerkzeuge 

von Dipl.-Ing. Johannes Hochrainer und Dipl.-Ing. Johannes Bergsmann 

K 


nowledge 

Letter 


Viele Firmen führen Tests ad hoc oder rein manuell aus. Testautomatisierungs-Werkzeuge bieten heute viele Möglichkeiten, 

manuelle Tests umfangreich zu unterstützen oder Tests völlig zu automatisieren. Somit können mehr Tests in kürzerer 

Zeit ausgeführt werden. 

In diesem Artikel wird beispielhaft ein kurzer Einblick in einige* Testautomatisierungs-Anbieter/Werkzeuge gegeben, um 

überblicksmäßig zu zeigen, welche Funktionalitäten diese Werkzeuge heute liefern. Der Fokus liegt dabei auf dem funktionalen 

Systemtest. 

* Diese und weitere Test-Werkzeuge werden in künftigen Newslettern oder Studien zum Thema Test-Aufomatisierung detaillierter vorgestellt. 

Abb.3: Automatisierte GUI Tests in TPTP 

men. 

Firmen, die langfristig selbst ein Testautomatisierungswerkzeug 

entwickeln wollen, finden in Eclipse TPTP ein sehr 

gutes Framework. 

TPTP besteht aus vier Teilen: TPTP Platform, Testing 

Tools, Monitoring Tools und Tracing und Profiling Tools. 

TPTP Plattform stellt die gemeinsame Infrastruktur bereit, 

wie etwa Benutzeroberfläche, Datenmodelle, Protokolle (z.B. 

Kommunikation) und ein Remote Execution Framework. 

Besonders interessant ist der Agent Controller von TPTP. 

Es können Tests sowohl lokal, als auch auf anderen Systemen 

ausgeführt werden. Es existieren eigenständige Agenten 

für verschiedenste Plattformen, wie z.B. AIX, HP-UX, Linux, 

OS, Solaris und Windows. Diese Agenten laufen als eigene 

Prozesse auf dem Remote-System und werden von einem 

zentralen Computer gesteuert. 

Testing Tools basieren auf der TPTP Plattform und bieten 

konkrete Werkzeuge für das Testen an. So z.B. JUnit, Werkzeuge 

für das manuelle Testen, URL Testing, und statische 

Codeanalyse. 

Monitoring Tools werden verwendet, um Informationen 

über Systeme oder Applikationen zu sammeln, zu analysieren 

und aufzubereiten. 

Die Tracing und Profiling Tools bieten Werkzeuge, um die 

Performance von Applikationen zu analysieren. Darunter fallen 

auch verteilte Java Anwendungen. Das Tracing von C/C++ 

Anwendungen ist derzeit in Entwicklung. 

Bei den funktionalen Systemtests bietet TPTP Werkzeuge 

sowohl für die manuelle, als auch die automatisierte Testausführung: 

Manuelle Testausführung: TPTP 

beinhaltet einfache Editoren, um 

manuelle Testfälle zu definieren, 

auszuführen und zu analysieren. 

Testfälle werden als simpler Text 

spezifiziert und können durch 

Schleifen mehrere Male ausgeführt 

werden. 

Bei der Ausführung wird auf den 

Agent Controller zurückgegriffen. 

Egal, ob der Test lokal oder auf 

einem anderen Rechner ausgeführt 

wird – in beiden Fällen öffnet 

sich ein Fenster, das durch den 

manuellen Test leitet. 

Der Tester bekommt so Schritt für 




Seite 5 � 27.12.2006 


(Fortsetzung von Seite 4) 

Schritt Aufgaben zugeteilt und kann nach der Ausführung neben 

dem Erfolg des Testschrittes und Kommentaren auch 

Dateien abspeichern (Screenshots, Log-Files). 

Nach der Testausführung wird das Ergebnis graphisch und 

in einer Baumstruktur dargestellt. 

Es gibt auch eine Anbindung an das Bugzilla Web Interface, 

um gefundene Fehler zu dokumentieren. 

Für die Automatisierte Testausführung bietet Eclipse TPTP 

ein Capture&Replay Werkzeug. 

User Interface Ereignisse werden als XML aufgezeichnet 

und können danach wieder abgespielt werden. Diese Funktionalität 

beschränkt sich jedoch auf Applikationen, die auf der 

Oberflächen-Bibliothek von Eclipse aufgebaut sind. 

Referenzen auf Objekte werden nicht direkt in die Testfälle 

aufgenommen, sondern zentral in einem Register gespeichert. 

Ändert sich nun ein Objekt, so müssen nicht alle Testfälle 

geändert werden, sondern nur das zentrale Register. 

Weiters unterstützt TPTP auch Data-Driven Testing. Testfälle 

werden dabei mit Tabellen verbunden. Bei der Testausführung 

wird dann je Datensatz der Testfall einmal ausgeführt. 

Fazit 

Viele Werkzeuge von Eclipse TPTP sind sehr einfach 

gehalten. Unter der Fassade versteckt sich jedoch eine mächtige 

Plattform, auf der man seine eigenen Testwerkzeuge aufbauen 

kann. 

Mercury QuickTest Professional 

Mercury bietet für den funktionalen Systemtest Mercury 

QuickTest Professional an. 

Es erlaubt die Testautomatisierung von Windows Applikationen, 

Webseiten, ActiveX Controls und Visual Basic Applikationen. 

Zusätzlich gibt es noch Erweiterungen für das Testen von 

Anwendungen basierend auf Java, .NET, Oracle, SAP, Web 

Forms, Siebel, PeopleSoft, Web Services und Terminal Emulator 

Applikationen. 

Interessant ist, dass Mercury derzeit als einer der wenigen 

Anbieter auf Keyword-Driven Testing setzt. Testfälle werden 

dabei nicht als Ganzes automatisiert, sondern 

werden aus teils wieder verwendbaren 

Bausteinen zusammengesetzt. Diese Bausteine 

erscheinen in den Testfällen nicht als 

Code, sondern haben eine kurz intuitive Bezeichnung, 

womit auch Nichttechniker Testfälle 

lesen könne. 

Hinter einem Keyword (Mercury nennt sie 

Actions) steht Automatisierungscode. Die 

Actions in den Testfällen sagen somit, was 

zu machen ist. 

Der Automatisierungscode hingegen spezifiziert, 

wie ein Action mit dem System interagieren 

soll. 

Keyword-driven testing hat einen positiven 

Effekt auf die Wartbarkeit von Testfällen. 

Ändern sich Schnittstellen des zu testenden 

Systems, so muss man nicht die Testfälle selber 

ändern, sondern nur den Automatisierungscode hinter den 



� � 

K 


nowledge 

Letter 


einzelnen Actions. Wird ein Action in mehreren Testfällen verwendet, 

vermindert sich auch der Änderungsaufwand. 

Ein Beispiel zu Keyword-Driven Testing: 

Beim Testen von vielen Systemen taucht immer wieder ein 

Testschritt zum Anmelden am System auf. Anstatt die einzelnen 

Interaktionen mit den Schnittstellen in jeden Testfall aufzunehmen 

(click here, enter text there, ….), erzeugt man eine 

Action mit der Bezeichnung login und spezifiziert die Inputparameter 

username und password. Erst der Automatisierungscode 

hinter dieser Action weiß, wie das Action login auszuführen 

ist. Ändert sich die Eingabemaske für den Login-Vorgang, 

so muss man nicht alle Testfälle, die den Login-Schritt beinhalten, 

ändern, sondern man ändert nur den Automatisierungscode 

an einer Stelle. 

Actions können auch geschachtelt werden und können 

Werte zurückliefern, die nachfolgenden Actions als Eingabewerte 

dienen. QuickTest unterstützt auch Keyword-Driven 

Testing und kennt Datentabellen für einzelne Actions, als 

auch für ganze Testfälle. 

Actions können mit der Capture&Replay Funktionalität von 

QuickTest erzeugt werden, oder ein Programmierer automatisiert 

sie manuell. 

QuickTest Professional arbeitet mit anderen Mercury Produkten 

zusammen, wie z.B. WinRunner, Business Process 

Testing, Mercury Performance Testing, den Business Availability 

Center Produkten und dem Quality Center. 

Letzteres kann als zentrale Servicestelle für verschiedenste 

Testarten verwendet werden (manuelle und automatisierte 

funktionale Tests, Performance Tests,…). Quality Center dient 

u.a. zur Verwaltung von zentralen Testdatenbanken, Ausführung 

und Analyse von Tests und zur Erzeugung von 

Fehlerberichten. 

Fazit 

Wartbarkeit und Widerverwendbarkeit ist ein wesentliches 

Erfolgskriterium für langfristige Testautomatisierungsprojekte. 

Die Erzeugung von wieder verwendbaren Actions bedarf 

zwar eines höheren Aufwands, doch vermindert man dadurch 

später den hohen Wartungsaufwand. 

Mercury geht mit QuickTest Professional weg von reinen 

Data-Driven Capture&Replay Werkzeugen hin zu Keyword- 

Driven Testing. 

Abb.4: Keyword-Driven Testing in Mercury QuickTest 




Seite 6 � 27.12.2006 


IBM Rational Functional Tester 

Rational Functional Tester basiert auf Eclipse TPTP und 

bietet ein umfassendes Caputre&Replay Werkzeug, um funktionale 

GUI-Tests für Java-, .NET-, HTML- und Windows- 

Applikationen zu automatisieren. Testscripts können sowohl in 

Java, als auch in VB.NET geschrieben werden. Im ersten Fall 

wird Rational Functional Tester als eine Eclipse Applikation 

ausgeliefert. Im Falle von VB.NET integriert sich Functional 

Tester in Microsoft Visual Studio. 

Abb.5: Testscript und Scriptexplorer von Rational Functional Tester 

IBM Rational Functional Tester bietet die Automatisierung 

von funktionalen Testfällen an. Für die Einbindung in andere 

Softwareaktivitäten wird mit folgenden Applikationen zusammengearbeitet: 

IBM Rational Test Manager: Dieser wird mit Rational 

Functional Tester ausgeliefert und spielt die zentrale Rolle bei 

der Verwaltung, Ausführung und Analyse von Testfällen. 

IBM Rational ClearQuest ist zuständig für Testverwaltung, 

Change-Management und Fehlerverwaltung. 

IBM Rational RequisitePro verbindet die Anforderungen 

mit den Testfällen. 

Testfälle werden nicht wie in TPTP als XML, sondern als 

Java oder VB.NET Code aufgezeichnet. Somit fällt es leichter 

den Code nach der Capture-Phase manuell aufzubereiten und 

zu erweitern. 

IBM Rational Functional Tester verwendet ein zentrales 

Register um Object-IDs zu verwalten. Erwähnenswert ist auch 

die Flexibilität auf Veränderungen in der zu testenden GUI. 

Ändern sich bestimmte Eigenschaften der GUI, so kann Functional 

Tester sie bis zu einem bestimmten Grad trotzdem zuordnen 

und den Test weiterführen. Außerdem wird der Tester 

beim Anpassen der Testfälle an veränderte Schnittstellen unterstützt. 

Auch Data-Driven Testing wird durch den Functional 

Tester unterstützt. 

Fazit 

IBM Rational Functional Tester bietet Capture&Replay für 

verschiedene System-Plattformen an und integriert sich in 

andere Softwareentwicklungsaktivitäten. Testscripts können 

mit speziellen Assistenten an geänderte Schnittstellen angepasst 

werden. 



� � 

IBM Rational Manual Tester 

K 


nowledge 

Letter 


Nicht alle Testfälle eignen sich für die Automatisierung. 

Erfahrungen zeigen, dass ein guter Teil der Tests manuell 

ausgeführt wird. 

IBM bietet mit Rational Manual Tester auch ein Werkzeug 

für diese Testausführungsart an. Es basiert ebenfalls auf Eclipse 

TPTP und erweitert es mit besseren Editoren und erweiterten 

Funktionalitäten 

Oft scheitern manuelle Tests aufgrund von menschlichen 

Fehlern. Rational Manual Tester versucht dem auf zwei Seiten 

entgegenzuwirken. Zum einen ist Manual Tester beim Vergleich 

der erwarteten mit den tatsächlichen Testdaten behilflich. 

Dies geschieht indem der Tester Daten der getesteten 

Software in die Zwischenablage kopiert und dann von Manual 

Tester vergleichen lässt. 

Auf der anderen Seite unterstützt Manual Tester bei der 

Eingabe von Testdaten. So können Tippfehler für schwierige 

Eingabewerte vermindert werden. 

Zu den einzelnen Testschritten können Dateien, Bildschirmausschnitte, 

spezielle Dialoge, Fenster, oder der ganze 

Bildschirme abgespeichert werden. Sie können dann während 

der Testausführung als Referenz verwendet werden. 

Während des Tests begleitet ein Assistent durch die Testschritte. 

Das Fenster kann dabei auch transparent erscheinen, 

um die getestete Software besser zu überwachen. 

Wer bereits eine Vielzahl von Testfällen in Microsoft Word, 

oder Microsoft Excel spezifiziert hat, kann Importfunktionen 

benutzen, um diese in Rational Manual Tester wieder zu verwenden. 

Rational Manual Tester ist integriert in die anderen Werkzeuge 

der Rational Produktfamilie. 

Abb.6: Halbtransparenter Assistent begleitet durch die Testfälle 

Fazit 

Viele Firmen speichern manuelle Tests in gewöhnlichen 

Office-Dateien ab. IBM Rational Manual Tester bietet die Möglichkeit 

diese Dokumente zu importieren. Während der Tests 

leitet ein flexibler Assistent auf lokalen oder anderen Systemen 

durch die einzelnen Testschritte und erlaubt verschiedene 

Arten der Dokumentation des Testerfolges. 

Automatische Auswertungen und Anbindung an andere 

Softwareentwicklungsaktivitäten sind weitere Vorteile, die man 

mit manuellen Testfällen in Office-Dokumenten nur schwer 

realisieren kann. 



Seite 7 � 27.12.2006 


Compuware TestPartner 

Compuware bietet als Teil seiner Produktreihe QACenter 

auch ein Programm zur Automatisierung von funktionalem 

Systemtest an. Es trägt den Namen TestPartner und ist der 

von Grund auf neu entwickelte Nachfolger von QARun. 

TestPartner basiert vollständig auf Microsoft Visual Studio 

und bietet als Scriptsprache nun VBA. QARun verwendete 

noch die proprietäre Sprache AWL. 

Mit TestPartner lassen sich Applikationen testen, die auf 

Microsoft (Windows, .NET, ActiveX, COM), Java oder Webtechnologien 

basieren. Ferner können noch Programme basierend 

auf Navision, SAP und Siebel getestet werden. 

Abb.7 Compuware TestPartner 

Wie die meisten anderen Werkzeuge für den funktionalen 

Systemtest, bietet auch TestPartner Capture&Replay für automatisierte 

GUI-Tests und die Möglichkeit für Data-Driven 

Testing. 

Eine zentrale Datenbank und eine Benutzerverwaltung 

sorgt für die Zusammenarbeit mehrerer Tester. Verifikationen 

sind möglich auf statischen Text, Textmustern, Objekteigenschaften, 

Inhalte von Steuerelementen, Bitmaps und Reaktionszeiten. 

TestPartner ist Teil des QACenters und integriert sich in 

die anderen Produkte von Compuware: 

QARun: Es können QARun-Scripts vom Nachfolgeprodukt 

TestPartner aufgerufen werden. 

QADirector ist zuständig für die Verwaltung der Tests 

(Planung, Ausführung und Analyse). Es verbindet Systemanforderungen 

mit Testfällen und bietet als eines der wenigen 

Testwerkzeuge Risiko-basierte Testplanung an. 

Reconcile ist das Anforderungsverwaltungsprogramm von 

Compuware. 

TrackRecorder wird zur Fehlerverwaltung verwendet. 

File-AID/CS dient zur Verwaltung von Testdaten auf verschiedenen 

Systemen. 

Fazit 

Compuware hat mit TestPartner ein von Grund auf neu 

entwickeltes Produkt entwickelt. 

Es bietet Tests von Produkten basierend auf verschiedenen 

Platformen, Capture&Replay und Data-Driven Testing. 

Die Integration in die anderen Produkte von Compuware 

ist ebenfalls möglich, wodurch der ganze Lebenszyklus der 

Softwareentwicklung abgedeckt werden kann. 



� � 

Literatur und Links … 

K 


nowledge 

Letter 


Die Seiten der in diesem Newsletter angeführten Produkte: 

� http://www.compuware.de/products/qacenter/index.htm 

� http://www.eclipse.org/tptp/ 

� http://www-306.ibm.com/software/de/rational/quality.html 

� http://www.mercury.com/de/products/quality-center/ 

Übersicht über viele Testtool und weitere interessante Infos: 

� http://www.testingfaqs.org/ 

Studie des Heise-Verlags zum Thema Test-Tools: 

� https://www.heise.de/kiosk/special/ixstudie/06/01/ 

Preis € 390,- 

Leistungen … 

Im Rahmen der Software-Evaluierung und -Auswahl unterstützten 

die Experten von Software Quality Lab als neutrale 

Berater durch folgende Leistungen: 

� Definition der Anforderungen und Entscheidungsgrundlagen 

an die zu beschaffende Software. 

� Schaffen eines Marktüberblicks von in Frage kommenden 

Tools 

� Vorauswahl von passenden Tools (z.B. anhand von 

individuell definierten Tool-Evaluierungs-Checklisten) 

� Evaluierung der vorab ausgewählten Software im TEC - 

Tool Evaluation Center (voinstalliert, konfiguriert und mit 

passenden Evaluierungs-Szenarien und Beispielen 

hinterlegt) 

� Unterstützung beim Vergleich der Tools und Erstellung 

einer Grundlage für die Entscheidungsträger (z.B. in 

Form einer SWOT- oder Nutzwert-Analyse) 

� Erstellung einer detaillierten Anforderungsspezifikation 

für die Tool-Beschaffung 

� Unterstützung beim Verhandlungs– und Einführungsprozesses/-projekt 

bis hin zum projektbegleitenden Qualitätsmanagement 

in Software-Einführungsprojekten. 

Zitate … 

„Qualität ist, wenn die Kunden zurückkommen und nicht die 

Geräte.“ Unbekannt 

„Es war mir immer ein unerträglicher Gedanke, es könne jemand 

bei der Prüfung eines meiner Erzeugnisse nachweisen, 

dass ich irgendwie Minderwertiges leiste. Deshalb habe ich 

stets versucht, nur Arbeit hinaus zu geben, die jeder sachlichen 

Prüfung standhielt.“ Robert Bosch, Stuttgart 

„Probleme werden am besten dadurch gelöst, indem man sie 

erkennt, bevor sie zu Problemen werden.“ 

Erich Zahn, Aufsichtsrat Daimler-Benz AG

Tool-Evaluierung - Software Quality Lab

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?