Tosca Testing Suite vs. HP ALM – Welches Tool wird die Testing-Welt regieren?


Frederic Hesse, Senior Consultant

Sorry, this entry is only available in German. For the sake of viewer convenience, the content is shown below in the alternative language. You may click the link to switch the active language.

Wer im Bereich Testing arbeitet, hat sicherlich schon die ein oder andere Erfahrung mit HP Produkten, insbesondere dem HP Quality Center (QC, bzw. neu ALM), gemacht. Seit einigen Jahren drängen nun diverse andere Tools auf den Markt, darunter auch Tosca Testing Suite.
In den folgenden Zeilen möchte ich euch einen kleinen Einblick in das Grundprinzip der beiden Tools, den Funktionsumfang und das Handling geben. Meine persönlichen Erfahrungen werde ich natürlich an der einen oder andren Stelle auch einfliessen lassen.

Grundsätzlich lässt sich mit beiden Tools der gesamte Application Lifecycle (ALM) abbilden. Somit kann von der Releaseplanung über das Requirement Engineering, Test Case Design, Test Case execution, Defect Management bis hin zum Reporting alles integriert werden. Leider habe ich bisher bei noch keinen Kunden gesehen, der den gesamten ALM in einem der beiden Tools vollständig implementiert hat.

Tosca hat zur Abbildung des Application Lifecycle das Rad nicht neu erfunden und stellt für das Defect Management und das Reporting eine Schnittstelle zur Anbindung verschiedener Tools zur Verfügung. Besonders das Reporting hat mir bei Tosca nicht gefallen. Für die Erstellung eines Reports sind wirkliches Spezialwissen des Tools als auch Programmierkenntnisse erforderlich, dass nicht jeder User/Tester aufzuweisen hat. HP ALM legt im Reporting Bereich die Latte sehr hoch, in dem verschiedenste Reports (auch über verschiedene Bereiche) einfach zusammengeklickt werden können.

Der grundlegende Ansatz der Testautomatisierung ist in beiden Tools identisch. In HP Sprache heisst dieser Business Process Testing und in Tosca Sprache Business-Dynamisches Testing. Damit wollen die Hersteller proklamieren, dass jeder „Sachbearbeiter “ aus dem Business Testautomatisierung durchführen kann. Dies ist aus meiner Sicht nur bedingt möglich, da doch gewisse technische Skills gefordert werden.
Der weitere Gedanke der hinter den Schlagwörtern steht ist, dass ein zu automatisierender Test Case nicht mit nur in einem Skript von A bis Z zu automatisieren ist, sondern diese in verschiedene kleine Bausteine aufzuteilen sind. Diese Bausteine werden anschliessend zu dem automatisierten Test Case zusammengesetzt.
Das untere Diagramm veranschaulicht diesen Ansatz. Hierbei existieren drei verschiedene Bausteine A, B und C. Diese können nun beliebig zusammengesetzt werden, z.B. zu A-B-C-C-A, zu A-B-B-C oder auch zu A-C-B,…
Test-Automatisierung-SwissQ

Der grosse Vorteil liegt nun darin, dass durch diese Vorgehensweise viele unterschiedliche Test Cases mit den gleichen Bausteinen erstellt werden können. Dadurch lassen sich viele Geschäftsprozesse mit erstellen Test Cases automatisiert testen.

Dieser Ansatz wirft natürlich die Frage auf, wie gross die Bausteine sein sollen. Dafür gibt es leider kein Allheilmittel. Sofern es sich aber um GUI Tests handelt ist der erste sinnvolle Ansatz einen Baustein pro Screen zu erstellen.

Voraussetzungen für die Testautomatisierung

Ein grosser Vorteil von Tosca ist, dass man mit einem Tool sowohl das Testmanagement als auch die Testautomatisierung abdecken kann. Für HP werden zu diesem Zweck zwei Tools benötigt, HP ALM als Testmanagement und HP QuickTest Professional (QTP) als Testautomatisierungstool.
Ein weiterer Vorteil von Tosca ist, dass es einen jüngeren und frischen Eindruck vermittelt. Es lassen sich sehr einfach Dinge in gewohnter Windows Bedienweise steuern. Hingegen wirkt HP ALM etwas old fashion. Dafür ist alles an seinem gewohnten Platz.

Technische Ausgangsbasis der Testautomatisierung

Damit ein automatisierter Test Case (TC) erstellt werden kann, ist zuerst die technische Basis zu schaffen. Dafür sind die Objekte der Software unter Test (SUT) zuerst dem jeweiligen Tool mit den notwendigen Eigenschaften bekannt zu machen. Auch hier sind wieder keine Unterschiede zwischen den Tools. Hat man die Objekte aufgenommen stehen diese für die Erstellung des eigentlichen Test Cases zur Verfügung.

Tosca-Wizard-SwissQ

Erstellung der Bausteine

In Tosca werden hierfür alle Objekte eines Bausteins (z.B. eines Screen) aufgelistet. Der Testautomatisierer muss nun für jedes Objekt bestimmen, welche Aktion und ggfs. mit welchem Wert darauf angewendet werden soll, z.B. in ein Textfeld (Objekt) soll die Aktion (setzten) mit dem Wert („Hello World“) durchgeführt werden. Dies macht man nun für alle Objekte eines Bausteins. Werden einige Objekte nicht benötigt, setzt der Testautomatisierer den Status auf do nothing. Für diese Tätigkeit benötigt man keine Programmierkenntnisse, da alle Aktionen per dropdown Liste angezeigt werden. Dieses Vorgehen wird auch keyword-driven Testautomatisierung genannt. Der grosse Nachteil besteht nun aber darin, dass keine Schleifen und Bedingungen automatisiert werden können.

HP QTP bietet in diesem Bereich nun zwei verschiedene Möglichkeiten, eine sog. Keyword View und eine Expert View. Die Keyword View ist ähnlich zu dem Tosca Ansatz (keyword-driven) mit dem Unterschied, dass der User die Objekte, die für einen Baustein benötigt werden zuerst selbst integrieren muss. Nicht benötigte Objekte z.B. eines Screens sind also nicht im Baustein enthalten. In der Expert View kann sich der Testautomatisierer nun austoben wie er will. Die Expert View ist eine Integrierte Entwicklungsumgebung (IDE) auf Basis von Visual Basic Scripting (VBS). Somit ist fast alles Möglich, was mit VBS möglich ist. Es lassen sich Schleifen und Bedingungen ohne Probleme abbilden. Diese View bedingt natürlich Programmierkenntnisse, liefert im Gegenzug dafür nahezu unendliche Möglichkeiten.

Der erfahrene Testautomatisierer fragt sich nun: wie können wiederkehrende Aufgaben/Abläufe implementiert werden. In Tosca liegt die Lösung in den sogenannten Keywords, die bei der Erstellung von TCs zur Verfügung stehen. Damit diese allerdings zur Verfügung stehen, müssen diese auch programmiert (ebenfalls VBS) und anschliessend in Tosca implementiert werden. Dies erfordert neben Programmierkenntnisse noch sehr gute Kenntnisse im Tosca Werkzeug selbst.
In HP QTP lassen sich sehr einfach Funktionsbibliotheken anlegen, in denen wiederkehrende Abläufe ausprogrammiert werden. Somit ist neben den Programmierkenntnissen kein spezielles Tool Know How notwendig.

Test Case Design & Execution

Ein automatisierter TC ist nun schiesslich die Zusammensetzung der Bausteine zu einem Geschäftsprozess. Dies ist, wie soll es auch anders sein, wieder in beiden Tools nahezu identisch.

Damit die automatisierten Tests ausgeführt werden können, sind diese in Ausführungslisten zu integrieren. Dies ist bei beiden Tools per Drag & Drop möglich. In der eigentlichen Testausführung macht mir Tosca einen wesentlich performanteren Eindruck als HP. Diese könnte wieder daran liegen, dass bei Tosca alles in einem Tool vorhanden ist. Bei HP hingegen werden die Tests in HP ALM gestartet, welches nun zuerst HP QTP starten und die entsprechenden Skripte laden. Dies dauert, je nach Computerleistung, etwas länger.

Schlussbemerkung

Jetzt stellt sich die spannendende Frage, welches Tool ist nun besser. Leider gibt es auch hier keine eindeutige Antwort und ist von Situation zu Situation verschieden. Meiner Meinung nach lassen sich mit Tosca zu Beginn wesentlich schneller Test Cases automatisieren als mit HP und dies nahezu ohne Programmierkenntnisse. Hat man allerdings ein gutes Framework mit HP ausgearbeitet und implementiert, bietet es wesentlich mehr Möglichkeiten.

Link zu HP
Link zu Tosca

Fakten zu Testmanagement und -automatisierung (basierend auf den SwissQ Trendreports)

Testmanagement: 2012 lag die Verwendung von HP QC als Testmanagement-Tool bei 62%. Dieser Anteil hat sich im Jahr 2013 auf 52% reduziert.
Bemerkenswert ist, dass Tosca 2012 noch keinen nennenswerten Anteil zu verbuchen hatte und dafür 2013 bereits mit 20% vertreten ist.

Testautomatisierung: HP QTP bleibt derzeit immer noch der Marktführer, wobei sich der Anteil im Jahr 2013 auf 34% reduziert hat. 2012 lag dieser noch bei 40%.
Tosca hingegen hat auch in diesem Bereich zulegen können und hat mit knappen 27% nahezu auf HP QTP aufgeschlossen. Im Jahr 2012 belief sich der Anteil noch auf 16%.

Trendreport 2012
Trendreport 2013

Newsletter abonnieren

2 thoughts on “Tosca Testing Suite vs. HP ALM – Welches Tool wird die Testing-Welt regieren?”


  • firozautomation@yahoo.com' firoz shaik says:

    nice article… very helpful to me

  • frank.kokoska@infometis.ch' Frank Kokoska says:

    So ist das mit der Zeit.
    TOSCA bietet in der Version 10.x wesentlich mehr als HP.
    Während sich HP nicht wirklich weiterentwickelt hat, nur so ein Gefühl. :-)
    Zum Bruchteil der Kosten der HP Testsuite, mit weitaus besseren Support.

Leave a Reply