Lean Metriken für das Testmanagement


Marcel Stoop, Managing Consultant

Metrik Defect Entwicklung

Die bisher erwähnten Metriken zeigen nur eine Momentaufnahme. Dies ist aber zu wenig, um über einen längeren Zeitraum ein Gefühl für die Entwicklung der Produkt- oder Softwarequalität zu bekommen.
Um diese Entwicklung der Defects grafisch darzustellen, muss man die einzelnen Momentaufnahmen hintereinander setzen.

Defectentwicklung nach Status:

Je flacher die schwarze Kurve wird, desto besser wird die Produktqualität. Natürlich unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Entwicklung der Defects im Status «Open» oder «In Progress», nach Severity sortiert:

Je geringer die Schwankungen der einzelnen Kurven sind und die Tendenz Richtung 0 geht, desto besser wird die Produktqualität. Auch hier natürlich nur unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Metrik Testfortschritt

Um eine Übersicht zu bekommen, wie weit man mit der Testausführung ist (ist man «on track»?), kann man ein einfaches Burn-Down-Chart verwenden. Hierzu muss man die Anzahl auszuführender Testfälle und die dafür zur Verfügung stehende Zeit ermitteln.

Anhand dieser Metrik ist es einfach zu erkennen, wann man eingreifen sollte, um die Testausführung zu steuern. Sobald die grüne Linie oberhalb der blauen Linie liegt, und das geplante Ende der Testperiode in Gefahr zu kommen droht, sollte man korrigierend eingreifen, z.B. mehr Tester anstellen oder die Testintensität erhöhen.

Fazit

Um ein effizientes Testmanagement und eine kontinuierliche Sicht auf die Produktqualität gewährleisten zu können, braucht es nicht viele Metriken. Grundsätzlich sind sieben Metriken mehr als ausreichend. Die Daten, die dafür gesammelt bzw. erfasst werden müssen, sind Standarddaten.
Wichtig ist, sich immer wieder die Frage zu stellen, welche Metriken man als Testmanager wirklich braucht. Das bedeutet, sich den Lean Gedanken zu verinnerlichen und sich immer wieder die Frage nach dem «Value» und «Waste» zu stellen und danach zu handeln.

Unterstehende Grafik zeigt die Qualität des Produktes: Unter der Annahme, dass gut getestet wird, würde eine relativ tiefe Anzahl «Critical» oder «High» Defects bedeuten, dass die Produktqualität gut ist.

Metrik Defect Entwicklung

Die bisher erwähnten Metriken zeigen nur eine Momentaufnahme. Dies ist aber zu wenig, um über einen längeren Zeitraum ein Gefühl für die Entwicklung der Produkt- oder Softwarequalität zu bekommen.
Um diese Entwicklung der Defects grafisch darzustellen, muss man die einzelnen Momentaufnahmen hintereinander setzen.

Defectentwicklung nach Status:

Je flacher die schwarze Kurve wird, desto besser wird die Produktqualität. Natürlich unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Entwicklung der Defects im Status «Open» oder «In Progress», nach Severity sortiert:

Je geringer die Schwankungen der einzelnen Kurven sind und die Tendenz Richtung 0 geht, desto besser wird die Produktqualität. Auch hier natürlich nur unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Metrik Testfortschritt

Um eine Übersicht zu bekommen, wie weit man mit der Testausführung ist (ist man «on track»?), kann man ein einfaches Burn-Down-Chart verwenden. Hierzu muss man die Anzahl auszuführender Testfälle und die dafür zur Verfügung stehende Zeit ermitteln.

Anhand dieser Metrik ist es einfach zu erkennen, wann man eingreifen sollte, um die Testausführung zu steuern. Sobald die grüne Linie oberhalb der blauen Linie liegt, und das geplante Ende der Testperiode in Gefahr zu kommen droht, sollte man korrigierend eingreifen, z.B. mehr Tester anstellen oder die Testintensität erhöhen.

Fazit

Um ein effizientes Testmanagement und eine kontinuierliche Sicht auf die Produktqualität gewährleisten zu können, braucht es nicht viele Metriken. Grundsätzlich sind sieben Metriken mehr als ausreichend. Die Daten, die dafür gesammelt bzw. erfasst werden müssen, sind Standarddaten.
Wichtig ist, sich immer wieder die Frage zu stellen, welche Metriken man als Testmanager wirklich braucht. Das bedeutet, sich den Lean Gedanken zu verinnerlichen und sich immer wieder die Frage nach dem «Value» und «Waste» zu stellen und danach zu handeln.

Sind alle Requirements oder User Stories mit einem Testfall abgedeckt, hätte man eine einfache Testabdeckung von 100%. Dies bedeutet aber noch nicht, dass die tatsächliche Testqualität auch hoch ist. Wenn man z.B. die falschen Testfälle entwickelt hat, nützt auch eine einfache Testabdeckung von 100% nichts.
Die mehrfache Testabdeckung ist in dieser Hinsicht ein besseres Kriterium: Bei einer Testabdeckung von 100%, sollte die durchschnittliche Anzahl von Testfällen pro Anforderung >= 2 angestrebt werden, wobei 2 das absolute Minimum ist.
Um bezüglich der Testqualität ganz sicher zu sein, kommt man aber nicht darum herum, einzelne Testfälle z.B. in Abhängigkeit der Priorisierung genauer zu reviewen.

Metrik Testausführung

Diese Metrik zeigt nur eine Momentaufnahme: Wie ist die momentane Situation hinsichtlich Ausführung der Testfälle. Hier genügt es, eine Übersicht über den Status der Testfälle zu haben.

Metrik Defects

Auch diese Metriken zeigen nur eine Momentaufnahme: Wie ist die momentane Situation hinsichtlich der Qualität? Hier ist es ausreichend, Metriken zu erzeugen, die einerseits den Status aller Defects und anderseits die «Severity» von allen Open Defects zeigen. «Open Defects» werden definiert als: Alle Defects die noch weiterbearbeitet werden (z.B. den Status «New», «Open», «Assigned» oder «In Progress» haben).
Unterstehende Grafik zeigt nicht nur den aktuellen Status der Defects, sondern auch, im Verhältnis, den Aufwand, den die gefundenen Defects generieren:

  • Den Aufwand, den die Entwickler noch haben, um die gefundenen Defects zu korrigieren
  • Der Aufwand, den die Tester noch für die notwendigen Regressionstests haben

Unterstehende Grafik zeigt die Qualität des Produktes: Unter der Annahme, dass gut getestet wird, würde eine relativ tiefe Anzahl «Critical» oder «High» Defects bedeuten, dass die Produktqualität gut ist.

Metrik Defect Entwicklung

Die bisher erwähnten Metriken zeigen nur eine Momentaufnahme. Dies ist aber zu wenig, um über einen längeren Zeitraum ein Gefühl für die Entwicklung der Produkt- oder Softwarequalität zu bekommen.
Um diese Entwicklung der Defects grafisch darzustellen, muss man die einzelnen Momentaufnahmen hintereinander setzen.

Defectentwicklung nach Status:

Je flacher die schwarze Kurve wird, desto besser wird die Produktqualität. Natürlich unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Entwicklung der Defects im Status «Open» oder «In Progress», nach Severity sortiert:

Je geringer die Schwankungen der einzelnen Kurven sind und die Tendenz Richtung 0 geht, desto besser wird die Produktqualität. Auch hier natürlich nur unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Metrik Testfortschritt

Um eine Übersicht zu bekommen, wie weit man mit der Testausführung ist (ist man «on track»?), kann man ein einfaches Burn-Down-Chart verwenden. Hierzu muss man die Anzahl auszuführender Testfälle und die dafür zur Verfügung stehende Zeit ermitteln.

Anhand dieser Metrik ist es einfach zu erkennen, wann man eingreifen sollte, um die Testausführung zu steuern. Sobald die grüne Linie oberhalb der blauen Linie liegt, und das geplante Ende der Testperiode in Gefahr zu kommen droht, sollte man korrigierend eingreifen, z.B. mehr Tester anstellen oder die Testintensität erhöhen.

Fazit

Um ein effizientes Testmanagement und eine kontinuierliche Sicht auf die Produktqualität gewährleisten zu können, braucht es nicht viele Metriken. Grundsätzlich sind sieben Metriken mehr als ausreichend. Die Daten, die dafür gesammelt bzw. erfasst werden müssen, sind Standarddaten.
Wichtig ist, sich immer wieder die Frage zu stellen, welche Metriken man als Testmanager wirklich braucht. Das bedeutet, sich den Lean Gedanken zu verinnerlichen und sich immer wieder die Frage nach dem «Value» und «Waste» zu stellen und danach zu handeln.

Verhältnis Metriken und Nutzen

Auch die Erfahrung lehrt: weniger ist mehr. Es müssen nicht viele Metriken erstellt werden. Auch sollte die Komplexität der Metriken nicht zu hoch sein. Das Ziel einer Metrik liegt in erster Linie darin, eine Zahlenmenge grafisch übersichtlich und verständlich darzustellen, um so auf einen Blick deren Aussage zu erfassen.
Nachfolgend werde ich die wichtigsten Metriken auflisten, die viele «Value» Elemente beinhalten. Mit diesen Metriken ist man in der Lage, die meisten testmanagementrelevanten Aussagen zu treffen.

Metrik Testabdeckung

Um die Testabdeckung zu beurteilen, muss es möglich sein, Requirements (Anforderungen) oder User Stories mit den dazugehörigen Testfällen zu verknüpfen. Diese Metrik ist sehr wichtig, um die Testqualität beurteilen zu können.

Sind alle Requirements oder User Stories mit einem Testfall abgedeckt, hätte man eine einfache Testabdeckung von 100%. Dies bedeutet aber noch nicht, dass die tatsächliche Testqualität auch hoch ist. Wenn man z.B. die falschen Testfälle entwickelt hat, nützt auch eine einfache Testabdeckung von 100% nichts.
Die mehrfache Testabdeckung ist in dieser Hinsicht ein besseres Kriterium: Bei einer Testabdeckung von 100%, sollte die durchschnittliche Anzahl von Testfällen pro Anforderung >= 2 angestrebt werden, wobei 2 das absolute Minimum ist.
Um bezüglich der Testqualität ganz sicher zu sein, kommt man aber nicht darum herum, einzelne Testfälle z.B. in Abhängigkeit der Priorisierung genauer zu reviewen.

Metrik Testausführung

Diese Metrik zeigt nur eine Momentaufnahme: Wie ist die momentane Situation hinsichtlich Ausführung der Testfälle. Hier genügt es, eine Übersicht über den Status der Testfälle zu haben.

Metrik Defects

Auch diese Metriken zeigen nur eine Momentaufnahme: Wie ist die momentane Situation hinsichtlich der Qualität? Hier ist es ausreichend, Metriken zu erzeugen, die einerseits den Status aller Defects und anderseits die «Severity» von allen Open Defects zeigen. «Open Defects» werden definiert als: Alle Defects die noch weiterbearbeitet werden (z.B. den Status «New», «Open», «Assigned» oder «In Progress» haben).
Unterstehende Grafik zeigt nicht nur den aktuellen Status der Defects, sondern auch, im Verhältnis, den Aufwand, den die gefundenen Defects generieren:

  • Den Aufwand, den die Entwickler noch haben, um die gefundenen Defects zu korrigieren
  • Der Aufwand, den die Tester noch für die notwendigen Regressionstests haben

Unterstehende Grafik zeigt die Qualität des Produktes: Unter der Annahme, dass gut getestet wird, würde eine relativ tiefe Anzahl «Critical» oder «High» Defects bedeuten, dass die Produktqualität gut ist.

Metrik Defect Entwicklung

Die bisher erwähnten Metriken zeigen nur eine Momentaufnahme. Dies ist aber zu wenig, um über einen längeren Zeitraum ein Gefühl für die Entwicklung der Produkt- oder Softwarequalität zu bekommen.
Um diese Entwicklung der Defects grafisch darzustellen, muss man die einzelnen Momentaufnahmen hintereinander setzen.

Defectentwicklung nach Status:

Je flacher die schwarze Kurve wird, desto besser wird die Produktqualität. Natürlich unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Entwicklung der Defects im Status «Open» oder «In Progress», nach Severity sortiert:

Je geringer die Schwankungen der einzelnen Kurven sind und die Tendenz Richtung 0 geht, desto besser wird die Produktqualität. Auch hier natürlich nur unter der Annahme, dass die Testqualität gleichbleibend gut ist.

Metrik Testfortschritt

Um eine Übersicht zu bekommen, wie weit man mit der Testausführung ist (ist man «on track»?), kann man ein einfaches Burn-Down-Chart verwenden. Hierzu muss man die Anzahl auszuführender Testfälle und die dafür zur Verfügung stehende Zeit ermitteln.

Anhand dieser Metrik ist es einfach zu erkennen, wann man eingreifen sollte, um die Testausführung zu steuern. Sobald die grüne Linie oberhalb der blauen Linie liegt, und das geplante Ende der Testperiode in Gefahr zu kommen droht, sollte man korrigierend eingreifen, z.B. mehr Tester anstellen oder die Testintensität erhöhen.

Fazit

Um ein effizientes Testmanagement und eine kontinuierliche Sicht auf die Produktqualität gewährleisten zu können, braucht es nicht viele Metriken. Grundsätzlich sind sieben Metriken mehr als ausreichend. Die Daten, die dafür gesammelt bzw. erfasst werden müssen, sind Standarddaten.
Wichtig ist, sich immer wieder die Frage zu stellen, welche Metriken man als Testmanager wirklich braucht. Das bedeutet, sich den Lean Gedanken zu verinnerlichen und sich immer wieder die Frage nach dem «Value» und «Waste» zu stellen und danach zu handeln.

2 thoughts on “Lean Metriken für das Testmanagement”


  • fredi.kellenberger@gmail.com' Fredi Kellenberger says:

    Guten Tag Herr Stoop

    Kompliment, sehr interessanter Artikel. Ich habe einige Anregungen und Ideen für meine Arbeiten gefunden und werde diese gerne übernehmen. Ein Test Portfolio (meistens in Excel) habe ich ebenfalls bereits mehrmals erstellen müssen, nun interessiert mich ihre Variante davon. Darf ich sie um weitere Informationen dazu bitten?

    Besten Dank und freundliche Grüsse,
    Fredi Kellenberger

  • Marcel Stoop says:

    Welche Informationen möchten Sie denn haben?

Leave a Reply