Marco GerussiMarco Gerussi Lohnt sich werkzeuggestütztes Testmanagement?

03.07.08 by Marco Gerussi

Ziel von Softwareprojekten ist es, qualitativ hochwertige Software innerhalb von Kosten- und Zeitvorgaben zu liefern. Werkzeuggestütztes IT Test Management begleitet optimalerweise den gesamten Software-Entwicklungsprozess und trägt seinen Teil zu den Zielen bei. Dazu gehören Aufgaben wie Requirements Management, Testplanung, Testdesign, Testdurchführung, Testauswertung sowie ein übergeordnetes Defect Management.

Die Praxis und möglicher Nutzen
Häufig wird in der unternehmerischen Praxis jedoch ziel- und planlos getestet. Viele manuelle Schritte, Redundanzen, unterschiedliche Dokumentationen und daraus resultierende Mehrkosten sind an der Tagesordnung. Dabei könnte mit einem systematischen, werkzeuggestützten Test Management hoher Nutzen erzielt werden. Mit der Einführung eines entsprechenden Test Management Tools, begleitet von passenden Methoden und Prozessen, wird das Testen und somit die Software Qualität für die Test Organisation sowie für die IT-Projekte

  • einheitlich (Tool statt Freitext mit Word/Excel), methodischer, verlässlicher
  • weniger zeitaufwendig, einfacher durchführbar
  • überprüfbar (Inhalt und Abdeckung), effektiver/umfassender
  • nachvollziehbar
  • wiederverwendbar, lehrbar
  • automatisierbar
  • planbar.

Mit Einsatz von Test management-Methoden und -Werkzeugen werden Fehler gefunden und konsequent reduziert! Aufwände für das Testen und den Support werden erheblich gesenkt. Das bedeutet geringere Kosten, höhere Qualität, Transparenz, verbesserte Systemanforderungen und eingehaltene oder gar verkürzte Terminpläne. Im Betrieb führt es zu höherer Stabilität, geringerer Ausfallrate und schlussendlich zufriedenen Kunden.

Die Vorteile liegen auf der Hand. Je früher ein Fehler erkannt wird, desto günstiger ist dessen Behebung. Trotzdem bleibt für das Testen keine Zeit mehr, das Projekt ist in Verzug und die Zeit drängt. Testen wird als notwendiges Übel betrachtet  Dabei ist werkzeuggestütztes Test Management mehr als nur ein Kostenfaktor; richtig eingesetzt ist Test Management wertschöpfend.

Nutzenpotentiale von toolunterstütztem Test Management
Tatsächliche Verbesserungspotentiale lassen nicht so einfach quantifizieren. Erfahrungen aus erfolgreichen Einführungen des Test Management Tools HP Quality Center haben jedoch gezeigt, dass sich mit der Einführung von Test Management Tools sehr wohl Nutzenpotentiale realisieren lassen:

  • weniger Verzögerungen aufgrund niedriger Produkt-Qualität
  • tiefere Kosten pro Test Zyklus durch Standardisierung und Wiederverwenbarkeit
  • Verbesserung der Lieferzeit
  • Standardisierung der Planung, Dokumentation & Durchführung von Tests
  • Vermeidung von regelmässigen Emergency Implementationen in der Produktion
  • weniger Aufwand für die Aufbereitung durch Wiederverwendbarkeit von Requirements, Testdaten und Fällen –
  • Test Automatisierung, weniger Zeit bei Ausführung, weniger Ressourcen notwendig
  • schnellere Testdurchführung durch Automatisierung von Regressionstest
  • optimaler Einsatz der Ressourcen, u.a. durch mehr Durchsatz, bessere Priorisierung
  • Einsparungen durch zentralisierten Einsatz von HP Quality Center (Hardware, Software, Support, Services)
  • gebundene Ressourcen sind schneller für neue Projekte verfügbar (durch pünktliche Lieferung)
  • weniger Nacharbeiten durch automatisiertes Test Coverage Management
  • höhere „Kundenzufriedenheit“ durch Einhaltung der erwarteten Lieferqualität
  • Kosteneinsparungen durch weniger Nacharbeiten und tiefere Supportkosten

Die gelisteten Potentiale können als Grundlage für die Berechnung der Vorteile eingesetzt werden. Mit einem Scoping für das Projekt können aus den allgemeinen Potentialen die relevanten Daten und Fakten auf das konkrete Umfeld abgeleitet sowie der tatsächliche Nutzen  kalkuliert werden.

Fazit
Test Management ist notwendig und verbessert offensichtlich die Qualität in Softwareprojekten. Die Vorteile von werkzeuggestütztem Testmanagement liegen auf der Hand. Trotzdem ist es nicht immer einfach,  einen klaren Nutzen zu quantifizieren. Oft muss erst etwas passieren, dass für Testprojekte Budget gesprochen wird. Das muss nicht sein.

Erfolgreiche Einführungen des Test Management Tools HP Quality Center haben gezeigt, dass sich in der Praxis sehr wohl Verbesserungen realisieren und der tatsächliche Nutzen im Voraus auch berechnen lassen. Die allgemeinen Nutzenpotentiale lassen mit einem Projekt Scoping sehr gut auf die konkrete Umgebung ableiten. Die erarbeiteten Daten und Fakten dienen dann als Grundlage für die tatsächliche Nutzenkalkulation. Toolunterstütztes Testmanagement lohnt sich also nicht nur, der tatsächliche Nutzen lässt sich auch quantifizieren!

Sphere: Related Content

17 Kommentare

  • 1
    SCCM - Software Change and Configuration Management » Blog Archive » Automation lohnt sich:

    […] Marco Gerussi unter dem Titel «Lohnt sich werkzeuggestütztes Test-Management» schreibt, können wir in allen Teilen unterschreiben. Zudem gelten die Argumente für die […]

  • 2
    Gerd Fladrich:

    Ganz richtig: Werkzeuggestützes Testmanagement lohnt sich. Seit mehr als acht Jahren begleite ich Projekte im Testbereich, und kann nur unterstreichen, dass ein geeigneter Testmanagementprozess mit den richtigen Werkzeugen einem Projekt nur Vorteile bringt.

    Generell würde ich den Start des Testprozesses noch vor dem der eigentlichen Software-Entwicklung sehen! Es hat sich gezeigt, dass durch eine geeignete Fehlervermeidungsstrategie die wirklich großen Kostentreiber, nämlich Fehler spät zu entdecken, in den Griff zu bekommen sind.

    Der richtige Startpunkt für das Testmanagement liegt in der Konzeptionsphase. Durch Prüfen der Anforderungsdefinitionen, beispielsweise durch Dokumentenreviews, kann sichergestellt werden, dass die größten Fehler erst gar nicht „designed“ werden!

    In der Vergangenheit wurden im Anforderungsprozess Requirements im Hinblick auf das Testen gerne in den Hintergrund gedrängt. In der Regel begann das Testmanagement damit irgendwann einmal ein paar Testfälle zu schreiben und diese dann, wenn Zeit blieb, auszuführen. Dies ohne wirklichen Bezug zu den eigentlichen Anforderungen.

    Ergo sollte vom Anforderungsmanagement an, ein mit den Projektphasen abgestimmtes Testmanagement gestaltet werden.

    Ich würde mich freuen, mich mit anderen Interessierten zu dem Thema weiter auszutauschen und sehe den beteo Blog als gute Basis dafür.

  • 3
    Reto Hartinger:

    An der Internet Briefing Entwicklerkonferenz meinte Aaron Across von Google, dass früher die Topprogrammierer meinten, testen sei für Looser. Heute ist das nicht mehr so, heute schreiben alle Testscripts – eine Vorgabe bei Google.

    Bei unseren Projekten bestimmen wir auch Test, die von Menschen ausgeführt werden. Die werden dann auch stur durchgezogen. Je früher man einen Fehler erkennt desto billiger. Nur Menschen finden Fehler bei der Usability.

  • 4
    Thomas Sussebach:

    Die Erfahrungen in der Praxis zeigen, wenn das regelmäßig fehlgeschlagene officebased Testmanagement durch ein professionelles Werkzeug wie HP Quality Center abgelöst wurde, bereits im ersten Projekt eine signifikante Effizienzsteigerung erreicht wird.

    Es darf in der Argumentation zwar nicht verheimlicht werden, dass die Einführung eines Testmanagementwerkzeugs einen initialen Mehraufwand wie Schulungen und Betreuung bedeutet. Auch sind die anfänglichen Widerstände der beteiligten Mitarbeiter bei der Einführung von werkzeuggestütztem Testmanagement nicht unerheblich.
    Regelmäßig werden auch die Kosten für ein Werkzeug wie HP Quality Center bezüglich Lizenzen, Beratung und Betrieb als Kontra ins Feld geführt.
    Dem muss man entgegenhalten, dass die Verteilung von Testspezifikationen in Einzeldokumenten, die Testplanung, Ergebnissicherung und Fehlerbeschreibung in Tabellenkalkulationen einen immensen versteckten Aufwand an Datenhaltung, Versionierung und Kontrolle bedeutet. Die Konsolidierung von Einzeldokumenten für ein projektübergreifendes Berichtswesen mag zwar für enthusiastische Makroprogrammierer von Tabellenkalkulationen eine Herausforderung darstellen, kann aber aus Projektsicht nicht erstrebenswert sein.

    Die Einführung und Umsetzung eines Prozesses für Test- und Defectmanagement wird durch ein Werkzeug überhaupt erst möglich. Dies gilt ebenso für die Darstellung der Durchgängigkeit von Anforderungs-, Test- und Defectmanagement.

    So konnte in einem kürzlich erfolgreich abgeschlossenen (Test-)Projekt eine vierstellige Anzahl von weltweit verteilten Testern (insgesamt über 70 Personenjahre Testdurchführung) die Konvertierung von mehr als 100 Terabyte Daten in zwölf Monaten abgesichert werden.
    Dabei hatte die Gesamtprojektleitung in Echtzeit Zugriff auf alle implementierten KPIs.
    Durch eine Integration von SAP ECATT Testautomatisierung in HP Quality Center konnten alle bestehenden ECATT Konfigurationen aus HP Quality Center gestartet und die Ergebnisse automatisiert als Testdurchführung in HP Quality Center zentral abgelegt werden.
    Ein nicht unerheblicher Teil der spezifizierten Tests können als Regressionstest für zukünftige Absicherungen wiederverwendet werden.

    Obwohl keine konkreten Zahlen über die Kosten der Vergangenheit vorlagen, konnte die Einsparung an Testdurchführungsaufwand als der größte Kostenfaktor mit bis zu 50% beziffert werden. Das Einsparungpotential für die Projektleitung bezüglich Auswertung und Berichtswesen lag im Vergleich zu der Konsolidierung verteilter Tabellenkalkulationen bei nahe 100%.

  • 5
    Patrick Din:

    Wer kann es sich heutzutage noch leisten, wertvolle Ressourcen, Zeit und viel Geld in ein Projekt zu investieren ohne sicherzustellen, dass dieses Projekt auch tatsächlich den definierten Anforderungen entspricht? Diese Zeiten sind vorbei.

    Mit dem Einsatz von einem Testmanagement Werkzeug wie HP Quality Center können alle die von Marco Gerussi genannten Vorteile realisiert werden.
    Ein weiterer, wichtiger Punkt ist das bestreben der Unternehmen Qualität nicht nur für einzelne Projekte zu priorisieren, sondern Qualität als Unternehmensstandard zu adressieren. Durch den Einsatz dieser Testmanagement Werkzeuge kann ein CoE (Center of Excellence) aufgebaut werden, welches Firmenweite Standards und Prozesse für alle laufenden und zukünftigen Projekte durchsetzen kann. Zudem kann so der initial Aufwand für den Know-how Aufbau im Umgang mit den Testmanagement Werkzeugen sehr schnell „amortisiert“ werden, da dieses Wissen sehr schnell für die nächsten Projekte abgerufen werden kann.

  • 6
    Frank Witte:

    Ich habe an manche Kunden wegen des Themas „Tool statt Freitext mit Word/Excel“ schon erfolglos gegen eine Wand geredet.
    Meist merkt man viel zu spät dass man schon längst mit dem Systemtest hätte anfangen müssen, und man hat dann keine Zeit nach dem geeigneten Tool zu suchen es einzusetzen und zu konfigurieren also wird dann doch wieder auf die Excel-Liste zurückgegriffen. Oder unterschiedliche Abteilungen testen mit unterschiedlichen Tools, die Daten sind dann redundant.
    Und das im Jahre 2008!
    Auch für die Testautomatisierung fehlt oft die Zeit, also entweder sie wird gar nicht angewandt oder sie wird als Allheilmittel gesehen die alle Probleme beheben soll.
    Optimal wäre es natürlich das Testmanagement schon bei der Definition der Requirements aufzusetzen. Das geschieht aber in der Praxis noch viel zu selten.
    Über die Testprozesse wird in vielen Fällen zu wenig nachgedacht. Dabei läge hier das Geld auf der Strasse.

  • 7
    Franco Prandi:

    Ich habe mit Interesse deinen Artikel gelesen. Hierzu habe ich einige ergänzende Fragen.

    Wie kann werkzeuggestütztes Testmanagement eingesetzt werden, wenn ein Unternehmenn seine Kernapplikation bei einer externen Firma entwickeln lässt? Beziehungsweise es sich bei der eingesetzte Applikation um eine „Branchenstandardsoftware“ handelt, welche sich aber relativ flexibel anpassen lässt.

    Gerade in diesem Fall ist es doch für den Auftraggeber (Kunden) zunehmend schwierig:
    – den Aufwand (für den Kunden in verrechneten Stunden) der gewünschten Änderungen abzuschätzen
    – aber auch die quantitative und qualitative Umsetzung zu Überprüfen und zu testen

    Es stellt sich somit die Frage: Können heute eingesetzten Tools firmenübergreifend solche Problemstellungen unterstützen?

    Besten Dank für deine Erläuterungen.

    Beste Grüsse
    Franco

  • 8
    E2E SAP Testing - schon die Hälfte im Griff? /// beteo:

    […] Franco Prandi: Ich habe mit Interesse deinen Artikel gelesen. Hierzu habe ich einige ergänzende Fragen. Wie kann… […]

  • 9
    Marco Gerussi:

    Wir verstehen Testmanagement sowie seine entsprechenden Prozesse und Tools als übergreifende Disziplin. Der Testmanagement-Prozess verbessert den Qualitätsprozess rund um die Testaktivitäten. Ziel ist es, die Qualität im Vorgehen zu verbessern und somit die erwarteten Resultate effektiver und effizienter zu erreichen.

    Innerhalb dieses Vorgehens sind Rollen und Aufgaben zu verteilen, welche dann von denn dafür vorgesehenen Tools unterstützt werden. Dies lässt sich am besten im Rahmen eines V-Modells illustrieren.

    Im von dir geschilderten Fall ist der Qualitätsprozess über mehrere Organisationen verteilt. Trotz dem Trend zur Zunahme von unternehmensübergreifenden Prozessen und den damit verbundenen Chancen kann jedoch die Verantwortung für Qualitätsprozess nicht delegiert werden. Es geht nun also darum, die Aufgaben im Rahmen dieses Prozesses gezielt internen sowie externen Stellen zuzuteilen.. Je früher im Prozess dabei die internen Stellen involviert werden, desto besser können Aufwände eingeschätzt werden. Im Rahmen vom E2E-Testing gibt es entsprechende Tools, um diese Aufgaben zu unterstützen. Wird für die Administration der Tests ein übergreifendes Werkzeug eingesetzt, z. B. HP Quality Center, können die Tests von der Definition der (Test-)Requirements, über die Planung und Durchführung bis zur Verwaltung von Fehlern gesteuert und überwacht werden. Ein entsprechendes Reporting liefert dabei die gewünschten Zahlen.

    Aus meiner Sicht stellt es dabei keinen Unterschied dar, ob die Applikation intern oder extern betrieben wird. Deine Abschlussfrage würde ich also mit „Ja“ beantworten.

    Viele Grüsse
    Marco

  • 10
    Testmanagement & Scoping: Vom beteo Blog in die Computerworld /// beteo:

    […] Marco Gerussi: Wir verstehen Testmanagement sowie seine entsprechenden Prozesse und Tools als übergreifende… […]

  • 11
    Testmanagement - Nutzen oder Übel? /// beteo:

    […] Marco Gerussi: Wir verstehen Testmanagement sowie seine entsprechenden Prozesse und Tools als übergreifende… […]

  • 12
    Je agiler das Vorgehen, desto automatisierter das Testen? /// beteo:

    […] SCCM – Software Change and Configuration Management: Automation lohnt sich […]

  • 13
    Das Vorgehen zur Erstellung von automatisierten Tests /// beteo:

    […] Je agiler das Vorgehen, desto automatisierter das Testen? /// beteo: SCCM – Software Change and Configuration… […]

  • 14
    beteo Blog - ein Jahr Business Blogging /// beteo:

    […] SCCM – Software Change and Configuration Management: Automation lohnt sich […]

  • 15
    Roebrt Bullinger:

    Interessanter Artikel, habe ihn für meine Blogleser mal aufgegriffen.

    Aus eigener Erfahrung muss ich dem Autor absolut Recht geben. Eine sinnvolle Einführung und Anwendung eines Testmanagementsystems hat unübersehbare Vorteile, besonders der weitergedachte Aspekt der „Testprozessautomatisierung“ hat mich und einige meiner Kunden überzeugt.

  • 16
    Marco:

    Hallo Herr Bullinger

    Vielen Danke für Ihren Kommentar. Ein weiteres, kürzlich abgeschlossenes Projekt zeigt, dass sich die gemachten Aussagen in der Praxis immer wieder bewahrheiten: http://blog.beteo.ch/2008/12/10/erfolgreicher-abschluss-des-beteo-hp-quality-center-projekts-bei-den-sbb/

    Wenn Sie von Testmanagementautomatisierung sprechen, in welchem Umfeld tun sie dies? Was sind die grössten Nutzenpotentiale, welche die Kunden realisieren? Und welche Tools setzen Sie ein?

    Viele Grüsse
    Marco

  • 17
    Robert Bullinger:

    Hallo Herr Gerussi,

    Testmanagementtools haben heutzutage ja unendlich viele Schnittstellen mit anderen Tools.
    Wenn man nun z.B. ein HP Quality Center als zentrale Datenbasis setzt, kann man weitere Tools für das TestCase Design (Visualisierung, Generierung), die Entwicklung (TestDriven) oder die Erzeugung von TestScripten (Ich nenne es mal Keyword-Basierte Testautomatisierung auf der Grundlage der Testfälle) einsetzen.
    Die Vorteile liegen auf der Hand, weniger Arbeit bei höherer Effizienz und niedrigeren Kosten, dadurch, dass weniger Zeit und weniger Fachpersonal (z.B. für die Testautomatisierung) gebraucht wird.

    Des Weiteren bieten Testmanagementsysteme eine wunderbare Rollenaufteilung. Meiner Meinung nach ist es immer ein Fehler, wenn ein Tester einen Bericht für den Projektmanager schreiben muss. Mit Testmanagementtools haben Testmanager selber Zugriff auf die Fülle der Daten (Requirements, Testfälle, Durchführungszeiten, Durchschnittliche Bearbeitungszeiten, Testergebnisse, …) und können diese auch auf Knopfdurck auswerten (Excel wird überflüssig :-)).
    Der Tester testet. Der Testautomatisierer bietet die Automatisierung. Wenn der Testmanager einen Test haben will konfiguriert er ihn und startet ihn selber an, seine Mitarbeiter haben die Vorarbeit geleistet. Am nächsten Tag hat er tagesaktuelle Ergebnisse, die ihm bei seinen Entscheidungen weiter helfen.

    Der Vorteil dabei ist wiederum die effizientere Arbeit. Jeder macht das was er am Besten kann und arbeitet in seinem Bereich, den er überblicken kann. Der Testmanager kann endlich seinen Testprozess kontrollieren und muss ihm nicht hinterherrennen.

    Der Einsatz von bestimmten Tools ist dabei eigentlich unrelevant, selbst ein HP Quality Center erfüllt nicht immer am Besten die Anforderungen des Kunden.

    Viele Grüße,
    Robert Bullinger

Kommentar schreiben

XHTML: Sie können diese Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>