agile metrics and measurements2

25 Agile KPIs im Überblick – 1 simple Kennzahl reicht!

Auf linkedin teilen
Auf twitter teilen
Auf facebook teilen
Auf email teilen

Es gibt jede Menge agile KPIs und Messmethoden. Aber eines musst du immer im Hinterkopf behalten:

„Sage mir, wie du mich misst, und ich sage dir, wie ich mich verhalten werde.“

Dr. Eli Goldratt

Daher muss eine Frage gestellt werden: Sind all diese agilen KPIs relevant? Und dann ist da noch dieses andere Zitat:

„Einfachheit ist die Seele der Effizienz.“

Austin Freeman

Es stellt sich also die nächste Frage: Wenn wir agil so einfach wie möglich messen wollen würden, wie würden wir es dann messen? Welche agilen Metriken und Messungen sind am wichtigsten? Oder wenn wir nur eine einzige Sache messen würden, welche wäre das?

Versteh mich nicht falsch: Natürlich kann man durchaus kompliziertere agile Reifegradmodelle bzw. agile Metriken haben, wie zum Beispiel das Agilometer. Aber das Gedankenexperiment, nur ein KPI messen zu wollen, finde ich ziemlich spannend. Deshalb geht dieser Artikel diesem Ziel nach. 

Als Grundlage dienen uns die folgenden agilen KPIs.

Agile KPI

Erklärung

Basiert auf...

Korrelation zum zukünftigen Kundennutzen

Einfachheit, es zu messen

Zielt ab auf...

Sprint Burndown chart

Zeigt den Fortschritt innerhalb des Sprints zur Erreichung des Sprintziels

Subjektiv geschätzter Aufwand

Niedrig 🛑

Teilweise manuell ⚠️

Produktivität ⛹🏾‍♀️

Velocity

Indikator dafür, wie viel Arbeit während eines Sprints geschafft wurde

Summe der subjektiv geschätzten Storypoints (vollständige User Stories)

Niedrig 🛑

Teilweise manuell ⚠️

Produktivität ⛹🏾‍♀️

Epic und Release Burndown

Überwachung des Fortschritts über viele Tasks hinweg in Richtung eines Epics

Subjektiv geschätzter Aufwand

Mittel ⚠️

Teilweise manuell ⚠️

Produktivität ⛹🏾‍♀️

Control Chart

Time Zeitliche Dauer vom Status "In Bearbeitung" bis "Fertig" von Tasks

Objektive Zeitmessung

Niedrig 🛑

Automatisiert

Produktivität ⛹🏾‍♀️

Kumulatives Flow Diagram

Anzahl von Tasks im Backlog im Verhältnis zur noch vorhandenen Zeit

Objektive Anzahl der Tasks vs. Zeit

Mittel ⚠️

Automatisiert

Produktivität ⛹🏾‍♀️

Lead Time

Zeitperiode zwischen Beauftragung eines Produkts bis zu dessen Lieferung

Objektive Zeitmessung

Mittel ⚠️

Automatisiert

Produktivität ⛹🏾‍♀️

Value Delivered bzw. Gelieferter Kundennutzen

Kundennutzen eines Requirements in € oder Punkten

Subjektiv geschätzt und zugewiesen durch Product Owner

Mittel ⚠️

Teilweise manuell ⚠️

Kunden-nutzen 🍭

Net Promoter Score

Bereitschaft, das Produkt weiterzuempfehlen

Subjektiv durch den Kunden

High

Teilweise manuell & Tools notwendig 🛑

Kunden-nutzen 🍭

Work Item Age

Indikation dafür, wie lange es vom Start bis zur Beendigung eines Tasks dauert

Objektiv durch ein Tool

Niedrig 🛑

Automatisiert

Produktivität ⛹🏾‍♀️

Throughput

Durchschnittlich fertiggestellte Tasks innerhalb einer bestimmten Zeit

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Produktivität ⛹🏾‍♀️

Blocked Time

Anzahl und Dauer von Tasks, die aufgrund von internen Abhängigkeiten nicht weiter bearbeitet werden können

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Vorhersag-barkeit 🎲

Escaped Defects

Indikation für die Anzahl von Softwarefehlern, wenn ein Release veröffentlicht wird

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Qualität 🏆

Failed Deployments

Anzahl von Deployments

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Qualität 🏆

Code Coverage

Ausmaß, in dem der Quellcode eines Programms ausgeführt wird (indiziert Qualität der Software)

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Qualität 🏆

Quality Intelligence

Hilft bei der Identifikation kürzlicher Änderungen im Code (indiziert Qualität der Software)

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Qualität 🏆

Cycle time

"Work in progress" geteilt durch durchschnittliche Kompletierungsrate von Tasks (indiziert, wie gut der Workflow funktioniert)

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Produktivität ⛹🏾‍♀️

Kunden-zufriedenheit

Kunden- oder Nutzerzufriedenheit mit dem Produkt oder der Dienstleistung

Subjektiv durch den Kunden

High

Teilweise manuell & Tools notwendig 🛑

Kunden-nutzen 🍭

Planned-to-done-ratio

Verhältnis zwischen geplanten und fertig gestellten user Stories

Objektiv durch ein Tool

Mittel ⚠️

Automatisiert

Vorhersag-barkeit 🎲

Usage index

Zeigt, welche Features von Kunden tatsächlich und in welcher Intensität genutzt werden

Objektiv durch ein Tool

High

Teilweise manuell ⚠️

Kunden-nutzen 🍭

Innovationsrate

Fähigkeit der Teams, werthaltige Features zu entwickeln vs. "schlechte" Arbeit wieder gut zu machen (Bug-Fixes und Support anfragen)

Objektiv durch ein Tool

Mittel ⚠️

Teilweise manuell & Tools notwendig 🛑

Qualität 🏆

Unternehmenswert

Der Wert des Unternehmens(-bereichs)

Objektiv oder subjektiv durch die Stakeholder

Mittel ⚠️

Teilweise manuell ⚠️

Kunden-nutzen 🍭

Psychologische Sicherheit

Wahrscheinlichkeit, dass Mitarbeitende offen ihre Meinung und Ideen mitteilen

Subjektiv durch ein (Umfrage-) Tool

High

Teilweise manuell & Tools notwendig 🛑

Kultur 👯‍♀️

Purpose

Eine emotionale Begründung dafür, warum ihr Unternehmen bzw. ihre Abteilung existiert

Subjektiv durch ein (Umfrage-) Tool

High

Teilweise manuell & Tools notwendig 🛑

Kultur 👯‍♀️

Vision

Ein emotionales Bild davon, wie dein Unternehmen bzw. deine Abteilung in Zukunft aussehen wird

Subjektiv durch ein (Umfrage-) Tool

High

Teilweise manuell & Tools notwendig 🛑

Kultur 👯‍♀️

Mitarbeiter-zufriedenheit / Happiness

^ufriedenheit der Mitarbeitenden mit ihrer Arbeit

Subjektiv durch ein (Umfrage-) Tool

High

Teilweise manuell & Tools notwendig 🛑

Kultur 👯‍♀️

Wollen wir agile Metriken und agile KPIs überhaupt?

Bevor wir tiefer gehen, eine Sache, die ich regelmäßig höre oder auf LinkedIn lese, wenn ich mit agilen Coaches, Scrum Mastern oder Scaled Agile Frameworks Beratern spreche: Wollt ihr agil überhaupt messen?

„Es gibt Lügen, es gibt verdammte Lügen und dann gibt es noch Statistiken.“

Mark Twain

Mark Twain ist ein wenig dramatisch, was das angeht. Aber er hat einen Punkt. Einen Punkt, den Albert Einstein auf den Punkt gebracht hat.

„Nicht alles, was gezählt werden kann, zählt.“

Albert Einstein

Was sind gute „KPIs“ in Agile – Velocity, Burndown-Charts, Anzahl der fehlgeschlagenen Deployments? Sind diese agilen Metriken entscheidend für den agilen Erfolg? Ich bezweifle das. 

Aber alle Metriken aufgeben? Auch das wäre ein Fehler.

In der heutigen Welt ändern sich die wirtschaftlichen Rahmenbedingungen schnell. In guten Zeiten denken Entscheider über eine agile Transformation nach, weil sie die nötigen Ressourcen und die Sicherheit haben. Und in schlechten Zeiten? 

In wirtschaftlich schlechten Zeiten werden Führungskräfte in traditionelles Denken zurückfallen. Sie werden in alte Verhaltensmustern zurückfallen: z.B. Top-Down-Entscheidungen, die mit modernem agilen Denken nicht wirklich vereinbar sind.

Wenn Führungskräfte also keine klaren KPIs haben, nach denen sie in schlechten Zeiten das Boot steuern können, sollten Sie eine agile Transformation gar nicht erst beginnen. Denn dann würde in der Wirtschaftskrise jeder Fortschritt, der innerhalb dieser Transformation gemacht wurde, zerstört werden.

Die vermutlich einzige Chance, dass agile Methoden im skalierten Umfeld schwierige Zeiten überstehen, besteht also darin, das System mit seinen eigenen Waffen zu schlagen: durch die Bereitstellung von Metriken. Metriken, die helfen, in Zeiten der Unsicherheit zu managen.

Und ich bin mir sicher: Es gibt agile Metriken, die Mehrwert stiften. 

„Im Nachhinein halte ich es für einen meiner größten Fehler, Metriken für die agile Transformation immer kategorisch abgelehnt zu haben.“

Marcus Raitner

Einstein sagt es in seinem Zitat auch: Es gibt Dinge, die zählen. Um diese geht es in diesem Artikel.

Agilität messen – Was macht eine gute agile Metrik aus?

Nehmen wir an, die Frage, die du in deinem Daily Stand-up stellst, lautet typischerweise: Was habt ihr heute geschafft? Das ist also die Art und Weise, wie du den Fortschritt in deinem Team „misst“.

Gute Frage, richtig? Nein, nicht richtig. Diese Frage drängt das Team dazu, zu zeigen, dass es fleißig ist. Die Frage setzt das Team unter Druck, die „To do-Liste“ zu erledigen, damit es stolz auf die Metrik verweisen kann: Ja, ich war in den letzten 24 Stunden ziemlich busy!

Aber die „To do-Liste“ zu erledigen ist doch gut oder nicht? Nun, es kommt darauf an. Viel wichtiger ist etwas anderes: Nämlich das Ziel des Teams zu erreichen. Das ist typischerweise – im Fall von agilen Teams – das Liefern von Kundennutzen bzw. im Englischen “delivering value”.

Agile KPIs – wie man Agilität misst

Eine bessere Frage (oder Metrik) in deinem Daily Stand-up wäre daher: „Wie hast du deinem Team oder deiner Organisation in den letzten 24 Stunden geholfen, unser (Sprint-)Ziel zu erreichen?“

Ändere deine Frage (oder die Metrik), ändere die Art und Weise, wie Menschen denken und handeln: erst effektiv, dann effizient – um es mit den Worten von Peter Drucker zu sagen.

Ändere die Metrik – ändere die Art und Weise, wie Menschen denken und handeln.

Um es mit Einsteins Worten zu sagen: Wir müssen die eine Sache finden, die man zählen kann – und die wirklich zählt.

Was also zählt wirklich bei einer agilen Transformation?

Der richtige Blick auf agile KPIs und agile Metriken

Das Ziel eurer agilen Transformation ist definitiv nicht eine agile Transformation. Warum macht ihr die agile Transformation? Lass uns die „3-Why-Technik“ anwenden, um das zu verstehen:

  • Warum führen wir eine agile Transformation durch? Weil wir produktiver und effizienter sein möchten, trotz unsicherer Rahmenbedingungen.

  • Warum? Weil wir unseren Kunden in kürzester Zeit ein Maximum an Nutzen bieten möchten.

  • Warum? Weil wir als Unternehmen langfristig überleben möchtet.

Der Kerngrund für eure agile Transformation: Ihr wollt nicht wie das Unternehmen “Blockbuster” enden, die Branchentrends und Kundenbedürfnisse ignoriert haben, nicht offen für Veränderungen waren und denen schließlich das Geld ausgegangen ist.

Ihr wollt wie Netflix enden, die ihr Geschäftsmodell ständig um die Kernbedürfnisse ihrer Kunden herum weiterentwickeln. Mehr über die Fallstudie Blockbuster vs. Netflix erfährst du übrigens hier.

Wie kannst du das bei einer agilen Transformation in eine Messgröße übersetzen? Tja, das wird schwierig.

Was Unternehmen stattdessen tun: Metriken nutzen, weil sie leicht zu messen sind. Weil die Tools da draußen sie einem sowieso ausspucken. Die Wahrscheinlichkeit, dass dies die richtigen Metriken sind, ist ziemlich gering.

Denn es geht zum Beispiel nicht darum, die Sprint-Geschwindigkeit bzw. Velocity zu verbessern. Das ist ein häufiger Fehler: Aufwand oder Effizienz zu überwachen und zu messen. Stattdessen geht es darum, Kundenbedürfnisse zu befriedigen. 

Agile KPIs & Agilität messen – eine wichtige Erkenntnis

Nachdem wir all das festgestellt haben, müssen wir die Gültigkeit unserer “einen Metrik” an etwas messen bzw. ein Korrelat finden.

Wir müssen Outputs messen, nicht Outcomes. Wir müssen unsere agile Transformation daran messen, wie sehr sie uns hilft, unser Ziel zu erreichen. Wir müssen Menschen nicht an ihrem Zeitaufwand messen, sondern an ihrem Beitrag zu einer gemeinsamen Vision oder einem gemeinsamen Ziel – wir müssen an dem Nutzen messen, der für den Kunden geschaffen wurde!

Wenn wir am Kundennutzen messen wollen, müssen wir die Bedürfnisse des Kunden sehr gut verstehen.

Zum Beispiel muss ein Eisenbahnunternehmen verstehen, dass es nicht im Eisenbahngeschäft tätig ist. Es muss verstehen, dass es im Transportgeschäft tätig ist. Denn den Kunden ist es egal, ob sie mit dem Zug oder mit dem Flugzeug transportiert werden.

Eine weitere Erkenntnis zu agilen Metriken: Timing

Ein weiterer Gedanke ist hier wichtig. Im besten Fall hängen die Metriken vom Timing ab und/oder davon, in welchem Stadium ihr euch in eurer agilen Transformation befindet. 

Nehmen wir an, du weißt bereits, dass eine agile Transformation mit dem Scaled Agile Framework (SAFe®) oder anderen agilen Frameworks der richtige Schritt für euch ist (das ist übrigens das erste, was man sich als Unternehmen gut überlegen sollte).

In diesem Fall sollte dein Fokus zu Beginn der agilen Transformation auf einer Sache liegen: Dem agilen Mindset des Führungsteams.

Ist das Führungsteam wirklich bereit, sich zu verändern? Versteht es die Implikationen einer Transformation? Ist es bereit, als erstes Team des Unternehmens agile Methoden ernsthaft einzuführen – inklusive Kanban, agiler Retrospektiven & kontinuierlicher Selbstreflexion?

Theoretisch sollte sich also eine erste agile Metrik auf die „Bereitschaft der Geschäftsleitung oder des Führungsteams“ konzentrieren. Zur Rolle von Führungskräften in agilen Transformationen gibt mein Kollege Jean übrigens in diesem Artikel 7 Tipps.

Die nächste wichtige Frage, die du dir bei eurer Transformation stellen solltest: Haben wir die richtigen Prozesse, um die Bedürfnisse unserer Kunden zu verstehen und kontinuierlich zu monitoren? Hier könnte die nächste agile Metrik ansetzen.

Aber halt. Das hilft uns nicht, das Ziel dieses Textes zu erreichen – nur eine Sache zu messen.

Nein. Es dient dazu, dir für deine agile Transformation ein wenig Inspiration bzgl. eines sinnvollen agilen Reifegradmodells zu geben.

Schauen wir uns also jetzt mal an, welche typischen agilen Metriken es gibt und inwieweit sie mit dem wichtigsten Output korrelieren, um den es bei eurer agilen Transformation geht: Kundennutzen.

Die wichtigsten agilen Metriken – ein Ranking

Du findest oben eine Tabelle mit den häufigsten agilen Metriken, die in skalierten agilen Frameworks und agilen Transformationen eine Rolle spielen. Ich habe sie nach fünf Bereichen geordnet, fünf Zielen, die man im Allgemeinen mit einer agilen Transformation erreichen anvisiert:

  • Kundennutzen: Erfüllen die Metriken die Bedürfnisse des Kunden?
  • Vorhersagbarkeit: Liefern wir pünktlich und mit reibungslosen Prozessen?
  • Produktivität: Erledigen wir mehr und mehr Aufgaben in der gleichen Zeit und mit den gleichen Ressourcen?
  • Qualität: Liefern wir ein Produkt, das frei von Fehlern und anderen Problemen ist?
  • Kultur: Sind die Mitarbeiter in unserer Organisation zufrieden, lernen sie kontinuierlich dazu und können so innovativ sein, so dass die anvisierte Lieferungsgeschwindigkeit langfristig gehalten werden kann?

Agile KPIs – wie Sie den agilen Erfolg messen

Die Tabelle gibt auch einen Hinweis darauf

  • wie einfach es ist, die Metrik zu messen (basierend auf meiner persönlichen Erfahrung)
  • wie sehr diese Metrik mit unserem langfristigen Kernziel korreliert: Zukünftiger Kundennutzen (basierend auf meiner Erfahrung).

Also, welche ist aus der Tabelle oben die agile Metrik? Was ist ein guter KPI im agilen Bereich?

Interessant ist, dass es keine agile Metrik zu geben scheint, die einfach zu messen ist und gleichzeitig den maximalen Kundennutzen liefert. Schade aber auch.

Ich würde sagen, dass die „Einfachheit der Messung“ nicht so wichtig ist wie die „Korrelation zum zukünftigen Kundennutzen“. Daher scheinen die validesten Metriken „Usage Index“, „Customer Satisfaction“ oder der „Net Promoter Score“ zu sein.

Scaled agile Frameworks – der wichtigste agile KPI ist…?

Es spielt keine Rolle, ob du das Scaled Agile Framework (SAFe®) verwendest oder ein anderes Modell, um euren agilen Reifegrad zu erhöhen.

Angesichts dieser drei Metriken ist das, was am meisten mit dem zukünftigen Kundennutzen korreliert, wahrscheinlich die Kundenzufriedenheit bzw. “Customer Satisfaction”. Oder, um genauer zu sein, die Top-Box-Kundenzufriedenheit. Mehr zu diesem Thema findest du unter diesem Link.

Die Kundenzufriedenheit hat wahrscheinlich auch die höchste Korrelation von all diesen Metriken mit dem ROI eurer agilen Transformation. Sie zeigt dir, ob ihr etwas verändern oder auf Kurs bleiben solltet.

Agile KPIs: Eine simple Kennzahl reicht – oder doch nicht?

Aber halt! Wenn ihr euch nur auf die Kundenzufriedenheit fokussiert, wie stellt ihr sicher, dass ihr euren Wettbewerbern langfristig voraus seid? Wie macht ihr es möglich, dass innovative und disruptive Ideen in eurem Unternehmen wachsen und gedeihen können? Was schließlich euer langfristiges Ziel ist…

Angesichts dieser Fragen denke ich, dass wir zurück zu den Grundlagen kommen sollten: Um kontinuierlich Kundennutzen zu schaffen und um innovativ zu sein, braucht ihr zwei weitere Dinge: reibungslose agile Prozesse und eine gesunde Unternehmenskultur.

Eure Unternehmenskultur sorgt dafür, dass sich die Mitarbeiter psychologisch sicher fühlen, offen sind zu scheitern, ihre Stimme erheben und ihre Ideen teilen. Und eure agilen Prozesse sorgen dafür, dass ihr eure Ideen schneller umsetzt als eure Wettbewerber.

Agile, wie eine Führungskraft, zielt auf einen People-First-Ansatz ab; sie stellt die Menschen über die Dinge.
Vikram Verma

Die folgende Grafik veranschaulicht dies auf einfache Art und Weise. Wenn Kundennutzen euer langfristiges Ziel ist, dann ist der Input dafür “agile Prozesse” mal “Unternehmenskultur”.

Ich habe hier einmal gelesen, dass „die agile Transformation einen Kulturwandel erfordert, nicht einen Prozesswandel.“

Dem kann ich nicht zustimmen. Es erfordert beides.

Drei agile KPIs im agilen Reifegradmodell

Wenn du also nur eine Sache im Scaled Agile Frameworks (SAFe®) oder anderen Frameworks messen möchtet, dann wäre es die Kundenzufriedenheit. Aber ehrlich gesagt kann ich nicht empfehlen, nur eine Sache zu messen – tut mir leid, dass ich dich enttäuschen muss.

Wenn du es mit euren Metriken wirklich so einfach wie möglich halten möchtest, empfehle ich dir, mindestens drei Dinge für eine Indikation eures agilen Reifegrads zu messen:

  • Miss den Kundennutzen bzw. Value – durch Kundenzufriedenheit. 
  • Miss eure Unternehmenskultur – durch psychologische Sicherheit als Indikator für Lernen und Innovation. 
  • Miss die Etablierung agiler Methoden – mithilfe der „planned-to-done-ratio“ als Indikator dafür, wie gut ihr in der Lage seid, inkrementell Kundennutzen zu liefern.

Nach dem Messen, entwickelt etwas. Dann lernt daraus. Und dann iteriere bzgl. deiner Metriken… Build. Measure. Learn…

Einfach, oder? Nein, natürlich nicht. Aber meinst du es ernst damit, agile Frameworks in deiner Organisation zu etablieren?

Was ist ein guter agiler KPI und was nützt mir das in meiner agilen Transformation?

Wir befragen derzeit Dutzende von Experten – Release Train Engineers, Agile Coaches, Scaled Agile Framework Berater – zum Thema KPIs und Metriken im Kontext Scaled Agile Frameworks und agiler Methoden.

Basierend auf diesen Interviews werden wir ein kurzes und knackiges Online-Video-Training entwickeln, das dir helfen könnte, agile Metriken und die agile Transformation grundsätzlich richtig anzugehen.

Zum kostenlosen "Scaled Agile" Video-Training anmelden

Wenn du es also ernst meinst mit eurer agilen Transformation, empfehle ich dir, sich in das folgende Feld einzutragen, damit wir dich über das Online-Training informieren können, sobald wir es fertiggestellt haben. Bis dahin!

Weitere Artikel

Buche jetzt eine 20-minütige Online Demo und erfahre, wie du mit Echometer agiles Arbeiten in deiner Organisation vorantreiben kannst.