Welke Agile Coach of Scrum Master weet het niet. De deelnemers aan retrospectives of andere bijeenkomsten laten de indruk achter dat de tijd buiten de bijeenkomst beter wordt geïnvesteerd dan in de bijeenkomst zelf. Maar om de bijeenkomsten de moeite waard te maken, moet je duidelijk kunnen vaststellen wanneer de deelnemers de bijeenkomsten goed vinden en wanneer wat minder. En dat is precies waar de zogenaamde roti-score (return on time invested) voor bedoeld is.
Roti (rendement op geïnvesteerde tijd) kort uitgelegd:
Wat is Roti (rendement op geïnvesteerde tijd)?
Roti, of Roti-score, is een subjectieve maatstaf voor hoe goed het voelde om tijd door te brengen in een vergadering of activiteit.
Of eenvoudiger: Als je vindt dat een vergadering erg productief was voor de tijd die hij duurde, dan heeft hij een hoge Roti-score. Als de vergadering meer "goed" was, dan krijgt het een vrij lage Roti-Score.
Zoals je in deze afbeelding kunt zien, gebeurt dit automatisch en geeft het ook aan hoe lang de terugblik duurde. – Op deze manier is het mogelijk om herinneringen op te halen aan gesprekken die vergeten waren en die misschien tijdrovend werden tijdens de vergadering. Aan het einde is de vraag altijd: Hoe lang heeft de vergadering geduurd en wat heb ik ervan kunnen meenemen?
Als bijvoorbeeld 5 mensen deelnamen aan de retro en de volgende Roti-scores gaven (5,7,7,8,8) dan kun je hier de gemiddelde waarde bepalen ((5+7+7+8+8)/5 = 7) en dan de gemiddelde Roti-score krijgen.
Zo werk je op de juiste manier met de Roti-Score (return on time invested):
Op dit punt wil ik je een interessant inzicht geven in de interpretatie van de Roti-Score. Want geloof me, goed werken met ratio's is allesbehalve eenvoudig.
Laten we nu ons voorbeeldresultaat (5,7,7,8,8) nog eens door onze roti-query halen.
Wat kun je hieruit opmaken? – Niets!
Ja, het is waar dat één persoon het een "5" gaf, maar dat betekent niet dat hij de retro echt slechter vond dan iemand die het een 7 gaf.
Klinkt in eerste instantie onlogisch, maar met subjectieve perceptie is het een fatale fout om verschillende mensen met elkaar te vergelijken. – Ik heb deze metriek bijvoorbeeld zelf uitgewerkt met verschillende teams en wat ik hier ontdekte was het meest interessant:
Je kunt het waarschijnlijk al raden, maar elk karakter is anders en er zijn mensen voor wie een "7" in de Roti-score al een vrij slechte retro was en mensen voor wie alles boven de "5" een absoluut succes is. En dat is precies de reden waarom ik aan het eind van de retro graag even met elke deelnemer praat, om een gevoel te ontwikkelen voor wat een bepaald cijfer eigenlijk voor die persoon betekent. – Overigens geldt hetzelfde voor verschillende teams. Gebruik de Roti-Score alsjeblieft niet om teams met elkaar te vergelijken, want er zijn zoveel parameters bij betrokken dat je niet kunt zeggen of een "8" voor het ene team beter, hetzelfde of zelfs slechter is dan een "7" voor een ander team.
Maar laten we nu eens kijken welke interessante informatie je uit de Roti-Score kunt halen.
Hoe ontwikkelen het team en de individuele teamspelers zich?
Zoals je in deze afbeelding kunt zien, meten we de Roti-score in elke retro en kunnen we echt langetermijntrends in de teams zien. Hier zien we bijvoorbeeld dat het team al zo goed geoefend is dat we een vrij stabiele prestatie kunnen leveren en altijd rond een 9/10 zitten.
In de tweede afbeelding zie je daarentegen een team dat retrospectives pas sinds kort in zijn routine heeft verankerd. En wat je hier al snel ziet is dat het eerste team gemiddeld een heel punt meer toekent dan het tweede. Het grappige is echter dat het hierboven genoemde fenomeen zich hier daadwerkelijk voordoet, dat de retrospectieven niet echt slechter lopen, maar dat team #2 gewoon iets consistenter omgaat met het toekennen van punten. – Wat je echter echt ziet bij team #2 is dat de retros van maand tot maand als iets minder waardevol worden ervaren. Het "rendement op geïnvesteerde tijd" neemt af.
Hier begint de echte magie: want nu moet je erachter komen wat de oorzaak was van de dalende trend bij Team #2.
Spoiler: De duur van retrospectives is toegenomen. – Het lijkt er dus op dat de toenemende duur van retrospectives voor team #2 ervoor zorgt dat het rendement op geïnvesteerde tijd daalt.
Belangrijk: Dit is slechts een hypothese die getest moet worden. Daarom hebben we in het team besloten om de vergadertijd te beperken en we zullen de komende tijd zien welk effect dit heeft op de Roti-score.
Bij Echometer hebben we met deze methode al meer dan 30.000 retrospectives van meer dan 100 bedrijven geanalyseerd en ongelooflijk interessante observaties kunnen doen.
Eén daarvan is bijvoorbeeld dat de meeste terugblikken op een woensdag worden gehouden, ook al is de Roti-score het hoogst op vrijdag:
Als je geïnteresseerd bent in de evaluatie en de daaruit voortvloeiende lessen, lees dan ons artikel: "30k retros analyseren: 4 tips voor Agile teams"
Conclusie over Roti (Rendement op geïnvesteerde tijd)
Ik hoop dat ik je met dit artikel wat meer duidelijkheid heb kunnen geven in het omgaan met de Roti-Score.
Maar als je geen zin hebt om de Roti-Score of de vele andere kengetallen bij te houden die je meer informatie geven over je teams en hun ontwikkelingsmogelijkheden, waarom probeer je Echometer dan niet eens? Je kunt de tool helemaal gratis uitproberen en zonder extra moeite een eenvoudig overzicht krijgen van bijvoorbeeld de Roti-Score en vele andere kengetallen.
