Ein Jahr nach der Einführung von KI-Werkzeugen in der Softwareentwicklung soll die Leitung eines Entwicklungsbereichs im Budgetgespräch belegen, dass sich die Investition gelohnt hat.
Die Entwicklungsteams sind davon überzeugt. Die Lieferdaten sind es nicht, zumindest nicht eindeutig. Die Cycle Time ist in manchen Teams gesunken und in anderen nicht, der Durchsatz (Throughput) schwankt wie in jedem Jahr. Und die Rückmeldungen aus den Fachbereichen klingen kaum anders als vor der Einführung.
Die naheliegende Reaktion ist, eine der beiden Seiten für falsch zu halten. Entweder messen die Kennzahlen das Falsche oder die Teams überschätzen ihre Werkzeuge. Beides kann zutreffen. Das eigentliche Problem liegt aber eine Ebene tiefer. Eine KI-Einführung verletzt genau die Bedingungen, unter denen sich einer Veränderung eine Wirkung zuordnen lässt. Deshalb geben auch saubere Kennzahlen zunächst keine saubere Antwort.
Dieser Artikel behandelt, welche Datenquellen für das Urteil über eine KI-Einführung untauglich sind, warum ein Vergleich vor und nach der Einführung hier an Grenzen stößt und wie sich trotzdem eine belastbare Einschätzung gewinnen lässt.
Die erste ist die Selbsteinschätzung. Sie ist die am leichtesten verfügbare Quelle und zugleich die unzuverlässigste. Den deutlichsten Beleg liefert eine randomisierte Studie der Forschungsorganisation METR aus dem Jahr 2025. Sechzehn erfahrene Open-Source-Entwickler bearbeiteten 246 Aufgaben in ihren eigenen Projekten. Für jede Aufgabe wurde per Zufall festgelegt, ob KI-Werkzeuge erlaubt waren. Mit KI-Werkzeugen brauchten sie 19 Prozent länger. Nach Abschluss der Studie schätzten sie, die Werkzeuge hätten sie um 20 Prozent beschleunigt.
Die Zahl selbst sollte nicht überstrapaziert werden. Sie bildet den Stand der Werkzeuge im ersten Halbjahr 2025 ab und eine besondere Situation, nämlich große, ausgereifte Codebasen, die die Beteiligten seit Jahren kennen. METR hält es inzwischen selbst für wahrscheinlich, dass die Beschleunigung Anfang 2026 größer ausfällt. Was von der Studie bleibt, ist deshalb nicht die Richtung des Effekts, sondern der Abstand zwischen Wahrnehmung und Messung. Die Beteiligten lagen nicht beim Ausmaß ihrer Veränderung daneben, sondern beim Vorzeichen.
Dasselbe gilt für die großen Erhebungen. Der DORA-Report 2025 beruht auf einer Befragung von fast 5.000 Fachleuten. Über 80 Prozent von ihnen gaben an, KI habe ihre Produktivität gesteigert. Das ist eine belastbare Aussage über die Wahrnehmung. Über die Lieferfähigkeit sagt sie nichts.
Die zweite Quelle sind Output-Zahlen. Dass Aktivitätsgrößen wie Commits an Aussagekraft verlieren, sobald ein Werkzeug einen Teil der Aktivität selbst erzeugt, ist in Warum das erste Jahr über ein Metriken-Programm entscheidet beschrieben. Für die Bewertung einer Einführung kommt ein zweites Problem hinzu. Diese Größen steigen nach einer KI-Einführung nicht zufällig, sondern zwangsläufig, weil die Werkzeuge genau sie produzieren. Mehr Codezeilen oder mehr Pull Requests als Erfolg zu melden, ist ungefähr so aussagekräftig, wie nach der Anschaffung eines schnelleren Druckers mehr bedruckte Seiten zu melden.
Wo Selbsteinschätzung und Output ausfallen, bleiben die Flusskennzahlen: Lead Time, Cycle Time, Durchsatz und der Bestand an gleichzeitig laufender Arbeit (Work-in-Progress). Der naheliegende Weg ist ein Vergleich vor und nach der Einführung. In Wie aus Kennzahlen Entscheidungen werden sind die Bedingungen beschrieben, unter denen ein solcher Vergleich eine Wirkung zuordnen kann: Die erwartete Veränderung wird vorab formuliert, nur eine Sache verändert sich und es wird lange genug gewartet. Voraussetzung ist außerdem eine Nullmessung vor der Veränderung, die in vielen Organisationen schlicht fehlt, weil die Werkzeuge früher im Einsatz waren als die Frage nach ihrer Wirkung.
Doch selbst wo eine Nullmessung existiert, verletzt eine KI-Einführung die übrigen Bedingungen. Nicht aus Nachlässigkeit, sondern strukturell.
Es gibt keinen Stichtag. Eine Prozessänderung wie eine Begrenzung des Bestands beginnt an einem bestimmten Tag. Die Nutzung von KI-Werkzeugen wächst dagegen über Monate, von einzelnen Neugierigen bis zum Normalfall. Ein Vorher und ein Nachher lassen sich nur künstlich trennen. Je nachdem, wo die Grenze gezogen wird, fällt das Ergebnis anders aus.
Es ist nicht eine Veränderung, sondern viele. Die Werkzeuge ändern sich in einem Tempo, das kein anderes Arbeitsmittel in der Softwareentwicklung kennt. Wer die Wirkung über zwölf Monate misst, misst mehrere Generationen von Modellen und Arbeitsweisen zugleich. Dazu noch alles, was die Organisation im selben Jahr sonst verändert hat.
Niemand steuert die Dosis. Wie intensiv, wofür und wie geschickt die Werkzeuge genutzt werden, entscheiden die Einzelnen. Die Nutzung ist dadurch nicht nur ungleich verteilt, sie verändert auch die Arbeit selbst. Welche Aufgaben begonnen werden, wie groß sie geschnitten sind und was als fertig gilt, verschiebt sich mit. Damit verschiebt sich auch die Grundgesamtheit, über die die Kennzahlen gebildet werden.
Wie schwer diese Effekte wiegen, zeigt ausgerechnet der Versuch, sie unter kontrollierten Bedingungen auszuschalten. METR hat die eigene Folgestudie Anfang 2026 als unzuverlässiges Signal eingestuft. Ein wachsender Teil der Entwickler lehnte die Teilnahme ab, weil sie nicht ohne KI arbeiten wollten. Andere reichten bestimmte Aufgaben gar nicht erst ein, um sie nicht ohne KI erledigen zu müssen. Wieder andere berichteten, dass sich mit den Werkzeugen die Art der bearbeiteten Aufgaben verschob, dass sich die Qualität der Ergebnisse unterschied und sich die Arbeitszeit kaum noch erfassen ließ, wenn mehrere Agenten parallel liefen. Wenn schon ein kontrolliertes Experiment an Auswahl, Aufgabenmix und Zeiterfassung scheitert, hat eine Organisation im laufenden Betrieb keine bessere Ausgangslage.
Aus der ungleichen Nutzung lässt sich allerdings ein Vorteil ziehen. Wo manche Teams oder Arbeitsbereiche die Werkzeuge intensiv nutzen und andere kaum, entsteht ein Vergleich, den kein Stichtag liefern kann. Beide Gruppen durchlaufen denselben Zeitraum mit denselben Prioritätenwechseln, derselben Saison und derselben Reorganisation. Verändert sich die Lead Time in der einen Gruppe deutlich anders als in der anderen, ist das ein stärkerer Hinweis als jeder Vorher-Nachher-Vergleich innerhalb einer Gruppe.
Aussagekräftig ist dabei nicht der Abstand zwischen den Gruppen, sondern die Veränderung dieses Abstands. Zwei Teams, die schon vor der Einführung unterschiedlich geliefert haben, liefern auch danach unterschiedlich. Erst wenn sich der Abstand verschiebt, nachdem die Nutzung in einer Gruppe gewachsen ist, entsteht ein Hinweis auf eine Wirkung.
Derselbe Gedanke funktioniert innerhalb eines Teams, wenn sich die Arbeit danach trennen lässt, wie stark KI beteiligt war. Eine Kennzeichnung im Ticketsystem genügt dafür. Wo sie fehlt, reicht eine Stichprobe abgeschlossener Vorgänge, deren Beteiligte sich noch erinnern, ob und wofür KI-Werkzeuge im Spiel waren. Eine Trennung nach Arbeitstyp gehört dabei immer dazu, weil sich mit der Nutzung auch der Aufgabenmix verschiebt.
Die Grenze der Methode ist die Auswahl. Wer früh und intensiv nutzt, ist nicht zufällig dazu gekommen. Eine Befragung von Microsoft Research, die die Wirkung von KI entlang des SPACE-Frameworks untersucht und deren Teilnehmende überwiegend von Microsoft stammen, fand, dass Entwickler, deren Organisation sich aktiv für die Nutzung einsetzt, siebenmal häufiger täglich mit KI arbeiten. Zugleich halten die Autoren ausdrücklich offen, ob häufige Nutzung produktiver macht oder ob diejenigen, die ohnehin einen Nutzen sehen, die Werkzeuge häufiger einsetzen. Für einen Vergleich zwischen Teams heißt das, dass sich Gruppen mit hoher Nutzung wahrscheinlich auch in Führung, Aufgabenart und Ausgangslage unterscheiden. Das ist dieselbe Selbstauswahl, an der die METR-Folgestudie gescheitert ist, nur in der Organisation statt im Labor.
Sie lässt sich nicht beseitigen, aber eingrenzen, indem Entwicklungen statt Zustände verglichen werden und die Lage vor der Einführung mit betrachtet wird. Ein Vergleich zwischen Gruppen beweist keine Wirkung, aber er schließt mehr Erklärungen aus als jeder Vorher-Nachher-Vergleich.
Wer vergleicht, muss wissen, wo er hinsehen soll. Die Wirkung einer KI-Einführung zeigt sich in aller Regel nicht zuerst in der Lead Time, sondern an der Stelle, an der zusätzlich erzeugte Arbeit auf eine Kapazität trifft, die nicht mitgewachsen ist. In den meisten Organisationen ist das die Prüfung, also Review, Test und fachliche Kontrolle.
Die bislang umfangreichste Auswertung dazu stammt von Faros, einem Anbieter von Analyseplattformen für Entwicklungsdaten, auf Basis von Telemetriedaten von über 10.000 Entwicklern in 1.255 Teams. Teams mit hoher KI-Nutzung mergten fast doppelt so viele Pull Requests, die Review-Zeit stieg in ähnlicher Größenordnung. Zugleich wurden die einzelnen Pull Requests deutlich größer. Auf Unternehmensebene zeigten die Lieferkennzahlen keinen erkennbaren Zusammenhang mit der KI‑Nutzung. Die Daten sind korrelativ. Und die Quelle hat ein geschäftliches Interesse an der Messung. Für die Größenordnung taugen sie deshalb nur bedingt, für den Mechanismus sind sie eindeutig genug.
Der Mechanismus selbst ist nicht neu. Arbeit staut sich vor der engsten Stelle. Die Wartezeit dort wächst mit steigender Auslastung überproportional, wie im Artikel zu den Kosten hoher Auslastung beschrieben. Neu ist nur, dass die engste Stelle sich verschiebt. Daraus ergibt sich eine Konstellation, die in den Flusskennzahlen früh sichtbar wird, lange bevor sich die Lead Time bewegt. Die Zahl der fertig entwickelten Änderungen steigt, der Bestand vor der Prüfung wächst, die Wartezeit dort nimmt zu. Die Lead Time bleibt unverändert. Wer nur auf die Lead Time sieht, sieht nichts. Wer auf den Bestand vor der Prüfung sieht, sieht, wohin die gewonnene Zeit fließt.
Die zweite Stelle ist die Stabilität. DORA findet in der Erhebung 2025, dass höhere KI-Nutzung mit höherem Durchsatz und zugleich mit höherer Instabilität der Auslieferung einhergeht. Die Autoren betonen selbst, dass es sich um Vergleiche zwischen Befragten zu einem Zeitpunkt handelt und nicht um gemessene Wirkungen, also um genau die Art von Zustandsvergleich, deren Grenzen oben beschrieben sind. Eine Qualitätskennzahl gehört deshalb als fester Gegenpol neben die Flusskennzahlen. Bei einer KI-Einführung ist dieser Gegenpol keine Ergänzung, sondern Voraussetzung. Ohne ihn lässt sich ein geliehener Gewinn nicht von einem echten unterscheiden.
Der erste Fehlschluss ist das Urteil nach wenigen Monaten. Eine Einführung kostet zunächst Zeit für Einarbeitung, für neue Abläufe und für die zusätzliche Prüfung von Ergebnissen, denen noch niemand traut. DORA beschreibt diesen Verlauf in seiner jüngsten Veröffentlichung, dem Bericht zur Rendite KI-gestützter Softwareentwicklung von 2026, als J-Kurve: also als vorübergehende Delle, auf die ein Anstieg folgt. Der Bericht ist keine neue Messung, sondern ein Rechenmodell auf Grundlage der Befunde von 2025. Er räumt selbst ein, dass sich Tiefe und Dauer der Delle nicht vorhersagen lassen. Das Ausbleiben eines Signals nach einem Quartal ist deshalb kein Beleg für fehlende Wirkung.
Die J-Kurve hat allerdings eine Kehrseite. Solange nicht festgelegt ist, wie tief und wie lang die Delle sein darf, lässt sich jedes schlechte Ergebnis als Delle lesen. Der Bericht selbst ordnet die höhere Instabilität aus der Erhebung 2025 bereits als erwartbaren Teil dieser Kurve ein. Das mag zutreffen, ist aber eine Deutung und kein Befund. Ein Modell, das jede Beobachtung erklären kann, taugt nicht als Maßstab für ein Urteil.
Das Gegenmittel ist dasselbe wie bei jeder anderen Intervention: die Erwartung vorab festlegen. Der Rechner, den DORA zum Bericht bereitstellt, verlangt dafür genau zwei Angaben: den erwarteten Produktivitätsverlust in Prozent und seine Dauer in Monaten. Wer beide Zahlen vor der Einführung festhält, hat später einen Maßstab, an dem sich entscheiden lässt, ob die Organisation noch in der Delle steckt oder ob die Kurve schlicht flach bleibt.
Umgekehrt ist ein frühes positives Signal kein Beleg für Wirkung, solange unklar ist, ob die Prüfung mit der zusätzlichen Menge Schritt hält.
Der zweite Fehlschluss ist der Schluss vom Team auf die Organisation. Ein Team, das mehr Änderungen fertigstellt, liefert der Organisation nur dann mehr, wenn die nachfolgenden Stationen diese Menge aufnehmen können. Wo das nicht der Fall ist, verlagert sich der Stau an die nächste Stelle. Die Verbesserung im Team bleibt dann aus Sicht der Anfordernden unsichtbar. Die Grenze der Steuerung auf Teamebene entsteht hier nicht durch einen Mangel an Entscheidungen, sondern durch einen Zuwachs an Arbeit. Die Frage, die ein Budgetgespräch beantworten muss, betrifft deshalb die Lead Time aus Sicht der Anfordernden und nicht die Leistung einzelner Teams.
Die Bewertung einer KI-Einführung scheitert selten an fehlenden Daten. Sie scheitert daran, dass die naheliegenden Quellen etwas anderes messen als das, wonach gefragt ist. Und daran, dass die Einführung selbst die Bedingungen eines sauberen Vergleichs aufhebt. Ob sich die Investition lohnt, ist deshalb weniger eine Frage der richtigen Kennzahl als eine Frage der Vergleichsanlage, also wer mit wem verglichen wird, über welchen Zeitraum und an welcher Stelle im Fluss.
Das Ergebnis ist kein Beweis, sondern ein begründetes Urteil. Für ein Budgetgespräch ist das weniger, als sich viele wünschen. Und deutlich mehr, als die meisten Organisationen derzeit vorlegen können.
Buchen Sie jetzt Ihre kostenlose Teamanalyse und wir finden gemeinsam heraus, wie ich Sie am wirkungsvollsten unterstützen kann.