Wie plane ich ein KI-Pilotprojekt mit Messgröße?

Viele KI-Piloten scheitern nicht an der Technik, sondern an der Planung. Das Marktforschungsunternehmen Gartner sagte im Juli 2024 voraus, dass mindestens 30 Prozent der Projekte mit generativer KI bis Ende 2025 nach der Machbarkeitsphase eingestellt werden. Als Gründe nannte Gartner schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und einen unklaren geschäftlichen Nutzen. Den letzten Punkt hast du als Geschäftsführer selbst in der Hand: Er entsteht, wenn vor dem Start niemand festlegt, was gemessen wird.

Wo ein Pilot in deiner KI-Strategie für den Mittelstand seinen Platz hat und wie er grundsätzlich abläuft, beschreibt die Leitseite. Dieser Artikel geht einen Schritt weiter: Er gibt dir eine Vorlage für den Pilot-Steckbrief, einen Rechenweg für die Messgröße und eine Entscheidungsregel.

Warum braucht ein KI-Pilot überhaupt eine Messgröße?

Weil sich sonst niemand traut, ihn zu beenden, und niemand begründen kann, ihn auszurollen. Der Bericht „The GenAI Divide: State of AI in Business 2025“ von MIT Project NANDA kommt zu dem Ergebnis, dass rund 95 Prozent der untersuchten Initiativen mit generativer KI keinen messbaren Beitrag zur Gewinn- und Verlustrechnung zeigen. Grundlage waren über 300 öffentlich dokumentierte KI-Initiativen, 52 Interviews und 153 Umfrageantworten von Führungskräften, erhoben von Januar bis Juni 2025. Die Studie ist methodisch umstritten, weil sie vor allem große Unternehmen betrachtet. Sie zeigt aber ein Muster: Wer den Nutzen vorher nicht definiert, kann ihn nachher nicht belegen.

Der deutsche Mittelstand ist nicht besser aufgestellt. In der Bitkom-Befragung von 603 Unternehmen ab 20 Beschäftigten (Juli bis August 2026) sagen 45 Prozent der KI-nutzenden Unternehmen, KI leiste einen messbaren Beitrag zum Unternehmenserfolg. 59 Prozent geben an, das Potenzial von KI überhaupt nicht auszuschöpfen.

Welcher Ablauf eignet sich für einen ersten Pilot?

Ein Ablauf eignet sich, wenn er häufig vorkommt, heute messbar Zeit kostet und das Ergebnis vor der Weitergabe von einem Menschen geprüft wird. Typische Kandidaten sind Angebotsentwürfe, Antworten auf wiederkehrende Kundenanfragen, Protokolle oder interne Wissenssuche. Wie du Kandidaten sammelst und bewertest, steht im Artikel Welche Aufgaben eignen sich zuerst für KI im Unternehmen?

Unsere Empfehlung: Wähle für den ersten Pilot einen Ablauf, der mindestens zwanzigmal im Monat vorkommt. Bei seltenen Abläufen bekommst du in sechs bis zwölf Wochen zu wenige Messpunkte, um eine Entscheidung zu begründen.

Was gehört in den Pilot-Steckbrief?

Der Steckbrief passt auf eine Seite. Er wird vor dem Start von der Geschäftsführung und der verantwortlichen Person unterschrieben. Diese acht Felder sind Pflicht:

1. Ablauf: Welcher Vorgang, von welchem Auslöser bis zu welchem Ergebnis?
2. Ziel in einem Satz: Zum Beispiel „Angebote für Standardanfragen in der Hälfte der Zeit, bei gleicher Fehlerquote“.
3. Ausgangswert: Mindestens zwei Wochen vor dem Start gemessen, nicht geschätzt.
4. Messgrößen: Je eine für Zeit, Qualität und Nutzung (siehe unten).
5. Werkzeug und Daten: Welches freigegebene Werkzeug, welche Daten dürfen hinein, welche nicht?
6. Gruppe und Dauer: Drei bis acht Personen, sechs bis zwölf Wochen.
7. Prüfregel: Wer prüft welches Ergebnis, bevor es das Unternehmen verlässt?
8. Entscheidungsregel: Ab welchem Wert wird ausgerollt, angepasst oder beendet?

Feld 5 ist kein Formalismus. Welche Daten in welches Werkzeug dürfen, klärst du vorher. Hilfe dazu gibt der Artikel KI und Datenschutz: Welche Daten dürfen in ChatGPT?

Welche Messgrößen sind die richtigen?

Unsere Empfehlung ist ein Dreiklang aus Zeit, Qualität und Nutzung. Eine einzige Messgröße reicht nicht, weil sie sich leicht zulasten der anderen verbessern lässt.

• Zeit: Minuten pro Vorgang, gemessen vom Auslöser bis zum freigegebenen Ergebnis. Die Prüfzeit gehört dazu.
• Qualität: Eine Zahl, die es schon gibt oder die sich einfach zählen lässt: Rückfragen von Kunden, Korrekturschleifen, Fehler im Angebot, Abschlussquote.
• Nutzung: Anteil der Vorgänge, die tatsächlich mit dem Werkzeug bearbeitet wurden. Ein Pilot mit großer Zeitersparnis und 20 Prozent Nutzung ist kein Erfolg, sondern ein Hinweis auf ein Akzeptanzproblem.

Die Nutzung wird oft vergessen. In der Bitkom-Befragung nennen 42 Prozent der KI-nutzenden Unternehmen fehlende Akzeptanz der Beschäftigten als Hemmnis. Wie du damit umgehst, steht im Artikel Wie nehme ich mein Team bei KI mit, wenn es Widerstand gibt?

Wie rechne ich den Nutzen eines Piloten aus?

Mit einem einfachen Rechenweg, den jeder im Führungskreis nachvollziehen kann. Die folgenden Zahlen sind ein angenommenes Beispiel, keine Messung:

1. Ausgangswert: 40 Standardangebote im Monat, je 90 Minuten. Das sind 60 Stunden.
2. Pilotwert: je 45 Minuten Erstellung plus 15 Minuten Prüfung, also 60 Minuten. Das sind 40 Stunden.
3. Bruttoersparnis: 20 Stunden im Monat.
4. Abzug Nutzung: Wurden nur 75 Prozent der Angebote mit KI erstellt, sind es 15 Stunden.
5. Abzug laufende Kosten: Lizenzen und Pflege, umgerechnet in Stunden zum internen Stundensatz.
6. Qualitätsprüfung: Ist die Fehlerquote gleich geblieben oder gesunken? Wenn sie gestiegen ist, zählt die Ersparnis nicht.

Die Kostenseite ist oft größer als erwartet. In der Bitkom-Befragung nennen KI-Anwender Datenaufbereitung (50 Prozent) und Integration in bestehende Systeme (41 Prozent) häufiger als große Kostenpunkte als Abos und Lizenzen (21 Prozent). Eine Einordnung gibt der Artikel Was kostet KI im Mittelstand wirklich?

Wie lege ich die Entscheidungsregel vorher fest?

Schreib vor dem Start drei Schwellen in den Steckbrief. Ein Beispiel für das Angebotsszenario:

• Ausrollen: mindestens 25 Prozent weniger Zeit, Fehlerquote nicht höher, Nutzung über 70 Prozent.
• Anpassen und vier Wochen verlängern: Zeitersparnis vorhanden, aber Nutzung unter 70 Prozent oder Qualität schwankt.
• Beenden: unter 10 Prozent Zeitersparnis oder höhere Fehlerquote.

Die Schwellen legst du nach deiner Lage fest. Wichtig ist nur, dass sie vorher feststehen. Sonst wird am Ende das Ergebnis passend gedeutet. Achte bei der Qualitätsmessung darauf, wie Fehler der KI auffallen. Eine Prüfroutine beschreibt der Artikel Wie prüfe ich KI-Ergebnisse auf Fehler und Halluzinationen?

Wann passt dieses Vorgehen nicht?

Der Steckbrief ist für Abläufe gebaut, die sich zählen lassen. Er passt schlecht, wenn du KI zuerst für dich selbst ausprobierst, etwa für Entscheidungsvorlagen oder Mails. Dort ist ein formaler Pilot zu schwer. Lerne erst selbst, dann miss im Team. Er passt auch nicht für Vorhaben mit tiefer technischer Anbindung an ERP oder CRM. Dort brauchst du zusätzlich einen IT-Projektplan mit Schnittstellen und Tests.

Wir raten außerdem davon ab, mehr als zwei Piloten gleichzeitig zu starten. Jeder Pilot braucht Aufmerksamkeit aus der Führung, und die ist begrenzt.

Was ist der nächste Schritt?

Nimm dir einen Ablauf vor, miss zwei Wochen lang den Ausgangswert und fülle den Steckbrief aus. Wenn du dabei Begleitung willst, die mit dir Kandidaten bewertet und Piloten bis zur Entscheidung führt, findest du sie im KI-Mentoring für Geschäftsführer. Wie der Pilot in das Gesamtbild passt, zeigt die Seite zur KI-Strategie im Mittelstand. Wenn du deinen ersten Kandidaten besprechen willst, buch dir ein kostenloses Erstgespräch (15 Minuten).