Kernaussage: Ein Service-Level-Agreement für KI ohne klare Messgrössen ist nur ein Marketingversprechen, das Ihr Projekt schleichend entgleisen lässt. Kennen Sie das? In meiner Beratung erlebe ich mehrmals pro Jahr Unternehmen, die stolz ein «verfügbares», «verlässliches» oder «faires» KI-System liefern wollen, aber nicht wissen, wie sie diese Begriffe operationalisieren. Was macht das mit Ihrem Team, wenn Erwartungen und Realität auseinanderdriften
Was bedeutet messbar in SLA/SLO für KI
Wenn Sie von Messbarkeit sprechen, geht es nicht nur um Prozentzahlen zur Systemverfügbarkeit. Messbar heisst, dass jede Verpflichtung eine klare Metrik, eine Messmethode und eine Verantwortlichkeit hat. In meiner Erfahrung reicht «90% Genauigkeit» allein nicht, weil Unausgewogenheit der Daten oder unterschiedliche Klassen ganz andere Erfahrungen erzeugen. Fragen Sie sich: Welche Kennzahl spiegelt den Kundennutzen? Welche Metrik weist Bias, Drift oder Latenz nach? Und wer übernimmt das Monitoring, das Reporting und die Eskalation, wenn ein SLO verletzt wird
Typische Fehler aus der Praxis
Ein häufiger Fehler ist, SLA-Phrasen von der Marketingabteilung zu übernehmen, ohne oder mit vagen Definitionen der Messmethode. Ich sehe das oft bei Pilotprojekten, die in den Betrieb skaliert werden sollen. Ein zweiter Fehler ist, Metriken zu wählen, die technisch leicht zu messen sind, aber inhaltlich nichts über Nutzererfolg aussagen, zum Beispiel nur CPU-Auslastung oder Uptime statt Fehlerverteilung und Qualität der Vorhersagen. Ein dritter häufiger Fehler ist, keinen Toleranzraum oder kein Eskalations-Szenario zu definieren, sodass das Team bei ersten Abweichungen in Panik gerät
Beginnen Sie mit der Nutzererfahrung als Referenzpunkt. Was muss das System leisten, damit ein Kunde seine Aufgabe erfolgreich abschliesst? Formulieren Sie daraus eine Metrik, etwa Fehlerrate für kritische Entscheidungen, Median-Antwortzeit für interaktive Nutzung oder Drift-Rate über definierte Zeitfenster. Legen Sie Messmethoden fest: welche Datenquelle, welches Sampling, welche Statistik. Bestimmen Sie die Häufigkeit der Messung, die Reporting-Intervalle und die Verantwortlichen. In meiner Arbeit hilft es, SLOs so zu schreiben, dass ein Dritter mit Zugang zu den Messdaten sofort nachvollziehen kann, ob das SLO eingehalten ist
Betrieb, Monitoring und Eskalation
Ein SLO ist nur so gut wie das Monitoring dahinter. Fragen Sie, wie Alarme ausgelöst werden sollen und was bei wiederholten Überschreitungen passiert. In der Praxis vermisse ich oft klare Rollen: wem gehört das Modell, wer ist für Datenqualität zuständig, wer trifft die Entscheidung für ein Retraining oder Rollback. Entscheiden Sie auch, wie Sie False-Positive- und False-Negative-Situationen handhaben. In meiner Erfahrung beruhigt ein klarer Entscheidungsbaum das Team und verhindert, dass bei ersten Problemen ad hoc und unkoordinierte Massnahmen ergriffen werden
Vertragsgestaltung und Kundenkommunikation
Wenn Ihr SLA Teil eines Vertrags wird, dann formulieren Sie Verpflichtungen so, dass sie prüfbar und auditierbar sind. Vermeiden Sie schwammige Begriffe wie «angemessene Genauigkeit» ohne Referenz. Kommunizieren Sie gegenüber Kunden transparent, welche Metriken gemessen werden, mit welcher Methodik und welche Reporting-Zyklen gelten. Was ich oft sehe: Kunden wollen Garantien, und Anbieter bieten Messbarkeit an, aber beide Seiten haben unterschiedliche Erwartungen an Fehlertoleranz und Eskalation. Klären Sie diese Erwartungen frühzeitig
Konkrete 14–30-Tage-Handlungsempfehlung für Ihr Team: Setzen Sie sich diese Woche mit den Stakeholdern zusammen und identifizieren Sie eine Kernfunktion des KI-Systems, deren Erfolg aus Nutzersicht kritisch ist, und formulieren Sie dafür ein SLO mit konkreter Metrik, Messmethode, Messintervall und Verantwortlicher; validieren Sie die Messung in der zweiten Woche anhand realer Produktionsdaten, passen Sie die Sampling- und Reporting-Parameter an, vereinbaren Sie ein einfaches Eskalationsverfahren für SLO-Verletzungen und planen Sie einen kurzen Review-Termin nach 30 Tagen, um die SLOs anhand gemessener Ergebnisse zu justieren und zu entscheiden, ob weitere SLOs oder Anpassungen nötig sind
