Die Kernaussage vorneweg: Compliance ist nur auditierbar, wenn SLA und SLO klare, messbare Regeln enthalten, die sich auch nachträglich beweisen lassen. Klingt trivial, ist es aber nicht. Gerade bei KI-Projekten verschwimmen Verantwortlichkeiten und Messgrössen so schnell, dass Audits in ein Vakuum laufen. Kennen Sie das aus Ihren Projekten? In meiner Beratungspraxis sehe ich oft, dass gute Absichten an unklaren Definitionen scheitern.
Warum messbare Regeln in SLA und SLO der Schlüssel sind
Wenn ein Service-Level-Agreement nur vage von «verlässlicher Leistung» spricht, hilft das weder dem Betrieb noch dem Compliance-Auditor. Messbare Regeln schaffen eine gemeinsame Sprache. Was bedeutet Verfügbarkeit genau, welche Fehlerrate ist akzeptabel, welche Datenqualität wird erwartet und wie wird Bias gemessen? Meine Erfahrung zeigt: Teams denken an Verfügbarkeit und Latenz, vergessen aber Datenherkunft, Modell-Drift und Erklärbarkeit. Wer diese Aspekte nicht in SLA und SLO abbildet, kann im Audit keine Stringenz nachweisen.
Wie Vertrauen entsteht — und warum Nachvollziehbarkeit zählt
Vertrauen entsteht, wenn Entscheidungen dokumentiert und Kennzahlen reproduzierbar sind. Stellen Sie sich vor, ein Prüfer fragt nach dem Prozess zur Behandlung von modellbedingten Fehlentscheidungen. Können Sie die Regeln, die Tests und die Toleranzen vorlegen? In Projekten, die ich begleite, zahlt sich aus, dass wir konkrete Prüfmethoden, Testdaten und Metriken in die SLOs geschrieben haben. Dann lässt sich nicht nur zeigen, dass alles gemessen wurde, sondern auch, wie oft Grenzwerte verletzt wurden und welche Massnahmen folgten.
Typische Fehler aus der Praxis, die Audits torpedieren
Ein häufiger Fehler ist, SLOs nur für Systemmetriken zu definieren und Qualitäten wie Fairness oder Nachvollziehbarkeit auszuklammern. Ein zweiter, ebenfalls typischer Fehler besteht darin, Metriken zu definieren, die sich nur operational schwer oder gar nicht messen lassen, etwa «akzeptable Nutzerzufriedenheit» ohne konkrete Messmethode. Ein dritter Fehler ist die fehlende Versionierung von Modellen und Daten; ohne eindeutige Artefakt-Identifikation fehlt jede Revisionssicherheit.
Was eine auditierbare SLO konkret enthalten muss
Eine auditierbare SLO beschreibt nicht nur eine Zielgrösse, sondern auch die Messmethode, die Messfrequenz, die Toleranzgrenzen und die Verantwortlichkeiten. Es braucht eindeutige Entitäten: welches Modell, welcher Datensatz, welche Softwareversion. Ausserdem ist zu definieren, wie Abweichungen dokumentiert werden und welche Korrekturmassnahmen greifen. In meinen Projekten hat sich bewährt, dass diese Regeln maschinenlesbar festgehalten werden, damit Monitoring und Reporting automatisch, nachvollziehbar und exportierbar sind.
Reporting und Audit-Prozess: was Prüfer wirklich sehen wollen
Prüfer wollen Belege, keine Erklärungen. Das heisst: Zeitreihen der Metriken, Annotierungslogs, Versionierungseinträge und Entscheidungsbäume zu Eskalationen. Haben Sie ein Reporting, das Abweichungen mit Kontext zeigt? Was ich oft empfehle, ist ein leicht verdauliches «Event-Log», das alle relevanten Änderungen, Tests und Incident-Reports mit IDs verknüpft. So wird aus einem abstrakten Anspruch ein beweisbares, durchsuchbares Artefakt.
Was das für Ihre Compliance-Praxis ändert
Wenn SLA und SLO tatsächlich auditierbar sind, reduzieren sich Unsicherheit und Nachfragen bei Audits massiv. Sie gewinnen Klarheit über Risiken und können Verantwortlichkeiten sauber zuordnen. In meiner Erfahrung verändert das die Wahrnehmung von KI-Projekten: Aus «Blackbox» wird «kontrollierbares System». Fragen Sie sich, wo in Ihrem aktuellen SLA die Lücke zum Nachweis liegt. Was macht das mit Ihrem Team, wenn Sie diese Lücke schliessen?
In den nächsten 14 bis 30 Tagen empfehle ich, zunächst Ihre bestehenden SLA und SLO durchzugehen und pro SLO die Messmethode, Messfrequenz, Toleranzgrenzen und verantwortliche Rolle schriftlich festzuhalten, anschliessend eine kurze Prüfsequenz aufzusetzen, bei der Sie mindestens eine Metrik automatisch erheben und das Resultat samt zugehöriger Artefakte versionieren, so schaffen Sie in kurzer Zeit die Basis für ein auditierbares Compliance-Reporting und sehen sofort, welche Lücken noch geschlossen werden müssen.
