Success Story: AI Solutions Architecture & GenAI Enablement

Kontext

Produkt & Kundenprojekte

Im Rahmen von Management Consulting Mayr und x25lab.com konzipiert Roman Mayr als AI Solutions Architect eine eigenständige, mandantenfähige KI-Chatbot-Plattform. Gleichzeitig unterstützt er Kunden aktiv bei der Einführung von GenAI in deren Organisation: von der ersten Orientierung über die Umsetzung bis zur Übergabe in den Betrieb.

Auf Kundenseite liegt der Fokus auf einem sauberen Vorgehen: konkrete Use Cases statt Buzzwords, klare Rollen (Business, IT, Datenschutz), definierte Daten- und Quellenregeln, kontrollierte Kosten sowie nachvollziehbare Qualität (Transparenz über Quellen, Grenzen und Risiken).

Die technische Basis ist ein Node.js/Express-Backend mit MariaDB-Persistenz, OpenAI-Integration und einem selbst entwickelten RAG-Ansatz (Retrieval-Augmented Generation). Ergänzt wird die Lösung durch ein Analytics-Portal (JWT-gesichert) sowie ein BPMN-Bot-Modul für Prozessmodellierung.

In Kundenaufträgen übernimmt Roman typischerweise: Discovery & Priorisierung, Architekturentscheid (SaaS vs. On-Prem/Hybrid), Datenschutz- und Compliance-Abstimmung, Implementierung (RAG-Scoping, Schnittstellen, Rollen/Zugriffe), Pilotierung mit KPIs, Rollout-Wellen, Enablement (Trainings, Playbooks) und Hypercare mit Betriebsübergabe (Runbooks, Monitoring, Supportmodell).

AI Solutions Architecture GenAI Enablement RAG & LLM Node.js / Express MariaDB JWT Auth SSE Streaming Fuse.js Governance Datenschutz Betriebsübergabe BPMN / Camunda

Verlauf

Phase 1 – Chatbot-Core & RAG

Mandantenfähiger KI-Chatbot mit RAG-System

Aufbau der Kernarchitektur: Express-Server, tenant-basiertes Routing über data-tenant-Attribut im Script-Tag. RAG mit Sitemap-Import, Dokument-Chunking, Fuse.js Fuzzy-Search und deutschsprachigen Varianten (Umlaute, Stämme, Compound-Logik). OpenAI-Integration mit Retry-Logik und API-Key-Rotation (Failover bei 401/429). Coverage-Scoring und Quellen-Nachweis zur Qualitätsabsicherung.

Phase 2 – Frontend & UX

Streaming-Interface, Voice & Fullscreen

Self-contained Frontend (ein Script-Tag), Live-Streaming der Antworten via Websockets, MicroQueue für sequenzielle Abarbeitung und UI-Feedback. Spracheingabe via Web Speech API, Vollbild-Modus für Desktop, Suggest-UI für Folgefragen, optionaler BPMN-Bot-Modus mit Camunda Modeler.

Phase 3 – Backend-Services

GeoIP, Digest-Mails & Automatisierung

GeoIP-Enrichment via MaxMind GeoLite2 + geoip-lite und Fallback-Auflösung für länderbezogene Nutzungsstatistiken. Digest-Queue für gebündelte Benachrichtigungen an Mandanten (Chatverlauf als HTML-Tabelle), Mailversand via Microsoft Graph API (OAuth 2.0, MSAL). Hintergrundläufe für Cleanup/Synchronisation sind konfigurierbar und bewusst kontrolliert, damit Betrieb und Kosten sauber steuerbar bleiben.

Phase 4 – SaaS-Analytics-Dashboard

Planlogik, Charts, JWT-Portal

Separater Analytics-Server mit JWT-gesichertem Nutzerportal. Abo-Stufen (Basic/Plus/Pro/Ultimate) mit Feature-Gating und Self-Service-Upgrades. Dashboards für Nutzung, Themen, Trends und Geo-Auswertung; Zahlungsintegration via Stripe und PayPal.

Phase 5 – Kundenaufträge GenAI

Einführung beim Kunden: Beratung, Implementierung, Rollout

Durchführung von Kundenprojekten zur GenAI-Einführung: Use-Case-Workshops, Priorisierung (Nutzen/Risiko/Machbarkeit), Architektur & Integrationskonzept, Daten- und Quellenregeln (RAG-Scoping), Rollen-/Rechtekonzept, Pilotierung mit KPIs, Rollout in Wellen, Enablement (Trainings, Playbooks, Prompt-Standards) sowie Hypercare und Betriebsübergabe (Runbooks, Supportmodell, Monitoring, Kostenkontrolle).

Kernergebnisse

RAG-Engine mit deutschsprachiger Fuzzy-Suche

Eigenentwickeltes RAG-System ohne externe Vektor-Datenbank. Inhalte aus Webseiten und Dokumenten werden strukturiert übernommen, gechunkt und für präzise Retrieval-Abfragen genutzt.

Fuse.js Fuzzy-Search mit Umlaut-Varianten (ae/ä, ss/ß), Stemming und Compound-Logik
Kontextanreicherung für Folgefragen (chat-basiert, regelbasiert)
Coverage-Score je Antwort mit nachvollziehbarer Quellenanzeige
Indexierung/Synchronisation kontrolliert und konfigurierbar, ohne Zwang zu manuellen Deployments

Multi-Tenant SaaS-Architektur

Ein Backend für mehrere Kunden-Domains. Mandanten-Identifikation über data-tenant-Attribut im eingebetteten Script-Tag.

Pro Mandant: eigene Konfiguration (Assistent, Labels, Empfänger, Ablagen, Regeln)
Isolation von Indizes und Daten je Mandant
Mandanten-spezifische Reports und Digest-Mails
Sauberes Betriebskonzept für Updates, Monitoring und Support

OpenAI Streaming & API-Key-Management

Token-by-Token Streaming via Websockets für sofortige Darstellung. API-Key-Rotation mit Failover, um Stabilität und Kostenkontrolle im Betrieb sicherzustellen.

tiktoken-basierte Token-Zählung für saubere Kostentransparenz
Rotation nach Last-/Nutzungswerten mit DB-Persistenz
Automatische Deaktivierung bei 401, kontrollierte Reaktivierung via Admin-Flow
Cache-Strategien in MariaDB zur Entlastung und zur Performance-Stabilisierung

GenAI Einführung beim Kunden

End-to-End Unterstützung für Unternehmen: von Strategie und Governance bis zur technischen Umsetzung und Adoption in Fachbereichen.

Use-Case-Discovery und Value-Assessment (Business/IT gemeinsam)
Governance: Rollen, Policies, Prompt-Standards, Freigabeprozesse
Implementierung: Daten-/Quellenkonzept, RAG-Scoping, Zugriff, Schnittstellen, Logging-Prinzipien
Rollout & Enablement: Trainings, Playbooks, Hypercare, Betriebsübergabe mit Runbooks

Analytics-Dashboard mit GeoIP & Planlogik

Separater Analytics-Stack mit JWT-Portal. Planbasierter Zugriff auf Auswertungen und Reports, inklusive Geo-Auswertung und Themen-Trends.

Planlogik: Basic/Plus/Pro/Ultimate mit Feature-Gating
GeoIP-Stack: MaxMind GeoLite2 + geoip-lite, konsistente Länderlabels
Self-Service Upgrades via Stripe und PayPal
Grundlage für Customer Success: Adoption-Messung, Themen-Insights, Optimierungs-Roadmap