Vom KI-Prototyp zur Produktion: Was vor dem Go-live geklärt sein muss

Mit modernen Sprachmodellen und KI-Coding-Tools entsteht ein funktionierender Prototyp oft in wenigen Tagen. Das ist eine echte Errungenschaft. Der schwierige Teil beginnt aber danach: Sobald echte Nutzer, echte Daten und echte Kosten ins Spiel kommen, zeigen sich Fragen, die in der Demo niemand gestellt hat.

Aus unseren Projekten kennen wir die typischen Lücken. Die folgenden Punkte sind keine vollständige Checkliste, aber sie decken die Themen ab, an denen Projekte am häufigsten scheitern.

Sicherheit: Das Modell ist eine neue Angriffsfläche

Ein Sprachmodell verarbeitet Anweisungen und Daten im selben Kanal. Alles, was in den Kontext gelangt, also Nutzereingaben, hochgeladene Dokumente, Webseiten oder E-Mails, kann das Verhalten beeinflussen.

• Prompt Injection: Können Inhalte aus Dokumenten oder externen Quellen das Modell dazu bringen, Anweisungen zu ignorieren oder Daten preiszugeben?
• Berechtigungen: Darf das System nur auf die Daten zugreifen, die der jeweilige Nutzer auch sehen darf? Bei RAG-Systemen ist das eine der häufigsten Schwachstellen.
• Werkzeuge und Aktionen: Wenn das Modell Funktionen aufrufen kann, etwa E-Mails senden oder Datensätze ändern: Gibt es Bestätigungen, Limits und Protokolle?
• Secrets: Liegen API-Keys im Frontend, im Repository oder in Logs?

Faustregel: Behandeln Sie jede Modellausgabe wie eine Nutzereingabe: nicht vertrauenswürdig, bis sie geprüft ist.

Datenschutz: Wohin fließen die Daten?

• Welche personenbezogenen Daten gelangen in Prompts, und ist das für den Zweck erforderlich?
• Mit welchem Modellanbieter arbeiten Sie, in welcher Region, und liegt ein Auftragsverarbeitungsvertrag vor?
• Werden Eingaben vom Anbieter für Training genutzt? Die Einstellungen unterscheiden sich je nach Tarif.
• Was landet in Ihren eigenen Logs und Monitoring-Tools, und wie lange?

Regulierung: Welche Pflichten aus dem EU AI Act gelten?

Der EU AI Act ordnet KI-Systeme nach Risiko ein. Viele Anwendungen, etwa interne Assistenten, fallen in niedrige Kategorien mit überschaubaren Pflichten. Wer KI aber zum Beispiel in Personalprozessen, bei der Kreditvergabe oder in kritischen Infrastrukturen einsetzt, kann schnell im Hochrisikobereich landen.

Unabhängig von der Risikoklasse gelten Transparenzpflichten, etwa wenn Menschen mit einem Chatbot interagieren. Außerdem verlangt der AI Act ausreichende KI-Kompetenz bei den Beschäftigten.

Qualität: Woher wissen Sie, dass es funktioniert?

Klassische Tests prüfen, ob Code das Erwartete tut. Bei KI-Funktionen ist die Ausgabe nicht deterministisch. Sie brauchen deshalb zusätzlich:

1. Einen Satz repräsentativer Testfälle mit erwarteten Ergebnissen
2. Eine automatisierte Evaluierung, die bei jeder Änderung an Prompt, Modell oder Daten läuft
3. Monitoring im Betrieb, das Qualitätsprobleme und Ausreißer sichtbar macht

Ohne diese Grundlage ist jeder Modellwechsel und jede Prompt-Anpassung ein Blindflug.

Kosten und Skalierung

• Wie hoch sind die Kosten pro Anfrage, und wie entwickeln sie sich bei zehnfacher Nutzung?
• Gibt es Limits pro Nutzer, damit ein Fehler oder Missbrauch nicht zur Rechnungsüberraschung wird?
• Wie verhält sich das System, wenn der Modellanbieter langsam ist oder ausfällt?

Wartbarkeit: Besonders bei KI-generiertem Code

KI-Coding-Tools beschleunigen die Entwicklung erheblich. Sie erzeugen aber auch Code, den im Team niemand im Detail kennt. Bevor ein Prototyp zur Produktbasis wird, lohnt sich ein ehrlicher Blick auf Struktur, Tests, Abhängigkeiten und Dokumentation.

Fazit

Die meisten dieser Punkte lassen sich mit überschaubarem Aufwand lösen, wenn man sie kennt. Teuer wird es, wenn sie erst nach dem Go-live auffallen. Genau dabei unterstützt unsere KI-Begleitung: Wir kümmern uns um Sicherheit, Recht und Skalierung, damit Sie sich auf Ihre Idee konzentrieren können.