Dokumente zusammenfassen, Angaben aus Angeboten übertragen oder technische Unterlagen durchsuchen: Solche Aufgaben sind naheliegende Kandidaten für einen KI-Piloten. Ob daraus eine Entlastung entsteht, zeigt sich jedoch erst nach der fachlichen Kontrolle und der Korrektur fehlerhafter Ergebnisse.
Dieser Beitrag beschreibt einen redaktionellen Testvorschlag, keinen Vergleich getesteter Produkte. Stand: 29. Oktober 2026.
Eine Aufgabe statt des gesamten Dokumentenbestands
Beginnen Sie mit einem klaren Ergebnisformat. Beispielsweise soll aus freigegebenen Lieferantenangeboten eine Tabelle mit Artikelbezeichnung, Menge, Einheit, Preis und Lieferzeit entstehen. Die Aufgabe lautet zunächst nur „Angaben übertragen“, nicht „besten Anbieter auswählen“ oder „Bestellung auslösen“.
Legen Sie fest, wie fehlende Informationen ausgegeben werden sollen. Eine ausdrücklich leere Zelle mit dem Hinweis „nicht angegeben“ ist hilfreicher als eine plausibel klingende Ergänzung. Mengen, Einheiten und Preise sollten getrennte Felder erhalten, damit Fehler leichter sichtbar werden.
Eine Referenz vor dem KI-Test erstellen
Unsere Empfehlung: Stellen Sie zunächst etwa 20 bis 30 freigegebene Beispieldokumente zusammen. Diese Zahl ist ein praktischer Einstieg und keine statistisch begründete Mindestmenge. Ergänzen Sie typische Sonderfälle: schlechte Scans, mehrseitige Tabellen, abweichende Einheiten und widersprüchliche Angaben.
Eine fachkundige Person erstellt vorab die erwarteten Ergebnisse. Teilen Sie die Dokumente in einen Entwicklungssatz und einen zurückgehaltenen Prüfsatz. So lässt sich beobachten, ob die Vorgehensweise auch bei Dokumenten funktioniert, auf die der Prompt nicht abgestimmt wurde. Für eine belastbare Freigabe kann ein deutlich größerer und repräsentativerer Test erforderlich sein.
Quellenangaben sind zu kontrollieren
Das BSI beschreibt fehlende Ausgabequalität und Halluzinationen als Risiken generativer KI. Auch glaubwürdig wirkende Referenzen können erfunden sein. Fordern Sie deshalb zu jedem übernommenen Wert die konkrete Seite oder Textstelle an und gleichen Sie diese mit dem Original ab.
Für den Test bietet sich eine einfache Bewertung an: korrekt, falsch oder nicht gefunden. Bewerten Sie kritische Felder gesondert. Eine insgesamt hohe Trefferquote kann verdecken, dass ausgerechnet technische Grenzwerte, Beträge oder Einheiten falsch übernommen werden.
Auch Dokumenteninhalte können Anweisungen einschleusen
Das BSI stellt ein Labor zum Basisschutz gegen indirekte Prompt-Injections bereit. Dabei geht es um manipulierte Inhalte, die in dokumentbasierten KI-Anwendungen als Anweisungen wirken können. Ein Dokument sollte deshalb als zu prüfende Datenquelle behandelt werden und nicht darüber entscheiden dürfen, welche Aktionen das System ausführt.
Für den ersten Piloten empfehlen wir einen begrenzten Lesebetrieb ohne automatische Bestellungen, Zahlungen oder Änderungen an Stammdaten. Lassen Sie interne Daten nur in einer dafür freigegebenen Umgebung verarbeiten und klären Sie Zugriffsrechte sowie die Behandlung hochgeladener Dateien mit den zuständigen Personen.
Zeitgewinn einschließlich Nacharbeit messen
Eigene Beispielrechnung: Ohne KI benötigt ein Vorgang durchschnittlich zwölf Minuten. Mit KI dauern Vorbereitung und Verarbeitung zwei Minuten, Prüfung und Korrektur weitere sechs Minuten. Die Gesamtzeit beträgt acht Minuten; rechnerisch werden vier Minuten pro Vorgang frei. Bei 100 vergleichbaren Vorgängen wären das 400 Minuten beziehungsweise sechs Stunden und 40 Minuten.
Das sind frei gewählte Annahmen, keine gemessene Leistung eines Produkts. Benötigt die Kontrolle stattdessen elf Minuten, dauert der KI-Ablauf insgesamt 13 Minuten und wäre langsamer. Messen Sie daher den vollständigen Ablauf und erfassen Sie zusätzlich Einrichtung, Betreuung und laufende Nutzungskosten.
Vorab festlegen, wann der Pilot bestanden ist
- Welche Felder dürfen niemals ungeprüft übernommen werden?
- Wie werden unlesbare oder widersprüchliche Dokumente zurückgegeben?
- Welche Fehlerquote ist je Feld akzeptabel, und wer entscheidet darüber?
- Wie viel Gesamtzeit und Nacharbeit fällt gegenüber dem bisherigen Ablauf an?
- Wer prüft erneut, wenn Modell, Prompt oder Dokumententyp geändert werden?
Mittelstands-Check
Nutzen: Eine klar begrenzte Dokumentenaufgabe lässt sich nachvollziehbar erproben. Grenze: Ein kurzer erfolgreicher Test belegt noch keine Zuverlässigkeit für alle Dokumente. Nächster Schritt: Ergebnisformat, Referenzfälle und verantwortliche Prüfer festlegen.
Weiterlesen: KI-Pilotprojekt planen und lokale KI oder Cloud-KI vergleichen.
Beitragsbild: KI-generierte Illustration, keine Darstellung einer tatsächlich getesteten Software.
