**
Eine Assistentin ließ im vergangenen Jahr für ihren Geschäftsführer eine Übersicht über Förderprogramme erstellen. Vier Programme, jeweils mit Fördersumme, Antragsfrist und zuständiger Stelle. Die Tabelle sah ordentlich aus, die Zahlen wirkten plausibel.
Zwei der vier Programme existierten nicht. Aufgefallen ist das erst, als jemand bei einer der genannten Stellen nachfragen wollte.
Dass danach Zweifel am Werkzeug aufkommen, kann ich verstehen. Für den nächsten Einsatz muss aber vor allem geklärt werden, wie solche Angaben ungeprüft in eine Entscheidungsgrundlage gelangen konnten.
Ein Sprachmodell erzeugt Antworten anhand gelernter Muster und des verfügbaren Kontexts. Daraus folgt keine automatische Prüfung jeder Aussage. Es kann zutreffende Angaben mit erfundenen Details verbinden, ohne dass sich der Tonfall erkennbar verändert.
Solche überzeugend formulierten Falschaussagen werden häufig als Halluzinationen bezeichnet. Das amerikanische National Institute of Standards and Technology beschreibt sie als ein eigenes Risiko generativer KI. Quelle: NIST, Generative Artificial Intelligence Profile.
Für den Arbeitsalltag heißt das: Die Sicherheit, mit der eine Antwort formuliert ist, sagt nichts Verlässliches über ihre Richtigkeit aus.
Eine sauber formatierte Tabelle mit konkreten Behördennamen kann deshalb genauso überprüfungsbedürftig sein wie eine vage Antwort. Gerade bei Förderprogrammen müsste jede Angabe zur zuständigen Stelle und ihren aktuellen Veröffentlichungen zurückführen.
Für die Planung hilft es, zwischen der Bearbeitung vorhandener Inhalte, einer Recherche und der Erstellung neuer Entwürfe zu unterscheiden. Daraus ergibt sich, wie sich das Ergebnis kontrollieren lässt.
Wenn Sie einen Text kürzen, übersetzen oder zusammenfassen lassen, liegt das Ausgangsmaterial bereits vor. Sie können das Ergebnis damit vergleichen.
Trotzdem können Fehler entstehen. Eine Zusammenfassung lässt möglicherweise eine wichtige Ausnahme weg. Beim Umformulieren kann aus einer vorsichtigen Einschätzung eine feste Zusage werden. In einer Tabelle kann ein Betrag der falschen Position zugeordnet werden.
Bei einer internen Einladung reicht meist ein kurzer Abgleich. Bei einer Arbeitsanweisung muss genauer geprüft werden, ob alle notwendigen Schritte und Einschränkungen erhalten geblieben sind.
Bei Zahlen, Fristen, Namen und technischen Angaben braucht es überprüfbare Quellen. Besonders bei veränderlichen Informationen würde ich mich nicht auf eine Antwort aus dem Trainingswissen verlassen.
Ein Werkzeug mit Internetzugriff kann bei der Suche helfen. Anschließend muss die Fundstelle geöffnet werden: Steht die behauptete Information dort tatsächlich? Ist sie aktuell und gilt sie für den konkreten Fall?
Für die Förderprogramme aus dem Einstieg wäre eine brauchbare Übersicht erst vollständig, wenn jede Zeile auf eine passende Veröffentlichung der zuständigen Stelle verweist und die Angaben damit abgeglichen wurden.
Für eine Gliederung oder erste Formulierungsvorschläge kann KI nützlich sein. Doch auch ein Entwurf kann falsche Tatsachenbehauptungen, unpassende Empfehlungen oder Zusagen enthalten, die das Unternehmen nicht machen möchte.
Ich würde deshalb vorgeben, welche Fakten verwendet werden dürfen und wo Informationen fehlen. Nicht belegte Ergänzungen gehören als offene Fragen gekennzeichnet.
Eine Quelle unter der Antwort ist noch keine Kontrolle. Der Link kann zu einer echten Seite führen, auf der die betreffende Zahl oder Frist gar nicht steht.
Für Angaben, auf denen Entscheidungen beruhen, würde ich deshalb Folgendes verlangen:
Eine ungeklärte Angabe bleibt ungeklärt. Sie sollte nicht allein deshalb in eine Präsentation oder Kundenmail übernommen werden, weil sich gerade niemand Zeit für die Prüfung nehmen kann.
Das gilt auch für interne Unterlagen. Eine falsche Zahl kann bereits Schaden anrichten, bevor sie den Betrieb verlässt.
Dieselbe Frage in einem neuen Gespräch zu stellen, kann Widersprüche sichtbar machen. Stimmen zwei Antworten nicht überein, gibt es einen konkreten Anlass zum Nachprüfen.
Stimmen sie überein, ist die Sache damit nicht geklärt. Derselbe Fehler kann erneut auftauchen. Auch ein zweites Modell ersetzt keinen unabhängigen Beleg.
Ich würde die Zweitfrage deshalb höchstens als zusätzliche Hilfe verwenden. Für die Kontrolle zählt der Abgleich mit einer geeigneten Quelle, den Ausgangsdaten oder einer nachvollziehbaren Berechnung.
Wenn ein Werkzeug regelmäßig dieselbe Aufgabe übernimmt, lohnt sich eine kleine Sammlung geprüfter Testfälle.
Darin sollten gewöhnliche Fälle und solche mit fehlenden Angaben, Ausnahmen oder widersprüchlichen Informationen vorkommen. Vorab wird festgehalten, welches Ergebnis jeweils erwartet wird und wann das Werkzeug eine Rückfrage stellen soll.
Diese Fälle lassen sich nach Änderungen am Modell, an den Anweisungen oder an der Datenanbindung erneut durchspielen. So wird sichtbar, ob eine bisher funktionierende Auswertung plötzlich Angaben auslässt oder anders zuordnet.
Auch Fehler aus dem laufenden Betrieb gehören in diese Sammlung. Ein Problem, das bereits aufgetreten ist, sollte beim nächsten Test gezielt geprüft werden.
Wer ein Ergebnis freigibt, muss die wesentlichen Aussagen beurteilen können. Dafür braucht die Person Zugang zu den Quellen und ausreichend Zeit für den Abgleich.
Berufserfahrung ist hilfreich, schützt aber nicht vor jedem Fehler. Auch ein erfahrener Ingenieur kann eine plausibel wirkende technische Angabe übersehen. Umgekehrt kann ein neuer Mitarbeiter mit einer klaren Prüfanleitung bestimmte Angaben zuverlässig kontrollieren.
Die Aufgabe sollte deshalb konkret beschrieben sein. „Bitte gegenlesen“ ist wenig hilfreich. „Bitte gleiche die Mengen und Liefertermine mit der Bestellung ab und markiere jede Abweichung“ gibt einen prüfbaren Auftrag.
Fehlt im Unternehmen die notwendige Fachkenntnis, würde ich externe Unterstützung einbeziehen oder den Einsatz auf Aufgaben begrenzen, deren Ergebnisse sich sicher kontrollieren lassen.
Als Einstieg würde ich knapp festhalten, welche Aufgaben freigegeben sind, welche Quellen gebraucht werden und wer die Ergebnisse prüft. Ebenso muss klar sein, was bei fehlenden oder widersprüchlichen Angaben passiert.
Mitarbeiter sollten Fehler offen melden können, ohne für eine gutgläubige Meldung bloßgestellt zu werden. Sonst werden einzelne Ergebnisse still korrigiert und derselbe Fehler taucht später bei jemand anderem wieder auf.
Für die Auswertung reicht zunächst ein einfaches Fehlerprotokoll: Welche Aufgabe wurde gestellt? Was war falsch? Wie wurde es bemerkt? Was muss am Ablauf geändert werden?
Wenn sich dabei zeigt, dass die Kontrolle regelmäßig länger dauert als die bisherige Bearbeitung, gehört auch das auf den Tisch. Dann muss die Anwendung verbessert, enger begrenzt oder für diese Aufgabe aufgegeben werden.
Weitere Beispiele finden Sie unter Die teuersten ChatGPT Fehler. Wie klarere Aufgabenstellungen helfen können, beschreibe ich unter Prompt Engineering für Nichttechniker.
In meinen Workshops gehen wir solche Abläufe an konkreten Aufgaben aus Ihrem Unternehmen durch. Dabei prüfen wir auch, woran Ihr Team eine brauchbare Antwort erkennt und welche Angaben vor der Verwendung kontrolliert werden müssen.
Bild mit CHatGPT erstellt.
Ein Rahmenvertrag über 40 Seiten, eine Frist, die niemand gesehen hat, und eine Rechtsabteilung, die es nicht gibt. Wofür sich maschinelle Vertragsprüfung im Mittelstand eignet und wo sie gefährlich wird.
ChatGPT ist seit Jahren im Einsatz, aber viele Unternehmen machen noch immer dieselben vermeidbaren Fehler. Hier sind die, die wirklich Geld kosten.
KI im Kundenservice verspricht rund um die Uhr Erreichbarkeit und sinkende Kosten. Was davon in der Praxis stimmt und was nicht.
