KI-Qualität und tatsächlichen Aufwand bewerten
Prüfe Antworten, Prompts und wiederverwendbare Methoden anhand von Belegen, repräsentativen Beispielen und einer realistischen Ausgangslage.
Bewerte, ob ein KI-Ergebnis für eine definierte Aufgabe verwendbar ist. Flüssige Sprache, Geschwindigkeit und lange Erklärungen reichen dafür nicht aus. Erfasse sachliche Richtigkeit, Vollständigkeit und den Aufwand, um aus der Ausgabe akzeptierte Arbeit zu machen.
Beginne mit einer kleinen Prüfung
Section titled “Beginne mit einer kleinen Prüfung”Wähle einige erlaubte Beispiele, die du gut verstehst. Nimm einen normalen Fall, eine unvollständige Quelle und zwei widersprüchliche Quellen auf. Halte vor der Ausführung fest, was eine zufriedenstellende Antwort enthalten muss.
| Kriterium | Frage | Beispielfehler |
|---|---|---|
| Richtigkeit | Stimmen die Aussagen mit der Quelle überein? | Aus einem Terminvorschlag wird eine bestätigte Frist |
| Belege | Ist jede wichtige Aussage gestützt? | Ein Quellenverweis führt zu einer ähnlichen, aber anderen Aussage |
| Vollständigkeit | Sind die geforderten Punkte enthalten? | Eine Zusammenfassung lässt eine offene Abhängigkeit aus |
| Unsicherheit | Benennt die Antwort fehlende Informationen? | Eine nicht genannte Zuständigkeit wird erfunden |
| Nutzbarkeit | Kann die Zielgruppe das Ergebnis verwenden? | Eine Kunden-E-Mail enthält interne Notizen |
| Zugriff und Aktionen | Hält die Aufgabe die vorgesehenen Grenzen ein? | Eine Dienstaktion wird außerhalb der Aufgabe angefordert |
Bewerte jedes Kriterium als erfüllt, korrekturbedürftig oder nicht erfüllt. Eine kritische unbelegte Aussage kann eine Antwort unbrauchbar machen, auch wenn sie hervorragend formatiert ist.
Vergleiche unter gleichen Bedingungen
Section titled “Vergleiche unter gleichen Bedingungen”Halte Eingaben, Quellenauswahl und erwartete Ausgabe gleich, wenn du Prompts oder Modelle vergleichst. Dokumentiere Datum, Modell oder Auto-Einstellung, Aufwand, Verifikation, Quellenversionen und gegebenenfalls die Skill- oder Workflow-Version. Auto kann unterschiedliche Modelle auswählen. Halte diese Einschränkung fest, statt den Versuch als Vergleich fester Modelle zu betrachten.
Ändere jeweils eine wesentliche Variable. Wiederhole ausgewählte Fälle, um die Stabilität der Qualität einzuschätzen. Ein kleiner Pilot hilft, Probleme zu finden; er ist keine statistische Garantie für alle zukünftigen Aufgaben.
Miss die gesamte Aufgabe
Section titled “Miss die gesamte Aufgabe”Erfasse die aktive Arbeitszeit für Vorbereitung, Durchführung, Prüfung und Korrektur. Notiere Wartezeit separat, wenn sie für die Lieferung relevant ist. Vergleiche dieselbe Aufgabe mit dem bisherigen Vorgehen.
Ein Beispiel: Die Aufgabe dauerte bisher 30 Minuten. Mit KI braucht sie 6 Minuten Vorbereitung, 2 Minuten aktive Interaktion und 12 Minuten Prüfung und Korrektur, insgesamt 20 Minuten. Der beobachtete Unterschied beträgt für dieses Beispiel 10 Minuten. Daraus folgt keine allgemeine Einsparung von 10 Minuten pro Aufgabe.
Zähle verworfene Entwürfe nicht als erledigte Arbeit. Erfasse neben der Zeit auch Akzeptanz und schwere Fehler, damit schnellere schlechte Ergebnisse nicht wie eine Verbesserung aussehen.
Für erfahrene Teams: Einen Regressionstest pflegen
Section titled “Für erfahrene Teams: Einen Regressionstest pflegen”Pflege eine versionierte Sammlung von Eingaben, erwarteten Fakten, unzulässigen Aussagen und Prüfentscheidungen. Ergänze schwierige Fälle wie geänderte Quellenversionen, fehlende Berechtigungen und mehrdeutige Anweisungen. Verwende persönliche oder kundenseitige Daten in gemeinsamen Tests nur mit entsprechender Freigabe und Zugriffskontrolle.
Ein modellbasierter Bewerter kann bei der Vorsortierung helfen. Gleiche ihn aber mit menschlichen Prüfungen ab. Er kann dieselben Fehler wiederholen oder gut formulierte Antworten bevorzugen. Menschen sollten repräsentative Ergebnisse und jeden kritischen Fehler prüfen.
Wiederhole die Tests nach Änderungen an einem gemeinsamen Skill, Workflow, der Modellkonfiguration oder einer Quellensammlung. Dokumentiere die Entscheidung zur Freigabe, Überarbeitung oder Rücknahme der Methode. MAIAs Antwortverifikation ist ein Teil dieses Prozesses und ersetzt ihn nicht.
Mache das Ergebnis nutzbar
Section titled “Mache das Ergebnis nutzbar”Ordne mit dem Prüfbogen jeden Fehler einer wahrscheinlichen Ursache zu: Quelle, Zugriff, Anweisung, Modellverhalten oder Prüfkriterien. Behebe die Ursache, wiederhole die betroffenen Beispiele und bewahre den Verlauf auf. Teile eine Methode erst, wenn ihre verantwortliche Person die verbleibenden Grenzen kennt.