KI SpotlightNewsEntwickler testet Unsicherheits-bewussten KI-Agenten in Eishockey-Gespräch
Wikipedia als Ground Truth, externe Tools und kein direkter Webzugriff: Ein Experiment zur Erkennung von Konfabulationen.
Mit KI erstellt◆ Fakten auf einen Blick
- Ein Entwickler hat einen Unsicherheits-bewussten KI-Agenten erstellt.
- Der Agent wurde in einer Konversation über Eishockey getestet.
- Der Agent nutzt Wikipedia als Grundlage für Ground Truth.
- Der Agent hat Zugriff auf externe Tools für spezifische Informationen wie Wetterbedingungen.
- Der Agent hat keinen direkten Webzugriff.
- Der Autor wollte testen, ob er falsche Informationen erkennen kann oder ob der Agent plausible Antworten erfindet.
Entwickler testet Unsicherheits-bewussten KI-Agenten in Eishockey-Gespräch
Ein Entwickler hat einen KI-Agenten erstellt, der Unsicherheit kommunizieren kann. Hintergrund ist seine Beschäftigung mit Unsicherheitsquantifizierung in Sprachmodellen und ein Interesse an AI Literacy: Er will beobachten, was passiert, wenn Unsicherheit Nutzern auf sinnvolle Weise zugänglich gemacht wird. Der Agent wurde in einer Konversation über Eishockey getestet – ein Thema, bei dem der Entwickler nach eigener Aussage noch viel lernen muss. Er interagierte mit dem Agenten wie in einem freundlichen Gespräch mit einem Experten. Ziel war, die Grenzen des Agenten und die eigenen Fähigkeiten auszuloten: Kann der Entwickler falsche Informationen erkennen, oder lässt er sich von plausibel klingenden, aber erfundenen Antworten täuschen? Die konkrete Art, wie der Agent Unsicherheit signalisiert, wird im Beleg nicht beschrieben; festgehalten ist nur, dass er Unsicherheit nicht verbirgt, sondern sie dem Nutzer auf sinnvolle Weise zugänglich macht.
Wikipedia als Ground Truth und externe Tools statt direktem Webzugriff
Der Agent nutzt Wikipedia als Grundlage für das, was als Ground Truth gilt. Der Beleg nennt keine explizite Begründung für die Wahl von Wikipedia und beschreibt auch keine technische Integration; er hält lediglich fest, dass Wikipedia als Referenz für korrekte Informationen diente. Zusätzlich hat der Agent Zugriff auf externe Tools, um spezifische, möglicherweise in Echtzeit verfügbare Informationen abzurufen – etwa Wetterbedingungen. Diese Tools erweitern die statische Wissensbasis aus Wikipedia um aktuelle oder spezielle Daten, die dort nicht enthalten sind. Einen direkten Webzugriff besitzt der Agent dagegen nicht. Diese Einschränkung wurde bewusst gewählt, um zu beobachten, wie sich der Agent verhält, wenn er nicht weiß, dass er etwas nicht weiß. Das Testziel des Entwicklers bestand darin, zu erkennen, ob er selbst falsche Informationen im Gespräch entdeckt oder ob der Agent in der Lage ist, plausible Antworten zu erfinden, die nicht durch die Ground Truth gedeckt sind. So sollte geprüft werden, ob der Entwickler falsche Informationen erkennt oder ob der Agent plausible, aber falsche Antworten erfindet.
