KI SpotlightNewsR-Tuning: Fehlendes 'I don't know' als Halluzinationsursache – Widerspruch zu OpenAI
Ein Paper sieht fehlendes 'I don't know' als Ursache, OpenAI beansprucht die Fähigkeit bereits.
Mit KI erstellt◆ Fakten auf einen Blick
- LLMs neigen dazu, flüssige, aber faktisch falsche oder nicht belegte Inhalte zu erzeugen (Halluzination).
- Frühere Instruction-Tuning-Methoden zwingen LLMs dazu, Antworten zu geben, statt „I don't know“ zu sagen.
- OpenAI gibt an, dass ein Test es dem Modell erlaubt, bei zu hoher Unsicherheit explizit eine Antwort zu verweigern und „I don't know“ zu sagen.
- Forschung assoziiert Halluzinationen mit Modell-Unsicherheit und nutzt diesen Zusammenhang für Erkennung und Abschwächung.
- Es existiert ein Paper mit dem Titel „R-Tuning: Instructing Large Language Models to Say I Don't Know“.
Large Language Models neigen zu Halluzinationen: Sie erzeugen flüssige, aber faktisch falsche Inhalte. Ein Paper mit dem Titel „R-Tuning: Instructing Large Language Models to Say I Don't Know“ argumentiert, dass frühere Instruction-Tuning-Methoden Modelle zu Antworten zwingen, statt „I don't know“ zu sagen. Wenn Modelle keine Möglichkeit haben, Unsicherheit zu signalisieren, werden sie gezwungen, auch bei unzureichendem Wissen eine Antwort zu generieren; das begünstigt die Produktion plausibler, aber falscher Inhalte. Diese fehlende Fähigkeit wird als Ursache für Halluzinationen benannt. OpenAI gibt dagegen an, dass ein Test es ihrem Modell erlaubt, bei zu hoher Unsicherheit explizit eine Antwort zu verweigern und „I don't know“ zu sagen. Der Test misst die Unsicherheit des Modells; überschreitet sie einen Schwellenwert, kann das Modell explizit ablehnen und „I don't know“ sagen. Damit stehen sich zwei Positionen gegenüber: Die Forschung sieht ein Defizit in bisherigen Trainingsmethoden, während OpenAI für sein Modell bereits eine solche Fähigkeit beansprucht. Der Widerspruch bleibt unaufgelöst.
Die Sehnsucht nach dem ehrlichen „Ich weiß nicht“
Der Wunsch nach einer ehrlichen Wissenslücke ist in der Community deutlich: JLeonsarmiento in r/ollama fordert genau das, um Halluzinationen zu vermeiden. Doch SashaUsesReddit in r/ollama warnt, dass dies allein nicht reicht, da Modelle ihre eigene Ungenauigkeit oft nicht erkennen. Grundlegend bleibt das statistische Wesen der LLMs, wie trollsmurf in r/ArtificialInteligence erläutert – sie berechnen Wahrscheinlichkeiten, statt Fakten zu speichern.
