Gemini halluziniert Produktnamen: CLI fälschlich als Local-SEO-Tool beschrieben

Gemini erfindet Produkt als Grundlage eines CLI-Tools

Ein Entwickler, der ein Kommandozeilen-Tool (CLI) pflegt, bat Gemini, dieses Tool zu beschreiben. Die Antwort des Modells lautete, es handele sich um ein „Local SEO & AI Indexing“ Tool, aufgebaut auf Scrapeless. Der Entwickler stellt klar, dass beide Angaben falsch sind: Das Tool sei kein Local-SEO-Werkzeug, und Scrapeless komme darin nicht vor – weder als Abhängigkeit, noch als API-Aufruf oder Erwähnung im Repository. Er hatte einen Vergleichs-Prompt an Gemini gestellt, um zu sehen, wie das Modell sein Werkzeug beschreibt. Die Antwort enthielt zwei falsche Behauptungen. Der Entwickler erklärt, dass das Modell nicht frei halluziniert habe, sondern eine Mehrdeutigkeit aufgelöst und den falschen Zweig gewählt habe. Er ordnet den Vorfall als Beispiel für das Problem der Entitätsklarheit ein, bei dem ein mehrdeutiger Begriff zu einer falschen Zuordnung führt. Der Vorfall zeigt, wie ein reales Tool durch eine falsche Produktzuordnung verfälscht wird. Der Entwickler betont, dass das Modell nicht willkürlich halluzinierte, sondern eine plausible, aber falsche Interpretation wählte.

Fehlinterpretation des Akronyms GEO als Ursache

Der Entwickler führt die Fehlangabe auf die Mehrdeutigkeit des Akronyms GEO zurück. GEO steht sowohl für Generative Engine Optimization – das, was das Tool tatsächlich tut – als auch für geographic. In den Trainingsdaten überwiege die geografische Lesart, so der Entwickler. Das Modell habe daher die falsche Interpretation gewählt und anschließend ein Produkt zugeordnet, das in den Bereich Local SEO und Scraping passe. In den Trainingsdaten kollidieren die Bedeutungen: Repositories beschreiben sich mit Phrasen wie „SERP monitoring and GEO tracking“ und verwenden GEO und geographic austauschbar. Der Fall reiht sich ein in Berichte über Halluzinationen bei Gemini. Bei der Vorstellung von Gemini 3.5 Flash veröffentlichte Google keine Metriken zu Halluzinationen, anders als Anthropic und OpenAI. Ein Google-Sprecher kündigte an, dass das Unternehmen plant, mehr Informationen zu Sicherheitsbewertungen der neuen Modelle zu veröffentlichen. Zudem berichtet ein Nutzer, dass Gemini 2.5 Pro in einem Sales-Agent-Szenario Produktnamen erfand, die nicht im Produktmaterial enthalten waren. Damit bleibt für Nutzer unklar, wie häufig solche Fehler auftreten.