Live NexSight: Bestes getestetes Modell löst auf SightLine nur 54,52 Prozent der Aufgaben
↘

EarthRecord-Benchmark: KI-Agenten folgen bei Landveränderungen oft den Satellitendaten, nicht dem Boden

Ein neues Benchmark prüft, ob Agenten Landveränderungen aus rohen Satellitenarchiven selbst analysieren können. Zwölf Systeme schließen die meisten Analysen ab, scheitern aber oft an Kartierungen. Die Ergebnisse stammen von den Autoren und sind nicht unabhängig repliziert.

· Veröffentlicht: 12.11.2026 ·3 Min Lesezeit
EarthRecord-Benchmark: KI-Agenten folgen bei Landveränderungen oft den Satellitendaten, nicht dem BodenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • EarthRecord umfasst 56 Standorte und deckt die Jahre 1984 bis 2026 ab.
  • Die Datenbasis bilden Landsat-, MODIS-, VIIRS- und Sentinel-2-Daten mit Zusatzebenen.
  • Das Benchmark enthält 238 Fragen: 153 berechenbar, 73 zum Zustand am Boden, 12 unzureichend belegt.
  • Zwölf multimodale Agenten bearbeiten Fragen in einer Offline-Sandbox mit Python, Shell und Bildbetrachter.
  • Zwei Kontrollen: Closed-Book-Test ohne Datensatz und 22 Instrumentenpaare mit veränderten Satellitendaten.

Agenten folgen der Datenmanipulation, nicht dem Boden

Das Benchmark EarthRecord prüft, ob multimodale KI-Agenten Landveränderungen selbst aus rohen Multisensor-Satellitenarchiven analysieren können. Die Datenbasis stammt von Landsat, MODIS, VIIRS und Sentinel-2 und reicht von 1984 bis 2026. Zwölf Agenten traten an. Nach Angaben der Autoren erledigen die führenden Systeme die meisten Analysen durchgehend, also von der Eingabe bis zur Antwort. Bei Aufgaben, die eine Kartierung aus Bildern verlangen, scheitern sie jedoch häufig.

Der zweite Befund wiegt schwerer. Verändern die Forschenden die Daten eines Satelliten, obwohl sich am Boden nichts ändert, übernimmt die Hälfte der richtigen Antworten diese Veränderung. Die Agenten vertrauen also eher den Pixeln als ihrem Vorwissen. Auf die tatsächliche Lage am Boden stützen sie sich noch nicht.

Beide Ergebnisse stammen von den Autoren. Eine unabhängige Replikation gibt es bislang nicht. Welche Modelle getestet wurden, ist nur teilweise bekannt. Laut Abbildungsbeschreibung des Projekts gehört „GPT-6 Sol“ zu den Systemen. Die übrigen elf sind im vorliegenden Material nicht benannt.

238 Fragen, zwei Kontrollen: der Aufbau des Benchmarks

EarthRecord umfasst 56 Standorte. 48 davon sind Kerngebiete mit 10 bis 30 Kilometern Kantenlänge, hinzu kommen acht Verwaltungsregionen. Die 238 Fragen verteilen sich auf zehn Analyseaufgaben. 153 lassen sich aus dem Datensatz berechnen. 73 betreffen den Zustand am Boden. Bei 12 reicht die Evidenz nicht aus.

Die Daten werden lediglich zugeschnitten. Ihre Werte bleiben so, wie die Anbieter sie verteilen. Datenauswahl, Wolkenmaskierung, Skalierung, Kartierung und Harmonisierung der Sensoren muss der Agent selbst leisten. Pro Frage arbeitet er in einer Offline-Sandbox mit Python, Shell und Bildbetrachter. Bewertet wird gegen zurückgehaltene Referenzantworten. Sie stammen aus globalen Produkten, aus der Übereinstimmung mehrerer Methoden und aus visueller Interpretation.

Zwei Kontrollen sollen klären, worauf die Antworten beruhen. Im Closed-Book-Test fehlt der Datensatz, der Agent muss also aus dem Gedächtnis antworten. Bei 22 Instrumentenpaaren verändern die Forschenden die Daten eines Satelliten, am Boden bleibt alles gleich. Die Autoren grenzen sich damit von Benchmarks ab, die kuratierte Bilder oder vorverarbeitete Eingaben nutzen.

Verwandte Arbeiten sind ThinkGeo mit 436 Tool-Aufgaben auf Satelliten- und Luftbildern sowie Earth-Bench mit 248 Aufgaben und 13.729 Bildern. Ob das Paper sie direkt mit EarthRecord vergleicht, geht aus dem Material nicht hervor.

Daten und Code offen, Referenzantworten nur mit Auflagen

Nach Angaben des Projekts veröffentlichten die Autoren im November die Benchmark-Daten, den Evaluationscode und die Ergebnisse aller zwölf Agenten. Für die Referenzantworten auf Hugging Face gilt eine Zustimmung zu Nutzungsbedingungen. Sie dürfen nur für Evaluation und Forschung genutzt werden, nicht zum Training auf Fragen oder Referenzantworten, und nicht weitergegeben werden. Die Lizenzen der Satelliten-, Reanalyse- und Kartendaten bleiben bei den jeweiligen Anbietern.

Zu den Autoren zählen Haoran Zhang, Huizhen Sun, Hanbin Wen, Jie Leng, Jiaxin Zhu und Zhaohua Sun, der die Korrespondenz führt. Beteiligt sind AIEyes Technologies (Hong Kong), die HKUST (Guangzhou), die Guangdong University of Technology, Anhua Ocean Intelligent Equipment und die University of Hong Kong.

Die Autoren nennen EarthRecord eine „principled platform“ und bezeichnen die Analyse von Landveränderungen aus Rohdaten bislang als „unmeasured“. Das ist Selbsteinschätzung. Prüfen lässt sich das erst durch unabhängige Nutzung und Replikation. Für Nutzerinnen und Nutzer von Landsat, Sentinel-2 oder MODIS folgt daraus: Agentenergebnisse nicht ungeprüft übernehmen.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel