Pumpire: Neuer Benchmark für metrische Punkt-zu-Punkt-Distanzschätzung

Neuer Benchmark für metrische Punkt-zu-Punkt-Distanzschätzung

Mit Pumpire steht ein einheitlicher Benchmark zur Verfügung, der die Fähigkeit von 3D-Fundamentmodellen bewertet, metrische Punkt-zu-Punkt-Entfernungen zu schätzen. Er deckt sowohl bild- als auch videoebene Modelle ab, jeweils mit oder ohne Tiefenprioren. Anders als bisherige Evaluierungsansätze, die Tiefe und Kameraintrinsik getrennt oder Punktwolken mit geometrischen Ähnlichkeitsmetriken vergleichen, bewertet Pumpire direkt Punkt-zu-Punkt-Distanzen aus der rekonstruierten Geometrie. Dazu werden die von den Modellen rekonstruierten 3D-Strukturen verwendet: Die annotierten Punktpaare werden in der rekonstruierten Geometrie lokalisiert, und der euklidische Abstand zwischen den beiden 3D-Punkten wird berechnet. Diese geschätzte Distanz wird anschließend mit der physikalisch gemessenen Ground-Truth-Distanz verglichen; aus der Abweichung lassen sich Fehlermaße wie der mittlere absolute Fehler (MAE) oder der Root-Mean-Square-Error (RMSE) ableiten. Auf dieser Grundlage beurteilt die direkte Messung die Modellgenauigkeit, indem sie die Übereinstimmung zwischen geschätzter und tatsächlicher Distanz quantifiziert. Damit rückt eine grundlegendere Fähigkeit in den Fokus: die Wahrnehmung und Schätzung physikalischer Skalierung, die frühere Evaluierungsprotokolle weitgehend übersehen haben.

Datensatz pumpire-6k und ganzheitliches Evaluierungsprotokoll

Für den Benchmark wurde der Datensatz pumpire-6k erhoben. Er umfasst 100 reale Szenen, jede Szene enthält 64 Frames, insgesamt also 6.400 Frames. Alle Szenen sind mit physikalisch gemessenen Punktpaar-Distanzen annotiert; die Abstände wurden real vermessen und nicht aus Modellvorhersagen abgeleitet. Auf dieser Grundlage etabliert Pumpire ein ganzheitliches Evaluierungsprotokoll, das bild- und videoebene 3D-Fundamentmodelle abdeckt. Es ermöglicht die direkte Bewertung von Punktpaar-Distanzfehlern sowie Cross-Setting-Vergleiche. Zur Isolation des Einflusses einer Einstellung (z. B. Bild- gegen Videoebene oder mit gegen ohne Tiefenprioren) werden für jede Szene und jedes Punktpaar die Fehler unter den verschiedenen Einstellungen berechnet. Da dieselben Punktpaare und Szenen verwendet werden, bleiben alle anderen Variablen konstant; die resultierenden Fehlerdifferenzen werden anschließend statistisch ausgewertet, etwa durch gepaarte Tests oder Varianzanalyse. So lässt sich der Effekt der jeweiligen Einstellung auf die Distanzfehler separieren und ein fairer Vergleich unterschiedlicher Architekturen unter einheitlichen Bedingungen durchführen. Die Projektseite ist unter https://pumpire.github.io/ erreichbar.

Erste Experimente und Abgrenzung zu früheren Metriken

Für erste Experimente wurden 29 Baseline-Konfigurationen repräsentativer 3D-Fundamentmodelle evaluiert und eine umfassende Analyse der Ergebnisse bereitgestellt. Die Analyse zeigt, dass die direkte Distanzmessung zu einer differenzierteren Bewertung führt als frühere Metriken; so werden Punktpaar-Distanzfehler beispielsweise anhand von Kennzahlen wie dem mittleren absoluten Fehler (MAE) oder dem Root-Mean-Square-Error (RMSE) quantifiziert, die je nach Modell und Einstellung deutlich variieren. Pumpire bewertet Punkt-zu-Punkt-Distanzen direkt aus der rekonstruierten Geometrie, statt Tiefe und Kameraintrinsik separat oder Punktwolken mit geometrischen Ähnlichkeitsmetriken zu vergleichen. Damit zielt der Benchmark auf die grundlegendere Fähigkeit, physikalische Skalierung im rekonstruierten 3D-Raum wahrzunehmen und zu schätzen, die frühere Protokolle weitgehend übersehen haben.