Attention-DP3: Geometrische Hinweise stabilisieren 3D-Diffusions-Policies bei Durcheinander

Attention-DP3: Geometrische Hinweise stabilisieren 3D-Diffusions-Policies bei Durcheinander

Attention-DP3 ist ein neuer Ansatz für 3D-Diffusions-Policies, der objektbezogene geometrische Hinweise über Aufmerksamkeit einbringt, um die Leistung in stark unübersichtlichen Manipulationsszenen zu stabilisieren. Standard-3D-Diffusions-Policies verarbeiten Punktwolken typischerweise gleichgewichtet und ohne explizite Objektpriorisierung. In komplexen Szenen führt das zu Problemen: Zielobjekte können teilweise verdeckt sein oder eng mit visuell ähnlichen Distraktoren vermischt werden. Dadurch wird die aufgabenrelevante Geometrie mehrdeutig, und die Policy kann nicht zuverlässig lokalisieren, welche Teile der Punktwolke für die Manipulation entscheidend sind. Attention-DP3 adressiert genau diese Schwäche, ohne das DP3-Diffusions-Backbone zu verändern.

Wie geometrische Hinweise über Aufmerksamkeit eingebracht werden

Der Kernmechanismus besteht darin, der Policy objektzentrierte geometrische Priors als Aufmerksamkeitssignale zur Verfügung zu stellen. Statt die gesamte Punktwolke gleich zu behandeln, erhält die Policy drei konditionierende Felder, die die Aufmerksamkeit gezielt lenken: ein targetness-Feld verankert das Zielobjekt, ein intra-target saliency-Feld betont aufgabenrelevante Geometrie innerhalb des Ziels, und ein backgroundness-Feld unterdrückt Distraktoren und Durcheinander. Diese Felder werden aus RGB-Bildern gewonnen – durch Open-Vocabulary-2D-Segmentierung und anschließendes Anheben der Zielmasken in den 3D-Raum mittels kalibrierter Kamerageometrie – und dann als zusätzliche Konditionierung in die Aufmerksamkeitsschicht der Policy eingespeist. Dadurch wird die Aufmerksamkeit der Policy stabil auf das Ziel und seine relevanten Teile fokussiert, während irrelevante Bereiche ausgeblendet werden. Dieser Mechanismus verhindert, dass Verdeckungen oder ähnliche Distraktoren die Aufmerksamkeit ablenken, und erhöht so die Robustheit unter starkem Durcheinander.

Tri-field Attentional Conditioning und konsistente Verbesserungen auf vier Benchmarks

Die Pipeline von Attention-DP3 beginnt mit einer Open-Vocabulary-2D-Segmentierung auf RGB-Bildern. Die vorhergesagten Zielmasken werden anschließend mithilfe kalibrierter Kamerageometrie in den 3D-Raum gehoben, um objektzentrierte geometrische Priors zu erhalten. Diese Hinweise fließen über die Tri-field Attentional Conditioning ein, die drei komplementäre Felder konstruiert: ein targetness-Feld zur Verankerung des Zielobjekts, ein intra-target saliency-Feld zur Betonung aufgabenrelevanter Geometrie innerhalb des Ziels und ein backgroundness-Feld zur Unterdrückung von Distraktoren und Durcheinander. Die Ziel-Verankerung sorgt dafür, dass die Policy das Zielobjekt auch bei Verdeckung oder Vermischung mit ähnlichen Objekten zuverlässig identifiziert. Die Betonung aufgabenrelevanter Geometrie lenkt die Aufmerksamkeit auf die für die Manipulation entscheidenden Teile des Ziels, während die Unterdrückung des Hintergrunds verhindert, dass Störobjekte die Policy ablenken. Diese dreifache Konditionierung macht die Policy stabiler, weil sie die Aufmerksamkeit gezielt auf das Wesentliche fokussiert und irrelevante Information aktiv ausblendet.

Experimentelle Ergebnisse und State-of-the-Art-Bewertung

Experimente auf den Benchmarks Adroit, DexArt und MetaWorld sowie auf der realen SO101-Plattform zeigen nach Angaben der Autoren (Herstellerangabe) konsistente Verbesserungen gegenüber DP3. Die Quelle nennt keine einzelnen Erfolgsraten oder Fehlernormen, aber die durchgängige Verbesserung über vier unterschiedliche Plattformen – darunter eine reale Roboterplattform – und die explizite Bewertung als State-of-the-Art stützen diese Einordnung. Besonders bemerkenswert ist, dass die Verbesserungen offenbar auch mit zunehmender Anzahl von Distraktorobjekten erhalten bleiben (Herstellerangabe), was auf eine robuste Unterdrückung von Störeinflüssen hindeutet. Die Konsistenz über simulierte und reale Umgebungen hinweg legt nahe, dass die geometrisch ausgerichtete Aufmerksamkeitskonditionierung die Policy befähigt, auch in stark unübersichtlichen Szenen das Zielobjekt zuverlässig zu lokalisieren und Störeinflüsse zu ignorieren. Damit bleibt die Architektur von DP3 unverändert, während die Eingabe um geometrische Aufmerksamkeitssignale ergänzt wird – ein Ansatz, der die Leistung von 3D-Diffusions-Policies unter Durcheinander deutlich stabilisiert.