WebHarbor: 153 Website-Nachbauten für RL-Training ohne Live-Web, 4B-Agent erreicht laut Autoren 75,8 Punkte

153 Nachbauten und ein 4B-Agent mit 75,8 Punkten

WebHarbor stellt nach Angaben der Autoren 153 ausführbare, dockerisierte Website-Umgebungen bereit. GUI-Web-Agenten lassen sich darin ohne Live-Web evaluieren und per Reinforcement Learning trainieren. Hinzu kommen 3.518 Aufgaben, die Mehrschritt-Workflows und Abläufe hinter Logins abdecken. Gerade dort fehlt es bestehenden Arbeiten laut Paper oft an Abdeckung. Das ist eine Herstellerangabe. Ob die Abdeckungslücke bei bestehenden Benchmarks wie WebArena oder Online-Mind2Web tatsächlich besteht, ließe sich nur in einem systematischen Vergleich prüfen.

Das trainierte Modell WebHarbor-4B ist eine Qwen3-VL-4B-Policy und geht von OpenWebRL-4B-SFT aus. Den Autoren zufolge erreicht es im Schnitt 75,8 auf WebVoyager und Online-Mind2Web. GPT-5 kommt in derselben Aufstellung auf 74,2. Damit liegt es ebenfalls vor allen aufgeführten Open-Source-Agenten. Die Autoren nennen WebHarbor-4B den besten Open-Source-GUI-Web-Agenten auf 4B-Skala. Unabhängig nachgeprüft ist diese Behauptung nicht. Prüfbar wäre sie nur mit denselben Baselines und Evaluationsprotokollen.

Zur Trennung von Trainings- und Testdaten schreiben die Autoren: Alle 15 WebVoyager-Websites seien vom Training ausgenommen. Aufgaben aus Online-Mind2Web und WebArena seien nicht in den Trainingsdaten enthalten. Das Training sei vollständig innerhalb von WebHarbor gelaufen, ohne das Live-Web zu berühren. Dass die Umgebungen "faithful", also originalgetreu, seien, ist eine Selbstauskunft.

Von Coding-Agenten gebaut: Spiegel oder Rekonstruktion?

Entstanden sind die Umgebungen in einer aufgabengetriebenen Zusammenarbeit von Mensch und Agent. Jede neue Aufgabe erweitert den Funktionsumfang einer Umgebung. Coding-Agenten setzen die nötigen Änderungen um. Menschliche Beitragende prüfen visuelle Treue, funktionale Korrektheit und Aufgabenvalidität. Laut Repo-README kommen dafür Coding-Agenten wie Claude Code oder Codex zum Einsatz. Für das RL-Training nennt das README Datenbank-Resets zwischen Rollouts in unter einer Sekunde.

Die Wortwahl ist uneinheitlich. Das Repository spricht von "Docking" und von lokalen, stabilen Docker-basierten Mirrors populärer Websites. Paper und Modellkarte sprechen dagegen von Rekonstruktion oder Nachbau ("faithfully reconstruct", "reconstructions"). Nach dem Wortlaut der wissenschaftlichen Texte handelt es sich somit um synthetische Nachbauten, nicht um Snapshots des Originalcodes.

Wie nah die Umgebungen an den realen Diensten liegen und ob Originalinhalte oder Originalcode übernommen wurden, lässt sich dem vorliegenden Material nicht entnehmen. Eine Antwort lieferte nur ein visueller und funktionaler Abgleich mit den Originalseiten.

Release seit Mai, Checkpoint auf Hugging Face, Betrieb in Eigenregie

Veröffentlicht wurde in zwei Schritten. Am 11. Mai 2026 erschienen die ersten 15 Umgebungen; zugleich startete ein Community-Beitragsprogramm. Am 2. November 2026 folgten Paper, Code, alle 153 Umgebungen, die 3.518 Aufgaben und der Modell-Checkpoint. WebHarbor-4B liegt auf Hugging Face.

Laut Modellkarte lässt sich das Modell auf einer einzelnen GPU mit SGLang starten, mit bfloat16, 32K Kontext und einer mem-fraction von 0,9. Umgebungen und Modell müssen Nutzer selbst betreiben. Zu rechtlichen Folgen für die Betreiber der nachgebauten Websites trifft das Material keine Aussagen.