Selbstgebauter KI-Coworker arbeitet im Hintergrund – ohne Screenshots

Selbstgebauter KI-Coworker arbeitet im Hintergrund – ohne Screenshots

Der Autor des Erfahrungsberichts ist nach eigenen Angaben kein Programmierer. Vor diesem Projekt habe er Cafés und einen Convenience-Store betrieben. Dennoch hat er in den vergangenen Wochen einen KI-Coworker gebaut, der auf seinem Windows-PC läuft und dort täglich reale Aufgaben übernimmt: das Ausfüllen von Webformularen, die Organisation von Dateien sowie die Verwaltung eines kleinen Spielprojekts und von Video-Jobs.

Die zentrale Designentscheidung des Systems liegt darin, dass es keine Screenshots analysiert. Stattdessen liest es die Steuerelemente der Anwendungen direkt aus. Der Autor begründet das damit, dass die meisten „Computer-Use“-Demonstrationen einen Screenshot aufnehmen, nachdenken, klicken und dann den nächsten Screenshot aufnehmen – ein Verfahren, das langsam sei und den Bildschirm blockiere. Sein System arbeite dagegen im Hintergrund, während er den PC weiterverwende.

Die Geschwindigkeit zeigt sich nach seinen Messungen beim Finden und Abspielen eines YouTube-Videos: Der Vorgang dauere etwa ein bis zwei Sekunden.

Eine weitere Erkenntnis betrifft die Kosten. Der Autor stellte fest, dass nicht die Antworten des Modells den größten Posten ausmachen, sondern die Werkzeugergebnisse, die an das Modell zurückgesendet werden – etwa Seitendumps, Logdateien oder lange Dateiinhalte. Bei 24 echten Werkzeugaufrufen reduzierte er die an das Modell gesendete Zeichenmenge von 668.083 auf 95.131 Zeichen, was einer Verringerung um rund 86 Prozent entspricht. Diese Optimierung habe Geschwindigkeit und Kosten stärker verändert als ein Wechsel des Modells.

Sicherheitsregeln und Parallelisierung: Stopp heißt Stopp

Bei den Sicherheitsregeln hat der Autor nach eigenen Angaben bewusst abgespeckt. Eine Bestätigungsabfrage vor jedem Klick habe er nicht mehr gewollt – zu viele Unterbrechungen, zu wenig Nutzen. Beibehalten hat er lediglich Rückfragen vor Zahlungen, Löschungen und dem Versenden von Nachrichten, also vor Aktionen, die schwer oder gar nicht rückgängig zu machen sind.

Hinzu kommt eine harte Stopp-Regel: Wenn der Autor „Stopp“ sagt, stoppt das System. Es wiederhole auch nichts stillschweigend, wenn es sich nicht sicher sei, ob eine Aufgabe abgeschlossen wurde. Diese Regel soll verhindern, dass der KI-Coworker nach einer Unterbrechung eigenmächtig weitermacht oder eine unsichere Aktion wiederholt. Der Autor beschreibt sie als die einzige nicht verhandelbare Vorgabe.

Für größere Aufgaben setzt das System auf Parallelisierung. Über einen Zeitraum von drei Tagen verteilte es nach den Logs des Autors 227 Jobs an parallele KI-Worker. Die Aufteilung großer Aufträge auf mehrere gleichzeitig arbeitende Instanzen verkürzt die Gesamtlaufzeit, weil die Einzelaufgaben nicht sequenziell abgearbeitet werden müssen, sondern parallel laufen können.

Produkt 'Coworker' erreicht Version v0.5.1 mit Dark Mode

Das Produkt trägt den Namen „Coworker“ und liegt inzwischen in Version v0.5.1 vor, die am 12. September 2026 veröffentlicht wurde. Die Neuerung dieser Version ist ein Dark Mode: Nutzer können unabhängig vom Farbthema zwischen hellem, dunklem und Systemmodus wählen. Die fünf mitgelieferten Farbthemen – Graphite, Forest, Ocean, Plum und Clay – funktionieren jeweils in heller und dunkler Variante.

Die Vorgängerversion v0.5.0 führte lokale Erinnerungen ein. Jeder Coworker kann seither eigene, überprüfbare Erinnerungen in einer lokalen Datei namens MEMORY.md speichern, die über Konversationen, geplante Arbeit, Telegram-Nachrichten und App-Neustarts hinweg erhalten bleiben. Änderungen an diesen Erinnerungen lassen sich in der Desktop-App oder über einen gekoppelten Telegram-Chat prüfen, bearbeiten, genehmigen oder ablehnen.

Bereits mit Version v0.4.1 kam der Terminal- und Headless-Betrieb hinzu. Die mitgelieferte Kommandozeilenschnittstelle (CLI) kann Coworker vom Terminal aus steuern und hält Worker, Zeitpläne und Telegram-Verbindungen auch ohne geöffnetes Fenster am Laufen.

Begriffsklärung: 'AI Coworker' ist kein geschützter Name

Der Begriff „AI Coworker“ ist nicht geschützt und wird von zahlreichen Anbietern verwendet. Das hier beschriebene System ist ein individuelles Selbstbau-Projekt eines einzelnen Nutzers und nicht mit kommerziellen oder anderen Open-Source-Produkten zu verwechseln.

So existiert mit Claude Cowork ein Angebot von Anthropic, das auf kostenpflichtigen Tarifen verfügbar ist und die agentischen Fähigkeiten von Claude Code auf Wissensarbeit außerhalb der Programmierung überträgt. Das Unternehmen Coworker.ai positioniert sich mit einer Enterprise-Plattform, die Modell-Routing und eine Wissensschicht namens OM2 anbietet. Daneben gibt es Open-Source-Projekte wie AICoworker, das rund um die Uhr auf dem eigenen Rechner laufen soll, sowie Rowboat, einen lokalen Assistenten mit Wissensgraph, und weitere Frameworks, die als „Coworker“ firmieren. Die Namensgleichheit ist dabei rein begrifflicher Natur.