KI SpotlightNewsKI-Coding-Agent per Handgesten gesteuert
Entwickler steuert Anthropic-Agenten mit Gesten über Webcam und MediaPipe
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Entwickler hat einen KI-Coding-Agenten gebaut, der per Handgesten gesteuert wird.
- Die Gesten werden mit einer Webcam erfasst und mit MediaPipe (HandLandmarker) verarbeitet.
- Drei Gesten sind definiert: Pinch (Daumen und Zeigefinger berühren) = Code schreiben; Zeigefinger im Kreis drehen = Brainstormen; zwei Finger auf und ab 'laufen' = Code ausführen.
- Der Entwickler verwendete zunächst die neue MediaPipe Tasks API (HandLandmarker), die auf seinem Mac mit einem Metal/GPU-Fehler abstürzte, auch mit CPU-Delegat.
- Er wechselte zur Legacy-API mp.solutions.hands, gepinnt auf mediapipe==0.10.21, und das Problem verschwand.
- Der Agent wird von Anthropic betrieben (Anthropic-powered coding agent).
KI-Coding-Agent per Handgesten gesteuert
Ein Entwickler hat einen KI-Coding-Agenten gebaut, der sich per Handgesten steuern lässt. Die Idee: Eine Webcam beobachtet die Hand, MediaPipe verfolgt die Landmarken, und drei Gesten werden auf drei Aktionen eines von Anthropic betriebenen Coding-Agenten abgebildet. Berühren sich Daumen und Zeigefinger (Pinch), schreibt der Agent Code. Dreht sich der Zeigefinger im Kreis, brainstormt der Agent eine Idee. Laufen zwei Finger auf und ab, führt der Agent den zuvor geschriebenen Code aus. Keine Tastatur, keine Eingabeaufforderung – nur die Hand vor der Webcam. Auslöser war der Ärger über das Eintippen von Prompts in ein Terminal.
MediaPipe-Fehler und Wechsel zur Legacy-API
Der Entwickler begann mit der neueren MediaPipe Tasks API (HandLandmarker). Auf seinem Mac stürzte sie sofort mit einem Metal-/GPU-Service-Fehler ab, auch wenn er den CPU-Delegaten erzwang. Er verlor nach eigener Darstellung zwei Stunden mit der Annahme, das Problem liege an seinem Setup, bis er erkannte, dass die neue API auf dieser Maschine schlicht nicht funktioniert. Der Wechsel zur Legacy-API mp.solutions.hands, gepinnt auf mediapipe==0.10.21, ließ das Problem verschwinden. Sein Fazit: Manchmal besteht die Lösung für eine neue API darin, sie noch nicht zu nutzen.
Gesteuerkennung: Pinch, Kreis und laufende Finger
Die Erkennung der Pinch-Geste ist einfach: Der Abstand zwischen Daumen- und Zeigefingerspitze wird gemessen und mit einem Schwellenwert verglichen. Die anderen beiden Gesten erforderten mehr Aufwand. Für die 'laufenden' Finger war die vertikale Bewegung zu verfolgen.
