KI SpotlightNewsBrowser-Add-on Gev kategorisiert Gmail lokal mit Transformer-Modell
Entwickler stellt Erweiterung vor, die ohne Cloud-KI auskommt und auf das Open-Source-Modell Laya setzt
Mit KI erstellt◆ Fakten auf einen Blick
- Laya ist ein Open-Source-Modell von Convai Innovations, das mit ONNX Runtime läuft und ca. 1.7 GB Speicher sowie 2 GB RAM benötigt.
Lokale Gmail-Kategorisierung ohne Cloud-KI
Ein Entwickler hat in einem Blogbeitrag ein Browser-Add-on namens Gev vorgestellt, das Gmail-Nachrichten lokal mit einem Transformer-Modell kategorisieren soll. Ausgangspunkt war nach seinen Angaben der Wunsch nach einer einfacheren Möglichkeit, E-Mails zu sortieren, ohne den Nachrichtentext an einen KI-Dienst zu senden. Das Add-on liest demnach die Gmail-Nachrichten des Nutzers und versieht sie automatisch mit Labels wie Receipts, Personal, Updates oder Newsletters. Für die Klassifikation setzt Gev auf Transformers.js und das Modell Laya; sowohl das Modell als auch die ONNX Runtime sind in der Erweiterung gebündelt. Eine Inference-API oder ein gehostetes Modell gebe es nicht, und es würden keine Daten an einen externen Dienst oder Host übertragen – mit Ausnahme von Gmail selbst. Nach der Beschreibung des Entwicklers bleiben die Nachrichteninhalte damit auf dem lokalen Rechner. Das Konzept zielt auf eine lokale Verarbeitung ohne Cloud-Anbindung ab. Ob das Add-on tatsächlich keine Daten nach außen sendet, lässt sich ohne Code-Prüfung nicht verifizieren. Der Blogbeitrag beschreibt das Add-on als laufendes Projekt; Details zu Installation oder Bezugsquelle nennt der Entwickler nicht.
Technische Basis: Open-Source-Modell Laya
Das verwendete Modell Laya stammt von Convai Innovations und ist als Open Source verfügbar. Nach Angaben des Herstellers läuft es mit ONNX Runtime; PyTorch und Python werden zur Laufzeit nicht benötigt. Die ONNX-Gewichte sind etwa 1,7 Gigabyte groß (fp32) und werden beim ersten Einsatz von Hugging Face heruntergeladen und lokal zwischengespeichert. Für das geladene Modell sollte man rund 2 Gigabyte Arbeitsspeicher einplanen, zuzüglich einiger hundert Megabyte pro Batch von Fragen. Laya generiert keinen Text, sondern liefert für einen gegebenen Zustand und typisierte Fragen Antworten mit kalibrierten Wahrscheinlichkeiten in einem einzigen Vorwärtsdurchlauf. Diese Eigenschaften machen das Modell für den Einsatz in einer Browser-Erweiterung interessant, da keine dauerhafte Verbindung zu einem Server erforderlich ist. Die technischen Angaben stammen aus der Dokumentation von Convai Innovations.
