KI SpotlightNewsSlowakisches Spracherkennungsmodell mit 49,6 Prozent Fehlerrate erreicht Hunderttausende Downloads im Monat
Das Community-Modell comodoro/wav2vec2-xls-r-300m-sk-cv8 hat laut AlphaSignal über 860.000 monatliche Downloads. Neue Messwerte gibt es nicht.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Modell comodoro/wav2vec2-xls-r-300m-sk-cv8 basiert auf facebook/wav2vec2-xls-r-300m und wurde mit Common Voice 8.0 trainiert.
- Laut Modellkarte liegt die WER bei 49,6 %, die CER bei 13,3 % (Evaluationsset).
- Laut zwei Sekundärquellen ist das Modell Apache-2.0-lizenziert und hat 300 M Parameter.
- Die Architektur ist Wav2Vec2ForCTC mit einem Vokabular von 49.
- Hugging-Face-Downloads zählen laut Dokumentation jede HTTP-Anfrage an config.json.
Slowakisches Modell mit hoher Fehlerrate auf über 860.000 Downloads im Monat
Das Community-Modell comodoro/wav2vec2-xls-r-300m-sk-cv8 hat laut AlphaSignal über 860.000 monatliche Downloads auf Hugging Face. Feinabgestimmt wurde ein XLS-R-300M auf Common Voice 8.0 (Slowakisch). Eine zweite Quelle, aimodelscomparison.com, nennt für denselben Zeitraum 769 K Downloads in 30 Tagen.
Woher die Differenz stammt, ist offen. Ein unterschiedlicher Abrufzeitpunkt bei einem rollierenden 30-Tage-Fenster liegt nahe, belegt ist das nicht. Der Abruftag der zweiten Seite fehlt. Keine der beiden Zahlen stammt direkt von huggingface.co.
Neu ist nur die Zahl. Laut aimodelscomparison.com führt der Hub das Modell seit dem 2. März 2022. Eine neue Version oder neue Messwerte gibt es nicht.
WER von 49,6 Prozent: Das Modell ist schwächer als slowakische Alternativen
Die Modellkarte nennt facebook/wav2vec2-xls-r-300m als Basis und Common Voice 8.0 als Trainingsdaten. Die Wortfehlerrate (WER) liegt bei 49,6 Prozent (0,49575384615384616 auf der Karte), die Zeichenfehlerrate (CER) bei 13,3 Prozent. Das Modell hat 300 Millionen Parameter, die Architektur Wav2Vec2ForCTC und ein Vokabular von 49. Als Lizenz nennen zwei Sekundärquellen Apache-2.0. Die Angabe auf der Hugging-Face-Seite selbst lag nicht vor. Für das Robust Speech Event führt aimodelscomparison.com 81,7 (Dev) und 80,26 (Test) an. Alle Werte sind selbst berichtet.
Andere slowakische XLS-R-300M-Finetunes melden niedrigere Fehlerraten. anuragshas (Common Voice 8, mit Sprachmodell) kommt auf eine WER von 0,2678, infinitejoy (Common Voice 7) auf 0,2481. Auf ihren eigenen Evalsets schneiden sie besser ab. Direkt vergleichbar sind die Zahlen nicht, denn Datenversion, Setup und Sprachmodell weichen ab. Einen unabhängigen Benchmark gibt es nicht.
Die Schwestermodelle werden kaum geladen. infinitejoy/wav2vec2-large-xls-r-300m-slovak kommt auf 131 Downloads im letzten Monat, comodoro/wav2vec2-xls-r-300m-west-slavic-cv8 auf 11. Wann die Seiten abgerufen wurden, ist unbekannt.
Warum die Download-Zahl kein Qualitätssignal ist
Laut Hugging-Face-Dokumentation zählt der Hub Downloads serverseitig. Jede HTTP-Anfrage an bestimmte Abfragedateien gilt als Download, standardmäßig die config.json, auch HEAD-Anfragen. Die Zahl misst also keine eindeutigen Nutzer. Automatisierte Abrufe sind nicht ausgeschlossen.
Dass Bots oder CI-Läufe die Zahl dieses Modells aufblähen, ist nicht belegt. Warum sie so hoch ist, bleibt offen.
Wer ein slowakisches Spracherkennungsmodell sucht, sollte die Download-Zahl nicht als Qualitätssignal lesen. Die Fehlerrate verdient mehr Aufmerksamkeit, besonders bei Störgeräuschen. Die Werte über 80 Prozent beim Robust Speech Event könnten auf eine Schwäche bei verrauschtem Audio hindeuten. Ein Handlungsbedarf ergibt sich aus der Meldung nicht.
