MMLU

MMLU (Massive Multitask Language Understanding) ist ein verbreiteter Test, der das Wissen und die Schlussfolgerungsfähigkeit von Sprachmodellen mit Multiple-Choice-Fragen aus vielen Fachgebieten prüft, von Mathematik bis Jura. Er dient als gängiger Maßstab, um Modelle miteinander zu vergleichen.