KI SpotlightNewsLangSmith Fleet vorgestellt
Integrierte Umgebung vereint Observability, Evaluierungen, Datasets und Experimente
Mit KI erstelltFleet bündelt Observability, Evaluierung, Datasets und Experimente
LangSmith hat mit Fleet eine neue Komponente vorgestellt. Die Ankündigung in den Release Notes beschreibt Fleet als eine integrierte Umgebung, die die Bereiche Observability, Evaluierungen, Datasets und Experimente zusammenführt.
Observability ermöglicht das Monitoring von Modell-Runs und liefert Metriken zu Latenz, Fehlerraten und Token-Verbrauch, um die Leistung in Produktion zu überwachen. Evaluierungen erlauben das systematische Testen von Modellen anhand definierter Kriterien, um Qualität und Genauigkeit der Ausgaben zu messen. Datasets dienen als strukturierte Sammlungen von Eingabe-Ausgabe-Paaren, die für Tests und Feinabstimmungen von Modellen verwendet werden. Experimente ermöglichen den kontrollierten Vergleich verschiedener Modellversionen oder Konfigurationen, um die beste Variante zu identifizieren. Damit vereint Fleet diese vier Funktionsbereiche unter einem Dach.
Verbesserungen an der Experimenttabelle
Zusätzlich wurden technische Verbesserungen an der Experimenttabelle vorgenommen. Modell-, Prompt- und Tool-Chips in den Konfigurationszellen legen ihre Größe nun anhand realer Messwerte fest, um eine präzisere Darstellung zu erreichen. Das Überlauf-Badge „+N" ist jetzt als anklickbares Dropdown-Menü ausgeführt, über das sich dieselben Aktionen wie bei einem einzelnen Chip ausführen lassen: Filtern, Gruppieren, Öffnen im Playground und Anzeigen der Details.
Die Zuverlässigkeit beim Aufklappen von Wiederholungsläufen in Experimentvergleichsansichten wurde erhöht. Dies funktioniert nun auch dann, wenn ein Wiederholungsstamm nur eine Projekt-ID, aber keine Session-ID besitzt. Zudem laden Evaluatoren, die mit Hub-Prompts verknüpft sind, jetzt korrekt für flache Konfigurationen.
Was die Mitteilung offenlässt
Die Mitteilung enthält keine Hinweise darauf, ob es sich bei Fleet um das zuvor angekündigte Werkzeug für Annotation und menschliches Feedback handelt. Die veröffentlichten Informationen beschränken sich auf die genannten Komponenten und technischen Details.
