Groq startet Compound Beta: Web-Suche und Code-Ausführung in einem API-Call

Compound Beta: Web-Suche und Code-Ausführung in einem API-Call

Groq hat auf seiner Cloud-Plattform eine Preview seines ersten Compound-AI-Systems gestartet. Compound Beta erweitert die bereits auf GroqCloud verfügbaren Large Language Models um integrierte Werkzeuge: Web-Suche und Code-Ausführung lassen sich nun ohne separate Dienste in einen einzigen API-Aufruf einbinden. Entwickler müssen dafür lediglich den Modell-String in ihrer Anfrage anpassen – eine einzeilige Änderung genügt, um auf die neuen Funktionen zuzugreifen.

Das System kombiniert offen verfügbare Modelle, die bereits auf GroqCloud unterstützt werden, mit den zusätzlichen Fähigkeiten. Während reine LLMs nur auf ihr Trainingswissen zurückgreifen können, soll Compound Beta Anfragen bearbeiten, die aktuelle Informationen aus dem Web erfordern oder die Ausführung von Programmcode verlangen. Groq bewirbt den API-Call als leistungsstark und kostengünstig. Die Preview richtet sich an Entwickler, die komplexe, realitätsnahe Aufgaben in einer einzigen Schnittstelle lösen wollen. Statt mehrere APIs für Sprachmodell, Suche und Code-Execution zu orchestrieren, genügt ein Aufruf an GroqCloud. Die Integration erfolgt, indem die Plattform die Werkzeuge nativ in den Inferenzprozess einbettet und über den modifizierten Modell-String ansteuert, sodass keine externe Infrastruktur für Suche oder Code-Ausführung nötig ist. Welche Modelle genau mit Compound Beta nutzbar sind und ob weitere Tools folgen, hat Groq zunächst nicht detailliert bekannt gegeben.

Von spezialisierter Hardware zur KI-Plattform: Groqs Weg

Groq hat sich ursprünglich mit Hardware-Optimierungen für große KI-Modelle einen Namen gemacht. Die eigens entwickelte Language Processing Unit (LPU) zielte darauf ab, die Inferenz von Modellen mit vielen Parametern und Mixture-of-Experts-Architekturen (MoE) zu beschleunigen und skalierbarer zu machen. Die LPU wurde speziell für die Inferenz großer KI-Modelle entwickelt und versprach besonders bei MoE-Architekturen hohe Geschwindigkeit und Skalierbarkeit.

Mit dem Start von GroqCloud öffnete Groq den Zugang zu seiner Infrastruktur für externe Entwickler. Die Cloud-Plattform stellte zunächst einzelne Modelle als Preview bereit – darunter das große Sprachmodell Kimi K2, das über GroqCloud getestet werden konnte. Diese Schritte zeigten bereits die Ambition, nicht nur Hardware zu liefern, sondern eine zugängliche KI-Plattform aufzubauen.

Compound Beta setzt diese Entwicklung nun konsequent fort. Statt nur isolierte Modelle anzubieten, integriert das System Werkzeuge direkt in die API. Die leistungsfähige Infrastruktur, die Groq mit seiner Hardware- und Cloud-Expertise aufgebaut hat, bleibt dabei die Basis, doch der Fokus verschiebt sich von der reinen Modellbereitstellung hin zu einer Compound-AI-Strategie: Modelle werden mit Fähigkeiten angereichert, die über Textgenerierung hinausgehen. Das Zusammenspiel funktioniert, indem die Plattform die Werkzeuge innerhalb derselben hochperformanten Umgebung orchestriert. Suchanfragen und Code-Ausführungen werden so ohne den Umweg über externe Dienste in den Inferenzprozess eingebettet. Damit positioniert sich Groq zunehmend als Plattformanbieter, der Entwicklern nicht nur Rechenleistung, sondern auch vorkonfigurierte, werkzeugunterstützte KI-Dienste anbietet.

Praktische Vorteile für Entwickler: Einfacher Zugang zu integrierten Tools

Für Entwickler reduziert Compound Beta den Integrationsaufwand erheblich. Bisher mussten für Anfragen, die Web-Suche oder Code-Ausführung erfordern, oft mehrere Dienste verknüpft werden: ein LLM für die Sprachverarbeitung, eine separate Such-API und eine Sandbox für Code. Mit Compound Beta entfällt diese Orchestrierung, da alle Komponenten in einem einzigen API-Call zusammengeführt sind. Die Umstellung erfordert nur eine minimale Anpassung des Modell-Strings im bestehenden Code – ein Vorgang, der in Sekunden erledigt ist und keine tiefgreifenden Architekturänderungen verlangt.

Die integrierte Web-Suche ermöglicht es, aktuelle Informationen in Echtzeit abzurufen, ohne dass das Modell auf veraltetes Trainingswissen beschränkt bleibt. Die Code-Ausführung wiederum erlaubt es, Berechnungen oder Datenmanipulationen direkt im Kontext der Anfrage durchzuführen. Beide Funktionen zielen auf reale Anwendungsfälle ab, bei denen reine Textgenerierung nicht ausreicht – etwa wenn ein Modell die neuesten Nachrichten zu einem Ereignis zusammenfassen oder eine mathematische Operation ausführen soll. Die Plattform übernimmt dabei automatisch die Interaktion zwischen Modell und Werkzeugen, sodass Entwickler keine separate Logik für Suchabfragen oder Code-Sandboxen implementieren müssen.

Durch die Bündelung in einer API sinkt zudem die Komplexität der Client-Implementierung. Entwickler können sich auf die Logik ihrer Anwendung konzentrieren, statt verschiedene Schnittstellen koordinieren, Fehlerbehandlung für jeden Dienst einzeln implementieren und Datenformate konvertieren zu müssen. Groq verspricht dabei eine hohe Leistung bei niedrigen Kosten, was insbesondere für skalierende Anwendungen attraktiv sein kann. Da es sich um eine Preview handelt, ist jedoch mit Anpassungen und Erweiterungen zu rechnen, bevor das System produktiv einsetzbar wird.