KI SpotlightNewsDatabricks stellt Referenzarchitektur für Echtzeit-Empfehlungen vor
Lakebase und AI Search verarbeiten Intent-Signale in Echtzeit – Grundlage ist eine Mode-Plattform mit über einer Million Nutzern.
Mit KI erstellt◆ Fakten auf einen Blick
- Databricks AI Search ist eine in die Databricks Data + AI Platform integrierte Suchlösung, die Retrieval für KI-Anwendungen wie Empfehlungssysteme ermöglicht, indem sie die ähnlichsten Embeddings zu einer Abfrage findet.
- AI Search unterstützt Hybrid-Keyword-Similarity-Search, Volltext-Keyword-Search (Beta), Filterung, Reranking, Access Control Lists (ACLs), Synchronisierung ausgewählter Spalten sowie Speichern und Synchronisieren generierter Embeddings.
- Die Performance von AI Search hängt von Faktoren wie SKU-Wahl (Standard oder Storage-Optimized), Indexgröße, Embedding-Größe (typisch 384–1536), Abfragetyp (ANN oder hybrid), Anzahl der angeforderten Ergebnisse, Embedding-Typ (managed oder self-managed), Query-Last und Authentifizierungsmethode ab.
- Databricks AI Search bietet zwei Deployment-Optionen: Standard-Endpoints halten Vektoren voller Präzision vollständig im Speicher und erreichen Latenzen im Bereich von Zehnermillisekunden; Storage Optimized Endpoints trennen Storage von Compute, können Milliarden von Vektoren bedienen, haben Latenzen im Bereich von Hundertermillisekunden und sind kostengünstiger.
- Storage Optimized AI Search erreicht laut Databricks: Aufbau von Milliarden-Vektor-Indizes in unter 8 Stunden, 20-mal schnelleres Indexieren und bis zu 7-mal niedrigere Serving-Kosten.
- Databricks Lakebase ist eine vollständig verwaltete, serverlose Postgres-Datenbank, die zu 100 % Standard-Postgres ist, in die Databricks-Plattform integriert ist, Compute von Storage trennt, auf null skaliert, wenn inaktiv, und nativ durch Unity Catalog verwaltet wird.
Databricks kombiniert Lakebase und AI Search für Echtzeit-Empfehlungen
Databricks hat eine Referenzarchitektur für Echtzeit-E-Commerce-Empfehlungen vorgestellt, die die serverlose Postgres-Datenbank Lakebase mit der Vektor- und Hybridsuche AI Search kombiniert. Ziel ist es, kontinuierliche Intent-Signale wie Produktansichten, Suchanfragen und Warenkorbaktionen in Echtzeit zu verarbeiten und daraus personalisierte Produktempfehlungen abzuleiten. Die Architektur basiert nach Angaben des Unternehmens auf einer realen Implementierung für eine führende Mode-E-Commerce-Plattform in Asien. Diese Plattform bedient über eine Million monatlich aktive Nutzer und einen Katalog von mehr als 100.000 SKUs. Pro Sekunde nimmt sie rund 1.000 Events auf – darunter Produktansichten, Suchen, Add-to-Cart-Aktionen, Käufe und Session-Metadaten. Die Ingestion erfolgt über Lakeflow Connect’s Zerobus Ingest, das die Events direkt in Delta-Tabellen im Unity Catalog schreibt. Der Ansatz folgt einem Unified-Platform-Prinzip: Sämtliche Komponenten von der Datenaufnahme bis zum Serving laufen auf Databricks und werden zentral über Unity Catalog verwaltet. Damit sollen Empfehlungen ohne den Umweg über separate Systeme oder Batch-Exporte die aktuellsten Nutzersignale berücksichtigen.
Technische Bausteine: Lakeflow, Unity Catalog und hybride Suche
Die Architektur setzt auf mehrere technische Bausteine. Lakeflow Connect Zerobus Ingest dient als Streaming-Ingestion und schreibt eingehende Events ohne selbst verwaltete Message Queue direkt in Delta-Tabellen, die über Unity Catalog verwaltet werden. Lakebase übernimmt die Rolle eines Low-Latency-Operational-Stores: Die serverlose Postgres-Datenbank hält Session-State und operative Kontextdaten für schnelle Abfragen bereit. Sie trennt Compute von Storage, skaliert bei Inaktivität auf null und wird nativ durch Unity Catalog gesteuert. Zudem bietet sie native Integration über Synced Tables und Lakebase CDF, die Daten automatisch zwischen Lakehouse und Lakebase bewegen. AI Search fungiert als Retrieval-Schicht und unterstützt Hybrid-Keyword-Similarity-Search sowie Filterung, Reranking und Access Control Lists. Für den Betrieb stehen zwei Deployment-Optionen zur Verfügung: Standard-Endpoints halten Vektoren voller Präzision im Speicher und erreichen Latenzen im Bereich von Zehnermillisekunden. Storage Optimized Endpoints trennen Storage von Compute, können Milliarden von Vektoren bedienen und sind kostengünstiger, weisen jedoch Latenzen im Bereich von Hundertermillisekunden auf. Nach Angaben von Databricks lassen sich damit Milliarden-Vektor-Indizes in unter acht Stunden aufbauen, bei bis zu siebenfach niedrigeren Serving-Kosten.
