System Design · Modul 8: Moderne Anwendungsmuster

Lektion 3 von 3Text 14 Min.

Analytics und Datenplattformen

Lernziele
  • Transaktions- und Analyse-Workloads unterscheiden
  • den Weg der Daten von der Quelle bis zum Dashboard beschreiben
  • Data Warehouse, Data Lake und Lakehouse einordnen
  • Datenqualität, einheitliche Kennzahlen und Datenschutz in der Analyse sichern

Jedes System erzeugt Daten, die über das Tagesgeschäft hinaus wertvoll sind: Welche Kurse werden abgebrochen und an welcher Stelle? Welche Produkte werden zusammen gekauft? Wie entwickelt sich der Umsatz je Region? Solche Fragen lassen sich nicht sinnvoll auf der Datenbank beantworten, die gleichzeitig Buchungen und Bestellungen verarbeitet. Analysen brauchen andere Datenstrukturen, andere Werkzeuge und oft Daten aus vielen Quellen zugleich. Datenplattformen schaffen dafür eine eigene Welt neben den operativen Systemen. Diese Lektion zeigt, wie sie aufgebaut sind und worauf man achten muss, damit am Ende Zahlen stehen, denen alle vertrauen.

1. Zwei Arten von Arbeit

Definition 3.1
OLTP und OLAP
Online Transaction Processing (OLTP) bezeichnet viele kleine, schnelle Lese- und Schreibvorgänge auf einzelnen Datensätzen, wie sie in Anwendungen anfallen. Online Analytical Processing (OLAP) bezeichnet wenige, große Leseabfragen, die viele Datensätze zusammenfassen, wie sie für Berichte und Analysen nötig sind.

Beide Arten von Arbeit stellen gegensätzliche Anforderungen. Sehen Sie selbst, welche Daten jeweils gelesen werden:

VergleichZeilen lesen oder Spalten lesen?

Blau: Daten, die für die Anfrage gelesen werden.

Transaktionen (OLTP) lesen und schreiben einzelne Datensätze komplett: „Zeige Buchung 4711“. Zeilenorientierte Datenbanken wie PostgreSQL sind dafür gebaut.

Wer schwere Analysen auf der Produktionsdatenbank laufen lässt, riskiert, dass das Tagesgeschäft langsam wird, weil Berichte Speicher, Prozessor und Sperren beanspruchen. Die erste Ausbaustufe ist deshalb oft ein Lesereplikat nur für Berichte. Bei wachsenden Datenmengen und mehreren Quellen folgt ein eigenes Analysesystem mit spaltenorientierter Speicherung, etwa ClickHouse, BigQuery, Snowflake oder DuckDB für kleinere Datenmengen.

2. Der Weg der Daten

Daten durchlaufen auf dem Weg zum Dashboard mehrere Stationen. Klicken Sie sich durch:

Klick-GrafikVon der Quelle zum Dashboard
QuellenLadenRohdatenModellierenKennzahlenDashboard
Schritt 1/6 · Quellen: Anwendungsdatenbank, Zahlungsanbieter, Newsletter-Tool, Ereignisse aus der App – jede Quelle hat eigene Formate.

Früher wurden Daten vor dem Laden umgewandelt (ETL). Heute lädt man sie meist zuerst roh und wandelt sie im Analysesystem um (ELT), weil Speicher günstig ist und moderne Analysesysteme die Umwandlung schnell erledigen. Das hat einen großen Vorteil: Ändert sich eine Definition, lassen sich alle Ergebnisse aus den Rohdaten neu berechnen.

3. Warehouse, Lake, Lakehouse

Drei Begriffe prägen die Diskussion. Ein Data Warehouse speichert strukturierte, bereinigte Daten in Tabellen und ist für SQL-Analysen optimiert. Ein Data Lake speichert Daten aller Art – Tabellen, Logs, Bilder, Texte – günstig im Objektspeicher, oft in offenen Formaten wie Parquet. Ein Lakehouse verbindet beides: Daten liegen in offenen Formaten im Objektspeicher, und Tabellenformate wie Apache Iceberg ergänzen Transaktionen und Schemas, sodass sie wie in einem Warehouse abgefragt werden können. Für ein mittelständisches Unternehmen ist die Wahl weniger wichtig als die Disziplin: Eine gut gepflegte Postgres-Datenbank für Analysen oder ein verwaltetes Warehouse mit sauberen Modellen schlägt jeden ungepflegten Data Lake.

Tab. 3.1Welche Lösung für welche Größe?
SituationPassende Lösung
wenige Berichte, eine QuelleLesereplikat der Anwendungsdatenbank
mehrere Quellen, Millionen Zeilenverwaltetes Warehouse oder ClickHouse, Modelle mit dbt
sehr große, vielfältige Daten inkl. Logs und DateienLakehouse mit offenen Formaten
Ad-hoc-Analysen einzelner DateienDuckDB direkt auf Parquet- oder CSV-Dateien

4. Ereignisse erfassen

Viele wertvolle Fragen lassen sich nicht aus dem Zustand der Datenbank beantworten, sondern nur aus dem Verhalten: In welchem Schritt brechen Nutzer die Registrierung ab? Wie viele kehren nach einer Woche zurück? Dafür werden Ereignisse erfasst – „Kurs geöffnet“, „Quiz bestanden“, „Warenkorb verlassen“ – mit Zeitpunkt, pseudonymer Nutzerkennung und wenigen, festgelegten Eigenschaften. Wichtig ist ein gepflegter Plan, welche Ereignisse es gibt und wie sie heißen. Sonst entstehen über die Jahre Hunderte ähnlicher Ereignisse, die niemand mehr versteht. Im Web ist dabei die Einwilligung zu beachten: Verhaltensdaten, die über das technisch Notwendige hinausgehen, dürfen nur mit Zustimmung erhoben werden, und manche Nutzer lehnen ab. Die Zahlen sind dann Stichproben, keine Vollerhebungen.

5. Vertrauen in Zahlen

Die größte Gefahr einer Datenplattform ist nicht technischer Natur, sondern ein Vertrauensproblem: Wenn Marketing und Vertrieb unterschiedliche Umsatzzahlen präsentieren, glaubt niemand mehr irgendeiner Zahl. Üben Sie, typische Probleme zu erkennen:

ÜbungGute Praxis oder Problem?
  1. Der Umsatzbericht läuft jede Nacht als schwere Abfrage direkt auf der Produktionsdatenbank

  2. Ereignisse wie „Kurs gestartet“ und „Kurs abgeschlossen“ werden mit Zeitstempel gesammelt

  3. Im Dashboard steht „aktive Nutzer“, aber jedes Team zählt anders

  4. E-Mail-Adressen werden vor dem Laden ins Analysesystem durch pseudonyme Kennungen ersetzt

  5. Jede Abteilung exportiert Tabellen nach Excel und pflegt eigene Zahlen

0 von 5 eingeschätzt

Gegen solche Probleme helfen zentral definierte Kennzahlen, automatische Tests der Datenmodelle – etwa „jede Buchung hat genau einen Kunden“ oder „der Umsatz ist nie negativ“ –, eine Überwachung der Aktualität und eine klare Verantwortung je Datenbereich. Datenschutz gehört von Anfang an dazu: Direkte Personenbezüge werden vor der Analyse entfernt oder pseudonymisiert, Zugriffe auf Rohdaten eng begrenzt, Löschungen aus den operativen Systemen auch in der Analyse berücksichtigt.

Eine Datenplattform ist so viel wert wie das Vertrauen in ihre Zahlen. Definieren Sie Kennzahlen einmal zentral, testen Sie Datenmodelle wie Code, und trennen Sie Analyse konsequent von der Produktionsdatenbank.

6. Ein Beispiel

Ein Café mit angeschlossener Rösterei verkauft vor Ort, im Onlineshop und über ein Abo-Modell. Bisher zieht der Inhaber jeden Monat Exporte aus Kassensystem, Shop und Zahlungsanbieter in eine Tabellenkalkulation – mühsam und fehleranfällig. Der Entwurf für eine schlanke Datenplattform sieht vor: Alle drei Quellen werden nachts in eine eigene Postgres-Datenbank für Analysen geladen, zunächst unverändert. Versionierte SQL-Modelle bereinigen die Daten, führen Kunden über die pseudonymisierte E-Mail-Adresse zusammen und berechnen Kennzahlen wie Umsatz je Kanal, Abo-Kündigungsquote und meistverkaufte Sorten. Automatische Tests prüfen jede Nacht, ob die Summen mit den Auszahlungen des Zahlungsanbieters übereinstimmen. Ein einfaches Dashboard zeigt die Zahlen. Die Kosten liegen bei wenigen Euro im Monat, und zum ersten Mal kann der Inhaber sehen, dass Abo-Kunden, die im ersten Monat eine zweite Sorte probieren, deutlich seltener kündigen – eine Erkenntnis, die direkt in eine neue Probierbox mündet.

Damit schließt das Modul Moderne Anwendungsmuster. Echtzeit, Offline-Fähigkeit, globale Verteilung und Datenplattformen sind Bausteine, die viele Systeme irgendwann brauchen – aber selten alle auf einmal. Das letzte Modul fügt alles zusammen: In Fallstudien entwerfen Sie vollständige Systeme Schritt für Schritt.

7. Klein anfangen

Datenplattformen haben den Ruf, groß und teuer zu sein. Das muss nicht so sein. Viele Unternehmen brauchen am Anfang nur drei Dinge: eine Kopie der wichtigsten Daten an einem Ort, an dem Analysen niemanden stören, eine Handvoll gut definierter Kennzahlen und einen regelmäßigen Blick darauf. Werkzeuge wie DuckDB oder eine zweite Postgres-Datenbank reichen für Millionen von Zeilen, und versionierte SQL-Modelle lassen sich später ohne Umbau in ein größeres Warehouse übernehmen. Wichtiger als die Technik ist die Frage, welche Entscheidungen die Zahlen unterstützen sollen. Eine Kennzahl, die niemand für eine Entscheidung nutzt, ist Aufwand ohne Nutzen.

Zunehmend kommen KI-Werkzeuge hinzu, die Fragen in natürlicher Sprache in Abfragen übersetzen. Sie funktionieren umso besser, je sauberer die Datenmodelle und je klarer die Kennzahlen definiert sind – eine gepflegte semantische Schicht ist deshalb auch die beste Vorbereitung auf solche Assistenten.

Quellen und weiterführende Literatur
  1. [1]Kimball, R.; Ross, M. (2013): The Data Warehouse Toolkit. 3. Aufl. Indianapolis: Wiley.
  2. [2]Armbrust, M. et al. (2021): Lakehouse – A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics. CIDR.
  3. [3]Stonebraker, M. et al. (2005): C-Store – A Column-oriented DBMS. VLDB.
  4. [4]dbt Labs (2026): dbt Documentation – Tests; Semantic Layer.

Stand: September 2026. Kursmaterial der Klarwerk Akademie. Zahlen zu Latenzen und Kosten sind Größenordnungen zur Orientierung, keine Messwerte.

Abschlussquiz

Drei Fragen – dann ist die Lektion geschafft.

Frage 1 von 3

Warum sollten schwere Berichte nicht auf der Produktionsdatenbank laufen?