Low-Code, model-driven DataOps im Datavault am praktischen Beispiel mit Gitlab, Datavault Builder, DBT, Stinger.io, Airflow, Docker und Superset.
In diesem Vortrag möchte ich euch gerne vorstellen wie wir mittels eines Beispielstacks eine automatisierte, modellbasierte Implementierung für DataOps erstellen: Von der Anforderung des Fachbereiches erzeugen wir das Zielmodell, über das Sourcing, die Hard Rules, die PSA, die Integrationsschicht bis zu den SoftRules dann die DataMarts und zum Schluss die Datenanalyse im Superset. Das fertige Ergebnis kann anschließend aus der Versionierung mittels CI/CD automatisch getestet und in die Folgeumgebungen deployed werden.
Entsprechende DataOps Vorgehensweisen wie
- Data Governance – Regeln zur Ownership, Datenexperimente, Collaborative Analytics
- Transparenz durch automatisch generierte Dokumentation und Data-Lineage
- Interaktive Review-Schleifen und Kontrollen
- Performance Metriken der Datenflüsse
- Qualität und Änderungsgeschwindigkeit durch inkrementelle Automation von ELT, CI/CD und Testprozessen (+GitOps)
können somit etabliert werden.