Wie erhöhe ich meine Datenqualität und reduziere meine Kosten bei der Datenintegration? Automation mit Verstand!

Low-Code, model-driven DataOps im Datavault am praktischen Beispiel mit Gitlab, Datavault Builder, DBT, Stinger.io, Airflow, Docker und Superset.

In diesem Vortrag möchte ich euch gerne vorstellen wie wir mittels eines Beispielstacks eine automatisierte, modellbasierte Implementierung für DataOps erstellen: Von der Anforderung des Fachbereiches erzeugen wir das Zielmodell, über das Sourcing, die Hard Rules, die PSA, die Integrationsschicht bis zu den SoftRules dann die DataMarts und zum Schluss die Datenanalyse im Superset. Das fertige Ergebnis kann anschließend aus der Versionierung mittels CI/CD automatisch getestet und in die Folgeumgebungen deployed werden. 

Entsprechende DataOps Vorgehensweisen wie 

  • Data Governance – Regeln zur Ownership, Datenexperimente, Collaborative Analytics
  • Transparenz durch automatisch generierte Dokumentation und Data-Lineage 
  • Interaktive Review-Schleifen und Kontrollen
  • Performance Metriken der Datenflüsse 
  • Qualität und Änderungsgeschwindigkeit durch inkrementelle Automation von ELT, CI/CD und Testprozessen (+GitOps)

können somit etabliert werden.


Die Veranstaltung findet online am Donnerstag den 25.3.2021 von 17 Uhr bis 18:00 Uhr statt.

Der Link zur Konferenz wird Ihnen zugesandt. Für die Teilnahme ist kein Login und auch keine Registrierung nötig. Wir haben mit BigBlueButton eine Lösung gefunden, die gut funktioniert und keinen Client installiert und auch keinen Account benötigt.