Verwendung des AutomateDV dbt package am Beispiel eines Kundenprojektes bei einer Bank im Lichtenstein
In einer Zeit, in der jeder nur noch von der Cloud spricht, gibt es immer noch spannende Projekte, die sich ( meist aus Datenschutz-Gründen) 100% on-Premises abspielen.
Wir haben die Challenge angenommen und mit modernen Tools (dbt, AutomateDV, Apache Hop) ohne direkten Internetzugriff ein komplexes und zukunftssicheres Data Vault DWH für ein Finanzumternehmen in Liechtenstein aufgebaut.
Über unsere Erfahrungen möchten wir Euch gerne berichten!
Datavault und Machine Learning - passt das zusammen?
Wie kann eine modellgetriebene Datavault-Architektur dabei unterstützen, Machine Learning zu automatisieren und zu operationalisieren. Von der Verwaltung von Features, Algorithmen, Parametern und Training Scores für die praktische Anwendung von ML Models.
Die Wunder des Data Mart - das Dimensionale auf dem Relationalen
Was braucht eine Automatisierung des Data Marts eigentlich an Metadaten?
Wer sich die Frage stellt, stellt sogleich fest, dass es nicht klar festgelegt ist, wie ein Data Mart in einem Data Vault Warehouse auszusehen hat.
Kimball hat 2015 in seinem Buch ‚The Kimball Group Reader‘ bemängelt, dass es keinen Standardweg vom relationalen Data Warehouse in die dimensionalen Data Marts gibt (S.199-201). Und es stimmt, wir haben keine spezielle Nomenklatura zur Beschreibung eines solchen Data Mart. So werden die Dimensionen häufig anhand von SCD Typen beschrieben, obwohl das Core Warehouse mit seiner vollständigen Historie, ganz andere Möglichkeiten bietet.
Dabei kann es einfach sein. Ausgehend von den Konzepten im dimensionalen Modell wird geprüft, was sich durch ein integriertes historisiertes Data Vault Core Warehouse ändert bzw. verbessert werden kann. Herauskommen 5 Kriterien mit denen sich ein Data Mart komplett beschreiben lässt. Diese Kriterien bilden die Anforderungen aus dem Business an den Data Mart und sind leicht zu vermitteln.
Nicht immer werden alle Konzepte und Lösungen benötigt. Die 5 Kriterien zeigen einen klaren Weg auf, wie der Data Mart mit seinen Anforderungen an die Funktionalität wächst.
Nach den Sternen greifen – Herausforderungen im Star Schema
Ein Star Schema mit Dimensionen und Fakten zu erstellen, ist eine einfache Sache. Dieser Eindruck entsteht zumindest, wenn man die Beispiele von dimensionalen Datenmodellen in Büchern, Blogs, Präsentationen und anderen Publikationen über Star Schemas betrachtet. In der Realität gibt es aber immer wieder Anforderungen, die sich vielleicht erst auf den zweiten Blick mit einem dimensionalen Modell abbilden lassen.
In diesem Vortrag werden einige Herausforderungen aus einer realen DWH-Projektsituation gezeigt, die nicht ganz nach Lehrbuch umsetzbar waren und deshalb etwas mehr Fantasie benötigten, um sie als Star Schema implementieren zu können.
