12. Tagung (Herbsttagung 2022)

Ort: Frankfurt
Datum: Donnerstag, 29. September 2022
– Freitag, 30. September 2022 (optional)
Zeit:Donnerstag – 845 bis 1700 Uhr
Freitag – 900 bis 1630
Preis:
regulär
(bis 15. September 2022)
140,–€ für Mitglieder / 180,–€ für Nichtmitglieder
late bird
(nach 15. September 2022)
160,–€ für Mitglieder / 200,–€ für Nichtmitglieder
Zusatzkosten für 2. Workshoptag 20,–€ für Mitglieder / 50,–€ für Nichtmitglieder

Agenda:

Donnerstag, 29. September:

UhrzeitTitel
09:00 - 09:15Begrüßung durch den Vorstand der DDVUG
09:15 - 10:15Schema on Read in der historical Stage
Eine Implementierung der Persistent Staging Area (PSA) oder Historic Stage, die Schema-On-Read mittels SQL Abfragen im RDBMS realisiert. Die Ingestion (Extract & Load) läuft über Airbyte, ein inkrementelles Modell in DBT (Data Build Tool) sorgt für die Historisierung der Schnittstellendaten im DWH / der PSA und DBT-Modelle (SQL Abfragen) greifen auf die generische Struktur der PSA zu, um die Quelldaten zu lesen.
Durch dieses Vorgehen sind die Schnittstellen im DWH
- unabhängig von der Methode der Ingestion (Batch oder Streaming, Delta oder Full) mittels SQL immer gleich abrufbar
- historisiert verfügbar im jeweils definierten Intervall
- Schemaänderungen der Quellsysteme werden im Schema-On-Read fehlertolerant ignoriert und über Alerter überwacht
- alle Metadaten werden strukturiert über YAML zusammen mit den DBT Metadaten erfasst
Die modernen, leistungsfähigen Implementierungen der RDBMS (Postgres, Exasol, SQLServer oder Snowflake) , sind durch
- die Verwendung von kostengünstigen, S3-ähnlichen Speichersystemen
- flexible Skalierung der Zugriffe auf die Daten (compute)
- nativ unterstützten JSON Datentypen
in der Lage die PSA zur Delta-Lake Alternative zu machen - nur ohne zusätzliche Infrastruktur und Middleware (Beam, Delta-Lake, Flink, Spark, usw.) - das RDBMS reicht aus.

Torsten Glunde, Alligator Company
10:30 - 12:00From business definition to DWH implementation
– Die metadatengetriebene Erweiterung der DWH-Automatisierung mit dem dataspot.-Approach

Nach 30 Jahren DWH-Erfahrung ist es für Early Adopter klar, dass dies der einzig funktionierende Weg für eine nachhaltig implementierte Datenplattform ist: dataspot. Organisiert die Fachlichkeit, liefert den Input für die Umsetzung und damit den Input für jedes Automatisierungswerkzeug.
Die fachlichen und technischen Metadaten werden sauber in einem zentralen Metadatenmanagement zur Verfügung gestellt. Und mit einer starken Governance werden die Datenmodelle so betreut, dass nicht nur die Übergabe und Generierung fehlerfrei läuft, sondern das DWH auch aktuell gehalten werden kann und „lebt“.

Barbara Kainz, dataspot
12:00 - 13:15Gemeinsames Mittagessen
13:15 - 14:15O tempora, o mores – Zeitlinien im Data Warehouse
Die ursprüngliche Data-Warehouse-Definition von Bill Inmon verlangt, dass ein Data Warehouse zugleich time-variant (sich über die Zeit verändernd) und non-volatile (nicht-flüchtig, permanent) ist. Aber was heißt das in der Praxis?
Time-variant bedeutet, dass sich die Daten über die Zeit verändern. Aber auf welcher Zeitlinie? In vielen Data-Warehouse-Projekten wird nie eine explizite Entscheidung über die für die Historisierung verwendete(n) Zeitlinie(n) getroffen. Das kann später zu Verwirrung und allerlei Problemen führen.
Zudem wird der inhärente Konflikt zwischen time-variant (veränderlich) und non-volatile (stabil) oft übersehen. Was ist mit Daten, die aus irgendeinem Grund später als erwartet ankommen? Was ist, wenn nachträglich ein Attributwert oder gar die Zeitlinie selbst korrigiert werden muss?
In diesem Vortrag schauen wir uns die verschiedenen Zeitlinien an, die für ein Data Warehouse relevant sein können, und diskutieren welche (und wie viele) dieser Zeitlinien sinnvollerweise verwendet werden sollten.

Christian Kaul, Obaysch
14:30 - 15:30noch offen

NN, noch nicht benannt
15:45 - 16:45Kalender-Dimension hat jeder - Datums-Arithmetik ist cool!
Ohne Zeitbezüge taugt das beste DWH nix.
Deshalb zunächst ein kurzer Abriß von der simplen Datumsliste bis hin zur ausführlichen Kalender-Dimension, inklusive der automatischen Ermittlung der "schwimmenden" Feier- oder Brauchtumstage (wie z.B. Ostern oder Buß- und Bet-Tag).
Besonders spannend wird es allerdings, wenn Bezüge zum Kalender dann bei der Berechnung von Kennzahlen auftauchen, also z.B. "durchschnittlicher Umsatz meiner Filialen pro Öffnungstag zwischen 1. August und zum 1. Advent unter Berücksichtigung bundeslandspezifischer Feiertage". Da hat man dann richtig Freude, besonders bzgl. der Performanz solcher Berechnungen - und hier kommt die Datums-Arithmetik ins Spiel, seien Sie gespannt!

Sebastian Flucke, LinkedIn Profil
17:00 - 18:00Mitgliederversammlung der DDVUG

Freitag, 30. September:

UhrzeitTitel
9:00 - 16:00Fachliches Datenmodell als Input für Implementierung und Output für Datennutzer: ein End-to-End Use Case mit der dataspot. Software
Um den Next Level der Professionalisierung zu erreichen, wählen Unternehmen zunehmend einen fachlichen Ansatz, wenn es um die Implementierung eines DWHs geht: Geschäftsfunktionen und -objekte werden im Fachdatenmodell abgebildet und direkt als Data Vault-Modell realisiert. So kann die Time-to-Market deutlich reduziert, sowie Wartbarkeit und Transparenz markant gesteigert werden. Vor allem: die Datennutzer verstehen die Daten und können deren fachliche und technische Lineage nachvollziehen.

• Metadaten als Grundlage der Data Governance
• Fachliche Definitionen1
• Harmonisierung mehrerer Entitäten
• Datenqualität
• Data Lineage & Impact
• Mapping fachlicher zu technischen Definitionen
• KPI & Data Product Katalog

Barbara Kainz, dataspot
dazwischenGemeinsames Mittagessen

Tagungsort:

MEET/N/WORK 2

FRANKFURT GMBH                                                                                                                                           
Am Hauptbahnhof 16
60329 FRANKFURT                                                                        
TEL. 069 90 02 16 33-0                                                       

http://WWW.MEETNWORK.DE    

Networking

Am Abend nach der Tagung treffen wir uns ab ca. 18:15 Uhr. Der genaue Ort wird noch bekannt gegeben.

Anmeldung:

    Teilnehmername (Pflichtfeld)

    E-Mail-Adresse (Pflichtfeld)

    Anmerkungen

    Rechnungsanschrift (Pflichtfeld)

    Rechnung darf per eMail zugesendet werden

    Hiermit melde ich mich verbindlich zur 12. Tagung der DDVUG am 29. September 2022 in Frankfurt an.

    Zusätzlich melde ich mich hiermit am Workshop vom 30. September 2022 an.

    Ich möchte an der Abendveranstaltung nach der Tagung teilnehmen. Die Kosten für Speisen und Getränke der Abendveranstaltung sind NICHT in den Tagungskosten enthalten.

    Die Teilnahmegebühr beinhaltet keine Kosten für die Übernachtung oder die Abendveranstaltung.
    Mittagessen und Tagungsgetränke sind in der Tagungspauschale enthalten.

    Kurze Testfrage gegen Formularmissbrauch: