Semantic Pipeline ist ein Framework zur graphbasierten Modellierung abhängiger Datenflüsse. Komplexe Zusammenhänge in Datenquellen werden übersichtlich als Graph abgebildet.
Vorteile: - Automatische Bestimmung der optimalen Lade-Reihenfolge - Maximale Parallelisierung der Abläufe - Überschneidende Ladeläufe (z.B. täglich die letzten 3 Tage) - Automatisches Duplikate-Handling für besonders robuste Ladeprozesse
Abhängigkeiten und Ladeprozesse werden als übersichtlicher Graph dargestellt.
Semantic Pipeline erkennt unabhängige Prozesse und führt sie parallel aus.
Mehrfache Ladevorgänge (z.B. rollierende Zeitfenster) werden automatisch unterstützt.
Doppelte Datensätze werden automatisch erkannt und gefiltert.
Für ein E-Commerce Power BI Dashboard werden Werbekosten aus verschiedenen Systemen geladen. Werbekosten, die nur auf Tagesbasis vorliegen, werden nach Umsatzschlüsseln auf Produkte umgelegt. Umsatzdaten werden aus dem Shopsystem gezogen.
Semantic Pipeline sorgt dafür, dass vor der Umlage der Werbekosten sichergestellt ist, dass sowohl Werbekosten als auch Umsätze vollständig geladen wurden. Die Abhängigkeiten werden automatisch modelliert und die Ladeprozesse fehlertolerant gesteuert.
