Eine Datenpipeline ist eine automatisierte Abfolge von Prozessen, die Daten von Quellsystemen durch Transformations- und Integrationsschritte in ein Zielsystem bewegt – typischerweise ein Data Warehouse, eine Reporting-Schicht oder eine analytische Plattform. Datenpipelines übernehmen die Extraktion, Transformation und Ladung (ETL) oder Extraktion, Ladung und Transformation (ELT) von Daten und wenden dabei Datenqualitätsprüfungen, Geschäftsregeln und Formatstandardisierung an. Die Zuverlässigkeit und Leistung von Datenpipelines bestimmt direkt die Aktualität, Vollständigkeit und Genauigkeit der in Reporting-Systemen verfügbaren Daten.
Warum das wichtig ist
Datenpipelines sind die Rohrleitungen einer Reporting-Infrastruktur – unsichtbar, wenn sie korrekt funktionieren, aber sofort wirkungsvoll, wenn sie ausfallen oder falsche Outputs produzieren. Eine Reporting-Umgebung ist nur so zuverlässig wie ihre unzuverlässigste Pipeline: Wenn eine Pipeline still scheitert oder falsche Transformationen anwendet, enthalten die davon abhängigen Management-Reports falsche Daten ohne sichtbare Anzeichen. Der Aufbau robuster, überwachter und dokumentierter Datenpipelines ist eine grundlegende Investition in die Reporting-Zuverlässigkeit.
Verwandte Begriffe
- ETL (Extract, Transform, Load)
- Daten-Aktualisierungszyklus
- Datenmodell
- Business Intelligence (BI)
- Datenqualität
Verwandte Inhalte
Wird hinzugefügt, wenn relevante Knowledge Hub-Artikel veröffentlicht werden