Data Engineer (m/w/d)

EUROPART Holding GmbH; Hagen; On-site; EUR 65,000 - 95,000; Full time

Job summary

EUROPART Holding GmbH in Hagen sucht einen Data Engineer zur Entwicklung und zum Betrieb moderner Datenplattformen. Sie integrieren Datenquellen, entwickeln ETL-/ELT-Pipelines und bauen Data Warehouses, Data Lakes sowie Lakehouse-Architekturen auf, um Analytics, Reporting und ML-Prozesse zu unterstützen.

Sie arbeiten eng mit Data Analysts, Data Scientists, Software Engineers und IT-Abteilungen zusammen, verbessern Datenqualität, Automatisierung und Governance und gewährleisten Skalierbarkeit und

Qualifications

• Berufserfahrung im Bereich Data Engineering, Software Engineering oder Data Platform Engineering.
• Sehr gute Kenntnisse in SQL.
• Gute Programmierkenntnisse, vorzugsweise in Python.
• Erfahrung mit relationalen Datenbanken und Datenmodellierung.
• Erfahrung mit ETL-/ELT-Prozessen und Datenpipelines.
• Verständnis für Data-Warehouse- und Data-Lake-Konzepte.
• Erfahrung mit Git und modernen Entwicklungsprozessen.
• Grundlegendes Verständnis von Cloud-Technologien.

Responsibilities

• Entwicklung und Betrieb skalierbarer ETL-/ELT-Datenpipelines.
• Anbindung und Integration von Daten aus unterschiedlichen Quellen wie Datenbanken, APIs, Files und Cloud-Systemen.
• Aufbau und Weiterentwicklung von Data Warehouses, Data Lakes und Lakehouse-Architekturen.
• Transformation, Bereinigung und Validierung großer Datenmengen.
• Sicherstellung von Datenqualität, Datenkonsistenz und Datenverfügbarkeit.
• Entwicklung und Optimierung von Datenmodellen für Reporting und Analytics.
• Automatisierung von Datenprozessen und Workflows.
• Überwachung und Optimierung bestehender Datenpipelines hinsichtlich Performance, Stabilität und Kosten.
• Implementierung von Monitoring-, Logging- und Alerting-Lösungen.
• Umsetzung von Anforderungen an Datenschutz, Sicherheit und Governance.
• Dokumentation von Datenflüssen, Schnittstellen und technischen Lösungen.
• Zusammenarbeit mit Data Analysts und Data Scientists bei der Bereitstellung geeigneter Daten.

Skills

SQL

Python

Data Modeling

ETL/ELT

Data Pipelines

Git

Cloud basics

Education

Informatik

Wirtschaftsinformatik

Data Science

Mathematik

Tools

Databricks

Snowflake

dbt

Job description

Ihre Aufgaben

Als Data Engineer bist du verantwortlich für den Aufbau, die Weiterentwicklung und den zuverlässigen Betrieb moderner Datenplattformen und Datenpipelines. Du stellst sicher, dass Daten aus unterschiedlichen Quellen effizient integriert, verarbeitet, gespeichert und für Analytics, Reporting, Machine Learning und operative Anwendungen bereitgestellt werden.

Darüber hinaus arbeitest du eng mit Data Analysts, Data Scientists, Software Engineers, IT sowie den Fachbereichen zusammen.

Deine Aufgaben

• Entwicklung und Betrieb skalierbarer ETL-/ELT-Datenpipelines
• Anbindung und Integration von Daten aus unterschiedlichen Quellen wie Datenbanken, APIs, Files und Cloud-Systemen
• Aufbau und Weiterentwicklung von Data Warehouses, Data Lakes und Lakehouse-Architekturen
• Transformation, Bereinigung und Validierung großer Datenmengen
• Sicherstellung von Datenqualität, Datenkonsistenz und Datenverfügbarkeit
• Entwicklung und Optimierung von Datenmodellen für Reporting und Analytics
• Automatisierung von Datenprozessen und Workflows
• Überwachung und Optimierung bestehender Datenpipelines hinsichtlich Performance, Stabilität und Kosten
• Implementierung von Monitoring-, Logging- und Alerting-Lösungen
• Umsetzung von Anforderungen an Datenschutz, Sicherheit und Governance
• Dokumentation von Datenflüssen, Schnittstellen und technischen Lösungen
• Zusammenarbeit mit Data Analysts und Data Scientists bei der Bereitstellung geeigneter Daten
• Unterstützung bei der Entwicklung einer modernen und skalierbaren Data Platform

Ihr Profil

Technische Anforderungen:Must-have

• Berufserfahrung im Bereich Data Engineering, Software Engineering oder Data Platform Engineering
• Sehr gute Kenntnisse in SQL
• Gute Programmierkenntnisse, vorzugsweise in Python
• Erfahrung mit relationalen Datenbanken und Datenmodellierung
• Erfahrung mit ETL-/ELT-Prozessen und Datenpipelines
• Verständnis für Data-Warehouse- und Data-Lake-Konzepte
• Erfahrung mit Git und modernen Entwicklungsprozessen
• Grundlegendes Verständnis von Cloud-Technologien

Nice-to-have

• Erfahrung mit AWS, Microsoft Azure oder Google Cloud
• Kenntnisse in Databricks, Snowflake oder Microsoft Fabric
• Erfahrung mit Apache Spark
• Kenntnisse in Orchestrierungstools wie Apache Airflow
• Erfahrung mit Docker und Kubernetes
• Kenntnisse in Infrastructure as Code, z. B. Terraform
• Erfahrung mit CI/CD und DevOps
• Kenntnisse in Streaming-Technologien wie Kafka
• Erfahrung mit Data Governance, Data Catalogs und Data Quality Tools
• Erfahrung im Aufbau von Lakehouse-Architekturen

Persönliche Anforderungen:

• Analytisches und strukturiertes Denkvermögen
• Hohe Eigenverantwortung und lösungsorientierte Arbeitsweise
• Interesse an modernen Daten- und Cloud-Technologien
• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
• Teamfähigkeit und Freude an interdisziplinärer Zusammenarbeit
• Qualitätsbewusstsein und ein hoher Anspruch an zuverlässige Daten
• Bereitschaft, bestehende Prozesse kontinuierlich zu verbessern

Typischer Tech-Stack

Programmiersprachen:

• Python
• SQL

Cloud:

• Azure / AWS / Google Cloud

Data Platform:

• Databricks / Snowflake / Microsoft Fabric

Datenbanken:

• PostgreSQL / SQL Server / Oracle

Data Engineering:

• Apache Spark / Airflow / dbt

DevOps:

• Git / Docker / CI/CD / Terraform

Monitoring:

• Azure Monitor / Grafana / Prometheus

Erfolgskennzahlen der Position

• stabile und zuverlässige Datenpipelines
• hohe Datenqualität und Datenverfügbarkeit
• kurze Verarbeitungs- und Bereitstellungszeiten
• skalierbare und kosteneffiziente Datenarchitekturen
• hoher Automatisierungsgrad
• nachvollziehbare und dokumentierte Datenflüsse
• Zufriedenheit der internen Data- und Business-Teams

Ausbildung

Abgeschlossenes Studium oder vergleichbare Qualifikation in beispielsweise:

• Informatik
• Wirtschaftsinformatik
• Data Science
• Mathematik
• Statistik
• Elektrotechnik oder einem vergleichbaren technischen bzw. analytischen Fachgebiet

Auch Quereinsteiger mit entsprechender praktischer Erfahrung und nachweisbaren technischen Kompetenzen sind willkommen.