Data Engineer (m/f/d)

Rhenus Group; Deutschland; Vor Ort; EUR 50.000 - 90.000; Vollzeit

Zusammenfassung

Ein etabliertes Unternehmen im Bereich Logistik sucht einen Cloud Data Engineer, der innovative Datenlösungen mit Azure entwickelt. In dieser spannenden Rolle werden Sie moderne Datenplattformen gestalten, Datenpipelines in PySpark erstellen und sicherstellen, dass alle Datenprozesse den höchsten Standards für Qualität und Compliance entsprechen. Sie werden eng mit BI-Teams zusammenarbeiten, um beeindruckende Dashboards zu entwickeln und die neuesten Technologien im Bereich Cloud Data Engineering zu integrieren. Wenn Sie eine Leidenschaft für Daten und analytische Herausforderungen haben, ist dies die perfekte Gelegenheit für Sie.

Qualifikationen

• Mehrjährige praktische Erfahrung mit Azure Data Factory und Azure Data Lake Storage.
• Umfassende Kenntnisse in der Entwicklung verteilter Datenverarbeitungslösungen.

Aufgaben

• Entwicklung und Optimierung von End-to-End-Datenlösungen mit Azure.
• Implementierung von Pipelines zur Echtzeit-Datenerfassung und Datenqualitätssicherung.

Kenntnisse

Azure Data Factory

Azure Data Lake Storage

Databricks

Azure Synapse Analytics

PySpark

Spark

SQL

Analytical Skills

Fluency in English

Knowledge of German

Tools

Power BI

Parquet

Avro

Jobbeschreibung

Business Unit:

BU Road Freight

Business Line:

BL Road Freight

Target Hire Date:

2025-04-01

What You Can Expect:

1. Develop a Modern Azure Data Platform: Design, build, and optimize end-to-end data solutions with Azure Data Factory, Azure Data Lake Storage, Databricks, and Azure Synapse Analytics.
2. Create Data Pipelines: Conceptualize and manage scalable ETL/ELT processes in PySpark and Spark, focusing on data quality and reliability.
3. Real-Time Data Capture: Implement pipelines that capture source system changes in real time, handling Slowly Changing Dimensions to maintain accurate historical data.
4. Integrate New Technologies: Stay updated on the latest trends in Cloud Data Engineering, Big Data, and Analytics, integrating relevant tools for better performance, cost-efficiency, and scalability.
5. Efficient Reporting with Power BI: Collaborate with BI teams to optimally structure large data models and develop impactful dashboards.
6. Data Governance and Compliance: Ensure compliance with data protection regulations and internal security policies, establishing best practices for metadata management, data lineage, and access controls.

What You Bring:

1. Azure Expertise: Several years of practical experience with Azure Data Factory, Azure Data Lake Storage, Databricks, and Azure Synapse Analytics.
2. PySpark and Spark: Comprehensive knowledge in developing distributed, high-performance data processing solutions.
3. ETL Processes: Deep understanding of ETL/ELT concepts and SCD/CDC methods.
4. SQL Skills: Proficient in complex SQL queries and their optimization.
5. Data Formats: Practical experience with Parquet or Avro.
6. Power BI: Experience working with large data models and creating Power BI visualizations.
7. Analytical Skills: Detail-oriented, solution-focused mindset with strong problem-solving abilities.
8. Language Skills: Fluency in English is required; knowledge of German is an advantage.