Data Engineer (m/w/d)

Hays; Rust; Vor Ort; EUR 60.000 - 85.000; Vollzeit

Zusammenfassung

Ein führendes Unternehmen in der Motorentwicklung sucht einen Data Engineer zur Unterstützung der Weiterentwicklung einer Big Data Applikation. In dieser Rolle arbeiten Sie eng mit einem Offshore-Team zusammen und sind verantwortlich für die Überwachung von Workflows sowie die Erstellung von Übergabedokumentationen. Sie bringen fundierte Kenntnisse im Microsoft Azure Tech Stack und in der Entwicklung von ETL-Logik mit Python und SQL mit.

Leistungen

Anspruchsvolle und abwechslungsreiche Aufgaben

Hoch motiviertes Team

Offener Kommunikationsstil

Qualifikationen

• Fundierte Kenntnisse im Microsoft Azure Tech Stack.
• Erfahrung in der Entwicklung von ETL-Logik mit Python und SQL.
• Verständnis von Data Lake und Data Warehouse Architekturen.

Aufgaben

• Unterstützung bei der Weiterentwicklung einer Big Data Applikation.
• Koordination der Übergabe an ein Offshore-Team.
• Überwachung der Workflows zur Effizienzsteigerung.

Kenntnisse

Microsoft Azure Tech Stack

ETL-Logik mit Python

SQL

CI/CD-Prozesse

GitHub

Kommunikationsfähigkeiten

Jobbeschreibung

Aufgaben

1. Als Data Engineer unterstützt du die Weiterentwicklung einer Big Data Applikation im Umfeld der Motorentwicklung.
2. In dieser Rolle koordinierst du die Übergabe dieser Applikation an ein Offshore-Team, um eine nahtlose Integration zu gewährleisten.
3. Du stehst den Entwicklern tatkräftig zur Seite und überwachst die Workflows, um deren Effizienz zu maximieren und Verbesserungen zu implementieren.
4. Darüber hinaus führst du Prüfungen von Fehlerbildern durch, um Ursachen zu identifizieren und Lösungen zu entwickeln.
5. Die Erstellung einer Übergabedokumentation gehört ebenfalls zu deinen Aufgaben, um dem Offshore-Team alle relevanten Informationen und Prozesse für eine reibungslose Übergabe zur Verfügung zu stellen.

Anforderungen

1. Fundierte Kenntnisse im Microsoft Azure Tech Stack, einschließlich Azure Data Lake Storage, Azure Databricks (SQL Warehouse, Databricks Cluster, Jobs) und Azure Data Factory.
2. Erfahrung in der Entwicklung und Anwendung von ETL-Logik mit Python (PySpark, pytest) und SQL sowie Vertrautheit mit Dateiformaten wie JSON, Parquet, ORC und Delta Lake.
3. Kenntnisse in CI/CD-Prozessen, insbesondere mit Azure DevOps (Pipelines), Artifactory und Erfahrung mit Versionskontrollsystemen wie GitHub.
4. Verständnis von Data Lake und Data Warehouse Architekturen sowie der Verarbeitung von Zeitreihen.
5. Hohe Eigenständigkeit und ausgezeichnete Kommunikationsfähigkeiten in Deutsch und Englisch, um komplexe technische Konzepte klar zu vermitteln.

Vorteile

• Anspruchsvolle und abwechslungsreiche Aufgaben in einer zukunftsträchtigen und innovativen Branche.
• Ein hoch motiviertes Team und ein offener Kommunikationsstil.