Lead Data Engineer (w / m / d)

Ipsos; Frankfurt; Vor Ort; EUR 40.000 - 60.000; Vollzeit

Zusammenfassung

Eine internationale Organisation sucht einen Senior Data Engineer für das Location Data & Analytics Team in Frankfurt. In dieser Schlüsselrolle werden Sie verantwortlich für den Aufbau und die Optimierung robuster Datenpipelines in einer Cloud-Umgebung sein. Bewerber sollten über umfassende Erfahrungen in Python, SQL und Cloud-Plattform-Management verfügen sowie ein gutes Verständnis für ETL/ELT-Prozesse haben. Wir bieten einen herausfordernden Arbeitsplatz mit einer attraktiven Vergütung und Entwicklungsmöglichkeiten in einem dynamischen Team.

Leistungen

Umfassende Schulungen

Moderne Technologie

Betriebliche Altersvorsorge

Dynamisches Team

Regelmäßige Feedback-Kultur

Qualifikationen

• Mindestens 5 Jahre Erfahrung im Data Engineering.
• Erfahrung mit Cloud-Plattformen und Infrastructure as Code (IaC).
• Fließende Deutsch- und Englischkenntnisse (C1).

Aufgaben

• Entwicklung und Optimierung von Datenpipelines.
• Migration von On-Premise-Datenlösungen zu Cloud-basierten Lösungen.
• Zusammenarbeit mit Cross-Functional-Teams zur Entwicklung maßgeschneiderter Datenprodukte.

Kenntnisse

Python

SQL

Datenintegration

Cloud Services

ETL/ELT-Prozesse

Data Quality Testing

Datenmodellierung

Ausbildung

Bachelor- oder Master-Abschluss in Informatik oder verwandtem Bereich

Tools

PostgreSQL

Big Query

Airflow

dbt

DataKitchen

Git

Jobbeschreibung

Als Senior Data Engineer (w / m / d) im Location Data & Analytics Team spielst Du eine Schlüsselrolle in der Entwicklung und Optimierung unserer Dateninfrastruktur. Du bist verantwortlich für den Aufbau robuster und automatisierter Datenpipelines, die Pflege unserer Datenplattform und die Unterstützung von Data Scientists und Analysten bei der Erhebung wichtiger Erkenntnisse.

• Entwurf einer nachhaltigen Datenarchitektur und Umsetzung einer performanten und stabilen Dateninfrastruktur auf der Google Cloud Platform zur Skalierung unserer Datenoperationen.
• Migration der derzeitigen On-Premise-Lösung auf Basis von PostgreSQL in eine Cloud-Lösung auf Basis von Big Query.
• Entwurf, Implementierung und Optimierung von Datenpipelines für den Umgang mit einer Vielzahl von strukturierten und unstrukturierten Datenquellen.
• Sicherstellung der Datenverfügbarkeit und -qualität durch den Einsatz von Best Practices in den Bereichen Datenmodellierung und Datenmanagement.
• Entwicklung von automatisierten DataOps-Lösungen zur Gewährleistung der Datenintegrität und -transparenz, inklusive Monitoring und Fehlerbehebung.
• Konfiguration, Implementierung und Verwaltung von Airflow zur Orchestrierung von Workflows und DataKitchen für die Implementierung von Tests und Alerts.
• Nutzung Deiner Expertise in Spatial SQL für die Verarbeitung und Analyse von Geo-, Sach- und Marktdaten.
• Zusammenarbeit mit funktionsübergreifenden Teams, um Datenprodukte zu entwickeln, die auf die Geschäftsanforderungen zugeschnitten sind.

Dein Profil

• Mindestens 5 Jahre Berufserfahrung im Bereich Data Engineering oder in einer ähnlichen Rolle.
• Tiefgreifende Kenntnisse im Umgang mit Datenbanken (SQL, PostgreSQL, OGC SQL / PostGIS, Big Query) und Skalierung von Datenplattformen.
• Erfahrung in der Arbeit mit ETL / ELT-Prozessen und Datenintegrationswerkzeugen.

Umfangreiche Erfahrung in der Python-Entwicklung, einschließlich der Beherrschung von Bibliotheken wie Pandas, NumPy, pyspark, pandera oder pytest.

• Praktische Erfahrung mit Cloud Platform-Diensten und Infrastruktur als Code (IaC) für die Bereitstellung und Verwaltung von Datenlösungen – optimalerweise mit Google Cloud Platform.
• Praktische Erfahrung mit Automatisierungs- und Workflow-Orchestrierungstools wie Airflow und dbt sowie mit Data Quality Testing und Data Observability Tools wie DataKitchen.
• Praktische Erfahrung mit VCS und CI / CD mit Git, GitLab, GitHub o.ä.

Bachelor- oder Master-Abschluss in Informatik, Informationstechnologie oder einem verwandten Bereich.

• Du hast Spaß an der Arbeit und gestaltest Dinge aktiv im Team und wartest nicht darauf, dass Dir Arbeit vorgegeben wird.
• Hervorragende Problemlösungsfähigkeiten und die Fähigkeit, in einem kollaborativen, agilen Umfeld zu arbeiten.
• Optimalerweise Projekterfahrung mit Geodaten und Geoinformationssystemen.
• Du sprichts fließend Deutsch (C1) und Englisch.

Gestalte deine Zukunft mit uns!

• Arbeite mit spannenden Daten und state of the art Technologielösungen.
• Wir bieten Dir umfassende Schulungen und die Möglichkeit, selbstständig in beratender und leitender Funktion im internationalen Umfeld eines attraktiven Wachstumsmarktes zu arbeiten.
• Es erwartet Dich ein hochmotiviertes, ehrgeiziges und dynamisches Team, internationale Herausforderungen und außergewöhnlich spannende Projekte in einem globalen Umfeld.
• Du wirst bei Deinen Aktivitäten vom gesamten Team unterstützt.
• Wir leben eine professionelle Feedback-Kultur mit regelmäßigen objektiven Leistungsbeurteilungen und Raum für Wachstum.
• Eine attraktive Vergütung wird durch Sozialleistungen wie betriebliche Altersvorsorge ergänzt.
• Wir statten Dich mit modernster Technologie aus und bieten Du einen Arbeitsplatz, an dem Du Dich wohlfühlst.
• Wir arbeiten mit modernen Methoden und Werkzeugen für die Softwareentwicklung und Datenanalyse und experimentieren beständig mit Innovationen.