Senior Software Engineer (Data) - Data Foundations (all genders)

About You - Collins GmbH & Co. KG; Hamburg; Vor Ort; EUR 80.000 - 120.000; Vollzeit

Zusammenfassung

About You - Collins GmbH & Co. KG in Hamburg sucht eine Fachkraft für die Entwicklung einer modernen Datenplattform.

Du baust und wartest Dagster-basierte Lösungen und sorgst für einen reibungslosen Übergang zu AWS ECS und GCP BigQuery, um eine starke Grundlage für Datenteams zu schaffen. Du verantwortest die größten Core-ELT-Pipelines, betreibst nächtliche Datenmigrationen von MySQL (AWS) nach GBQ und achtest darauf, dass die Quellsysteme nicht beeinträchtigt werden.

Qualifikationen

• Aufbau und Wartung einer Datenplattform (Dagster, AWS ECS, GCP BigQuery)
• Wartung von Core-ELT-Pipelines, Nacht-ETL von MySQL nach GBQ, Performance-Schutz
• Verantwortung für Core-Reports Delivery für das Executiv-Board

Aufgaben

• Datenplattform Ownership: Du baust und wartest unsere neue Datenplattform und treibst den Übergang aktiv voran.
• Core-ELT Pipelines: Du wartest und optimierst die größten Pipelines, migrierst Nacht-ETL-Workloads; achtest auf Quellsystem-Performance.
• Core-Reports Delivery: Du übernimmst Berichte, die als Entscheidungsgrundlage dienen und anderen Datenteams als Basis dienen.

Jobbeschreibung

• Data Platform Ownership:Du baust und wartest unsere neue Datenplattform (Dagster, dbt, AWS ECS und GCP GBQ) und treibst den Übergang dorthin aktiv voran. Dabei entwickelst du ein Produkt, das als Fundament für andere Datenteams fungiert und deren Effizienz durch maßgeschneiderte Tools, Monitoring, Data-Checks, Connectoren, Kostenkontrolle, Testing, CI/CD, Cataloging usw. steigert.
• Core-ELT Pipelines:Du wartest und optimierst die größten und wichtigsten Pipelines des Unternehmens. Du bist dafür verantwortlich, jede Nacht Terabytes an Daten von MySQL (AWS) nach GBQ zu verschieben – einschließlich Synchronisierungen am Tag, bei denen du strikt darauf achtest, die Performance der Quellsysteme nicht zu beeinträchtigen.
• Core-Reports Delivery:Du übernimmst die Verantwortung für die kritischsten Berichte im Unternehmen, die als Grundlage für Entscheidungen des Executive Boarddienen und die Basis für die Datenteams in anderen Fachabteilungen bilden.