Principal Platform Engineer (m/w/d)

Shopware AG; Schöppingen; Hybrid; EUR 120,000 - 160,000; Full time

Benefits offered by this job

Betriebliche Altersvorsorge

Flexible Arbeitszeiten

Full-Remote-Verträge

Job summary

Shopware AG sucht einen erfahrenen Principal Platform Engineer (m/w/d) für Aufbau und Betrieb unserer Data Platform. Sie verantworten CDC-Ingestion, einen dreistufigen Data Lake (Raw/Curated/Aggregated) und die Orchestrierung via Terraform-basierten Modulen sowie Glue/S3-Umgebungen.

Sie arbeiten eng mit Data & AI zusammen, etablieren Governance, Kennzahlen und beste Praktiken, und übernehmen On-Call-Aufgaben; dabei arbeiten Sie mit Stakeholdern und Partnern zusammen, ohne direkte

Qualifications

• Fundierte Praxis in AWS-Stack inkl. Glue, Athena, Step Functions, EventBridge, Lake Formation und Terraform.
• Erfahrung mit CDC-Pipelines und Iceberg-basierten Lakehouse-Strukturen (Raw/Curated/Aggregated).
• Vertrautheit mit Kafka-basiertem Event-Streaming (MSK) und Schema Registry.
• Sicheres Incident-Management-Verständnis und SLOs/SLIs.
• Ausgeprägte Team-Kommunikation zwischen Infrastruktur, Data & AI und Stakeholdern.

Responsibilities

• Aufbau und Betrieb der Data Platform inkl. CDC-Ingestion, Raw/Curated/Aggregated Lake-Levels.
• Verantwortung für Terraform-Module und die Orchestrierung (Step Functions, EventBridge, Glue).
• Betrieb von OpenMetadata, Superset und Datenkatalog-Infrastruktur.
• Sicherstellung von Governance, Compliance und Datenschutzrichtlinien in der Plattform.
• On-Call-Dienst und Übersetzung von Anforderungen in Architektur-Lösungen.

Skills

AWS Glue

Athena

Step Functions

EventBridge

Lake Formation

Terraform

CDC-Pipelines

Kafka (MSK)

dbt / Spark

Tools

dbt

Spark/pySpark

Job description

Shopware ist ein führendes E-Commerce-System, das es Unternehmen weltweit ermöglicht, im digitalen Handel schnell und effizient zu skalieren. Als zukunftsweisende Open-Source-Lösung wird Shopware bereits von einigen der größten europäischen Marken, Einzelhändlern und Herstellern im B2C- und B2B-Bereich eingesetzt.

Wir suchen eine:n Principal Platform Engineer (m/w/d) für den Aufbau und Betrieb unserer Data Platform – der Infrastruktur für Datenaufnahme, Speicherung und Laufzeitumgebungen, auf der alle Datenpipelines bei Shopware laufen. Du verantwortest ihre Architektur und Zuverlässigkeit: von der CDC-Datenaufnahme über einen dreistufigen Data Lake bis hin zur Orchestrierungsplattform.

Deine Arbeit ermöglicht es den Service-Teams und dem Management, unsere Kund:innen und Produkte besser zu verstehen. Zugleich schaffst du die technische Grundlage, um Anforderungen an Data Governance und Compliance tatsächlich durchzusetzen.

Du arbeitest eng mit Data & AI zusammen, die auf der von dir betriebenen Plattform Datenpipelines entwickelt. Im Service Enablement Team sorgst du dafür, dass für die Data Platform dieselben Golden Paths und Qualitätsstandards gelten wie für die übrige Service Platform. Die Position ist eine erfahrene Fachlaufbahn ohne Personalverantwortung. Wichtig ist, dass du gern mit vielen Stakeholdern, Kolleg:innen und Partnern zusammenarbeitest.

• Datenaufnahme: CDC-Ingestion über DMS/Lambda in den Raw-Bereich von S3 sowie Verantwortung für Raw-Schema und Datenverträge. Derzeit umfasst die Plattform 13 Domänen und rund 180 Schemata über drei Ebenen hinweg. 11 CDC-Quellen laufen bereits produktiv, weitere kommen hinzu.

• Speicherung und Orchestrierung: Verantwortung für die mit Terraform bereitgestellte Orchestrierungsplattform auf Basis von Step Functions, EventBridge und Glue über alle drei Lake-Ebenen (Raw, Curated und Aggregated) sowie für die zugehörigen CDC-Terraform-Module.

• Datenkatalog-Infrastruktur: Betrieb und Bereitstellung von OpenMetadata. Dazu gehören die Katalog-Infrastruktur und die Trennung zwischen Betrieb und Nutzung wie bei den Lake-Ebenen. Data & AI ergänzt darauf aufbauend Datensatzbeschreibungen, Glossar und Stewardship-Inhalte.

• Tooling-Infrastruktur: Bereitstellung und Betrieb von Superset, dem Werkzeug der Teams für Datenabfragen und Visualisierungen.

• Abgrenzung der Pipelines: klare Codegrenzen, ein Merge-blockierender Vertragscheck und eine eindeutige Regel für die Weiterleitung von Vorfällen: Bei Infrastrukturproblemen wirst du benachrichtigt oder alarmiert, nicht bei Fehlern in der Pipeline-Logik.

• Zuverlässigkeit: Aufbau von Observability und operativer Exzellenz für die Data Platform, unter anderem mit Datadog, Incident Response sowie SLOs und SLIs. Du übernimmst den On-Call-Dienst; die Vergütung dafür entspricht vom ersten Tag an der Regelung anderer Teams.

• Governance- und Compliance-Mechanismen: Die Richtlinien selbst – etwa Klassifizierungsstandards, Aufbewahrungsregeln und der Umgang mit DSGVO- und Datenschutzanfragen – werden außerhalb von SET und Data & AI durch Legal/Compliance oder eine datenschutznahe Funktion verantwortet. Du legst diese Richtlinien nicht fest, sondern implementierst die dafür erforderliche Architektur: Aufbewahrungsfristen, Zugriffskontrollen, Klassifizierungsmetadaten und die Weiterleitung von Löschanfragen.

• Plattformübergreifende Konsistenz: Zusammenarbeit mit dem Principal Platform Engineer für Infrastruktur, damit die Data Platform dieselbe Self-Service-Philosophie und denselben Reifegrad wie die übrige Plattform erreicht.

Das bringst du mit:

• Fundierte praktische AWS-Erfahrung mit Glue, Athena, Step Functions, EventBridge, Lake Formation und S3 sowie umfassende Terraform-Erfahrung beim Erstellen und Weiterentwickeln gemeinsam genutzter Module.

• Praxiserfahrung mit CDC-Pipelines und einer Iceberg-basierten Lakehouse-Architektur mit den Ebenen Raw, Curated und Aggregated. Dieses Format ist heute produktiv im Einsatz.

• Vertrautheit mit Kafka-basiertem Event-Streaming (MSK, Glue Schema Registry) für Ereignisse auf Anwendungsebene, die neben CDC-Daten in der Plattform landen.

• Sicherheit im Betrieb einer Plattform, auf die andere Teams angewiesen sind: Erfahrung mit Incident Response und SLOs sowie das Urteilsvermögen, individuelle Anforderungen in den Backlog aufzunehmen, statt sie ad hoc umzusetzen.

• Starke teamübergreifende Kommunikation: Du arbeitest direkt mit Data & AI daran, die Grenzen zwischen Infrastruktur und Pipeline-Logik klar zu halten, und stimmst dich mit dem Principal Platform Engineer für Infrastruktur zu übergreifenden Standards ab. Keine der beiden Beziehungen ist eine Berichtslinie.

• Ein ausgeprägtes Verständnis dafür, was eine datengetriebene Kultur nachhaltig verankert: Führungskräfte, die anhand von Kennzahlen handeln, organisationsweite Datenkompetenz, eine für alle Zielgruppen zugängliche Infrastruktur und Daten als gemeinschaftliche Ressource.

• Du kommunizierst sicher gegenüber der Führungsebene und sprichst Zielkonflikte und Risiken proaktiv an, statt darauf zu warten, danach gefragt zu werden.

• Du kommunizierst schriftlich klar und direkt und kannst technische Positionen gegenüber Engineering-Kolleg:innen ebenso wie gegenüber nichttechnischen Stakeholdern vertreten und begründen.

Nice to have:

• Vertrautheit mit dbt (dbt-athena) oder Spark/pySpark – genug, um konstruktiv darüber zu sprechen, wo die Grenze zwischen Infrastruktur und Pipeline-Logik künftig verlaufen sollte.

• Erfahrung beim Aufbau eines On-Call-Dienstes für ein Team, das bisher noch keinen hatte.

• Erfahrung in der direkten Zusammenarbeit mit Legal- und Compliance-Stakeholdern: Anforderungen an Aufbewahrungsfristen oder Datenklassifizierung in konkrete Infrastrukturentscheidungen übersetzen – und nicht nur wissen, dass es solche Anforderungen gibt.

Das bieten wir dir:

• Unternehmenskultur: Offene Kultur, flache Hierarchien, Eigeninitiative wird gefördert.

• Arbeitsverträge: Unbefristete Anstellungen bieten langfristige Sicherheit.

• Flexibilität: Flexible Arbeitszeiten und Optionen für mobiles Arbeiten und Full-Remote-Verträge.

• Ausstattung: Freie Wahl der Arbeits-Hardware.

• Onboarding: Gut strukturiertes Onboarding mit Unterstützung durch einen persönlichen "Buddy".

• Arbeitsumfeld: Inspirierendes Umfeld mit engagierten Kollegen und einer dynamischen Gemeinschaft.

• Entwicklungsmöglichkeiten: Vielfältige Chancen für persönliches Wachstum und Entwicklung.

• Zusatzleistungen: Attraktive Benefits wie betriebliche Altersvorsorge, Gesundheitsprogramme und regelmäßige Teamevents.

… und vieles mehr!
Einen detaillierten Einblick bekommst du auf unserer Karriereseite.

Deine Ansprechperson für diese Stelle ist Yanina Schröer und steht dir bei Fragen gerne zur Verfügung!

Der Schutz deiner persönlichen Daten hat für uns oberste Priorität. Unsere Bewerberinformationen findest du hier.