Senior DevOps Engineer - Data Platform (Remote)

Kaufland e-commerce; United States; Remote; USD 80,000 - 112,000; Full time

Benefits offered by this job

Relocation package

Urban Sports Club

Mental Well-Being

30 days vacation

Pluxee vouchers

Deutschlandticket

Employee discount

OS choice (MacOS/Ubuntu)

Conferences & training

Job summary

Kaufland e-commerce sucht eine erfahrene Infrastruktur- bzw. Data-Engineer-Position zur Betreuung einer selbst gehosteten Kafka-Backbone, Debezium-Pipelines und Kubernetes-Workloads. Sie arbeiten eng mit Senior Data Engineers zusammen, gestalten Design-Reviews und treiben Multi-Quartal-Initiativen voran.

Einstieg über Remote/Deutschland; Flexible Standortwahl innerhalb Deutschlands. Sie bringen tiefgehende Praxis in Kafka, Kubernetes, IaC-Tools und SQL/Python mit, agieren kosteneffizient und

Qualifications

• Mehrjährige Erfahrung im Betrieb von Produktionsinfrastrukturen, inkl. On-Call- Rotation.
• Deep hands-on expertise in Apache Kafka-Broker-Betrieb, Cluster-Größe, Replikation, ISR-Verhalten und Upgrades.
• Erfahrung mit cross-system Datenreplikation in Produktion - ideal Debezium auf Kafka Connect oder BINLOG-/GTID-/WAL-gestützte Pipelines.
• Profi-Erfahrung mit Kubernetes, Ressourcenmanagement, Autoscaling und Debugging.
• Infrastructure as Code über mehrere Umgebungen (idealerweise Terraform/Ansible; Pulumi/Helm o. Ä. zählen ebenfalls) mit Least-Privilege IAM.
• Verwendung von Python und SQL im Produktionsumfeld; kostenbewusstes Abfragen, Volumen- und Datenreinigung.
• Schnelle Selbstorganisation in einem Kanban-Umfeld, Bereitschaft zur wöchentlichen Triageteilnahme.
• Optional: Interesse an OOP-Design, Data Modeling, BigQuery-Architektur, Orchestrierung (Airflow/Dagster), Stream-Processing (Beam/Flink/Spark) oder interner Automatisierung (n8n, AI-Triage-Bots).
• Englischkenntnisse auf C1-Niveau und Freude an internationalem Team.

Responsibilities

• Betreibung der self-hosted Apache Kafka-Backbone und Schema Registry von End-to-End; ACLs, Client Quotas, Zertifikate, Upgrades, Disaster Recovery.
• Betrieb von Debezium-basierten Change Data Capture-Pipelines; Connectoren, Snapshots, Offsets, Replikaslag, BigQuery-Sink Loader.
• Betrieb unserer Workloads auf Kubernetes; Navarch-Workflow-Orchestrator mit ca. 7.500 SQL- und Python-Aufgaben pro Tag; Ressourcenmanagement, Auto-Scaling und Debugging.
• Automatisierung und Ownership von Access-Management und Infrastructure as Code in unseren self-hosted GitLab CI/CD-Pipelines; Ticketing durch Code-gesteuerte Policies ersetzen.
• Verantwortung für Observability und Infrastrukturkosten – Datadog, Slack-Alerts, K8s, Kafka-Retention und Log-Volumen.
• Mitladung bei Triage in drei Wochen – Bearbeitung von Ingestions- und Zugriffsanfragen, Schema-Alerts, Unterstützung von Analysten; Automatisierungsschicht via AI gestützt.
• Sie arbeiten eng als Senior Sparringspartner neben zwei Senior Data Engineers – Design-Reviews und mehrmonatige Initiativen; Wachstumsraum in BigQuery-Architektur.
• Optional: Teilnahme an 24/7-Notfallrotation.

Skills

Kafka-Operationen

Kubernetes

Debezium

Terraform/Ansible

Cloud (GCP/AWS/Azure)

Python

SQL

On-Call-Erfahrung

Englisch (C1)

Tools

Kafka

Kafka Connect

Debezium

Kubernetes

Terraform

Ansible

Pulumi

Helm

GitLab CI/CD

Datadog

BigQuery

Job description

Kaufland e-commerce sucht eine erfahrene Infrastruktur- bzw. Data-Engineer-Position zur Betreuung einer selbst gehosteten Kafka-Backbone, Debezium-Pipelines und Kubernetes-Workloads. Sie arbeiten eng mit Senior Data Engineers zusammen, gestalten Design-Reviews und treiben Multi-Quartal-Initiativen voran.

Einstieg über Remote/Deutschland; Flexible Standortwahl innerhalb Deutschlands. Sie bringen tiefgehende Praxis in Kafka, Kubernetes, IaC-Tools und SQL/Python mit, agieren kosteneffizient und