Data Engineer (all genders)

Arbeitsagentur; Köln; On-site; EUR 63,000 - 77,000; Full time

Job summary

Die Arbeitsagentur Köln sucht eine erfahrene Data Engineer, die robuste, skalierbare Data Pipelines designed und betreibt, um Analytik, Reporting und künftige ML-Anwendungsfälle zu unterstützen. Sie arbeiten in einem cloud-basierten Umfeld mit Azure und Databricks und tragen zur Weiterentwicklung der Plattform bei.

In enger Abstimmung mit Data Analysts und Data Scientists erstellen Sie datengetriebene Produkte, verbessern Datenqualität, Dokumentation und Leistungsfähigkeit, und setzen

Qualifications

• 7+ Jahre Erfahrung in Data Engineering bzw. Analytics-Engineering
• Fundierte Kenntnisse in Datenorchestrierung, verteilten Verarbeitung und robusten ETL/ELT-Systemen
• Expertise in Scala oder Python mit guten SQL-Kenntnissen und Spark-Produktions-Erfahrung
• Erfahrung mit cloud-nativen Architekturen
• Vertrautheit mit Streaming-Data-Frameworks
• Solides Verständnis von Data Modeling-Konzepte
• Sprachen & Frameworks: Scala, Python, SQL, Spark
• Cloud & Infra: Azure Cloud Platform, Databricks, Kafka, Azure DevOps/GitHub, Terraform

Responsibilities

• Design, Aufbau und Wartung robuster, skalierbarer Data Pipelines zur Unterstützung von Analytik, Reporting und künftigen ML-Anwendungsfällen
• Beitrag zum modernen Cloud-Datenökosystem in Azure und Databricks
• Enge Zusammenarbeit mit Data Analysts und Data Scientists zur gemeinsamen Erstellung von Datenprodukten
• Unterstützung des internen Data Platform-Teams neben dem Data Platform Engineer
• Kontinuierliche Verbesserung von Datenqualität, Dokumentation und Performance
• Vorantreiben von DataOps-Best Practices: CI/CD, Monitoring, Alerting, Tests und Infrastructure as Code

Skills

Data engineering

Analytics engineering

Data modeling

ETL/ELT development

Spark

Python

SQL

Scala

Team collaboration

Tools

Azure Databricks

Azure Cloud Platform

Kafka

Terraform

Azure DevOps

GitHub

Job description

What you'll do

• Design, build, and maintain reliable and scalable data pipelines to support analytics, reporting, and future ML use cases
• Contribute to our modern cloud-based data platform in Azure and Databricks
• Collaborate closely with Data Analysts and Data Scientists to co-create data products
• Support and contribute to our internal data platform alongside our Data Platform Engineer
• Continuously improve data quality, documentation, and performance
• Champion best practices in DataOps: CI/CD, monitoring, alerting, testing, and infrastructure-as-code

Ihr Profil:

What you’ll need

• 7+ years of experience in data engineering, ideally with some hands-on exposure to analytics engineering practices (e.g., data modeling, transformation logic)
• Deep understanding of data pipeline orchestration, distributed processing, and building resilient, testable ETL/ELT systems
• Expertise in Scala or Python with strong SQL skills and experience using Spark in production environments
• Experience with cloud-native architectures
• Familiarity with streaming data frameworks
• Solid grasp of data modeling concepts
• Languages & Frameworks: Scala, Python, SQL, Spark
• Cloud & Infra: Azure Cloud Platform, Databricks, Kafka, Azure DevOps/GitHub, Terraform

What you’ll bring

• Strong collaboration mindset working with cross-functional teams
• High attention to detail with a strong focus on data quality, accuracy and reliability
• Exceptional stakeholder management
• Self-starter with strong organizational skills

We believe in fair and transparent pay. For this position, the annual salary starts at a minimum of €70,000 and depends on your qualifications, experience, and level of responsibility.