Senior Data Engineer Databricks

FRG Technology Consulting; Frankfurt; Vor Ort; EUR 70.000 - 90.000; Vollzeit

Benefits dieser Stelle

Flexible Arbeitsmodelle (Hybrid / Remote)

Attraktives Gehaltspaket

Individuelle Weiterbildungs- und Entwicklungsmöglichkeiten

Zusammenfassung

FRG Technology Consulting sucht einen erfahrenen Senior Data Engineer in Frankfurt. Der Fokus liegt auf der Entwicklung und Optimierung von Data Pipelines in einer modernen Cloud-Umgebung mit Azure Databricks. Ideale Kandidaten haben fundierte Kenntnisse in Python und Cloud-Architekturen sowie gute Deutsch- und Englischkenntnisse.

Zusätzlich bietet das Unternehmen spannende Projekte, Flexibilität in der Arbeitsweise und ein attraktives Gehaltspaket mit individuellen Entwicklungsmöglichkeiten.

Qualifikationen

• Mindestens 5 Jahre Erfahrung im Data Engineering, idealerweise in Cloud-Umgebungen.
• Fundierte Kenntnisse in Azure Databricks sind zwingend nötig.
• Erfahrungen mit modernen Datenarchitekturen, wie z. B. Lakehouse.

Aufgaben

• Entwicklung und Optimierung skalierbarer Data Pipelines in der Cloud.
• Verantwortlich für die Azure Databricks Plattform und deren Weiterentwicklung.
• Design und Implementierung von Data Lakes und Data Warehouses.

Kenntnisse

Erfahrung im Data Engineering

Kenntnisse in Azure Databricks

Programmierkenntnisse in Python

Erfahrung mit Azure DevOps

Know-how in Terraform

Erfahrung mit Kubernetes

Kenntnisse in SQL

Erfahrung mit ETL/ELT-Prozessen

Sehr gute Deutschkenntnisse

Sehr gute Englischkenntnisse

Tools

Azure Blob Storage

Apache Spark

Airflow

Jobbeschreibung

Senior Data Engineer (m/w/d) – Azure Databricks & Platform Architecture

Raum: Frankfurt | Vollzeit | Hybrid / Remote möglich

Unser Kunde ist ein etabliertes Unternehmen im Raum Frankfurt, das datengetriebene Innovationen vorantreibt und moderne Cloud-Technologien in den Mittelpunkt seiner IT-Strategie stellt. Zur Verstärkung des Data-Teams wird ein erfahrener Senior Data Engineer (m/w/d) mit Fokus auf Azure und Databricks gesucht.

Deine Aufgaben:

• Entwicklung, Aufbau und Optimierung skalierbarer Data Pipelines in einer modernen Cloud-Umgebung
• Verantwortung für die Architektur und Weiterentwicklung der Azure Databricks Plattform
• Design und Implementierung von Data Lakes und Data Warehouses
• Integration und Verarbeitung großer Datenmengen (Batch & Streaming)
• Enge Zusammenarbeit mit Data Scientists, Analysts und Fachbereichen
• Automatisierung von Deployments und Infrastrukturprozessen mittels Infrastructure as Code
• Sicherstellung von Datenqualität, Governance und Security
• Mitgestaltung von Best Practices im Bereich Data Engineering und Cloud Architecture

Dein Profil:

• Mehrjährige Erfahrung im Data Engineering, idealerweise in Cloud-Umgebungen
• Fundierte Kenntnisse in Azure Databricks (zwingend erforderlich)
• Sehr gute Programmierkenntnisse in Python
• Erfahrung mit Azure DevOps (CI/CD Pipelines, Repositories)
• Know-how in Terraform und Infrastructure as Code
• Erfahrung mit Kubernetes und containerisierten Anwendungen
• Kenntnisse in Azure Blob Storage, Data Lake Storage und weiteren Azure Services
• Erfahrung mit Apache Spark, Delta Lake und modernen Datenarchitekturen (z. B. Lakehouse)
• Gute Kenntnisse in SQL und Datenmodellierung
• Erfahrung mit ETL/ELT-Prozessen und Workflow-Orchestrierung (z. B. Airflow)
• Verständnis von Microservices-Architekturen und API-Design
• Idealerweise Kenntnisse in Streaming-Technologien (z. B. Kafka, Event Hubs)
• Sehr gute Deutsch- und Englischkenntnisse

Das wird geboten:

• Spannende Projekte mit modernen Technologien im Cloud-Umfeld
• Hoher Gestaltungsspielraum und Verantwortung für Architekturthemen
• Flexible Arbeitsmodelle (Hybrid / Remote)
• Attraktives Gehaltspaket und Benefits
• Individuelle Weiterbildungs- und Entwicklungsmöglichkeiten

Interesse geweckt? Dann freuen wir uns auf deine Bewerbung oder einen ersten Austausch!