(Senior) Databricks Engineer (m/w/d) – Freelance & Remote

Randstad Deutschland; Frankfurt; On-site; EUR 90,000 - 130,000; Full time

Job summary

Randstad Deutschland sucht einen erfahrenen (Senior) Databricks Engineer (m/w/d) zur technischen Verantwortung von Konzeption bis Rollout von Data- & AI-Lösungen auf Basis moderner Lakehouse-Architekturen in Frankfurt.

Sie arbeiten an Plattformarchitektur, Pipeline-Entwicklung, Unity Catalog, Delta Lake und Delta Live Tables; arbeiten eng mit Stakeholdern, Coach interne Data Engineers, PoCs, CI/CD, IaC, Kostenoptimierung.

Qualifications

• Mehrjährige Erfahrung mit Design und Betrieb produktiver Databricks-Lösungen.
• Fundierte Kenntnisse in Python, SQL, PySpark und Spark.
• Erfahrung mit Delta Lake, Lakehouse-Architektur und relationaler Modellierung.
• Rollen-/Zugriffsmanagement und Data Governance mit Unity Catalog.

Responsibilities

• Plattformkonzeption, Architektur und Weiterentwicklung moderner Lakehouse-Datenplattformen.
• ETL/ELT-Pipelines (Batch/Streaming) mit Python, SQL, PySpark entwickeln.
• Databricks-Ökosystem, Delta Lake, Unity Catalog implementieren und integrieren.
• Governance, Data Quality, Lineage, Zugriffskontrollen etablieren.
• CI/CD Deployments, IaC (Terraform) und Performance-Optimierung.

Skills

Databricks

Python

SQL

PySpark

Spark

Delta Lake

Lakehouse

Data Modeling

Data Governance

Cloud (Azure/AWS/GCP)

Terraform / IaC

Git / CI/CD

Deutsch/Englisch Kommunikationsfähig

Tools

Unity Catalog

Delta Live Tables

Lakeflow

Delta Lake

Terraform

Job description

Projektkontext & Zielsetzung

Für strategische Transformationsprojekte und den Ausbau moderner, skalierbarer Datenplattformen suchen wir einen erfahrenen (Senior) Databricks Engineer (m/w/d). In dieser Rolle übernehmen Sie die technische Verantwortung von der Konzeption bis zum produktiven Rollout von Data- & AI-Lösungen auf Basis modernster Lakehouse-Architekturen.

Ihre Aufgaben

• Plattformkonzeption & -architektur: Konzeption, Aufbau und Weiterentwicklung moderner Lakehouse-Architekturen und skalierbarer Datenplattformen auf Databricks.
• Pipeline-Entwicklung: Entwicklung hochperformanter ETL/ELT-Pipelines (Batch und Streaming) unter Einsatz von Python, SQL, PySpark und Apache Spark.
• Databricks-Ökosystem & Tooling: Implementierung moderner Komponenten wie Unity Catalog, Delta Lake sowie Delta Live Tables / Lakeflow; Integration in bestehende Cloud- und Analytics-Landschaften.
• Data Governance & Security: Etablierung robuster Governance-Strukturen, inklusive Datenklassifizierung, Lineage, Datenqualitäts-Frameworks und Zugriffskontrollen.
• Automatisierung & Performance: Aufbau automatisierter Deployments (CI/CD, Infrastructure as Code) sowie kontinuierliche Performance- und Kostenoptimierung bestehender Databricks-Workloads.
• Technische Beratung & Know-how-Transfer: Technische Sparringspartner-Rolle für Stakeholder, Coaching interner Data Engineers sowie Mitwirkung an Proof of Concepts (PoCs).

Must-Have Skills

• Tiefgehende Databricks-Expertise: Mehrjährige Projekterfahrung im Design und Betrieb produktiver Databricks-Lösungen.
• Data Engineering & Programmiersprachen: Exzellente Kenntnisse in Python, SQL sowie fundierte Praxiserfahrung mit PySpark und verteilter Datenverarbeitung (Apache Spark).
• Architektur & Datenmodellierung: Nachweisbare Erfahrung mit Delta Lake, Lakehouse-Paradigmen und relationaler/dimensionaler Datenmodellierung.
• Data Governance & Security: Hands-on-Erfahrung mit Databricks Unity Catalog (Rollen-/Rechtemanagement, Lineage, Data Quality).
• Cloud-Infrastruktur: Solide Projekterfahrung in mindestens einer großen Cloud-Umgebung (Microsoft Azure, AWS oder GCP).
• Software-Engineering-Best-Practices: Versierter Umgang mit Git, CI/CD-Pipelines, Testing und IaC (z. B. Terraform).
• Kommunikation & Arbeitsweise: Selbstständige, strukturierte Arbeitsweise, ausgeprägtes Architekturverständnis sowie fließende Deutsch- und gute Englischkenntnisse.

Nice-to-Have

• Databricks-Zertifizierungen (z. B. Databricks Certified Data Engineer Professional).
• Erfahrung mit Delta Live Tables (DLT) oder Databricks Lakeflow.
• Erfahrung in der technischen Konzeption von PoCs und im Kunden-Coaching.