Senior Databricks Engineer / Architect (m/w/d)

Woodmark Consulting AG; Neukeferloh; Vor Ort; EUR 90.000 - 130.000; Vollzeit

Zusammenfassung

Woodmark Consulting GmbH sucht einen erfahrenen Senior Data Engineer mit Schwerpunkt Databricks. Sie arbeiten hands-on an einer produktiven Enterprise-Datenplattform auf Azure Databricks und entwickeln diese gemeinsam mit Kundenteam weiter.

Sie konzipieren und implementieren Datenpipelines, Spark-Engines und Datenprodukte, gestalten Lakehouse-Architekturen mit Delta Lake und Unity Catalog, übernehmen Verantwortung von der technischen Konzeption bis zum operativen Betrieb.

Qualifikationen

• Mehrjährige praktische Erfahrung mit Azure Databricks in produktiven Umgebungen.
• Erfahrung mit großen, professionell betriebenen Datenplattformen.
• Technische Tiefe in Bereichen wie Databricks, Spark, SQL, Delta Lake.
• Hands-on-Mentalität und Architekturkompetenz.
• Deutsch- und Englischkenntnisse mindestens C1.

Aufgaben

• Mit Azure Databricks eine produktive Enterprise-Datenplattform betreuen und weiterentwickeln.
• Datenpipelines, Datenprodukte und zentrale Komponenten optimieren.
• Moderne Data-Lakehouse-Architekturen entwerfen, Delta Lake und Unity Catalog einsetzen.
• Verantwortung für Plattformkomponenten vom Konzept bis Betrieb übernehmen.
• CI/CD Prozesse und Infrastructure as Code implementieren, ideal Terraform.
• Enge Zusammenarbeit mit Engineers, Architekten und Fachbereichen.

Kenntnisse

Databricks-Erfahrung

Enterprise-Erfahrung

Datenpipeline-Entwicklung

CI/CD-Prozesse

Infrastructure as Code

Architektur-Entscheidungen

Deutschkenntnisse

Englischkenntnisse

Tools

Azure Databricks

Apache Spark

PySpark

SQL

Delta Lake

Unity Catalog

Databricks Workflows

Terraform

CI/CD

Data Lakehouse

Jobbeschreibung

Job-ID

We make the world better with data

Die Woodmark Consulting GmbH gehört zu den führenden deutschen IT-Beratungsunternehmen für AI, Data & Analytics. Wir begeistern Menschen durch unsere Leidenschaft für Daten & Innovation. Das Leben unserer Werte Respekt, Offenheit, Vertrauen und Fürsorge sorgt für eine ausgezeichnete Unternehmenskultur und ist die Basis unseres Erfolgs.

Nutze auch du deine Leidenschaft für Daten & Innovation und erschließe mit uns deren Potential. So schaffen wir gemeinsam einen Mehrwert für Kunden, Gesellschaft und Umwelt.

Was dich bei uns erwartet

Deine bunte Aufgabenpalette

Databricks ist dein Zuhause: Du arbeitest hands-on an einer produktiven Enterprise-Datenplattform auf Basis von Azure Databricks und entwickelst diese gemeinsam mit dem Kundenteam kontinuierlich weiter.

Engineeringstatt PowerPoint: Du konzipierst nicht nur, sondern setzt um. MitApache Spark, PySpark und SQL entwickelst und optimierst du Datenpipelines, Datenprodukte und zentrale Komponenten der Datenplattform.

Lakehouse weiterdenken: Du gestaltest moderne Data-Lakehouse-Architekturen und setzt dabei unter anderem auf Delta Lake, Unity Catalog und Databricks Workflows.

Verantwortung übernehmen: Du übernimmst eigenständig Verantwortung für Plattformkomponenten und Datenprodukte, von der technischen Konzeption über die Implementierung bis hin zum stabilen produktiven Betrieb.

DevOpswird durchgehend gelebt: Automatisierung, reproduzierbare Deployments und saubere Entwicklungsprozesse gehören für dich zum Engineering dazu. Du arbeitest mit CI/CD-Prozessen und Infrastructure as Code, idealerweise mit Terraform.

Teil desTeamssein: Du integrierst dich langfristig in ein bestehendes Enterprise-Team und arbeitest eng mit Engineers, Architekt und Fachbereichen zusammen. Dabei bringst du deine technische Erfahrung aktiv ein und unterstützt das Team bei anspruchsvollen Fragestellungen rund um Databricks und die Datenplattform.

Was du für deinen Start bei uns brauchst

Das hast du auf Lager

Databricks-Erfahrung: Du verfügst über mehrere Jahre praktische Erfahrung mit Azure Databricks und hast Databricks bereits in produktiven Umgebungen eingesetzt.

Enterprise-Erfahrung: Du kennst die Anforderungen großer, professionell betriebener Datenplattformen und hast Erfahrung beim Aufbau, der Weiterentwicklung oder dem Betrieb von Enterprise-Datenplattformen.

Technische Tiefeist selbstverständlich: Du verfügst über fundierte Kenntnisse in mehreren der folgenden Bereiche:

• Azure Databricks
• Apache Spark und PySpark
• SQL
• Delta Lake
• Unity Catalog
• Databricks Workflows
• Data Lakehouse Architekturen
• Data Engineering und Data Platform Engineering
• CI/CD und automatisierte Deployment-Prozesse
• Infrastructure as Code, idealerweise Terraform

Hands-on Mentalität: Du fühlst dich im Code und in der technischen Umsetzung zu Hause. Architektur bedeutet für dich nicht nur Konzeption, sondern auch die Fähigkeit, Entscheidungen praktisch umzusetzen und ihre Auswirkungen im produktiven Betrieb zu verstehen.

Ownership: Du arbeitest eigenständig, erkennst technische Herausforderungen frühzeitig und übernimmst Verantwortung für deine Themen, von einzelnen Datenprodukten bis hin zu zentralen Plattformkomponenten.

Seniorität: Du bringst die Erfahrung eines Senior Engineers oder Architects mit und kannst technische Entscheidungen fundiert treffen, vermitteln und gemeinsam mit anderen Engineers umsetzen.

Sehr gute Deutsch- und Englischkenntnisse (C1): Du kannst dich in beiden Sprachen sicher in Projektsituationen bewegen und technische Themen verständlich vermitteln.