Technical Expert Databricks (m/w/x)

TN Germany; Pforzheim; Vor Ort; EUR 70.000 - 90.000; Vollzeit

Zusammenfassung

A leading company in the IT sector is seeking a Technical Expert in Databricks to enhance their Data Management & Analytics platform. The role involves automating Azure Databricks infrastructures and ensuring secure communication between cloud resources. Ideal candidates will have extensive experience in Azure Databricks, Terraform, and programming with Python and SQL. Join a dynamic team focused on innovative data solutions.

Qualifikationen

• 5+ years of IT project experience required.
• Experience in implementing Data Lakehouse architectures.

Aufgaben

• Responsible for technical conception and development of Data Management & Analytics platform.
• Automate and manage Azure Databricks infrastructures using Terraform.

Kenntnisse

Azure Databricks

Terraform

Python

SQL

Spark/PySpark

Analytical Skills

Communication

Ausbildung

Degree in Computer Science

Tools

Azure DevOps

Unity Catalog

Microsoft Entra ID

Jobbeschreibung

Land: Deutschland (DE)

Funktionsbereich: IT Services

Organisationseinheit: Data & Analytics Services

Vollzeit / Teilzeit: 100%

Deine Perspektiven und Möglichkeiten in der LBBW-IT sind vielfältig und umfassen alle Bereiche einer modern aufgestellten IT. In der Gruppe Data & Analytics Services verantworten wir die Entwicklung und den Betrieb unserer Plattformen und Services rund um die Themen Data, Data Management, Analytics/KI und Generative KI. Unsere Mission ist es, den wertschöpfenden Einsatz von Daten in der LBBW zu ermöglichen. Hierfür bauen wir die Plattformen und Services der Zukunft auf.

Aufgaben:

1. Als Technical Expert Databricks verantwortest Du die technische Konzeption, Bereitstellung und Weiterentwicklung unserer Data Management & Analytics Plattform auf Basis Azure Databricks.
2. Du automatisierst und verwaltest Azure Databricks-Infrastrukturen unter Einsatz von Terraform und verantwortest die technische Bereitstellung der Azure Databricks Plattform mit Fokus auf Skalierbarkeit, Sicherheit, Stabilität und Wartbarkeit.
3. Du verantwortest den Aufbau und die Wartung der benötigten Netzwerke, um eine stabile und sichere Kommunikation zwischen Cloud-Ressourcen sowie zwischen Cloud und On-Premise sicherzustellen.
4. Du kümmerst Dich um die Umsetzung von Best Practices für CI/CD Pipelines in MS DevOps.
5. Du erstellst Konzepte zur Erweiterung der Data Management & Analytics Plattform um Schnittstellen, technische Komponenten und Features (z.B. Anbindung 3rd Party Analytics Werkzeuge wie PowerBI) und setzt diese gemeinsam im Team um.

Persönlichkeit:

• Du hast ein abgeschlossenes Studium der Informatik, (Wirtschafts-)Informatik, Medieninformatik oder einer verwandten Fachrichtung.
• Du bist Experte auf Deinem Gebiet, hast mehrjährige praktische Erfahrung in Azure Databricks und verfügst über umfangreiches technisches und fachliches Wissen.
• Du hast sehr gute konzeptionelle und architektonische Fähigkeiten sowie Erfahrung in der Implementierung von Data Lakehouse- und Medallion-Architekturen sowie Delta Lake.
• Du verfügst über mehrjährige Erfahrung in der Terraform-Entwicklung und in der Arbeit mit Azure DevOps.
• Du kennst Dich mit Unity Catalog sowie dem Berechtigungsmanagement via Microsoft Entra ID aus.
• Du programmierst mit Python, Spark/PySpark sowie SQL und hast Expertise im verteilten Rechnen mit Databricks.
• Idealerweise hast Du erste Erfahrungen in der technischen Anbindung von 3rd Party Analytics Werkzeugen an Azure Databricks (z.B. PowerBI).
• Du hast mindestens 5 Jahre IT-Projekterfahrung und eine hohe Umsetzungskompetenz.
• Du behältst bei hohem Arbeitsaufkommen den Überblick, gehst strukturiert vor und hältst Termine verbindlich ein.
• Du verfügst über hervorragende analytische und konzeptionelle Fähigkeiten.
• Du arbeitest eigenverantwortlich, lösungs- und zielorientiert.
• Du bist kommunikationsstark, belastbar und hast ein hohes Maß an Durchsetzungsvermögen.
• Du bist ein Teamplayer, magst es, gemeinsam Dinge zu bewegen, und hast einen "guten Sinn für Humor".