Technical Expert Databricks (m/w/x)

TN Germany; Karlsruhe; Vor Ort; EUR 70.000 - 90.000; Vollzeit

Zusammenfassung

A leading company in Karlsruhe is seeking a Technical Expert in Azure Databricks to enhance their Data Management and Analytics platforms. The role involves designing and maintaining scalable cloud infrastructures, automating processes, and ensuring secure communication between resources. Candidates should have extensive experience in Azure Databricks, Terraform, and CI/CD practices. Strong analytical skills and the ability to work independently in a team-oriented environment are essential.

Qualifikationen

• Min. 5 Jahre IT-Projekterfahrung.
• Erfahrung in der Terraform-Entwicklung und Azure DevOps.

Aufgaben

• Technische Konzeption und Weiterentwicklung der Data Management Plattform.
• Automatisierung und Verwaltung von Azure Databricks-Infrastrukturen.
• Umsetzung von Best Practices für CI/CD Pipelines.

Kenntnisse

Azure Databricks

Terraform

Python

SQL

CI/CD

Data Management

Analytics

Communication

Ausbildung

Bachelor in Informatik

Tools

Azure DevOps

PowerBI

Jobbeschreibung

Karlsruhe, Germany

Land: Deutschland (DE)

Funktionsbereich: IT Services

Organisationseinheit: Data & Analytics Services

Vollzeit / Teilzeit: 100%

Deine Perspektiven und Möglichkeiten in der LBBW-IT sind vielfältig und umfassen alle Bereiche einer modern aufgestellten IT. In der Gruppe Data & Analytics Services verantworten wir die Entwicklung und den Betrieb unserer Plattformen und Services rund um die Themen Data, Data Management, Analytics/KI und Generative KI. Unsere Mission ist es, den wertschöpfenden Einsatz von Daten in der LBBW zu ermöglichen. Hierfür bauen wir die Plattformen und Services der Zukunft.

Aufgaben:

1. Als Technical Expert Databricks verantwortest Du die technische Konzeption, Bereitstellung und Weiterentwicklung unserer Data Management & Analytics Plattform auf Basis Azure Databricks.
2. Du automatisierst und verwaltest Azure Databricks-Infrastrukturen unter Einsatz von Terraform und verantwortest die technische Bereitstellung der Azure Databricks Plattform mit Fokus auf Skalierbarkeit, Sicherheit, Stabilität und Wartbarkeit.
3. Du verantwortest den Aufbau und die Wartung der benötigten Netzwerke, um eine stabile und sichere Kommunikation zwischen Cloud-Ressourcen sowie zwischen Cloud und On-Premise sicherzustellen.
4. Du kümmerst Dich um die Umsetzung von Best Practices für CI/CD Pipelines in MS DevOps.
5. Du erstellst Konzepte zur Erweiterung der Data Management & Analytics Plattform um Schnittstellen, technische Komponenten und Features (z.B. Anbindung 3rd Party Analytics Werkzeuge wie PowerBI) und setzt diese im Team um.

Persönlichkeit:

1. Du hast ein abgeschlossenes Studium der Informatik, (Wirtschafts-)Informatik, Medieninformatik oder einer verwandten Fachrichtung.
2. Du bist Experte auf Deinem Gebiet mit mehrjähriger praktischer Erfahrung in Azure Databricks und verfügst über umfangreiches technisches und fachliches Wissen.
3. Du hast sehr gute konzeptionelle und architektonische Fähigkeiten sowie Erfahrung in der Implementierung von Data Lakehouse- und Medallion-Architekturen sowie Delta Lake.
4. Du verfügst über mehrjährige Erfahrung in der Terraform-Entwicklung und in der Arbeit mit Azure DevOps.
5. Du kennst Dich im Umgang mit Unity Catalog sowie dem Berechtigungsmanagement via Microsoft Entra ID aus.
6. Du programmierst mit Python, Spark/PySpark sowie SQL und hast Expertise im verteilten Rechnen mit Databricks.
7. Idealerweise hast Du erste Erfahrungen in der technischen Anbindung von 3rd Party Analytics Werkzeugen an Azure Databricks, z.B. PowerBI.
8. Du hast mindestens 5 Jahre IT-Projekterfahrung und eine hohe Umsetzungskompetenz.
9. Bei sehr hohem Arbeitsaufkommen behältst Du den Überblick, gehst strukturiert vor und hältst Termine verbindlich ein.
10. Du verfügst über hervorragende analytische und konzeptionelle Fähigkeiten.
11. Du arbeitest eigenverantwortlich, lösungs- und zielorientiert.
12. Du bist kommunikationsstark, belastbar und hast ein hohes Maß an Durchsetzungsvermögen.
13. Du bist ein Teamplayer, magst es, gemeinsam Dinge zu bewegen, und hast einen guten Sinn für Humor.