Technical Expert Databricks (m/w/d)

Staatliche Hochschule für Musik und Darstellende Kunst Mannheim; Stuttgart; Vor Ort; EUR 70.000 - 90.000; Vollzeit

Zusammenfassung

A leading company in the financial sector is seeking a Technical Expert in Data Management. You will be responsible for the design and implementation of a scalable Azure Databricks platform, ensuring secure communication between cloud resources. The role demands strong analytical skills, extensive experience in Azure Databricks, and a collaborative spirit. Join a dynamic team to shape the future of data analytics in the organization.

Qualifikationen

• 5+ years IT project experience required.
• Expertise in Azure Databricks and Terraform development.

Aufgaben

• Technical design and development of Data Management & Analytics platform.
• Automate and manage Azure Databricks infrastructures using Terraform.
• Implement CI/CD pipelines in MS DevOps.

Kenntnisse

Azure Databricks

Terraform

Python

SQL

Spark / PySpark

CI/CD

Data Lakehouse

Analytical Skills

Teamwork

Ausbildung

Bachelor in Informatik

Tools

Azure DevOps

PowerBI

Jobbeschreibung

Organisationseinheit: Data & Analytics Services

Vollzeit / Teilzeit: 100%

Deine Perspektiven und Möglichkeiten in der LBBW-IT sind vielfältig und umfassen alle Bereiche einer modern aufgestellten IT. In der Gruppe Data & Analytics Services verantworten wir die Entwicklung und den Betrieb unserer Plattformen und Services rund um die Themen Data, Data Management, Analytics / KI und Generative KI. Unsere Mission ist es, den wertschöpfenden Einsatz von Daten in der LBBW zu ermöglichen. Hierfür bauen wir die Plattformen und Services der Zukunft.

Aufgaben:

1. Als Technical Expert Databricks verantwortest du die technische Konzeption, Bereitstellung und Weiterentwicklung unserer Data Management & Analytics Plattform auf Basis Azure Databricks.
2. Du automatisierst und verwaltest Azure Databricks-Infrastrukturen unter Einsatz von Terraform und verantwortest die technische Bereitstellung der Azure Databricks Plattform mit Fokus auf Skalierbarkeit, Sicherheit, Stabilität und Wartbarkeit.
3. Du verantwortest den Aufbau und die Wartung der benötigten Netzwerke, um eine stabile und sichere Kommunikation zwischen Cloud-Ressourcen sowie zwischen Cloud und On-Premise sicherzustellen.
4. Du kümmerst dich um die Umsetzung von Best Practices für CI / CD Pipelines in MS DevOps.
5. Du erstellst Konzepte zur Erweiterung der Data Management & Analytics Plattform um Schnittstellen, technische Komponenten und Features (z.B. Anbindung 3rd Party Analytics Werkzeuge wie PowerBI) und setzt diese gemeinsam im Team um.

Persönlichkeit:

1. Du hast ein abgeschlossenes Studium der Informatik, (Wirtschafts-)Informatik / Medieninformatik oder einer verwandten Fachrichtung.
2. Du bist Experte auf deinem Gebiet, hast mehrjährige praktische Erfahrung in Azure Databricks und verfügst über umfangreiches technisches und fachliches Wissen.
3. Du hast sehr gute konzeptionelle und architektonische Fähigkeiten sowie Erfahrung in der Implementierung von Data Lakehouse- und Medallion-Architekturen sowie Delta Lake.
4. Du verfügst über mehrjährige Erfahrung in der Terraform-Entwicklung und in der Arbeit mit Azure DevOps.
5. Du kennst dich mit Unity Catalog sowie dem Berechtigungsmanagement via Microsoft Entra ID aus.
6. Du programmierst mit Python, Spark / PySpark sowie SQL und hast Expertise im verteilten Rechnen mit Databricks.
7. Idealerweise hast du erste Erfahrungen in der technischen Anbindung von 3rd Party Analytics Werkzeugen an Azure Databricks (z.B. PowerBI).
8. Du hast mindestens 5 Jahre IT-Projekterfahrung und eine hohe Umsetzungskompetenz.
9. Du behältst bei hohem Arbeitsaufkommen den Überblick, gehst strukturiert vor und hältst Termine verbindlich ein.
10. Du besitzt hervorragende analytische und konzeptionelle Fähigkeiten.
11. Du arbeitest eigenverantwortlich, lösungs- und zielorientiert.
12. Du bist kommunikationsstark, belastbar und verfügst über ein hohes Maß an Durchsetzungsvermögen.
13. Du bist ein Teamplayer, magst es, gemeinsam Dinge zu bewegen, und hast einen guten Sinn für Humor.