Senior Data Engineer / Consultant - Databricks & Azure (m/w/d)

Data Insight Consulting GmbH; Hamburg; Vor Ort; EUR 90.000 - 120.000; Vollzeit

Zusammenfassung

Data Insight Consulting GmbH in Hamburg gestaltet Architekturentscheidungen und setzt datengetriebene Lösungen beim Kunden von der Konzeption bis zur Produktion um. Du entwickelst Lakehouse-Lösungen auf Databricks und Azure, implementierst Pipelines mit Python/PySpark und etablierst Tests, Monitoring sowie automatisierte Deployments.

Zudem berätst du Kunden verständlich, verantwortest Governance und Datenqualität und treibst Kostenoptimierung voran.

Qualifikationen

• Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
• Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
• Sehr gute Kenntnisse in Python/PySpark und SQL.
• Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
• Sicherer Umgang mit Git, CI/CD und automatisierten Tests.
• Die Fähigkeit, Fehler systematisch zu analysieren und Lösungen hinsichtlich Zuverlässigkeit, Laufzeit und Kosten zu verbessern.
• Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
• Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.

Aufgaben

• Datenplattformen entwickeln und implementieren.
• Pipelines produktionsreif machen mit Python, PySpark und SQL.
• Architektur gestalten: Datenmodelle, Verarbeitung und Schnittstellen optimieren.
• Datenqualität und Governance verankern, z. B. Unity Catalog.
• Kunden beraten: fachliche Anforderungen in Arbeitspakete übersetzen.
• Wissen weitergeben und Kolleginnen/ Kollegen unterstützen.

Kenntnisse

Data Engineering

Azure Databricks

Python

SQL

Git & CI/CD

Kundenberatung

Tools

Databricks

Azure

Delta Lake

Terraform

MLflow

Jobbeschreibung

Du möchtest Architekturentscheidungen mitgestalten, selbst entwickeln und erleben, wie deine Arbeit beim Kunden Wirkung zeigt? Bei Data Insight Consulting begleitest du Unternehmen von der technischen Konzeption bis zu produktiven Datenpipelines und verlässlichen Analysen.

Wir sind eine spezialisierte Beratung für Databricks und Microsoft Azure mit Sitz in Hamburg. Für Unternehmen im DACH-Raum verbinden wir Data Engineering, moderne Datenarchitektur, Business Intelligence und KI. Zur Verstärkung suchen wir eine erfahrene Persönlichkeit, die technische Verantwortung übernimmt und Kunden verständlich berät.

Deine Aufgaben

• Datenplattformen entwickeln: Du konzipierst und implementierst Lakehouse-Lösungen auf Databricks und Azure - von der Anbindung der Datenquellen bis zur Bereitstellung für Analytics und KI.
• Pipelines produktionsreif machen: Du entwickelst mit Python, PySpark und SQL, verbesserst bestehende Lösungen und etablierst Tests, Monitoring und automatisierte Deployments.
• Architektur gestalten: Du triffst nachvollziehbare Entscheidungen zu Datenmodellen, Verarbeitung und Schnittstellen. Dabei berücksichtigst du Wartbarkeit, Performance und Kosten.
• Datenqualität und Governance verankern: Du setzt Qualitätsprüfungen, Berechtigungskonzepte und eine nachvollziehbare Datenverwaltung um, beispielsweise mit Unity Catalog.
• Kunden beraten: Du übersetzt fachliche Anforderungen in umsetzbare Arbeitspakete, erklärst technische Optionen und machst Aufwand und Risiken transparent.
• Wissen weitergeben: Du unterstützt Kolleginnen und Kollegen durch Reviews und fachlichen Austausch und befähigst Kundenteams, Lösungen weiterzuentwickeln.

Das bringst du mit

• Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
• Fundierte Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
• Sehr gute Kenntnisse in Python/PySpark und SQL.
• Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
• Einen sicheren Umgang mit Git, CI/CD und automatisierten Tests.
• Die Fähigkeit, Fehler systematisch zu analysieren und Lösungen hinsichtlich Zuverlässigkeit, Laufzeit und Kosten zu verbessern.
• Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
• Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.

Für uns zeigt sich Seniorität darin, dass du Entscheidungen begründen, Verantwortung übernehmen und andere fachlich weiterbringen kannst.

Damit ergänzt du unser Team besonders gut

• Data Vault 2.0 und der Migration bestehender Data-Warehouse-Lösungen.
• Power BI, semantischen Datenmodellen und Self-Service Analytics.
• Terraform und Infrastructure as Code.
• MLflow, RAG oder der Integration von KI-Anwendungen in Unternehmensdatenplattformen.
• Databricks- oder Azure-Zertifizierungen.

Was dich bei uns erwartet

• Ein klarer fachlicher Schwerpunkt auf Databricks, Azure und modernen Datenplattformen.
• Kundenprojekte, die Architektur, praktische Umsetzung und fachlichen Nutzen verbinden.
• Die Möglichkeit, technische Standards und wiederverwendbare Lösungen mitzugestalten.
• Direkter Austausch mit Kunden und Verantwortung für nachvollziehbare Ergebnisse.
• Raum, deine Erfahrung einzubringen und unser Beratungsangebot fachlich weiterzuentwickeln.

Wir freuen uns über Bewerbungen unabhängig von Geschlecht, Herkunft, Alter, Behinderung, Religion oder sexueller Identität.