Senior Dateningenieur

Data Insight Consulting GmbH; Deutschland; On-site; EUR 90,000 - 120,000; Full time

Job summary

Data Insight Consulting GmbH in Hamburg sucht eine erfahrene Fachkraft für Data Engineering, die Architekturentscheidungen trifft und produktive Datenpipelines gestaltet. Sie arbeiten eng mit Kunden zusammen und setzen moderne Lakehouse-Lösungen auf Databricks und Azure um.

Sie bringen mehrjährige Praxis in Data Engineering mit, beherrschen Python/PySpark, SQL und Delta Lake, sowie Git/CI/CD. Ein hohes Maß an Kundennähe und Deutschkenntnisse runden das Profil ab.

Qualifications

• Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
• Fundierte Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
• Sehr gute Kenntnisse in Python/PySpark und SQL.
• Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
• Sicherer Umgang mit Git, CI/CD und automatisierten Tests.
• Fähigkeit, Fehler systematisch zu analysieren und Kosten zu optimieren.
• Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
• Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.

Responsibilities

• Datenplattformen entwickeln: Konzeption und Implementierung von Lakehouse-Lösungen auf Databricks und Azure bis zur Bereitstellung für Analytics und KI.
• Pipelines produktionsreif machen: Entwicklung mit Python, PySpark und SQL, Tests, Monitoring und automatisierte Deployments etablieren.
• Architektur gestalten: Treffe Entscheidungen zu Datenmodellen, Verarbeitung und Schnittstellen unter Berücksichtigung von Wartbarkeit, Performance und Kosten.
• Datenqualität und Governance verankern: Qualitätsprüfungen, Berechtigungskonzepte und nachvollziehbare Datenverwaltung (z. B. Unity Catalog) umsetzen.
• Kunden beraten: Anforderungen in Arbeitspakete übersetzen, technische Optionen erklären und Aufwand/Risiken transparent machen.
• Wissen weitergeben: Reviews und fachlichen Austausch fördern und Kundenteams befähigen, Lösungen weiterzuentwickeln.

Skills

Databricks

Azure

Python

PySpark

SQL

Datenmodellierung

Git

CI/CD

Kundenberatung

Kostenoptimierung

Tools

Databricks

Terraform

MLflow

Delta Lake

Job description

Du möchtest Architekturentscheidungen mitgestalten, selbst entwickeln und erleben, wie deine Arbeit beim Kunden Wirkung zeigt? Bei Data Insight Consulting begleitest du Unternehmen von der technischen Konzeption bis zu produktiven Datenpipelines und verlässlichen Analysen.

Wir sind eine spezialisierte Beratung für Databricks und Microsoft Azure mit Sitz in Hamburg. Für Unternehmen im DACH-Raum verbinden wir Data Engineering, moderne Datenarchitektur, Business Intelligence und KI. Zur Verstärkung suchen wir eine erfahrene Persönlichkeit, die technische Verantwortung übernimmt und Kunden verständlich berät.

Deine Aufgaben

• Datenplattformen entwickeln: Du konzipierst und implementierst Lakehouse-Lösungen auf Databricks und Azure – von der Anbindung der Datenquellen bis zur Bereitstellung für Analytics und KI.
• Pipelines produktionsreif machen: Du entwickelst mit Python, PySpark und SQL, verbesserst bestehende Lösungen und etablierst Tests, Monitoring und automatisierte Deployments.
• Architektur gestalten: Du triffst nachvollziehbare Entscheidungen zu Datenmodellen, Verarbeitung und Schnittstellen. Dabei berücksichtigst du Wartbarkeit, Performance und Kosten.
• Datenqualität und Governance verankern: Du setzt Qualitätsprüfungen, Berechtigungskonzepte und eine nachvollziehbare Datenverwaltung um, beispielsweise mit Unity Catalog.
• Kunden beraten: Du übersetzt fachliche Anforderungen in umsetzbare Arbeitspakete, erklärst technische Optionen und machst Aufwand und Risiken transparent.
• Wissen weitergeben: Du unterstützt Kolleginnen und Kollegen durch Reviews und fachlichen Austausch und befähigst Kundenteams, Lösungen weiterzuentwickeln.

Das bringst du mit

• Mehrjährige praktische Erfahrung im Data Engineering und Verantwortung für produktive Datenlösungen.
• Fundierte Projekterfahrung mit Databricks und Microsoft Azure, insbesondere beim Aufbau oder der Weiterentwicklung von Datenplattformen.
• Sehr gute Kenntnisse in Python/PySpark und SQL.
• Erfahrung mit Lakehouse-Architekturen, Delta Lake und Datenmodellierung.
• Einen sicheren Umgang mit Git, CI/CD und automatisierten Tests.
• Die Fähigkeit, Fehler systematisch zu analysieren und Lösungen hinsichtlich Zuverlässigkeit, Laufzeit und Kosten zu verbessern.
• Erfahrung im direkten Austausch mit Kunden oder Fachbereichen.
• Sehr gute Deutschkenntnisse für die Kundenberatung sowie gute Englischkenntnisse.

Damit ergänzt du unser Team besonders gut

Du musst nicht alles mitbringen. Interessant sind außerdem Erfahrungen mit:

• Data Vault 2.0 und der Migration bestehender Data-Warehouse-Lösungen.
• Power BI, semantischen Datenmodellen und Self-Service Analytics.
• Terraform und Infrastructure as Code.
• MLflow, RAG oder der Integration von KI-Anwendungen in Unternehmensdatenplattformen.
• Databricks- oder Azure-Zertifizierungen.

Was dich bei uns erwartet

• Ein klarer fachlicher Schwerpunkt auf Databricks, Azure und modernen Datenplattformen.
• Kundenprojekte, die Architektur, praktische Umsetzung und fachlichen Nutzen verbinden.
• Die Möglichkeit, technische Standards und wiederverwendbare Lösungen mitzugestalten.
• Direkter Austausch mit Kunden und Verantwortung für nachvollziehbare Ergebnisse.
• Raum, deine Erfahrung einzubringen und unser Beratungsangebot fachlich weiterzuentwickeln.
  

Data Insight Consulting GmbH · Hamburg

www.data-insight-consulting.com

Wir freuen uns über Bewerbungen unabhängig von Geschlecht, Herkunft, Alter, Behinderung, Religion oder sexueller Identität.