Palantir Foundry 21 Developer (m/w/d)

SOMI Solutions GmbH; Darmstadt; Vor Ort; EUR 60.000 - 80.000; Vollzeit

Zusammenfassung

Ein führendes Technologieunternehmen in Darmstadt sucht einen erfahrenen Data Engineer, der die Verantwortung für den Aufbau und Betrieb einer modernen Datenplattform übernimmt. Zu den Anforderungen gehören tiefgehendes Know-how in Apache Spark, Programmierkenntnisse in Python, Scala oder Java und Erfahrung mit modernen Datenplattformen. Die Rolle beinhaltet auch das Coaching von Junior Engineers und die Zusammenarbeit mit Data Science-Teams.

Qualifikationen

• Mehrjährige Projekterfahrung als Data Engineer oder in einer vergleichbaren Rolle.
• Tiefgehendes Know-how in Apache Spark mit Produktionserfahrung.
• Fundierte Programmierkenntnisse in Python, Scala oder Java.

Aufgaben

• Verantwortung für den Aufbau und Betrieb einer modernen Datenplattform.
• Entwicklung und Betrieb performanter ETL-/ELT-Pipelines.
• Erstellung und Optimierung großer Datensätze für Analyse- und ML-Zwecke.

Kenntnisse

Apache Spark

Python

Scala

Java

CI/CD

DevOps

Machine Learning Grundlagen

Analytische Fähigkeiten

Tools

Palantir Foundry

Snowflake

Microsoft Fabric

Jobbeschreibung

Deine Rolle im Projekt

In dieser Rolle übernimmst du die Verantwortung für den Aufbau, die Weiterentwicklung und den Betrieb einer modernen Datenplattform. Gemeinsam mit Engineering-, Analytics- und Produktteams konzipierst und realisierst du skalierbare Datenlösungen, die sowohl den operativen Betrieb als auch ML-/AI-Anwendungen unterstützen.

Kernaufgaben

• Architektur & Plattformmodernisierung: Mitgestaltung und Weiterentwicklung der Data-Platform-Architektur, inkl. Evaluierung neuer Technologien und Best Practices.
• Datenpipelines: Entwicklung und Betrieb performanter, skalierbarer ETL-/ELT-Pipelines (Batch & Streaming).
• Datenmodellierung: Modellierung, Optimierung und Aufbereitung großer Datensätze (Terabyte-Bereich) für Analyse- und Machine-Learning-Zwecke.
• Qualität & Governance: Sicherstellung von Datenqualität, Lifecycle-Management, Datenschutz und Compliance.
• Collaboration & Mentoring: Enge Zusammenarbeit mit Data Scientists und Entwicklern, Coaching von Junior Engineers und Förderung einer exzellenten Engineering-Kultur.
• Best Practices: Einführung und Durchsetzung von Standards in den Bereichen Testing, CI/CD, Automatisierung und DevOps.

Anforderungen & Qualifikationen

• Mehrjährige Projekterfahrung als Data Engineer oder in einer vergleichbaren Rolle.
• Tiefgehendes Know-how in Apache Spark (Produktionserfahrung mit Batch & Streaming Workloads).
• Fundierte Programmierkenntnisse in Python, Scala oder Java mit Fokus auf sauberen, wartbaren Code.
• Erfahrung im Umgang mit modernen Datenplattformen wie Palantir Foundry, Databricks, Snowflake oder Microsoft Fabric.
• Gutes Verständnis von ML-/AI-Grundlagen sowie Schnittstellen zu Data-Science-Teams.
• Erfahrung in der Architektur und Weiterentwicklung von verteilten Systemen.
• Praktische Kenntnisse in CI/CD, DevOps Workflows und Automatisierung.
• Starke analytische Fähigkeiten sowie ein ausgeprägtes Qualitätsbewusstsein im Umgang mit Daten.
• Fähigkeit, teamübergreifende Initiativen voranzutreiben, auch ohne formale Führungskompetenz.

Technologien & Tools

• Apache Spark (Batch & Streaming)
• Palantir Foundry21
• Python, Scala, Java
• Snowflake, Microsoft Fabric
• CI/CD, DevOps, ML/AI