Data Engineer (m/w/d) [Kziff.OK8880] - Dortmund/Berlin

L&W CONSOLIDATION GmbH; Berlin; Hybrid; EUR 60.000 - 85.000; Vollzeit

Zusammenfassung

L&W CONSOLIDATION GmbH sucht einen Data Engineer, um robuste Datenpipelines und ETL-Prozesse zu entwickeln und zu warten. Bei uns arbeiten Sie flexibel in einem unterstützenden Team, das Karriereentwicklung und kontinuierliches Lernen fördert. Profitieren Sie von einem hybriden Arbeitsmodell und vielen sozialen Events.

Leistungen

Flexible Arbeitsmodelle

Karriereentwicklung & Onboarding

Social Events

Lunch Benefits

Mobility Support

Qualifikationen

• 3+ Jahre Berufserfahrung als Data Engineer.
• Fundierte Kenntnisse in Databricks, Python und SQL.
• Erfahrung mit Cloud-Plattformen wie Azure, AWS oder GCP.

Aufgaben

• Entwicklung und Wartung robuster Datenpipelines mit Databricks und Spark.
• Aufbau von skalierbaren ETL-Prozessen zur Datenintegration.
• Zusammenarbeit mit Data Scientists zur Erfüllung der Datenbedürfnisse.

Kenntnisse

Python

Databricks

SQL

Apache Spark

Data-Governance

Cloud-Technologien

Tools

Terraform

Power BI

Looker

Jobbeschreibung

Bei uns steht der Mensch im Mittelpunkt – das ist nicht nur ein Versprechen, sondern die Essenz dessen, was wir bei der L&W CONSOLIDATION GmbH tun. Seit 2010 unterstützen wir als mehrfach ausgezeichneter und zertifizierter HR-Dienstleister Unternehmen dabei, die richtigen Talente zu finden, und Kandidaten, ihren nächsten Karriereschritt zu machen.

Wir verstehen, dass hinter jedem Profil eine einzigartige Geschichte steht. Deshalb nehmen wir uns die Zeit, den Menschen hinter den Qualifikationen zu sehen, um eine wirklich passende Verbindung herzustellen. Wir bringen Persönlichkeiten mit Persönlichkeiten zusammen – und schaffen dadurch nachhaltige Partnerschaften, die auf Vertrauen, Verbindlichkeit und einer gemeinsamen Vision basieren.

Aufgaben

1. Design, Entwicklung und Wartung robuster Datenpipelines mit Databricks, Spark und Python
2. Aufbau effizienter und skalierbarer ETL-Prozesse zum Einlesen, Transformieren und Laden von Daten aus verschiedenen Quellen (Datenbanken, APIs, Streaming-Plattformen) in cloudbasierte Data Lakes und Data Warehouses
3. Nutzung des Databricks-Ökosystems (SQL, Delta Lake, Workflows, Unity Catalog) zur Bereitstellung zuverlässiger und performanter Daten-Workflows
4. Integration mit Cloud-Diensten wie Azure, AWS oder GCP zur Ermöglichung sicherer und kosteneffizienter Datenlösungen
5. Mitgestaltung der Datenmodellierung und -architektur zur Gewährleistung von Konsistenz, Zugänglichkeit und langfristiger Wartbarkeit der Datenlandschaft
6. Gewährleistung der Datenqualität durch Validierungsprozesse und Einhaltung von Data-Governance-Richtlinien
7. Zusammenarbeit mit Data Scientists und Analysten, um Datenbedürfnisse zu verstehen und umsetzbare Lösungen zu liefern
8. Kontinuierliche Weiterbildung in den Bereichen Databricks, Data Engineering und Cloud-Technologien zur Optimierung unserer Tools und Prozesse

Anforderungen

• 3+ Jahre Berufserfahrung als Data Engineer mit Databricks und Apache Spark
• Ausgeprägte Programmierkenntnisse mit Python, inklusive Erfahrung in Datenmanipulationsbibliotheken (z.B. PySpark, Spark SQL)
• Erfahrung mit Kernbestandteilen des Databricks-Ökosystems: Databricks Workflows, Unity Catalog und Delta Live Tables
• Solides Wissen über Datenlager-Prinzipien, ETL/ELT-Prozesse, Datenmodellierung und Datenbanksysteme
• Erfahrung mit mindestens einer größeren Cloud-Plattform (Azure, AWS oder GCP)
• Ausgezeichnete SQL Skills für Datenabfragen, Transformationen und Analysen
• Sehr gute Kommunikationsfähigkeiten in Englisch und Deutsch (mindestens B2)
• Fähigkeit, eigenständig sowie im Team in einer agilen Umgebung zu arbeiten
• Kenntnisse über Best Practices in Data-Governance, Datenqualität und Compliance
• Erfahrung mit Multi-Cloud-Umgebungen, DevOps, Infrastructure-as-Code (z.B. Terraform) und CI/CD Pipelines; Interesse oder Erfahrung mit Machine Learning oder AI Technologien; Erfahrung mit Data Visualization Tools wie Power BI oder Looker

Wir bieten

• Flexible Working Models: Beginn wann und wo du möchtest, mit der Option auf hybrides Arbeiten – im Büro oder im Home Office.
• Karriereentwicklung & Onboarding: Strukturiertes Onboarding, Mentoring und individuelle Schulungen, um dich bestmöglich zu unterstützen.
• Company Summit: Austausch mit dem internationalen Team bei unserem jährlichen NETCONOMY Summit in lockerer Atmosphäre.
• Social Events: Netzwerken bei Pizza-Abenden, Wanderungen und Weihnachtsfeiern.
• Snacks & Wohlbefinden: Lunch Benefits und Rabatte in Partnerrestaurants.
• Mobility Support: Unterstützung bei umweltfreundlichen Transportkosten.