Data Engineer (m/f/d)

Rheinmetall; Bremen; Vor Ort; EUR 80.000 - 140.000; Vollzeit

Benefits dieser Stelle

Betriebliche Altersvorsorge

Aktien-/Sparplan

30 Tage Urlaub

Deutschlandticket

Relocation-Unterstützung

Mobiles Arbeiten

Zusammenfassung

Rheinmetall Bremen sucht eine erfahrene Fachperson für Data Engineering, die eine skalierbare Data-Lakehouse-Plattform entwirft, implementiert und betreibt. Dabei arbeiten Sie an großen, heterogenen Datensätzen wie Bild-, Video- und Sensordaten. Sie modellieren Ontologien, sorgen für Traceability und Daten-Governance.

Sie verbinden Architektur-Entscheidungen mit praktischer Umsetzung in verteilten Kubernetes-Umgebungen und arbeiten eng mit AI/ML-Teams, Software- und Cybersecurity-Teams zusammen.

Qualifikationen

• Abschluss in Informatik, Data Engineering, Software Engineering oder vergleichbare Qualifikation.
• Mehrere Jahre praktische Erfahrung im Data Engineering und Aufbau/förderung verteilter Data-Plattformen.
• Sehr gutes Verständnis moderner Data Lake/Lakehouse-Architekturen, Objekt Storage und Trade-offs zwischen Speicherung, Rechenleistung, Datenbewegung, Leistung und Kosten.
• Fundierte Kenntnisse in Metadaten, Data Quality, Schema-Management, Data Lineage, reproduzierbarer Verarbeitung.
• Praktische Kenntnisse von Linux, Containern und Kubernetes.
• Fähigkeit, Architekturentscheidungen in konkrete Implementierungen zu übertragen.
• Teamorientierter Arbeitsstil mit guten Englischkenntnissen.

Aufgaben

• Entwurf, Weiterentwicklung und praktische Umsetzung skalierbarer Data-Lakehouse-Architekturen für große, heterogene Datensätze.
• Entwicklung einer Langzeit-Data-Storage-Strategie unter Berücksichtigung Performance, Skalierbarkeit und Kosten.
• Aufbau robuster Batch- und Streaming-Pipelines für ingestion, Verarbeitung und Lieferung von Daten.
• Ko-Entwurf eines semantischen Datenmodells bzw. Ontologie zur Beschreibung von Objekten, Entitäten und Kontext.
• Sicherstellung von Data Lineage, Data Versioning, Data Quality und Governance im gesamten Lifecycle.
• Entwicklung und Betrieb von Data-Plattformen in großen, verteilten Kubernetes-Infrastrukturen, inkl. IaC und CI/CD/DevSecOps.

Kenntnisse

Datenplattformen

Kubernetes

Spark/Flink/Trino

Datenmodellierung

Datenpipelines

SQL

Python

Datenqualität

Daten-Governance

Linux

Ausbildung

Abschluss in Informatik/Data Engineering oder vergleichbar

Tools

Apache Iceberg/Delta Lake/Hudi

GitOps

Jobbeschreibung

Ref.-Nr.: DE20971Schedule type: Full TimeContract Type: Permanent PositionWHAT WE ARE LOOKING FORDesign, further development, and practical implementation of a scalable data lakehouse and data platform architecture for very large, heterogeneous data setsDeveloping a long-term data and storage strategy that takes into account performance, scalability, data lifecycle, costs, availability, and operational requirementsDesigning suitable storage and access concepts for large volumes of image, video, sensor, geospatial, and other unstructured and semi-structured data, including metadata, partitioning, indexing, compression, and archivingBuilding and operating robust batch and streaming pipelines for the ingestion, processing, transformation, and delivery of data from heterogeneous sourcesCo-design and implementation of a semantic data model or ontology that enables data objects, entities, relationships, and context to be described and linked across systemsCreating a resilient data foundation for machine learning, AI-based applications, and autonomous systems, including traceable data provenance and reproducible training and validation datasetsEnsuring data lineage, data versioning, data quality, schema management, and appropriate governance and access concepts throughout the entire data lifecycleDevelopment and operation of the data platform in large, distributed Kubernetes-based infrastructures, as well as integration into Infrastructure-as-Code and CI/CD/DevSecOps processesAnalyzing and optimizing data layouts, data locality, compute proximity, and data movements for data-intensive applicationsEvaluation of suitable open-source and commercial technologies, as well as implementation ranging from proofs of concept to production-ready, scalable solutionsClose collaboration with AI/ML, software, platform, and cybersecurity teams on architectural decisions, interfaces, data products, and operational implementationWHAT QUALIFICATIONS YOU SHOULD HAVEA degree in computer science, data engineering, software engineering, business informatics, or a comparable practical qualificationSeveral years of hands-on experience in data engineering and in building or further developing distributed data platformsA very good understanding of modern data lake/lakehouse architectures, object storage, and the fundamental trade-offs between storage, compute, data movement, performance, and costsDemonstrable hands-on experience with data pipelines, data modeling, SQL, and at least one relevant programming language, preferably PythonSolid knowledge of metadata, data quality, schema management, data lineage, and reproducible processingPractical understanding of Linux, containers, and Kubernetes, as well as the ability to independently implement, operate, and analyze data components in a distributed platformAbility to link architectural decisions to practical implementation and to systematically investigate problems down to their technical root causesA structured, team-oriented approach to work, as well as strong written and spoken English skillsExperience with very large volumes of image, video, sensor, or geodataKnowledge of ontologies, knowledge graphs, semantic data models, entity resolution, or comparable approachesExperience with technologies for distributed data processing and streaming, e.g., Spark, Flink, Trino, Kafka, or comparable solutionsExperience with open Lakehouse table formats or comparable technologies, such as Apache Iceberg, Delta Lake, or Apache HudiExperience in provisioning and versioning data for machine learning, MLOps, AI, or autonomy workloadsKnowledge of Infrastructure as Code, GitOps, or automated platform and deployment processesExperience with highly available, on-premises, edge, or intermittently disconnected data platformsA solid foundation and practical implementation experience are crucial for this role. Additional specialized knowledge is expressly not a requirement.Stärken und Erfahrungen zählen bei Rheinmetall, auch wenn vielleicht nicht alle aufgeführten Anforderungen vollständig erfüllt sind. Wir freuen uns auf Bewerber (m/w/d), die Lust haben, etwas zu bewegen und Verantwortung zu übernehmen. Wir legen Wert auf Individualität und Chancengleichheit. Schwerbehinderte Bewerber (m/w/d) werden bei gleicher Eignung besonders berücksichtigt.WHAT WE OFFER YOUAt our location in Bremen, we offer you:Company pension schemeShare purchase programme30 days of holidayAccess to corporate benefitsDeutschlandticketRelocation supportMobile workingVIVA family serviceIndividual and diverse internal and external development opportunities, including at the Rheinmetall AcademyProfessional induction process supported by digital onboardingCONTACT INFORMATIONContact Person: Ms Özge DemirkayaFor questions regarding your application, please use the contact form.