Data Engineer - BI Plattform (m/w/d)

Bundesdruckerei Gruppe GmbH; Berlin; Vor Ort; EUR 55.000 - 75.000; Vollzeit

Zusammenfassung

Ein führendes IT-Unternehmen in Berlin sucht einen Data Engineer für die Entwicklung und Optimierung spezifischer Datenarchitekturen sowie ETL-Prozesse. Gesucht wird jemand mit umfangreichen Kenntnissen in Python und SQL sowie Erfahrung in agilen Projekten. Ein spannendes Arbeitsumfeld erwartet Sie, in dem Sie Ihr Know-how in modernen Technologien wie Docker und Kubernetes einsetzen können.

Qualifikationen

• Umfassende Kenntnisse in Python und SQL-Entwicklung.
• Erfahrungen in der Konzeption und Implementierung agiler Projekte.
• Fachwissen in der Datenmodellierung und -architektur.

Aufgaben

• Verantwortung für den Entwurf spezifischer Datenarchitekturen.
• Entwicklung und Monitoring von ETL/ELT-Prozessen.
• Sicherstellung der Software- und Datenqualität.

Kenntnisse

Python

SQL

ETL-Tools

Docker

Kubernetes

Data Governance

Ausbildung

Abgeschlossene Ausbildung im IT-Bereich

Tools

Airflow

Argo Workflows

DBT

Linux

Bash

Delta Lake

Kafka

Jobbeschreibung

Zum nächstmöglichen Zeitpunkt suchen wir Sie als Data Engineer - BI Plattform (m/w/d) für den Standort Berlin.

Ihr Aufgabenbereich

• Verantwortung für den Entwurf und die (Weiter-)Entwicklung von anwendungsfallspezifischen Datenarchitekturen und Datenmodellen sowiefür die Entwicklung und Optimierung von SQL-Abfragen und Prozeduren innerhalb Applikationen wie DBT
• Entwurf, Entwicklung, Test und Monitoring von Prozessen zur Extraktion, Transformation und Laden von Daten aus Quellsystemen in ein Data Warehouse oder Data Lake (ETL/ELT-Pipelines) sowieEntwicklung, Orchestration und Monitoring von Workflows mittels Technologien wie (Airflow / ArgoWorkflows / DAGs)
• Gestaltung automatisierter Qualitätsprozesse zur Sicherstellung der Software- und Datenqualität sowie der Datenverfügbarkeit zur Einhaltung von Service Level Agreements
• Anleitung und Weiterentwicklung der technischen Fähigkeiten, sowie Wissensweitergabe im Business Intelligence Team
• Aufbau und Betrieb moderner, skalierbarer Datenarchitekturen mit Container-Technologien (Docker, Kubernetes)

Ihr Profil

• Abgeschlossene Ausbildung im IT-Bereich (z.B. Fachinformatiker für Systemintegration, Datenbankentwicklung) oder eine vergleichbare Qualifikation
• Umfassende Kenntnisse in der Python- und SQL-Entwicklung sowie in Software-Entwicklungsstandards, Best Practices und Testing (Unit Tests, Test Frameworks, Mocking)
• Mehrjährige Erfahrung in der Konzeption und Implementierung von (agilen) Projekten und Produkten im Kontext Data Engineering
• Fachwissen in einem oder mehreren ETL-Tools (z.B. Airflow, Argo Workflows), in der Datenmodellierung/-architektur (3NF, Kimball, Inmon, Data Vault 2.0, Lambda-/Kappa-Architekturen) sowie in Schnittstellen/APIs (Rest, Soap)
• Know-how im Bereich analytische Datenbanken, Containerisierung, Kubernetes, Linux und Bash
• Sichere Kenntnisse in der Aufsetzung und Optimierung von Enterprise-Data-Warehouse-/Data-Lake-Strukturen sowie dem Bereich von ELT
• Breites Data Engineering Markt- und Technologiewissen im Bereich Tools (Query Engines), Frameworks (z.B. Delta Lake, Kafka) und Konzepte (Lakehouse, Data Mesh)
• Umfangreiche Erfahrungen im Bereich analytische Datenbanken, Containerisierung, Kubernetes, Linux und Bash
• Erfahrungen bei der Implementierung von Data Governance, speziell Data Security und Data Privacy