Data Engineer (m/w/d)

group24 AG; Gescher; Vor Ort; Vertraulich; Vollzeit

Zusammenfassung

Ein innovatives Unternehmen in Nordrhein-Westfalen sucht einen erfahrenen Data Engineer, der moderne Daten- und KI-Infrastrukturen mitgestaltet. Du bist verantwortlich für die Entwicklung fehler-toleranter ETL/ELT-Datenpipelines, die Integration externer Datenquellen und den Betrieb von MLOps-Pipelines. Erforderlich sind Erfahrung im Data Engineering, Kenntnisse in Tools wie Airflow und Kubernetes sowie ein Studium in einem relevanten Bereich. Das Team arbeitet agil und bietet eine spannende Umgebung für Datenenthusiasten.

Qualifikationen

• Du hast Erfahrung im Data Engineering und kennst gängige Tools wie Airflow, Kafka oder Spark.
• Du hast Erfahrung mit Datenbanken und Datenmodellierung (SQL, NoSQL).
• Erfahrung in MLOps, beispielsweise in MLflow oder Kubeflow.

Aufgaben

• Entwickeln und Betreiben von fehlertoleranten Datenpipelines (ETL/ELT).
• Integrieren von externen Datenquellen und Services in den KI-Stack.
• Unterstützen des Aufbaus und Betriebs von MLOps-Pipelines.

Kenntnisse

Datenmodellierung

Airflow

Kafka

Spark

Kubernetes

Python

Ausbildung

Abgeschlossenes Studium in Informatik, Data Science oder Elektrotechnik

Jobbeschreibung

• Du möchtest moderne Daten- und KI-Infrastrukturen mitgestalten und große Datenmengen effizient nutzbar machen?Als Data Engineer spielst Du eine zentrale Rolle beim Aufbau, der Integration und der Verarbeitung von Datenströmen, die unsere KI-Anwendungen und Modelle antreiben. Du arbeitest eng mit unseren KI-Entwicklern sowie dem DevOps-Team zusammen und gestaltest umfassende Datenpipelines, mit der wir die Systeme in unserer Kubernetes-Infrastruktur miteinander verbinden können.

DEINE AUFGABEN

• Du entwickelst und betreibst fehlertolerante Datenpipelines (ETL/ELT), mit denen große Datenmengen zuverlässig gesammelt, verarbeitet und bereitgestellt werden.
• Du integrierst externe Datenquellen, Schnittstellen und Services in unseren KI-Stack und sorgst für reibungslose Datenflüsse zwischen Anwendungen, Modellen und Infrastruktur.
• Du unterstützt den Aufbau und Betrieb von MLOps-Pipelines, zum Beispiel für Modelltraining, Evaluation und Deployment.
• Du entwickelst und pflegst Datenmodelle, Datenstrukturen und Speicherkonzepte für SQL-, NoSQL- und Objekt-Storage-Systeme.
• Du stellst sicher, dass Datenqualität, Monitoring und Observability durch geeignete Tools und Prozesse gewährleistet sind.
• Du arbeitest in einem agilen Projektumfeld mit einem engagierten Team zusammen.

DEIN PROFIL

• Du bringst ein abgeschlossenes Studium im Bereich Informatik, Data Science, Elektrotechnik oder eine vergleichbare Qualifikation mit.
• Du hast bereits Erfahrung im Data Engineering und kennst gängige Tools wie Airflow, Kafka oder Spark.
• Du hast Erfahrung mit Datenbanken und Datenmodellierung (SQL, NoSQL, Object Storage).
• Du bringst Erfahrung mit Containerisierung und Kubernetes mit, idealerweise in einer on-premises Umgebung.
• Du verfügst über Kenntnisse im Bereich MLOps, beispielsweise in MLflow, Kubeflow oder vergleichbaren Frameworks.
• Optimal wäre es, wenn Du bereits Programmierkenntnisse in Python mitbringst und Erfahrung mit DevOps-Prozessen hast.
• Du arbeitest gerne im Team, bringst Dich aktiv ein und gestaltest aktuelle wie zukünftige Themen im KI-Bereich maßgeblich mit.