Data Integration Engineer (m/w/d) – Schwerpunkt Streaming & Confluent

CITTI Handelsgesellschaft mbH & Co. KG; Kiel; On-site; EUR 70,000 - 95,000; Full time

Benefits offered by this job

30 Tage Urlaub

Bike-Leasing

Corporate Benefits

Job summary

CITI Handelsgesellschaft mbH & Co. KG in Kiel sucht eine/n Data Engineer zur Anbindung von Quellsystemen an Confluent Cloud.

Du setzt CDC-basierte Integrationen auf, konzipierst standardisierte, automatisierte Muster und sorgst für sicheren, nachvollziehbaren Datentransfer. Du bringst Erfahrung mit Echtzeit-Daten, Kafka/Confluent Cloud sowie Data-Vault-Modeling mit und arbeitest eng mit Data Ownern, DevOps und weiteren Teams zusammen.

Qualifications

• Abgeschlossenes Studium in Informatik, Wirtschaftsinformatik oder vergleichbar.
• Erfahrung in der Integration und Verarbeitung von Echtzeit- bzw. Streaming-Daten, idealerweise mit Apache Kafka (Confluent Cloud).
• Kenntnisse zu Schema Registry, Avro, Debezium oder Connector-Entwicklung sind Plus.
• Prozesse konzipieren, standardisieren und automatisieren – möglichst mit DataOps-Ansätzen.
• Sicherheits- und Datenschutzthemen (DSGVO) im Umgang mit Daten.
• Erfahrung in ELT-Prozessen, idealerweise mit Azure Databricks und PySpark.

Responsibilities

• Anbindung von Quellen an Confluent Cloud über CDC und Custom Connectors.
• Standardisierung und Automatisierung der Integrationsprozesse und Data-Pipelines.
• Betrieb der Integrationsstrecken, Sicherstellung von Stabilität und Zuverlässigkeit.
• Umsetzung von Security- und Datenschutzanforderungen (DSGVO).
• Aufbau von Reporting- und Monitoring-Komponenten für Integrationen.
• Datenmodellierung (Data Vault) und Weiterverarbeitung ins Lakehouse.

Skills

Data Engineering

Kafka

Confluent Cloud

CDC

ELT-Prozesse

Python (PySpark)

Education

Abgeschlossenes Studium/Informatik

Tools

Azure Databricks

Schema Registry

Debezium

Confluent Platform

Job description

Deine Aufgaben

• Anbindung von Datenquellen an Confluent Cloud: Du bindest Quellsysteme an unseren zentralen Data Hub an – vorrangig über Change Data Capture (CDC) und, wo fachlich sinnvoll, case-basiert über einen Custom Connector, den du mitentwickelst. Zur Anbindung gehört auch die entsprechende Vorbereitung, etwa die Katalogisierung der Quelldaten gemeinsam mit den Data Ownern, um eine saubere, nachvollziehbare Integration sicherzustellen.
• Prozessgestaltung, Standardisierung und Automatisierung: Du konzipierst die Integrationsprozesse rund um diese Anbindungen so, dass sie standardisiert und von Anfang an automatisiert werden – von wiederverwendbaren, konfigurationsgetriebenen Mustern bis hin zu unternehmenseigenen Packages, die die Anbindung neuer Quellen und Topics effizient und ohne Code-Eingriff ermöglichen. Du etablierst Best Practices im Bereich Data Engineering und DataOps.
• Betrieb der Integrationsstrecken: Du betreust die von dir aufgebauten Integrationsstrecken und Prozesse im operativen Betrieb, sorgst für Stabilität und Zuverlässigkeit, analysierst Fehlerquellen und entwickelst nachhaltige Lösungen.
• Security, Datenschutz & Compliance: Du verantwortest die relevanten Security-Aspekte im Kontext deiner Integrationen – dazu gehört insbesondere die Umsetzung datenschutzrechtlicher Anforderungen (DSGVO), der sichere Umgang mit sensiblen Daten sowie Themen wie Zugriffs- und Secret-Management.
• Reporting & Monitoring als Plattformkomponente: Du baust das Reporting und Monitoring für die Integrationsartefakte als eigene Plattformkomponente mit auf – von Consumer-Lag- und Pipeline-Monitoring über Datenqualitätsprüfungen bis hin zur End-to-End-Nachvollziehbarkeit – und schaffst damit Transparenz über den Zustand der Integrationsstrecken.
• Datenmodellierung & Weiterverarbeitung: Du unterstützt die Überführung der integrierten (Event-)Daten in unser Lakehouse und die Modellierung nach dem Data-Vault-Ansatz und arbeitest hier eng mit den weiterverarbeitenden Bereichen des Teams zusammen.
• Zusammenarbeit, DevOps-Reviews & Wissenstransfer: Du arbeitest eng mit dem Team und den Stakeholdern zusammen, teilst dein Wissen und unterstützt das Team auch bei DevOps-Reviews über alle Plattformkomponenten hinweg – nicht nur im Confluent-Kontext.

Dein Profil

Wir suchen keine Alleskönner:innen mit jahrzehntelanger Berufserfahrung, sondern Menschen, die mit Begeisterung und Neugier an neue Aufgaben herangehen. Wenn du motiviert bist, dich in neue Tools und Technologien einzuarbeiten, bist du bei uns genau richtig. Fehlende Kenntnisse sind kein Hindernis – wir unterstützen dich mit Schulungen und ermöglichen dir, dich fachlich und persönlich weiterzuentwickeln. Entscheidend sind für uns deine Lernbereitschaft, dein Engagement und der Wunsch, gemeinsam im Team etwas zu bewegen.

Du hast eine abgeschlossene Ausbildung / ein abgeschlossenes Studium im Bereich (Wirtschafts-)Informatik, Mathematik, Naturwissenschaften oder eine vergleichbare Qualifikation.

Du hast Erfahrung in der Integration und Verarbeitung von Echtzeit- bzw. Streaming-Daten – idealerweise mit Apache Kafka (Confluent Cloud) und im Umfeld von Change Data Capture (CDC). Kenntnisse zu Themen wie Schema Registry, Avro, Debezium oder der Entwicklung von Konnektoren sind ein Plus.

Du denkst in Prozessen: Du hast Freude daran, Integrationsstrecken zu konzipieren, zu standardisieren und zu automatisieren, statt Einzellösungen zu bauen.

Du hast ein Bewusstsein für Security- und Datenschutzthemen (z. B. DSGVO) im Umgang mit Daten.

Du verfügst über praktische Erfahrung in der Datenintegration, idealerweise im Umfeld von Data Warehousing, Data Lakehousing oder vergleichbaren Plattformen.

Du hast Kenntnisse in der Entwicklung von ELT-Prozessen – Erfahrung mit Azure Databricks und Python (PySpark) sind ein Plus.

Du hast idealerweise Erfahrung in der Datenmodellierung nach dem Data-Vault-Ansatz.

Du bist sicher im Umgang mit gängigen Datenbank- und Cloud-Technologien (idealerweise Azure) und hast ein gutes Verständnis für die Herausforderungen und Chancen moderner Datenplattformen.

Du arbeitest strukturiert, lösungsorientiert und eigenverantwortlich. Du bist teamfähig, kommunikationsstark und bringst gerne neue Ideen ein.

Gute Deutschkenntnisse, die eine sichere Kommunikation im Arbeitsalltag ermöglichen, setzen wir voraus. Da wir international arbeiten, sind zudem sehr gute Englischkenntnisse in Wort und Schrift ein Muss.

Unser Angebot

• Die Möglichkeit, aktiv am Aufbau einer zukunftsweisenden Daten- und Integrationsplattform mitzuwirken – und einen ihrer ersten zentralen Integrationspunkte maßgeblich zu prägen.
• Ein junges, motiviertes, interdisziplinäres Team mit viel Gestaltungsspielraum und kurzen Entscheidungswegen.
• Vielfältige Möglichkeiten zur fachlichen und persönlichen Weiterentwicklung, z. B. durch Trainings, Zertifizierungen (etwa im Confluent-/Kafka- oder Databricks-Umfeld) und den Austausch mit Expert:innen.
• Urlaubs- und Weihnachtsgeld, vermögenswirksame Leistungen
• Zuschüsse zur betrieblichen Altersvorsorge
• 30 Tage Urlaub und flexible Arbeitszeit- und Gleitzeitregelungen
• Personalkantine und kostenfreie Mitarbeiterparkplätze
• Kooperation mit Fitness-Studios, u. a. Hansefit
• Vorzüge eines inhabergeführten Großunternehmens, wie z. B. kurze Entscheidungswege,selbstständiges und eigenverantwortliches Arbeiten
• Bike-Leasing mit attraktiven Konditionen
• Corporate Benefits: Mitarbeiterrabatte für bekannte Marken und Anbieter(z. B. Rabatte für Reisen)
• Perfekt angebunden durch Veloroute 10, eigene Bahnstation und direkten Autobahnzubringer
• direkter Mall-Zugang mit über 80 Stores, Ärztezentrum und Mitarbeiterrabatt für den Einkauf im CITTI Markt
• Wir sponsern Ihren Arbeitsweg mit dem NAH.SH-Jobticket bzw. Deutschland-Ticket.

Wir fördern die Gleichstellung sowie die Vielfalt aller Menschen! Daher begrüßen wir Bewerbungen von People of Color, Menschen aller Nationalitäten, Religionen und Weltanschauungen, sexueller Orientierungen und geschlechtlicher Identitäten, aller Altersgruppen sowie Menschen mit Beeinträchtigungen.

CITTI Handelsgesellschaft mbH & Co. KG
Mühlendamm 1
24113 Kiel
E-Mail: [e-mail]