Elastic Data Engineer (Apache Kafka) (K10028)

TiTANS Consulting; Town of Belgium (WI); On-site; USD 81,000 - 127,000; Full time

Benefits offered by this job

Telewerk mogelijk

Kantoor in België

Job summary

TiTANS Consulting zoekt een ervaren data engineer met focus op event-driven systemen en real-time data-integratie. Je beschikt over diepe kennis van Apache Kafka (Streams, Connect, Schema Registry, Avro, ksqlDB) en Elasticsearch (Kibana, ingest pipelines, index lifecycle management) en zorgt voor data-consistentie en schaalbaarheid.

Je ontwerpt en implementeert een data service layer (REST API’s, microservices) die data beschikbaar stelt voor analyse, monitoring of integratie, en bewaakt

Qualifications

• Ervaren data engineer met focus op event-driven systemen en real-time data-integratie.
• Diepe kennis van Apache Kafka (Streams, Connect, Schema Registry, Avro, ksqlDB) en Elasticsearch (Kibana, ingest pipelines, index lifecycle management).
• Zorgt voor data-consistentie en schaalbaarheid door hele data-ingestie tot consumptie.

Responsibilities

• Ontwerpen, implementeren en documenteren van benodigde componenten.
• Stellen van data beschikbaar via een data service layer (REST API’s, microservices).
• Zorg voor foutafhandeling, observability en optimalisatie via CI/CD pipelines (GitLab) en Python-scripting.

Skills

Kafka

Elasticsearch

Observability

Schema management

Data pipelines

Tools

Docker

Kubernetes

OpenShift

REST APIs

Job description

De Federale Politie staat voor een ambitieuze digitale en organisatorische transformatie. Binnen het Digital Transformation Office (DTO) bouwen we mee aan modernere processen, sterkere operationele ondersteuning en meer datagedreven dienstverlening. Vanuit de pijlers IT, innovatie en intelligence/data werken we aan stabiele fundamenten, toekomstgerichte technologieën en betere ondersteuning van de diensten op het terrein. Wil jij mee impact maken in een omgeving waar digitalisering, legacy-modernisering en maatschappelijke relevantie samenkomen?

De opdracht bestaat erin een event-driven data-architectuur op te zetten en te beheren waarbij Apache Kafka wordt ingezet als buffer- en verwerkingslaag, en Elasticsearch als datalake-oplossing voor gestructureerde en ongestructureerde data.

De focus ligt op het opzetten van performante Kafka- en Elastic-stacks (schema management, topicbeheer, indexingstrategieën) en het waarborgen van data-consistentie, schaalbaarheid en observability doorheen het volledige traject van data-ingestie tot data-consumptie.

De kandidaat ontwerpt, implementeert en documenteert de nodige componenten, stelt de data beschikbaar via een data service layer (REST API’s, microservices) en zorgt voor foutafhandeling en optimalisatie van de volledige pipeline.

Missie

Voor deze opdracht zoeken we een ervaren data engineer met een focus op event-driven systemen en real-time data-integratie, met een grondige kennis van Apache Kafka (Streams, Connect, Schema Registry, Avro, ksqlDB) en Elasticsearch (incl. Kibana, ingest pipelines, index lifecycle management).

De opdracht vereist het opzetten van een data service layer (REST API’s, microservices) die de data uit Elasticsearch beschikbaar stelt voor analyse, monitoring of integratie met andere systemen, evenals ervaring met Docker, Kubernetes en Openshift voor de deployment van de componenten.

De kandidaat waarborgt data-consistentie en schaalbaarheid doorheen het volledige traject van data-ingestie tot data-consumptie, en staat in voor observability, foutafhandeling en optimalisatie via CI/CD-pipelines (GitLab CI) en Python-scripting.

• Methodisch en precies zijn in het werk: Nauwkeurig werken is essentieel voor het waarborgen van data-consistentie en schaalbaarheid binnen de Kafka- en Elastic-architectuur.
• Autonomie en initiatief: De kandidaat kan zelfstandig werken, oplossingen voorstellen en zich snel aanpassen aan veranderingen in de situatie.
• Documenteren van het uitgevoerde werk: De uitgevoerde analyses, pipelines, schema's, configuraties en technische keuzes moeten duidelijk, gestructureerd en overdraagbaar worden gedocumenteerd (rapporten, documentatie).
• Goede communicatie: De kandidaat bezit goede schriftelijke en mondelinge communicatie-eigenschappen en kan probleemloos deelnemen aan vergaderingen met specialisten en gebruikersvertegenwoordigers.
• Kunnen werken in groep, soepelheid van uurrooster: De kandidaat kan prioriteiten stellen binnen een complexe omgeving met meerdere data-pipelines, processen en technische afhankelijkheden, en beschikt over de nodige soepelheid van uurrooster.
• Klantgerichte en oplossingsgerichte houding: De kandidaat is stressbestendig, creatief, constructief en oplossingsgericht, en werkt met oog voor de noden van de gebruikers.
• Werkregeling: minimum 2 dagen/week aanwezigheid op kantoor, in functie van taken en afspraken met het team; telewerk toegestaan op adres domicilie of werkgever (België)
• Team: multidisciplinair, mix van interne en externe medewerkers

Vereiste vaardigheden

• Elasticsearch (Kibana, ingest pipelines, index lifecycle management)
• Indexingstrategieën en data-consistentie (Elasticsearch)
• Observability, foutafhandeling en optimalisatie van data-pipelines
• Schema management en topicbeheer (Kafka)