Data Platform Engineer: Build & Run Modern Pipelines

Knowit Denmark; Denmark; On-site; DKK 700,000 - 1,000,000; Full time

Benefits offered by this job

Spændende projekter hos ambitiøse proj

Dygtige data-, AI- og platformskonsul/

Mulighed for at arbejde med moderne åb

Job summary

Knowit Denmark søger en hands-on Data Platform Engineer, der kan bygge og drive moderne dataplatforme sammen med vores teams af data- og AI-konsulenter.

Du arbejder med pipelines, processing og orchestration og forstår, hvordan dataflows kommer til kunderne gennem open source løsninger og cutting-edge teknologier. Vi tilbyder et stærkt fagligt miljø, fokus på læring og fleksible arbejdsforhold, hvor du er brobygger mellem data, platform og infrastruktur.

Qualifications

• Stærke færdigheder i Python og SQL, kan skrive, teste og debugge.
• Erfaring med at opbygge ogvedligeholde data pipelines og dataflows.
• Kendskab til moderne data-platforme og open source værktøjer.

Responsibilities

• Udvikling og drift af data pipelines til batch, streaming og CDC
• Opsætning og videreudvikling af processing- og orchestration-lag
• Deployment, fejlsøgning og drift af services på container-/compute-platforme
• Arbejde med Git, CI/CD, YAML og automatisering
• Registrering af datasæt, lineage og data quality checks
• Dialog med domænebrugere og tekniske interessenter om dataflows og løsninger

Skills

Python

SQL

Data pipelines

CI/CD

Git

Tools

Spark

Polars

Delta Lake

Iceberg

Hudi

Dagster

Prefect

Airflow

Kafka

Debezium

Airbyte

NiFi

Kubernetes

Docker

Linux

Git

CI/CD

YAML

Job description

Knowit Denmark søger en hands-on Data Platform Engineer, der kan bygge og drive moderne dataplatforme sammen med vores teams af data- og AI-konsulenter.

Du arbejder med pipelines, processing og orchestration og forstår, hvordan dataflows kommer til kunderne gennem open source løsninger og cutting-edge teknologier. Vi tilbyder et stærkt fagligt miljø, fokus på læring og fleksible arbejdsforhold, hvor du er brobygger mellem data, platform og infrastruktur.