Senior Data Platform Engineer: Lakehouse, Spark & Kafka

Ideamotive; Województwo mazowieckie; On-site; PLN 180,000 - 280,000; Full time

Job summary

Ideamotive poszukuje data engineera z minimum 5 lat doświadczenia do projektowania hurtowni danych i platform danych dla bankowości. Pracujesz nad architekturą data lakehouse, utrzymaniem procesów ETL/ELT oraz przetwarzaniem dużych zbiorów danych w Sparku i Kafce.

Wymagamy biegłej znajomości SQL, optymalizacji zapytań i samodzielności w realizacji zadań technicznych; doświadczenie z produkcyjnymi środowiskami Spark/Kafka będzie dodatkowym atutem.

Qualifications

• Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera.
• Biegła znajomość SQL i umiejętność optymalizacji zapytań.
• Praktyczna wiedza z budowy i utrzymania hurtowni danych.
• Doświadczenie ze Sparkiem i Kafką w środowisku produkcyjnym.
• Rozumienie koncepcji data lakehouse oraz procesów ETL/ELT.
• Pełna samodzielność w realizacji zadań technicznych.

Responsibilities

• Projektowanie i rozwój hurtowni oraz platform danych.
• Tworzenie i optymalizacja procesów ETL oraz ELT.
• Budowa rozwiązań w architekturze data lakehouse.
• Przetwarzanie dużych zbiorów danych w Sparku i Kafce.
• Przekładanie wymagań biznesowych na rozwiązania analityczne.
• Projektowanie architektury danych dla nowych projektów.

Skills

SQL

Query optimization

Data modeling

Data warehouses

Data lakehouse

Independent work

Education

Wyższe studia informatyczne

Tools

Spark

Kafka

Job description

Ideamotive poszukuje data engineera z minimum 5 lat doświadczenia do projektowania hurtowni danych i platform danych dla bankowości. Pracujesz nad architekturą data lakehouse, utrzymaniem procesów ETL/ELT oraz przetwarzaniem dużych zbiorów danych w Sparku i Kafce.

Wymagamy biegłej znajomości SQL, optymalizacji zapytań i samodzielności w realizacji zadań technicznych; doświadczenie z produkcyjnymi środowiskami Spark/Kafka będzie dodatkowym atutem.