Senior Data Engineer

Ideamotive; Województwo mazowieckie; On-site; PLN 180,000 - 280,000; Full time

Job summary

Ideamotive poszukuje data engineera z minimum 5 lat doświadczenia do projektowania hurtowni danych i platform danych dla bankowości. Pracujesz nad architekturą data lakehouse, utrzymaniem procesów ETL/ELT oraz przetwarzaniem dużych zbiorów danych w Sparku i Kafce.

Wymagamy biegłej znajomości SQL, optymalizacji zapytań i samodzielności w realizacji zadań technicznych; doświadczenie z produkcyjnymi środowiskami Spark/Kafka będzie dodatkowym atutem.

Qualifications

• Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera.
• Biegła znajomość SQL i umiejętność optymalizacji zapytań.
• Praktyczna wiedza z budowy i utrzymania hurtowni danych.
• Doświadczenie ze Sparkiem i Kafką w środowisku produkcyjnym.
• Rozumienie koncepcji data lakehouse oraz procesów ETL/ELT.
• Pełna samodzielność w realizacji zadań technicznych.

Responsibilities

• Projektowanie i rozwój hurtowni oraz platform danych.
• Tworzenie i optymalizacja procesów ETL oraz ELT.
• Budowa rozwiązań w architekturze data lakehouse.
• Przetwarzanie dużych zbiorów danych w Sparku i Kafce.
• Przekładanie wymagań biznesowych na rozwiązania analityczne.
• Projektowanie architektury danych dla nowych projektów.

Skills

SQL

Query optimization

Data modeling

Data warehouses

Data lakehouse

Independent work

Education

Wyższe studia informatyczne

Tools

Spark

Kafka

Job description

Budujesz platformy danych dla klientów z sektora bankowego. Projektujesz hurtownie i rozwiązania w architekturze data lakehouse. Pilnujesz procesów ETL oraz ELT i przetwarzasz duże zbiory danych w Sparku i Kafce. Rozmawiasz z biznesem o tym, jakie pytania chce zadać danym, i przekładasz to na model.

Twój zakres obowiązków

• Projektowanie i rozwój hurtowni oraz platform danych.
• Tworzenie i optymalizacja procesów ETL oraz ELT.
• Budowa rozwiązań w architekturze data lakehouse.
• Przetwarzanie dużych zbiorów danych w Sparku i Kafce.
• Przekładanie wymagań biznesowych na rozwiązania analityczne.
• Projektowanie architektury danych dla nowych projektów.

Czego oczekujemy

• Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera.
• Biegłej znajomości SQL i umiejętności optymalizacji zapytań.
• Praktycznej wiedzy z budowy i utrzymania hurtowni danych.
• Doświadczenia ze Sparkiem i Kafką w środowisku produkcyjnym.
• Rozumienia koncepcji data lakehouse oraz procesów ETL.
• Pełnej samodzielności w realizacji zadań technicznych.