Senior Data Engineer: ETL/ELT, Big Data & AI Pipelines

Soflab Technology

Warszawa

On-site

PLN 180,000 - 240,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Soflab Technology poszukuje Data Engineera do Warszawy, specjalizującego się w Pythonie i SQL oraz tworzeniu i utrzymywaniu pipeline’ów danych (ETL/ELT). Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi, modelowanie danych i integracja z API są kluczowe.

Mile widziane projekty z LLM, Airflow i praca w chmurze (AWS/GCP/Azure). Stanowisko wymaga także umiejętności pracy z dużymi wolumenami danych i współpracy z zespołami ML/AI w zakresie przygotowania danych dla systemów

Qualifications

  • Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
  • Bardzo dobra znajomość Python oraz SQL
  • Doświadczenie w budowie i utrzymaniu pipeline'ów danych (ETL/ELT)
  • Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
  • Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
  • Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
  • Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
  • Doświadczenie w integracji z API
  • Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
  • Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data
  • Mile Widziane: Doświadczenie w projektach wykorzystujących LLM (np. RAG)
  • Mile Widziane: Znajomość narzędzi do orkiestracji danych (np. Airflow)
  • Mile Widziane: Współpraca z zespołami ML / AI
  • Mile Widziane: Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)
  • Zadania: Projektowanie, budowa i utrzymanie pipeline'ów danych (ETL/ELT)
  • Zadania: Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
  • Zadania: Modelowanie danych i projektowanie struktur bazodanowych
  • Zadania: Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
  • Zadania: Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
  • Zadania: Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
  • Zadania: Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
  • Zadania: Monitorowanie i optymalizacja wydajności pipeline'ów oraz procesów danych
  • Zadania: Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Responsibilities

  • Projektowanie, budowa i utrzymanie pipeline'ów danych (ETL/ELT)
  • Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
  • Modelowanie danych i projektowanie struktur bazodanowych
  • Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
  • Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
  • Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
  • Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
  • Monitorowanie i optymalizacja wydajności pipeline'ów oraz procesów danych
  • Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Skills

Python
SQL
ETL/ELT pipelines
Data modeling
Relational databases
Vector databases
API integration
Cloud platforms
Big Data processing

Tools

Airflow

Job description

Soflab Technology poszukuje Data Engineera do Warszawy, specjalizującego się w Pythonie i SQL oraz tworzeniu i utrzymywaniu pipeline’ów danych (ETL/ELT). Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi, modelowanie danych i integracja z API są kluczowe.

Mile widziane projekty z LLM, Airflow i praca w chmurze (AWS/GCP/Azure). Stanowisko wymaga także umiejętności pracy z dużymi wolumenami danych i współpracy z zespołami ML/AI w zakresie przygotowania danych dla systemów

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer: AI‑Ready Pipelines & Cloud Expertise
Data Engineer: AI‑Ready Pipelines & Cloud Expertise

Soflab • Warszawa

On-site
PLN 180,000 - 280,000
Data Engineer: Scalable Pipelines & Cloud
Data Engineer: Scalable Pipelines & Cloud

Soflab Technology • Poland

Remote
PLN 120,000 - 210,000
Senior Data Engineer — ETL, SQL, Airflow Expert (Remote)
Senior Data Engineer — ETL, SQL, Airflow Expert (Remote)

Solid Company • Wrocław

Hybrid
PLN 180,000 - 260,000
Senior Data Engineer (DBT, Airflow, Snowflake)
Senior Data Engineer (DBT, Airflow, Snowflake)

Vecten • Województwo mazowieckie

Hybrid
PLN 140,000 - 200,000
Elastyczne godziny
Możliwość pracy zdalnej
Biuro w centrum Warszawy
AI Data Engineer — Pipelines, Embeddings & Vector DB
AI Data Engineer — Pipelines, Embeddings & Vector DB

Scalo • Województwo mazowieckie

Hybrid
PLN 159,000 - 227,000
Opieka medyczna
Karta sportowa
Platforma kafeteryjna
Data Engineer (K/M)
Data Engineer (K/M)

Soflab • Warszawa

On-site
PLN 180,000 - 280,000
Senior Data Engineer
Senior Data Engineer

RITS • Województwo mazowieckie

On-site
PLN 150,000 - 190,000
Senior Data Engineer – AI Pipelines (Azure/Databricks)
Senior Data Engineer – AI Pipelines (Azure/Databricks)

Solid Company • Wrocław

Hybrid
PLN 207,000 - 234,000
Pakiet medyczny
Pakiet sportowy
Bezpłatna obsługa księgowa
Azure Data Engineer: Data Lake & ETL Architect
Azure Data Engineer: Data Lake & ETL Architect

Sii • Województwo mazowieckie

On-site
PLN 180,000 - 260,000
Snowflake Data Engineer: Cloud Pipelines & Analytics
Snowflake Data Engineer: Cloud Pipelines & Analytics

Link Group • Poland

Remote
PLN 180,000 - 300,000
Top locations