Senior Data Engineer: ETL/ELT, Big Data & AI Pipelines

Soflab Technology; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Soflab Technology poszukuje Data Engineera do Warszawy, specjalizującego się w Pythonie i SQL oraz tworzeniu i utrzymywaniu pipeline’ów danych (ETL/ELT). Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi, modelowanie danych i integracja z API są kluczowe.

Mile widziane projekty z LLM, Airflow i praca w chmurze (AWS/GCP/Azure). Stanowisko wymaga także umiejętności pracy z dużymi wolumenami danych i współpracy z zespołami ML/AI w zakresie przygotowania danych dla systemów

Qualifications

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
• Bardzo dobra znajomość Python oraz SQL
• Doświadczenie w budowie i utrzymaniu pipeline'ów danych (ETL/ELT)
• Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
• Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
• Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
• Doświadczenie w integracji z API
• Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data
• Mile Widziane: Doświadczenie w projektach wykorzystujących LLM (np. RAG)
• Mile Widziane: Znajomość narzędzi do orkiestracji danych (np. Airflow)
• Mile Widziane: Współpraca z zespołami ML / AI
• Mile Widziane: Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)
• Zadania: Projektowanie, budowa i utrzymanie pipeline'ów danych (ETL/ELT)
• Zadania: Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Zadania: Modelowanie danych i projektowanie struktur bazodanowych
• Zadania: Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Zadania: Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Zadania: Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Zadania: Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Zadania: Monitorowanie i optymalizacja wydajności pipeline'ów oraz procesów danych
• Zadania: Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Responsibilities

• Projektowanie, budowa i utrzymanie pipeline'ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline'ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Skills

Python

SQL

ETL/ELT pipelines

Data modeling

Relational databases

Vector databases

API integration

Cloud platforms

Big Data processing

Tools

Airflow

Job description

Soflab Technology poszukuje Data Engineera do Warszawy, specjalizującego się w Pythonie i SQL oraz tworzeniu i utrzymywaniu pipeline’ów danych (ETL/ELT). Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi, modelowanie danych i integracja z API są kluczowe.

Mile widziane projekty z LLM, Airflow i praca w chmurze (AWS/GCP/Azure). Stanowisko wymaga także umiejętności pracy z dużymi wolumenami danych i współpracy z zespołami ML/AI w zakresie przygotowania danych dla systemów