Data Engineer (K/M)

Soflab Technology Sp. z o.o.; Warszawa; On-site; PLN 180,000 - 300,000; Full time

Job summary

Soflab Technology Sp. z o.o. w Warszawie poszukuje doświadczonego Data Engineera do projektowania i utrzymania pipeline’ów danych. Praca obejmuje integrację danych, ich transformacje i zapewnienie jakości danych dla systemów AI/ML.

Wymagania obejmują 4 lata doświadczenia, Python, SQL, ETL/ELT, modelowanie danych oraz pracę z bazami relacyjnymi i chmurowymi (AWS/GCP/Azure). Mile widziane doświadczenie z LLM, Airflow i dużymi wolumenami danych.

Qualifications

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub pokrewnej roli.

Responsibilities

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Skills

Python

SQL

Pipeline danych

Modelowanie danych

Integracja danych

Relacyjne bazy danych

Chmura obliczeniowa

Big Data

API

Wektorowe bazy danych

LLM

Tools

Airflow

PostgreSQL

MySQL

MS SQL

Oracle

AWS

GCP

Azure

Job description

WYMAGANIA:

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
• Bardzo dobra znajomość Python oraz SQL
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
• Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
• Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
• Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
• Doświadczenie w integracji z API
• Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Mile widziane:

• Doświadczenie w projektach wykorzystujących LLM (np. RAG)
• Znajomość narzędzi do orkiestracji danych (np. Airflow)
• Współpraca z zespołami ML / AI
• Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

ZADANIA:

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa