Data Engineer: AI Pipelines & Cloud Data Mastery

Soflab Technology Sp. z o.o.; Warszawa; On-site; PLN 180,000 - 300,000; Full time

Job summary

Soflab Technology Sp. z o.o. w Warszawie poszukuje doświadczonego Data Engineera do projektowania i utrzymania pipeline’ów danych. Praca obejmuje integrację danych, ich transformacje i zapewnienie jakości danych dla systemów AI/ML.

Wymagania obejmują 4 lata doświadczenia, Python, SQL, ETL/ELT, modelowanie danych oraz pracę z bazami relacyjnymi i chmurowymi (AWS/GCP/Azure). Mile widziane doświadczenie z LLM, Airflow i dużymi wolumenami danych.

Qualifications

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub pokrewnej roli.

Responsibilities

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa

Skills

Python

SQL

Pipeline danych

Modelowanie danych

Integracja danych

Relacyjne bazy danych

Chmura obliczeniowa

Big Data

API

Wektorowe bazy danych

LLM

Tools

Airflow

PostgreSQL

MySQL

MS SQL

Oracle

AWS

GCP

Azure

Job description

Soflab Technology Sp. z o.o. w Warszawie poszukuje doświadczonego Data Engineera do projektowania i utrzymania pipeline’ów danych. Praca obejmuje integrację danych, ich transformacje i zapewnienie jakości danych dla systemów AI/ML.

Wymagania obejmują 4 lata doświadczenia, Python, SQL, ETL/ELT, modelowanie danych oraz pracę z bazami relacyjnymi i chmurowymi (AWS/GCP/Azure). Mile widziane doświadczenie z LLM, Airflow i dużymi wolumenami danych.