Data Engineer (K/M)

Soflab; Warszawa; On-site; PLN 180,000 - 280,000; Full time

Job summary

Soflab poszukuje specjalisty Data Engineer do projektowania i utrzymania pipeline'ów danych oraz integracji źródeł danych. Wymagane jest solidne doświadczenie w ETL/ELT, modelowaniu danych i pracy z bazami relacyjnymi oraz wektorowymi. Doświadczenie z AWS/GCP/Azure mile widziane.

Praca w Warszawie, z możliwością współpracy z zespołami ML/AI, optymalizacją wydajności i zapewnianiem jakości danych. Więcej informacji niezbędnych podczas rozmowy rekrutacyjnej.

Qualifications

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli.

Responsibilities

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT).
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności.
• Modelowanie danych i projektowanie struktur bazodanowych.
• Zarządzanie i optymalizacja baz danych (relacyjnych i wektorowych).
• Przygotowywanie danych na potrzeby systemów AI/ML (LLM).
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych.
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure).
• Monitorowanie i optymalizacja wydajności pipeline’ów i procesów danych.
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa.

Skills

Python

SQL

ETL/ELT

Dane strukturyzowane

Dane nienaznaczone

Modelowanie danych

Relacyjne bazy danych

PostgreSQL

MySQL

Cloud computing

Big Data

Integracja z API

Wektory danych / wektorowe DB

Tools

PostgreSQL

MySQL

MS SQL

Oracle

Job description

Wymagania

• Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roli
• Bardzo dobra znajomość Python oraz SQL
• Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)
• Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)
• Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych
• Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)
• Znajomość wektorowych baz danych i ich zastosowań w kontekście AI
• Doświadczenie w integracji z API
• Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)
• Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big Data

Mile widziane

• Doświadczenie w projektach wykorzystujących LLM (np. RAG)
• Znajomość narzędzi do orkiestracji danych (np. Airflow)
• Współpraca z zespołami ML / AI
• Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe)

Zadania

• Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)
• Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności
• Modelowanie danych i projektowanie struktur bazodanowych
• Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)
• Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)
• Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych
• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa