Staff Data Engineer - High-Performance Data Systems

Next Technology Professionals Sp. z o.o.; Województwo mazowieckie; Remote; PLN 180,000 - 260,000; Full time

Job summary

Next Technology Professionals Sp. z o.o. poszukuje specjalisty ds. danych do budowy architektury danych i infrastruktury obliczeniowej dla nowej platformy enterprise. Rola łączy ownership skalowalnych systemów danych oraz wysokowydajne przetwarzanie analityczne, z silnikiem obliczeniowym.

Stack: PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust. Model współpracy: kontrakt B2B - praca zdalna. Twój głos będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.

Qualifications

• Solidne doświadczenie w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
• Doskonała znajomość SQL oraz PostgreSQL (planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).
• Głębokie zrozumienie architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
• Doświadczenie w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
• Biegłość w korzystaniu z AI coding agents i dostarczaniu jakości kodu produkcyjnego.
• Gotowość do podejmowania kluczowych decyzji architektonicznych przy aktywnym pisaniu kodu.
• Rygorystyczne podejście do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
• Znajomość języka Rust, zwłaszcza współbieżność, asynchroniczność i optymalizacja pamięci.

Responsibilities

• Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
• Definiowanie architektury przetwarzania danych – balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień i poziomej skalowalności.
• Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych.
• Budowa i rozwój silnika obliczeniowego, w tym niestandardowe wykonywanie zapytań i reużywalne transformacje.
• Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
• Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (CSV/Parquet).
• Ustanawianie standardów w zakresie poprawności numerycznej, migracji schematów, data lineage, audytowalności i obserwowalności.

Skills

Rust language

PostgreSQL

SQL

Data architecture

AI coding

Hands-on coding

Reliability testing

Concurrency/async Rust

Tools

Apache DataFusion

Apache Arrow

Rust

Job description

Nasze wymagania:

• Solidnego doświadczenia w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
• Doskonałej znajomości SQL oraz PostgreSQL (w tym planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).
• Głębokiego zrozumienia architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
• Doświadczenia w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
• Biegłości w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolności do dostarczania najwyższej jakości kodu produkcyjnego.
• Gotowości do podejmowania kluczowych decyzji architektonicznych przy jednoczesnym aktywnym pisaniu kodu (rola hands‑on).
• Rygorystycznego podejścia do poprawności, niezawodności, testowania i utrzymywalności oprogramowania.
• Znajomości języka Rust (szczególnie w odniesieniu do pojęć tj. współbieżność, programowanie asynchroniczne, zarządzanie pamięcią, optymalizacja wydajności).

Mile widziane:

• Apache DataFusion, Apache Arrow,
• ClickHouse (lub innych silników kolumnowych/OLAP),
• architektury HTAP/Lakehouse,
• chmur (AWS/GCP/Azure),
• systemów obliczeń finansowych.

O projekcie:

Projekt: Budowa architektury danych oraz infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Rola łączy ownership skalowalnych systemów danych, wysokowydajnego przetwarzania analitycznego oraz tworzenia silnika obliczeniowego.

Stack technologiczny: PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust

Model współpracy: Kontrakt B2B - praca zdalna.

Zakres obowiązków:

• Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
• Definiowanie architektury przetwarzania danych – balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień (low latency) oraz poziomej skalowalności.
• Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych (wydajność zapytań, indeksowanie, optymalizacja pamięci masowej).
• Budowa i rozwój silnika obliczeniowego (w tym niestandardowe wykonywanie zapytań i reużywalne transformacje).
• Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
• Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (w tym pliki CSV/Parquet).
• Ustanawianie standardów w zakresie poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.

Oferujemy:

• Umowę B2B i elastyczną formę współpracy.
• Udział w prestiżowym projekcie tworzonym od podstaw, bez konieczności utrzymywania i naprawiania tzw. legacy code.
• Dużą autonomię i decyzyjność – Twój głos będzie miał kluczowy wpływ na ostateczny kształt architektury i technologii.
• Gwarancję stabilności (niezależne i pewne źródła finansowania), co pozwala na komfortowe skupienie się na innowacjach.