Senior Data Engineer (Rust, DataFusion)

Next Technology Professionals; United States; Remote; USD 86,000 - 106,000; Full time

Job summary

Next Technology Professionals poszukuje inżyniera back-end do projektu tworzenia nowoczesnego silnika bazodanowego i warstwy przetwarzania zapytań w języku Rust. Praca w 100% zdalnie na kontrakt B2B, z wynagrodzeniem netto 30 000–37 000 PLN miesięcznie, do negocjacji. Start ASAP / do 1 miesiąca.

Zakres obejmuje optymalizację źródeł danych, przetwarzanie wsadowe, rozbudowę DataFusion oraz SQL dla PostgreSQL, a także niezawodny dostęp do danych dla narzędzi BI.

Qualifications

• Wymagana zaawansowana znajomość języka Rust (asynchroniczność, zarządzenie pamięcią, współbieżność, profilowanie).
• Biegła znajomość SQL i PostgreSQL (plany zapytań, agregacje, joiny, spójność transakcyjna).
• Doświadczenie w backendowych systemach wysokiej wydajności, silnikach zapytań lub infrastrukturze analitycznej.

Responsibilities

• Optymalizacja i integracja źródeł danych (PostgreSQL, Parquet/CSV) z mechanizmami pushdownu predykatów i szybkiego przetwarzania wsadowego.
• Tworzenie i wdrażanie mechanizmów kontrolnych na produkcję, zapewnienie precyzji wyliczeń numerycznych, monitorowanie stanu systemu i zarządzanie pamięcią.
• Projektowanie transformacji tabelarycznych w Rust oraz rozbudowa frameworków Arrow i DataFusion o dedykowane komponenty planowania zapytań.
• Budowa katalogu definicji danych i implementacja widoków semantycznych oraz nowych rozszerzeń SQL.
• Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ poprzez interfejs SQL zgodny z PostgreSQL.

Skills

Rust

SQL

PostgreSQL

DataFusion

Arrow

Parquet/CSV

Tools

Apache Arrow

DataFusion

Job description

Dla naszego klienta poszukujemy kandydatów na stanowisko:

Projekt:

Tworzenie od podstaw nowoczesnego, wysokowydajnego silnika bazodanowego i warstwy przetwarzania zapytań, dedykowanych do skomplikowanych obliczeń finansowych .

Zespół:

Samodzielne stanowisko inżynierskie w obszarze silnika wykonawczego, ściśle współpracujące z ekspertami domenowymi w ramach rozproszonego środowiska .

Model współpracy:

100% zdalnie .

Wynagrodzenie:

30 000 - 37 000 PLN netto (B2B, do negocjacji).

Start współpracy:

ASAP / do 1 miesiąca.

Zakres obowiązków:

Optymalizacja i integracja źródeł danych (takich jak PostgreSQL oraz pliki Parquet/CSV), obejmująca mechanizmy pushdownu predykatów i szybkie przetwarzanie wsadowe .

Tworzenie oraz wdrażanie zaawansowanych mechanizmów kontrolnych na produkcję, w tym zapewnienie precyzji wyliczeń numerycznych, monitorowanie stanu systemu oraz optymalne zarządzanie pamięcią .

Projektowanie transformacji tabelarycznych w środowisku Rust i rozbudowa frameworków Arrow oraz DataFusion o dedykowane komponenty planowania zapytań .

Budowa trwałego katalogu na potrzeby definicji danych oraz implementacja widoków semantycznych i nowych rozszerzeń dla języka SQL .

Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ, poprzez budowę interfejsu SQL zachowującego pełną kompatybilność z PostgreSQL .

Oczekujemy:

Zaawansowanej, popartej komercyjnym doświadczeniem znajomości języka Rust (w szczególności: asynchroniczność, zarządzanie pamięcią, współbieżność, profilowanie kodu) .

Biegłego posługiwania się językiem SQL oraz dogłębnego zrozumienia specyfiki PostgreSQL (plany zapytań, agregacje, joiny, zasady spójności transakcyjnej) .

Praktyki w tworzeniu niezawodnych systemów backendowych o dużej wydajności, budowie silników zapytań lub infrastruktury analitycznej .

Bezwzględnej dbałości o wysoką jakość kodu, bezawaryjność wdrożeń produkcyjnych oraz tworzenie kompleksowych testów .

Mile widziane: praktyczna znajomość narzędzi Apache Arrow / DataFusion, doświadczenie w budowaniu parserów SQL lub w projektowaniu systemów pod precyzyjne wyliczenia finansowe .

Współpracę w oparciu o kontrakt B2B.

Całkowicie zdalny model pracy .

Pełne pokrycie kosztów ewentualnych, incydentalnych podróży i spotkań projektowych .

Olbrzymią niezależność oraz decyzyjność techniczną przy rozwijaniu kluczowych komponentów systemu .