Senior Data Engineer (Rust, DataFusion)

Traffit; Warszawa; Teletrabalho; PLN 335 000 - 413 000; Tempo integral

Resumo da oferta

Traffit poszukuje inżyniera backendowego z silnym doświadczeniem w Rust do tworzenia nowoczesnego silnika bazodanowego. Praca zdalna i projektowanie warstwy przetwarzania zapytań, koncentrująca się na wydajności i precyzyjnych obliczeniach finansowych.

Oczekujemy zaawansowanej znajomości Rust, SQL i PostgreSQL, doświadczenia z systemami backendowymi o wysokich wymaganiach oraz praktyki w pracy z frameworkami Arrow/DataFusion.

Qualificações

• Znajomość Rust z naciskiem na asynchroniczność, zarządzanie pamięcią i współbieżność.

Responsabilidades

• Optymalizacja i integracja źródeł danych (PostgreSQL, Parquet/CSV), z mechanizmem pushdownu predykatów i szybkim przetwarzaniem wsadowym.

Conhecimentos

Rust

SQL

PostgreSQL

Backend development

Asynchronous programming

Memory management

Performance optimization

Profiling

Ferramentas

Apache Arrow

DataFusion

Descrição da oferta de emprego

Dla naszego klienta poszukujemy kandydatów na stanowisko:

Projekt:

Tworzenie od podstaw nowoczesnego, wysokowydajnego silnika bazodanowego i warstwy przetwarzania zapytań, dedykowanych do skomplikowanych obliczeń finansowych .

Zespół:

Samodzielne stanowisko inżynierskie w obszarze silnika wykonawczego, ściśle współpracujące z ekspertami domenowymi w ramach rozproszonego środowiska .

Model współpracy:

100% zdalnie .

Wynagrodzenie:

30 000 - 37 000 PLN netto (B2B, do negocjacji).

Start współpracy:

ASAP / do 1 miesiąca.

Zakres obowiązków:

Optymalizacja i integracja źródeł danych (takich jak PostgreSQL oraz pliki Parquet/CSV), obejmująca mechanizmy pushdownu predykatów i szybkie przetwarzanie wsadowe .

Tworzenie oraz wdrażanie zaawansowanych mechanizmów kontrolnych na produkcję, w tym zapewnienie precyzji wyliczeń numerycznych, monitorowanie stanu systemu oraz optymalne zarządzanie pamięcią .

Projektowanie transformacji tabelarycznych w środowisku Rust i rozbudowa frameworków Arrow oraz DataFusion o dedykowane komponenty planowania zapytań .

Budowa trwałego katalogu na potrzeby definicji danych oraz implementacja widoków semantycznych i nowych rozszerzeń dla języka SQL .

Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ, poprzez budowę interfejsu SQL zachowującego pełną kompatybilność z PostgreSQL .

Oczekujemy:

Zaawansowanej, popartej komercyjnym doświadczeniem znajomości języka Rust (w szczególności: asynchroniczność, zarządzanie pamięcią, współbieżność, profilowanie kodu) .

Biegłego posługiwania się językiem SQL oraz dogłębnego zrozumienia specyfiki PostgreSQL (plany zapytań, agregacje, joiny, zasady spójności transakcyjnej) .

Praktyki w tworzeniu niezawodnych systemów backendowych o dużej wydajności, budowie silników zapytań lub infrastruktury analitycznej .

Bezwzględnej dbałości o wysoką jakość kodu, bezawaryjność wdrożeń produkcyjnych oraz tworzenie kompleksowych testów .

Mile widziane: praktyczna znajomość narzędzi Apache Arrow / DataFusion, doświadczenie w budowaniu parserów SQL lub w projektowaniu systemów pod precyzyjne wyliczenia finansowe .

Współpracę w oparciu o kontrakt B2B.

Całkowicie zdalny model pracy .

Pełne pokrycie kosztów ewentualnych, incydentalnych podróży i spotkań projektowych .

Olbrzymią niezależność oraz decyzyjność techniczną przy rozwijaniu kluczowych komponentów systemu .