Data Engineer (OpenAPI | Azure | Python)

1dea; Województwo mazowieckie; Remoto; PLN 207.000 - 220.000; Tempo pieno

Descrizione del lavoro

1dea poszukuje doświadczonego Data Engineera / Architekta Danych do budowy i optymalizacji rurociągów danych w środowisku Azure, z naciskiem na przetwarzanie dużych zbiorów tekstowych i integrację poprzez OpenAPI.

Praca zdalna w modelu B2B, start ASAP, długoterminowo (12+ miesięcy). Wymagane są umiejętności Python, Azure i OpenAPI, a także doświadczenie z bazami wiedzy i przetwarzaniem dużych wolumenów tekstu. Angielski na dobrym poziomie mile widziany.

Competenze

• Bardzo dobra znajomość Pythona i umiejętność pisania wydajnego kodu do przetwarzania danych.
• Praktyczne doświadczenie w pracy z usługami danych w Microsoft Azure.
• OpenAPI/Swagger w kontekście integracji rurociągów danych, endpointów i dokumentowania API.
• Projektowanie, utrzymanie lub integracja baz wiedzy, baz wektorowych i zaawansowanych struktur przechowywania danych.
• Praca z dużymi wolumenami danych tekstowych, optymalizacja odczytu/zapisu i przetwarzanie tekstu.
• Dobra znajomość języka angielskiego w codziennej pracy projektowej.

Mansioni

• Budowanie i optymalizacja rurociągów danych w chmurze Azure.
• Przetwarzanie, parsowanie i strukturyzacja dużych zbiorów danych tekstowych.
• Rozwój i utrzymanie baz wiedzy oraz baz wektorowych dla analiz i AI/ML.
• Projektowanie, integracja i udostępnianie interfejsów API w standardzie OpenAPI.
• Dokumentowanie kontraktów danych i punktów styku API (OpenAPI).
• Współpraca z zespołem analityków i inżynierów przy projektowaniu architektury danych.

Conoscenze

Python

Azure

OpenAPI/Swagger

Bazy wiedzy

Wolumeny danych tekstowych

Angielski

Strumenti

Azure Data Factory

Azure DevOps

Descrizione del lavoro

O projekcie:

Poszukujemy doświadczonego Data Engineera / Architekta Danych, który dołączy do naszego zespołu i pomoże nam w budowaniu oraz optymalizacji rurociągów danych, przetwarzaniu dużych zbiorów danych tekstowych oraz ich integracji poprzez OpenAPI.

Uwaga: Szukamy specjalisty z obszaru Data Engineering / Data Architecture, a nie Python Full Stack Developera.

Warunki zaangażowania:

Obszar: Consulting IT

Lokalizacja: 100% zdalnie Delegacje: nie Start: ASAP (akceptujemy kandydatury z max 1msc dostępnością do startu)

Stawka (ustalana indywidualnie): 150 - 160 PLN netto + VAT / h Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo (12msc+)

Wymagania:

• Python – bardzo dobra znajomość języka oraz umiejętność pisania wydajnego, czystego kodu nakierowanego na przetwarzanie i analizę danych.
• Chmura Azure – praktyczne, komercyjne doświadczenie w pracy z kluczowymi usługami danych w środowisku Microsoft Azure.
• OpenAPI / REST API – praktyczna znajomość standardu OpenAPI (Swagger) w kontekście integracji rurociągów danych, dostarczania endpointów i dokumentowania specyfikacji API.
• Bazy wiedzy – doświadczenie w projektowaniu, utrzymaniu lub integracji baz wiedzy, baz wektorowych oraz zaawansowanych struktur przechowywania danych.
• Duże wolumeny danych tekstowych – doświadczenie w pracy z plikami tekstowymi o dużej objętości (optymalizacja odczytu/zapisu, wydajne przetwarzanie).
• Komunikatywność / Język angielski – wysoko rozwinięte umiejętności interpersonalne oraz sprawna komunikacja w języku angielskim w codziennej pracy projektowej.

Mile widziane:

• Doświadczenie z narzędziami do orkiestracji danych i CI/CD w Azure (np. Azure Data Factory, Azure DevOps).
• Doświadczenie w integracji pipeline'ów z modelami LLM / RAG.

Codzienne zadania:

• Budowanie, optymalizacja i utrzymanie wydajnych rurociągów danych (Data Pipelines) w chmurze Azure
• Przetwarzanie, parsowanie, czyszczenie i strukturyzacja dużych wolumenów danych tekstowych
• Rozwój i utrzymanie baz wiedzy (w tym baz wektorowych / struktur przechowywania danych) na potrzeby analityczne oraz rozwiązań AI/ML
• Projektowanie, integracja i udostępnianie interfejsów API w standardzie OpenAPI (Swagger) na potrzeby zasilania i wystawiania danych z pipeline'ów dla innych systemów
• Tworzenie spójnej dokumentacji kontraktów danych i punktów styku (API-first) w standardzie OpenAPI
• Współpraca z zespołem analityków, architektów oraz inżynierów przy projektowaniu kompleksowej architektury danych