Senior Cloud Data Engineer (Azure)

Future Processing; Polska; Remote; PLN 200,000 - 320,000; Full time

Benefits offered by this job

100% zdalnie

Job summary

Future Processing poszukuje specjalisty ds. danych do pracy nad projektami dla klienta z rynku DACH; skupiamy się na projektowaniu, rozwoju i utrzymaniu rozwiązań danych w ekosystemie Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse).

Wymagane jest co najmniej 6 lat doświadczenia w chmurze Azure, biegła znajomość PySpark, SQL i narzędzi takich jak Terraform, Git oraz CI/CD. Oferujemy pracę zdalną 100% i pracę dla międzynarodowych klientów.

Qualifications

• Minimum 6 years of experience in data in Azure cloud with commercial deployments.
• Experience with Terraform, Databricks and large-scale data processing using JSON.
• Advanced SQL skills used in MS and other platforms.
• Familiarity with agile methods and CI/CD practices.
• Knowledge of secure data storage and processing in the cloud.
• Willingness to use Generative AI in software development and architecture decisions.

Responsibilities

• Implementacja i optymalizacja procesów ETL/ELT do pozyskiwania i udostępniania danych z wielu obszarów biznesowych.
• Tworzenie i utrzymywanie rozwiązań w Databricks, DLt, i Delta Live Tables.
• Współpraca z architektami, analitykami i interesariuszami biznesowymi w przekładaniu wymagań na techniczne rozwiązania.
• Rozwój procesów CI/CD, automatyzacji infrastruktury oraz monitoringu i logowania.

Skills

Azure

Python

SQL

Git

CI/CD

Databricks

PySpark

Terraform

Data Modeling

Tools

Azure Synapse

Databricks

Azure Data Factory

Azure Data Lake

Unity Catalog

Delta Live Tables

Job description

Szukamy osoby, która dołączy do jednego z projektów dla klienta z rynku DACH z branży turystycznej. Nasz zespół odpowiada za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie platformy Azure Data Platform, obejmującym m.in. Azure Synapse, Databricks oraz środowiska Data Lakehouse.

Szukamy Ciebie, jeśli:

Stos technologiczny

Azure Python SQL Databrics

Szukamy osoby, która dołączy do jednego z projektów dla klienta z rynku DACH z branży turystycznej. Nasz zespół odpowiada za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie platformy Azure Data Platform, obejmującym m.in. Azure Synapse, Databricks oraz środowiska Data Lakehouse.

Szukamy Ciebie, jeśli:

• masz min. 6 lat doświadczeniaw pracy z danymi w chmurze Azure(potwierdzone projektami komercyjnymi wdrożonymi na produkcje),
• masz doświadczenie w pracy z narzędziem Terraform,
• masz doświadczenie w pracy ze Databricks,
• masz komercyjne doświadczenie w przetwarzaniu sporych danych przy użyciuJSON,
• posiadasz komercyjne doświadczenie z PySpark,
• korzystasz z SQL na poziomie zaawansowanym i wykorzystujesz go na rozwiązaniach technologicznych MS i nie tylko,
• znasz metodyki i stosujesz biegle Git oraz CI/CD,
• tworzysz i optymalizujesz rozwiązania przetwarzające dane (ETL, ELT, itp.) poprzedzone projektem technicznym oraz alternatywami rozwiązań (np. Apache Airflow)
• potrafisz programować w Python i korzystasz z bibliotek Pandas i/lub NumPy,
• jesteś zaznajomiony z narzędziami: Azure Data Explorer, Azure Data Factory, Azure Data Lake, Azure Databricks, Azure DevOps, Azure Sysnapse Analytics,
• masz doświadczenie z praktykami zwinnymi oraz znasz narzędzia wykorzystywane w procesie wytwarzania oprogramowania, w tym np. Azure DevOps,
• masz wiedzę na temat stosowania mechanizmów związanych z bezpiecznym przechowywaniem i przetwarzaniem danych w chmurze,
• świadomie wykorzystujesz Generative AI w procesie wytwarzania oprogramowania oraz w decyzjach architektonicznych i technologicznych,
• posługujesz się j. angielskim na poziomie średniozaawansowanym (min. B2) oraz swobodnie komunikujesz się w języku polskim.

Praca na tym stanowisku w naszej firmie oznacza:

• Implementowanie i optymalizacja procesów ETL/ELT służących do pozyskiwania, transformacji i udostępniania danych z wielu obszarów biznesowych, w tym systemów operacyjnych, finansowych i raportowych,
• tworzenie oraz utrzymywanie rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL oraz Apache Spark,
• wsparcie inicjatyw związanych z migracją i modernizacją środowisk danych, w tym wdrażaniem Unity Catalog, aktualizacjami platform oraz transformacjami platform danych,
• budowanie i utrzymywanie workflowów w Databricks, rozwiązań opartych o Delta Live Tables (DLT), frameworków sterowanych metadanymi oraz procesów orkiestracji,
• współpraca z architektami, analitykami i interesariuszami biznesowymi w celu przekładania wymagań biznesowych na solidne rozwiązania techniczne,
• współtworzenie i rozwijanie procesów CI/CD, automatyzacji infrastruktury, monitoringu, logowania oraz najlepszych praktyk operacyjnych.

Co oferujemy, by pracowało Ci się dobrze:

• dużą swobodę działania i realny wpływ na kierunek projektów,
• projekty dla klientów z Europy i USA – branża turystyczna, ubezpieczeniowa, energetyczna, farmaceutyczna i finansowa,
• certyfikacje i szkolenia chmurowe: AWS, Microsoft, Databricks Academy – opłacamy szkolenia i egzaminy,
• narzędzia AI dla każdego w zespole od pierwszego dnia,
• społeczność ekspertów: grupy tematyczne, dostęp do zespołu architektów systemowych, analityków biznesowych i zespołu UX,
• możliwość pracy 100% remote,
• damy Ci merytoryczny feedback po zakończonym procesie rekrutacyjnym – niezależnie od wyniku.
• Więcej o zespole, projektach i technologiach: datasolutions.future-processing.pl
• Case study: https://www.future-processing.com/pl/case-studies/