ETL & DataOps Engineer – Azure, Kafka, Hybrid

Alior Bank SA; Województwo mazowieckie; Hybrid; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Kafeteria

Private medical care with dental

Multisport card

Insurance

Internal contests

Discount programs

Volunteer day

Job summary

Alior Bank SA zaprasza do zespołu odpowiedzialnego za CRM i Marketing Automation oraz platformę danych. Praca obejmuje projektowanie i utrzymanie widoków i struktur danych w hurtowni danych oraz zasileń ETL i Real-Time. Do Twoich zadań należeć będzie monitorowanie pipeline’ów, utrzymanie jakości danych, rozwijanie DataOps oraz CI/CD.

Współpraca z zespołami źródeł danych i biznesem w środowisku zorientowanym na klienta. Wymagania: min.

Qualifications

• Minimum 3 lata udokumentowanego doświadczenia na podobnym stanowisku.
• Doświadczenie z rozwiązaniami ETL.
• Dobra znajomość SQL i doświadczenie z bazami danych.
• Doświadczenie w projektowaniu i optymalizacji struktur danych oraz wydajności zapytań.
• Znajomość usług Microsoft Azure, szczególnie storage, integracją i przetwarzaniem danych.
• Doświadczenie z Azure Data Factory (ADF).
• Doświadczenie w przetwarzaniu dużych zbiorów danych, np. Spark lub Azure Databricks.
• Znajomość Apache Kafka i architektury event-driven.
• Umiejętność diagnozowania problemów związanych z topicami, consumerami, producerami, partycjami.
• Znajomość różnic między batch, near Real-Time i Real-Time.
• Doświadczenie w optymalizacji i automatyzacji przepływów danych.
• Umiejętność monitorowania procesów danych, analizowania logów.
• Doświadczenie z DevOps i CI/CD wspieraniem wdrażania zmian.
• Biegła obsługa Git.
• Wykorzystanie Generative AI / AI Copilot w codziennej pracy inżynierskiej.
• Dobra komunikacja i samodzielność; praca w Scrum.
• Współpraca z obszarem CRM i analizą danych.
• Znajomość języka angielskiego min. B2.
• Umowa o pracę, praca hybrydowa.

Responsibilities

• Projektowanie, tworzenie i utrzymanie widoków oraz struktur danych w hurtowni danych, wykorzystywanych przez procesy integracyjne.
• Projektowaniu, budowie i utrzymaniu procesów ETL, w tym optymalizacji ich wydajności, zapytań oraz przepływów danych.
• Rozwoju i utrzymaniu zasileń batch, obejmujących przepływ danych: Hurtownia Danych (Teradata) → Azure Data Factory → rozwiązania Adobe.
• Rozwoju i utrzymaniu zasileń oraz integracji Real-Time, wykorzystujących: Kafka → Azure Event Hubs → Adobe Accelerator / rozwiązania Adobe.
• Konfiguracji, obsłudze i diagnostyce integracji opartych o Apache Kafka, w tym pracy z topicami, producerami, consumerami, partycjami i przepływem komunikatów.
• Współpracy z zespołami źródłowymi przy identyfikowaniu i uruchamianiu nowych źródeł oraz strumieni danych.
• Monitorowaniu działania pipeline'ów i przepływów danych oraz analizie błędów, opóźnień i problemów wydajnościowych.
• Rozwijaniu i wdrażaniu standardów DataOps.
• Zapewnianiu jakości, kompletności, spójności i bezpieczeństwa przetwarzanych danych.
• Wspieraniu testów wydajnościowych dla integracji i danych Real-Time.
• Wsparciu produkcyjnym oraz diagnozowaniu problemów end-to-end, od źródła danych, przez warstwę integracyjną, aż do systemu docelowego.
• Rozwijaniu automatyzacji CI/CD dla procesów danych i ETL.
• Tworzeniu i utrzymywaniu dokumentacji procesów, przepływów oraz rozwiązań.
• Pracy w zwinnym zespole z elementami Scrum.

Skills

SQL

Data Modeling

ETL Development

Git

DevOps practices

Education

University degree in Computer Science or related field

Tools

Azure Data Factory

Kafka

Azure Databricks

Teradata

Adobe Solutions

Spark

Azure SQL

Job description

Alior Bank SA zaprasza do zespołu odpowiedzialnego za CRM i Marketing Automation oraz platformę danych. Praca obejmuje projektowanie i utrzymanie widoków i struktur danych w hurtowni danych oraz zasileń ETL i Real-Time. Do Twoich zadań należeć będzie monitorowanie pipeline’ów, utrzymanie jakości danych, rozwijanie DataOps oraz CI/CD.

Współpraca z zespołami źródeł danych i biznesem w środowisku zorientowanym na klienta. Wymagania: min.