ETL Developer (K/M)

Alior Bank SA; Województwo pomorskie; Hybrid; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Kafeteria

Prywatna opieka medyczna z pakietem St

Karta Multisport

Ubezpieczenie

Konkursy wewnętrzne

Programy zniżkowe i lojalnościowe

Dzień na U – 16 godzin wolontariatu

Alior Uniwersytet

Job summary

Alior Bank SA poszukuje specjalisty ds. hurtowni danych i ETL. Będziesz projektować i utrzymywać widoki oraz struktury danych, wspierać procesy integracyjne oraz zasileń danych w hurtowni Teradata.

Wymagane doświadczenie z Azure Data Factory, Apache Kafka, Spark i Git, a także praktyczna znajomość DataOps i CI/CD. Praca w zespole Scrum w modelu hybrydowym, z atrakcyjnym pakietem benefitów.

Qualifications

• Minimum 3 years of documented experience in a similar role.
• Practical experience with ETL solutions.
• Good or very good SQL skills and experience with databases.
• Experience designing and optimizing data structures and query performance.
• Knowledge of Microsoft Azure services related to storage, integration and data processing.
• Experience with Azure Data Factory (ADF).
• Experience processing large data sets, e.g. with Apache Spark or Azure Databricks.
• Knowledge of Apache Kafka and event-driven architecture.

Responsibilities

• Design, build and maintain data views and structures used by integration processes.
• Design, build and maintain ETL processes, optimize performance and data flows.
• Develop and maintain batch data loads: Data Warehouse (Teradata) → Azure Data Factory → Adobe solutions.
• Develop and maintain Real-Time data loads and integrations (Kafka → Azure Event Hubs → Adobe Accelerato r).
• Configure, operate and diagnose Kafka-based integrations including topics, producers, consumers, partitions and data streams.
• Collaborate with source teams to identify and run new data sources and streams.
• Monitor pipelines and data flows, analyze errors, delays and performance issues.
• Develop and implement DataOps standards and ensure data quality, completeness, consistency and security.
• Support performance tests for integrations and Real-Time data, diagnose end-to-end issues from source to target.
• Develop automation for CI/CD for data and ETL processes.
• Create and maintain process and pipeline documentation.
• Work in an agile Scrum team.

Skills

SQL

Azure Data Factory

Azure Databricks

Apache Spark

Apache Kafka

ETL design

Teradata

Git

DevOps / CI/CD

Generative AI

Tools

Teradata

Microsoft Azure

Azure Event Hubs

Job description

Bank realizuje transformację obszaru CRM i Marketing Automation w oparciu o nowoczesny ekosystem systemów informatycznych oraz komunikację omnichannel.W ramach transformacji rozwijana jest platforma Next Generation CRM, wykorzystująca nowoczesne rozwiązania klasy Campaign Management, technologie Microsoft Azure oraz środowisko hurtowni danych.

Dołączając do naszego zespołu, będziesz odpowiadać za rozwój standardów w zakresie spójności i jakości procesów ETL oraz danych, ze szczególnym uwzględnieniem utrzymania i monitorowania systemów przetwarzania danych.

Mamy dla Ciebie pracę, która polega na:

• projektowaniu, tworzeniu i utrzymywaniu widoków oraz struktur danych w hurtowni danych, wykorzystywanych przez procesy integracyjne,
• projektowaniu, budowie i utrzymywaniu procesów ETL, w tym optymalizacji ich wydajności, zapytań oraz przepływów danych,
• rozwoju i utrzymaniu zasileń batch, obejmujących przepływ danych: Hurtownia Danych (Teradata) → Azure Data Factory → rozwiązania Adobe,
• rozwoju i utrzymaniu zasileń oraz integracji Real-Time, wykorzystujących: Kafka → Azure Event Hubs → Adobe Accelerator / rozwiązania Adobe,
• konfiguracji, obsłudze i diagnostyce integracji opartych o Apache Kafka, w tym pracy z topicami, producerami, consumerami, partycjami i przepływem komunikatów,
• współpracy z zespołami źródłowymi przy identyfikowaniu i uruchamianiu nowych źródeł oraz strumieni danych,
• monitorowaniu działania pipeline'ów i przepływów danych oraz analizie błędów, opóźnień i problemów wydajnościowych,
• rozwijaniu i wdrażaniu standardów DataOps,
• zapewnianiu jakości, kompletności, spójności i bezpieczeństwa przetwarzanych danych,
• wspieraniu testów wydajnościowych dla integracji i danych Real-Time,
• wsparciu produkcyjnym oraz diagnozowaniu problemów end-to-end, od źródła danych, przez warstwę integracyjną, aż do systemu docelowego,
• rozwijaniu automatyzacji CI/CD dla procesów danych i ETL,
• tworzeniu i utrzymywaniu dokumentacji procesów, przepływów oraz rozwiązań,
• pracy w zwinnym zespole z elementami Scrum.

Jeśli jesteś osobą, która:

• ma minimum 3 lata udokumentowanego doświadczenia na podobnym stanowisku,
• ma praktyczne doświadczenie w pracy z rozwiązaniami klasy ETL,
• dobrze lub bardzo dobrze zna SQL i ma doświadczenie w pracy z bazami danych,
• ma doświadczenie w projektowaniu i optymalizacji struktur danych oraz wydajności zapytań,
• zna usługi Microsoft Azure, szczególnie związane ze składowaniem, integracją i przetwarzaniem danych,
• ma praktyczne doświadczenie z Azure Data Factory (ADF),
• ma doświadczenie w przetwarzaniu dużych zbiorów danych, np. z wykorzystaniem Apache Spark lub Azure Databricks,
• zna Apache Kafka i rozumie sposób działania architektury event-driven oraz komunikacji producer/consumer,
• potrafi diagnozować problemy dotyczące topiców, consumerów, producerów, partycji oraz przetwarzania komunikatów,
• rozumie różnice pomiędzy przetwarzaniem batch, near Real-Time i Real-Time,
• ma doświadczenie w optymalizacji i automatyzacji przepływów danych,
• potrafi monitorować procesy danych, analizować logi i samodzielnie diagnozować problemy,
• ma doświadczenie z praktykami DevOps i CI/CD wspierającymi wdrażanie zmian w procesach danych,
• sprawnie korzysta z Git,
• praktycznie wykorzystuje Generative AI / AI Copilot w codziennej pracy inżynierskiej, w szczególności do tworzenia, analizy i optymalizacji SQL, skryptów, transformacji danych i konfiguracji pipeline'ów, a także do analizy logów, diagnostyki błędów oraz identyfikowania przyczyn problemów w przepływach ETL, Kafka i Real-Time,
• ma doświadczenie w pracy w zwinnym zespole z elementami Scrum,
• potrafi tworzyć i utrzymywać dokumentację techniczną,
• jest osobą samodzielną i komunikatywną oraz potrafi efektywnie współpracować zarówno z osobami technicznymi, jak i biznesowymi,
• ma doświadczenie we współpracy z obszarem CRM oraz w analizie i rozwiązywaniu problemów związanych z przetwarzaniem danych,
• zna język angielski na poziomie minimum B2.
• umowę o pracę,
• pracę hybrydową,
• pakiet benefitów m.in. kafeteria, prywatna opieka medyczna z pakietem stomatologicznym, karta Multisport, ubezpieczenie, konkursy wewnętrzne, programy zniżkowe i lojalnościowe, 16 godzin na wolontariat "Dzień na U",
• pracę w oparciu o wartości wspólnie wypracowane przez Aliorowców – odpowiedzialność, otwartość, innowacyjność, zorientowanie na klienta,
• Alior Uniwersytet – przestrzeń do rozwoju kompetencji zawodowych oraz personalnych,
• nagrodę pieniężną za skuteczne polecenie w ramach Programu Poleceń.