Senior Data Engineer

ITConnect; Warszawa; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

ITConnect w Warszawie poszukuje doświadczonego Senior Data Engineer, który będzie rozwijać procesy przetwarzania danych, infrastrukturę bazodanową i analityczno-raportowe rozwiązania w obszarze produktów i usług finansowych.

Projekt obejmuje ETL, analitykę dużych zbiorów danych i integrację danych z XML/JSON, a także tworzenie raportów i prezentacji. Praca hybrydowa w Warszawie, z obecnością w biurze minimum 2 dni w tygodniu.

Qualifications

• Zaawansowana znajomość SQL.
• Doświadczenie w ETL i projektowaniu, budowie i utrzymaniu procesów przetwarzania danych.
• Dobra znajomość co najmniej jednego narzędzia do wizualizacji danych: Power BI, Tableau lub Qlik Sense.
• Znajomość baz NoSQL oraz silników wyszukiwania i przetwarzania danych, takich jak Elasticsearch.
• Umiejętność pracy z plikami XML i JSON oraz analizy logów tekstowych.
• Praktyczna znajomość Microsoft Power Query i jego zastosowania w Excelu lub Power BI.
• Umiejętność programowania w co najmniej jednym języku wysokiego poziomu, mile widziany Python.
• Znajomość zagadnień związanych z segmentacją i predykcją.
• Praktyczna znajomość systemów Windows i Linux, w tym tworzenia skryptów lub plików wsadowych dla obu środowisk.
• Dobra znajomość Jira i Confluence.
• Wysoko rozwinięte umiejętności analityczne, dokładność i zaangażowanie.
• Umiejętność samodzielnej analizy problemów oraz formułowania rekomendacji na podstawie danych.

Responsibilities

• Projektowanie, budowanie i rozwijanie procesów ETL z wykorzystaniem nowoczesnych technologii przetwarzania danych.
• Rozwijanie infrastruktury bazodanowej oraz rozwiązań do przechowywania i przetwarzania danych.
• Analiza dużych zbiorów danych, identyfikowanie zależności i rekomendowanie usprawnień procesów.
• Przygotowywanie raportów, analiz i prezentacji dotyczących produktów oraz usług finansowych.
• Prognozowanie i monitorowanie wskaźników dostępności oraz efektywności usług API.
• Budowanie i wdrażanie lejków sprzedażowych oraz analiza ich efektywności.
• Rozwijanie narzędzi raportowych i analitycznych oraz dbanie o jakość i spójność danych.
• Praca z danymi pochodzącymi z różnych źródeł, w tym plikami XML, JSON i logami tekstowymi.
• Wykorzystywanie narzędzi wizualizacji danych do prezentowania wyników analiz.
• Tworzenie dokumentacji procesów ETL, analiz i rozwiązań raportowych.
• Współpraca z zespołami developerskimi i analitycznymi, w tym zespołami pracującymi w metodykach zwinnych.

Skills

SQL

ETL

Data visualization

Python

Windows/Linux scripting

Analytical thinking

Problem solving

Data analysis

Tools

Elasticsearch

Power BI

Tableau

Qlik Sense

XML

JSON

Jira

Confluence

Power Query

Excel

Kubernetes

Job description

Elasticsearch lub podobne silniki przetwarzania danych

skrypty powłoki i pliki wsadowe

co najmniej jeden język programowania wysokiego poziomu.

Mile widziane:

Forma zatrudnienia:

Poszukujemy doświadczonej osoby na stanowisko Senior Data Engineer, która będzie rozwijać procesy przetwarzania danych, infrastrukturę bazodanową oraz rozwiązania analityczno-raportowe w obszarze produktów i usług finansowych.

Projekt obejmuje pracę z dużymi zbiorami danych, budowę procesów ETL, analizę wskaźników efektywności oraz rozwój rozwiązań wspierających optymalizację procesów i rozwój produktów cyfrowych. Ważnym elementem będzie również współpraca z zespołami projektowymi przy rozwijaniu usług i integracji opartych na danych.

Twój zakres obowiązków:

• Projektowanie, budowanie i rozwijanie procesów ETL z wykorzystaniem nowoczesnych technologii przetwarzania danych.
• Rozwijanie infrastruktury bazodanowej oraz rozwiązań do przechowywania i przetwarzania danych.
• Analiza dużych zbiorów danych, identyfikowanie zależności i rekomendowanie usprawnień procesów.
• Przygotowywanie raportów, analiz i prezentacji dotyczących produktów oraz usług finansowych.
• Prognozowanie i monitorowanie wskaźników dostępności oraz efektywności usług API.
• Budowanie i wdrażanie lejków sprzedażowych oraz analiza ich efektywności.
• Rozwijanie narzędzi raportowych i analitycznych oraz dbanie o jakość i spójność danych.
• Praca z danymi pochodzącymi z różnych źródeł, w tym plikami XML, JSON i logami tekstowymi.
• Wykorzystywanie narzędzi wizualizacji danych do prezentowania wyników analiz.
• Tworzenie dokumentacji procesów ETL, analiz i rozwiązań raportowych.
• Współpraca z zespołami developerskimi i analitycznymi, w tym zespołami pracującymi w metodykach zwinnych.

Nasze wymagania:

• Zaawansowana znajomość SQL.
• Doświadczenie w pracy z bazami danych oraz projektowaniu, budowie i utrzymaniu procesów ETL.
• Dobra znajomość co najmniej jednego narzędzia do wizualizacji danych: Power BI, Tableau lub Qlik Sense.
• Znajomość baz NoSQL oraz silników wyszukiwania i przetwarzania danych, takich jak Elasticsearch, lub innych rozwiązań do przechowywania i przetwarzania danych.
• Umiejętność pracy z plikami XML i JSON oraz analizy logów tekstowych.
• Praktyczna znajomość Microsoft Power Query i jego zastosowania w Excelu lub Power BI.
• Umiejętność programowania w co najmniej jednym języku wysokiego poziomu, mile widziany Python.
• Znajomość zagadnień związanych z segmentacją i predykcją.
• Praktyczna znajomość systemów Windows i Linux, w tym tworzenia skryptów lub plików wsadowych dla obu środowisk.
• Dobra znajomość Jira i Confluence.
• Wysoko rozwinięte umiejętności analityczne, dokładność i zaangażowanie.
• Umiejętność samodzielnej analizy problemów oraz formułowania rekomendacji na podstawie danych.

• Zaawansowana znajomość SQL.
• Doświadczenie w pracy z bazami danych oraz projektowaniu, budowie i utrzymaniu procesów ETL.
• Dobra znajomość co najmniej jednego narzędzia do wizualizacji danych: Power BI, Tableau lub Qlik Sense.
• Znajomość baz NoSQL oraz silników wyszukiwania i przetwarzania danych, takich jak Elasticsearch, lub innych rozwiązań do przechowywania i przetwarzania danych.
• Umiejętność pracy z plikami XML i JSON oraz analizy logów tekstowych.
• Praktyczna znajomość Microsoft Power Query i jego zastosowania w Excelu lub Power BI.
• Umiejętność programowania w co najmniej jednym języku wysokiego poziomu, mile widziany Python.
• Znajomość zagadnień związanych z segmentacją i predykcją.
• Praktyczna znajomość systemów Windows i Linux, w tym tworzenia skryptów lub plików wsadowych dla obu środowisk.
• Dobra znajomość Jira i Confluence.
• Wysoko rozwinięte umiejętności analityczne, dokładność i zaangażowanie.
• Umiejętność samodzielnej analizy problemów oraz formułowania rekomendacji na podstawie danych.

Mile widziane

• Znajomość zagadnień związanych z embedded finance, otwartą bankowością i dyrektywą PSD2.
• Znajomość narzędzi i języków do zaawansowanej analizy danych, takich jak R, SAS oraz SAS 4GL.
• Doświadczenie w pracy z rozwiązaniami analitycznymi opartymi na Google Cloud Platform (GCP).
• Znajomość metodyk zwinnych, w szczególności Scrum.
• Doświadczenie w pracy z Kubernetes, mikroserwisami i przetwarzaniem strumieniowym danych (data streaming).

• Pracę hybrydową w Warszawie, z obecnością w biurze minimum 2 dni w tygodniu.
• Udział w rozwoju rozwiązań analitycznych i procesów przetwarzania danych w obszarze usług finansowych.
• Możliwość pracy z dużymi zbiorami danych oraz nowoczesnymi technologiami bazodanowymi i integracyjnymi.
• Możliwość rozwijania kompetencji w obszarze inżynierii danych, analityki i automatyzacji procesów.