Data Engineer

Solid; Wrocław; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

Solid poszukuje doświadczonego Data Engineera do budowy i optymalizacji rozproszonych systemów transakcyjnych. Dołączysz do zespołu zajmującego się potokami danych w Spark, Databricks i PySpark, z integracją architektury Kafka i chmurą Azure Cloud.

Wymagana jest biegła znajomość Javy i Pythona oraz praktyka z Kubernetes i CI/CD w Agile. Praca w wysoce dynamicznym środowisku produkcyjnym, wsparcie Level 3 i ścisła współpraca z interesariuszami biznesowymi.

Qualifications

• Min. 7 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość Spark, Databricks oraz PySpark.
• Znajomość Java oraz Python.
• Głębsze doświadczenie w chmurze Azure Cloud.
• Doświadczenie z Kubernetes i architekturą Kafka oraz przepływami strumieniowymi.
• Znajomość DevOps oraz tworzenia potoków CI/CD.
• Znajomość angielskiego na poziomie min. B2.

Responsibilities

• Projektowanie i rozbudowa wysokowydajnych, wysoko dostępnych systemów transakcyjnych.
• Tworzenie i optymalizacja potoków danych przy użyciu Spark, Databricks oraz PySpark.
• Integracja architektury strumieniowej opartej o Kafka.
• Wdrażanie i utrzymanie rozwiązań w Azure Cloud z Kubernetes.
• Tworzenie i automatyzacja potoków CI/CD oraz praktyk DevOps.
• Analiza i rozwiązywanie złożonych problemów technicznych oraz proponowanie optymalnych architektur danych.
• Efektywna komunikacja z biznesem i zespołami IT, wsparcie Level 3 w środowisku produkcyjnym.
• Praca w zespole programistycznym w metodologii Agile.

Job description

• Projektowanie i rozbudowa wysokowydajnych, wysoko dostępnych oraz niskoopóźnieniowych rozproszonych systemów transakcyjnych,
• Tworzenie i optymalizacja potoków danych przy użyciu Spark, Databricks oraz PySpark,
• Integracja i obsługa architektury strumieniowej opartej o Kafka,
• Wdrażanie i utrzymanie rozwiązań w chmurze Azure Cloud z wykorzystaniem Kubernetes,
• Tworzenie i automatyzacja potoków CI/CD oraz praktyk DevOps,
• Analiza i rozwiązywanie złożonych problemów technicznych oraz proponowanie optymalnych architektów danych,
• Efektywna komunikacja i wyjaśnianie zawiłości technicznych oraz funkcjonalnych interesariuszom biznesowym i zespołom IT,
• Świadczenie wsparcia poziomu 3 (Level 3 support / DEV) w wymagającym środowisku produkcyjnym,
• Praca w zespole programistycznym w oparciu o metodykę Agile.

Kogo poszukujemy?

• Min. 7 lat doświadczenia na stanowisku Data Engineer lub pokrewnym,
• Bardzo dobra znajomość Spark, Databricks oraz PySpark,
• Znajomość języków programowania Java oraz Python,
• Głębsze doświadczenie technologiczne w chmurze Azure Cloud,
• Doświadczenie w pracy z Kubernetes,
• Doświadczenie z architekturą Kafka oraz przepływami strumieniowymi,
• Znajomość narzędzi DevOps oraz tworzenia potoków CI/CD,
• Znajomość języka angielskiego na poziomie min. B2.

Mile widziane:

• Doświadczenie w obsłudze wsparcia technicznego L3 (DEV) w dynamicznym środowisku produkcyjnym.