Senior Data Engineer: Spark/Databricks, Kafka, Azure

Solid; Wrocław; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

Solid poszukuje doświadczonego Data Engineera do budowy i optymalizacji rozproszonych systemów transakcyjnych. Dołączysz do zespołu zajmującego się potokami danych w Spark, Databricks i PySpark, z integracją architektury Kafka i chmurą Azure Cloud.

Wymagana jest biegła znajomość Javy i Pythona oraz praktyka z Kubernetes i CI/CD w Agile. Praca w wysoce dynamicznym środowisku produkcyjnym, wsparcie Level 3 i ścisła współpraca z interesariuszami biznesowymi.

Qualifications

• Min. 7 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość Spark, Databricks oraz PySpark.
• Znajomość Java oraz Python.
• Głębsze doświadczenie w chmurze Azure Cloud.
• Doświadczenie z Kubernetes i architekturą Kafka oraz przepływami strumieniowymi.
• Znajomość DevOps oraz tworzenia potoków CI/CD.
• Znajomość angielskiego na poziomie min. B2.

Responsibilities

• Projektowanie i rozbudowa wysokowydajnych, wysoko dostępnych systemów transakcyjnych.
• Tworzenie i optymalizacja potoków danych przy użyciu Spark, Databricks oraz PySpark.
• Integracja architektury strumieniowej opartej o Kafka.
• Wdrażanie i utrzymanie rozwiązań w Azure Cloud z Kubernetes.
• Tworzenie i automatyzacja potoków CI/CD oraz praktyk DevOps.
• Analiza i rozwiązywanie złożonych problemów technicznych oraz proponowanie optymalnych architektur danych.
• Efektywna komunikacja z biznesem i zespołami IT, wsparcie Level 3 w środowisku produkcyjnym.
• Praca w zespole programistycznym w metodologii Agile.

Job description

Solid poszukuje doświadczonego Data Engineera do budowy i optymalizacji rozproszonych systemów transakcyjnych. Dołączysz do zespołu zajmującego się potokami danych w Spark, Databricks i PySpark, z integracją architektury Kafka i chmurą Azure Cloud.

Wymagana jest biegła znajomość Javy i Pythona oraz praktyka z Kubernetes i CI/CD w Agile. Praca w wysoce dynamicznym środowisku produkcyjnym, wsparcie Level 3 i ścisła współpraca z interesariuszami biznesowymi.