Senior Data Platform Engineer - ML, Streaming & Pipelines

Arche Solutions; Poland; Remote; PLN 180,000 - 260,000; Full time

Job summary

Arche Solutions poszukuje doświadczonego Data Engineera do budowy i optymalizacji dużych pipeline’ów danych dla analiz i ML. Będziesz współpracować z Data Science i Engineering, zapewniając niezawodność, wydajność i wysoką jakość danych w środowisku produkcyjnym.

Wymagania: min. 6 lat w Data Engineerze; Python, SQL, Spark; ETL/ELT; Airflow; chmury (GCP/AWS/Azure); Kubernetes; Git/CI/CD; analityczne myślenie i angielski B2+.

Qualifications

• Min. 6 lat doświadczenia w roli Data Engineera.
• Biegła znajomość Python, SQL i Spark.
• Doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT.
• Znajomość Airflow i narzędzi orkiestracyjnych.
• Praktyczna praca z chmurami: GCP, AWS lub Azure.
• Doświadczenie z dużymi wolumenami danych i Kubernetes.
• Dobre praktyki Software Engineering, Git oraz CI/CD.
• Silne umiejętności analityczne i rozwiązywanie problemów.
• Zaawansowana znajomość angielskiego (minimum B2).

Responsibilities

• Rozwój, utrzymanie i optymalizację skalowalnych platform danych.
• Budowa i obsługa złożonych pipeline’ów ETL/ELT.
• Zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie.
• Monitoring i observability oraz wysoka jakość danych.
• Rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury.
• Współpraca z Data Scientistami, Analystami i zespołami Engineering.
• Rozwój narzędzi i frameworków Data Platform.
• Praca nad ML, streamingiem i systemami rekomendacyjnymi.
• Utrzymywanie infrastruktury w Kubernetes/GKE.

Skills

Python

SQL

Spark

ETL/ELT

Airflow

Kubernetes

Git/CI–CD

Analiza danych

Angielski B2+

Tools

GCP

AWS

Azure

CI/CD pipelines

Job description

Arche Solutions poszukuje doświadczonego Data Engineera do budowy i optymalizacji dużych pipeline’ów danych dla analiz i ML. Będziesz współpracować z Data Science i Engineering, zapewniając niezawodność, wydajność i wysoką jakość danych w środowisku produkcyjnym.

Wymagania: min. 6 lat w Data Engineerze; Python, SQL, Spark; ETL/ELT; Airflow; chmury (GCP/AWS/Azure); Kubernetes; Git/CI/CD; analityczne myślenie i angielski B2+.