Senior Data Platform Engineer - Production Ops

Arche Solutions; Poland; Remote; PLN 180,000 - 300,000; Full time

Job summary

Arche Solutions w Polsce poszukuje Senior Data Engineera do rozwoju i utrzymania skalowalnej platformy danych, która przetwarza miliardy zdarzeń. Szukamy specjalisty, który samodzielnie operuje produkcyjną infrastrukturą danych, zapewnia reliability, observability i wysoką jakość software.

Zakres obejmuje utrzymanie i rozwój pipeline'ów danych, budowę narzędzi dla platformy oraz wsparcie Data Scientists i Data Analysts w środowisku chmurowym i Kubernetes/GKE.

Qualifications

• Minimum 4 lata doświadczenia w Data Engineering na podobnym stanowisku.
• Dobra znajomość Spark, Scala i Python.
• Doświadczenie w budowaniu i utrzymywaniu złożonych ETL pipelines.
• Doświadczenie z dużymi zbiorami danych i chmurą.
• Znajomość Airflow, Kubernetes i GKE.
• CI/CD: Jenkins + Git.
• Dobre zrozumienie zasad Software Engineering.
• Samodzielność, ownership i dobre umiejętności komunikacyjne.
• Zaawansowana znajomość języka angielskiego.

Responsibilities

• Utrzymanie i rozwój pipeline'ów ingestujących miliardy zdarzeń.
• Rozwój narzędzi i frameworków dla platformy danych.
• Wsparcie zespołów budujących i optymalizujących data pipelines.
• Identyfikowanie i rozwiązywanie problemów platformowych.
• Wsparcie Data Scientists i Data Analysts w workloadach produkcyjnych.
• Udział w inicjatywach ML Platform i streamingiem.
• Rozwój dobrych praktyk software engineeringu i data development.

Skills

Samodzielność

Komunikacja

Angielski zaawansowany

Myślenie analityczne

Tools

Airflow

Kubernetes

GKE

Jenkins

Git

Spark

Scala

Python

Job description

Arche Solutions w Polsce poszukuje Senior Data Engineera do rozwoju i utrzymania skalowalnej platformy danych, która przetwarza miliardy zdarzeń. Szukamy specjalisty, który samodzielnie operuje produkcyjną infrastrukturą danych, zapewnia reliability, observability i wysoką jakość software.

Zakres obejmuje utrzymanie i rozwój pipeline'ów danych, budowę narzędzi dla platformy oraz wsparcie Data Scientists i Data Analysts w środowisku chmurowym i Kubernetes/GKE.