Senior Spark & Data Lakehouse Engineer

Upvanta sp. z o.o.; Wrocław; On-site; PLN 180,000 - 260,000; Full time

Job summary

Upvanta sp. z o.o. we Wrocławiu poszukuje doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania związane z rekonsyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Czeka Cię praca nad nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana, a także CI/CD, Jenkins oraz metodologia Scrum/Kanban. Wymagamy samodzielności, analitycznego myślenia i umiejętności współpracy z zespołami Data, QA i DevOps.

Qualifications

• min. 4 lata doświadczenia z Apache Spark.
• Dobra znajomość PySpark i Spark SQL.
• Doświadczenie z MongoDB i MongoDB Spark Connector.
• Praktyczna znajomość Apache Iceberg.
• Doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold.
• Znajomość CI/CD i Jenkins.
• Znajomość Prometheus i Grafana.
• Doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.

Skills

Apache Spark

PySpark

Spark SQL

MongoDB

Apache Iceberg

Data Lakehouse

CI/CD

Jenkins

Prometheus

Grafana

Scrum

Kanban

Jira

Confluence

Kubernetes

MongoDB Spark Connector

Tools

Jenkins

Prometheus

Grafana

Jira

Confluence

Kubernetes

MongoDB Spark Connector

Job description

Upvanta sp. z o.o. we Wrocławiu poszukuje doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania związane z rekonsyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Czeka Cię praca nad nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana, a także CI/CD, Jenkins oraz metodologia Scrum/Kanban. Wymagamy samodzielności, analitycznego myślenia i umiejętności współpracy z zespołami Data, QA i DevOps.