Spark / Data Lakehouse Developer

Upvanta sp. z o.o.; Wrocław; On-site; PLN 180,000 - 260,000; Full time

Job summary

Upvanta sp. z o.o. we Wrocławiu poszukuje doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania związane z rekonsyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Czeka Cię praca nad nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana, a także CI/CD, Jenkins oraz metodologia Scrum/Kanban. Wymagamy samodzielności, analitycznego myślenia i umiejętności współpracy z zespołami Data, QA i DevOps.

Qualifications

• min. 4 lata doświadczenia z Apache Spark.
• Dobra znajomość PySpark i Spark SQL.
• Doświadczenie z MongoDB i MongoDB Spark Connector.
• Praktyczna znajomość Apache Iceberg.
• Doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold.
• Znajomość CI/CD i Jenkins.
• Znajomość Prometheus i Grafana.
• Doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.

Skills

Apache Spark

PySpark

Spark SQL

MongoDB

Apache Iceberg

Data Lakehouse

CI/CD

Jenkins

Prometheus

Grafana

Scrum

Kanban

Jira

Confluence

Kubernetes

MongoDB Spark Connector

Tools

Jenkins

Prometheus

Grafana

Jira

Confluence

Kubernetes

MongoDB Spark Connector

Job description

Kogo szukamy?

Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.

Oczekiwania

• min. 4 lata doświadczenia z Apache Spark,
• bardzo dobra znajomość PySpark i Spark SQL,
• doświadczenie z MongoDB i MongoDB Spark Connector,
• praktyczna znajomość Apache Iceberg,
• doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold,
• znajomość CI/CD i Jenkins,
• znajomość Prometheus i Grafana,
• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.

Wymagania

• umiejętność optymalizacji procesów Spark,
• doświadczenie w rekoncyliacji i kontroli jakości danych,
• znajomość partitioningu, caching, broadcast joins i AQE,
• doświadczenie w pracy z dużymi zbiorami danych,
• samodzielność i analityczne podejście do rozwiązywania problemów,
• umiejętność współpracy z zespołami Data, QA i DevOps.

Oferujemy

• pracę przy nowoczesnej platformie Data Lakehouse,
• udział w ciekawych projektach związanych z dużymi zbiorami danych,
• pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana,
• możliwość rozwoju i wpływu na rozwiązania technologiczne,
• współpracę z doświadczonym zespołem,