Payments Data Engineer — Databricks, Spark & Real‑Time Analytics

Grid Dynamics; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Bleeding-edge проекты

Мотивированная команда

Конкурентная зарплата

Гибкий график

Медицинская страховка и спорт

Корпоративные мероприятия

Профессиональное развитие

Соврем офис

Job summary

Grid Dynamics ищет Data Engineer для работы над новой платформой данных в глобальной платежной компании. Вам предстоит развивать Databricks на AWS, проектировать слои Bronze/Silver/Gold и обеспечивать качество кода и данных.

В команде с тех-лидом и инженерами заказчика вы будете работать над обработкой потоков и аналитикой в реальном времени. Требования включают опыт разработки продюсерских конвейеров данных, Databricks, Spark, Python и SQL, а также знание AWS.

Qualifications

• Коммерческий опыт построения продюсерских конвейеров данных.
• Умение проектировать и оптимизировать конвейеры на Databricks.
• Знания Python и SQL и опыт работы с AWS.

Responsibilities

• Разрабатывать конвейеры и преобразования на Databricks в AWS, создавать Bronze/Silver/Gold слои.
• Оптимизировать нагрузки Spark/PySpark и обеспечивать качество данных.
• Проводить тестирование, писать модульные и интеграционные тесты, участвовать в ревью кода.
• Работать над интеграциями с Hadoop и Kafka, поддерживать низкую задержку.

Tools

Databricks

Spark

Python

SQL

ClickHouse

Kafka

Hadoop

AWS

Delta Lake

CI/CD

MLOps

Job description

Grid Dynamics ищет Data Engineer для работы над новой платформой данных в глобальной платежной компании. Вам предстоит развивать Databricks на AWS, проектировать слои Bronze/Silver/Gold и обеспечивать качество кода и данных.

В команде с тех-лидом и инженерами заказчика вы будете работать над обработкой потоков и аналитикой в реальном времени. Требования включают опыт разработки продюсерских конвейеров данных, Databricks, Spark, Python и SQL, а также знание AWS.