Data engineer in financial industry

Sii Poland; Warszawa; On-site; PLN 180,000 - 300,000; Full time

Benefits offered by this job

MySii app

Медицинское обслуживание

Центр внутренних обучений

Доля в прибыли

Job summary

Sii Poland ищет старшего Big Data разработчика для создания современной data-платформы на Databricks в экосистеме Microsoft Azure. Вы будете проектировать и развивать масштабируемые решения, реализовывать ETL/ELT конвейеры и интегрировать данные из нескольких источников.

Кандидат должен иметь 5+ лет опыта в Data Engineering, глубокие знания Python и PySpark, Databricks и Delta Tables, а также опыт работы с Azure Data Factory и Azure Event Hub.

Qualifications

• 5+ лет опыта в Data Engineering / Big Data.
• Опыт работы с Python и PySpark.
• Знание Databricks, Delta Tables и современных архитектур данных.
• Практические навыки в экосистеме Azure (Azure Data Factory, Azure Event Hub).
• Опыт построения и поддержки масштабируемых ETL/ELT конвейеров.
• Высокий уровень английского.

Responsibilities

• Проектирование и разработка решений на Databricks, Python и PySpark.
• Построение и оптимизация ETL/ELT конвейеров для пакетной и потоковой обработки.
• Реализация медиальной архитектуры с использованием Delta Tables.
• Интеграция данных из нескольких источников, включая SFTP, Delta Tables и Azure Event Hub.
• Работа с сервисами Azure для поддержки end-to-end data workflows.
• Использование инструментов с AI для повышения качества кода, тестирования и документации.

Skills

Python

PySpark

Databricks

Delta Tables

ETL/ELT pipelines

English

AI-assisted development tools

Elasticsearch

Tools

Azure Data Factory

Azure Event Hub

Job description

Описание

We are looking for a Senior Big Data Developer to join our team in building a modern data platform using Databricks and the Microsoft Azure ecosystem. In this role, you will be responsible for designing and developing scalable data solutions, implementing and optimizing ETL/ELT pipelines, and integrating data from multiple sources. If you are passionate about modern data engineering, AI-assisted development, and creating impactful data solutions.

Задачи

• Design and develop data solutions using Databricks, Python, and PySpark
• Build and optimize ETL/ELT pipelines for batch and streaming data processing
• Implement and maintain medallion architecture using Delta Tables
• Integrate data from multiple sources, including SFTP files, Delta Tables, and Azure Event Hub
• Work with Azure services such as Azure Data Factory to support end-to-end data workflows
• Utilize AI-powered development tools to improve code quality, testing, documentation, and productivity

Требования

• At least 5 years of experience in a Data Engineer, Big Data Engineer, or similar role
• Strong hands‑on experience with Python and PySpark
• Proven experience with Databricks, Delta Tables, and modern data architectures
• Practical knowledge of the Microsoft Azure ecosystem, including Azure Data Factory and Azure Event Hub
• Experience building and maintaining scalable ETL/ELT pipelines
• Advanced level of English
• Interest in modern technologies and experience using AI-assisted development tools in everyday work
• Будет плюсом: Familiarity with Elasticsearch; Strong analytical skills and a proactive approach to solving complex data-related challenges

Условия

• Great Place to Work
• Solid financial situation
• Contracts with the biggest brands
• Centre of internal trainings
• Many experts you can learn from
• Open and accessible management team
• Profit sharing
• Passion
• Sponsorship program
• Regular integration events and trips
• Comfortable and well-equipped offices
• MySii app
• Medical care