Data engineer in financial markets

Inetum; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Cafeteria system benefits

Referral bonuses up to PLN6,000

Revenue sharing opportunities

Team Manager guidance for each member

Mentoring from a technical leader

Team-building budget (online and on‑s­

Charitable initiatives and local sport

Job summary

Inetum ищет опытного Senior PostgreSQL/Data Engineer для разработки высокопроизводительной data-платформы в финансовом секторе. Нам нужен специалист, умеющий работать с крупномасштабными данными, сложными PostgreSQL конфигурациями и обработкой в near real-time.

Платформа обрабатывает десятки миллионов сообщений ежедневно и держит данные с короткими refresh-интервалами. Ключевые задачи включают обработку данных для множества валютных пар, обеспечение высокой доступности и интеграцию с RabbitMQ.

Qualifications

• Опыт работы с PostgreSQL в продакшн окружениях не менее 3–5 лет.
• Глубокое понимание архитектуры PostgreSQL и принципов оптимизации.
• Опыт организации партиционирования таблиц.
• Навыки индексации и оптимизации запросов в PostgreSQL (B-Tree, Hash, GIN, GiST, BRIN).
• Опыт эксплуатации ETL-процессов и работы с большими данными.
• Знание Linux и навыки работы с производительными базами данных.
• Свободное владение польским и английским языками.
• Преимущество: Python; Kafka/RabbitMQ; Apache Airflow; CI/CD; опыт в банковской/финансовой FX сфере.

Responsibilities

• Обеспечение обработки данных для около 46 пар валют.
• Обработка ~40 млн сообщений в сутки.
• Работа с данными в режиме near real-time.
• Управление масштабируемым хранением данных с 2-летней retention.
• Интеграция платформы с системами обмена сообщениями (RabbitMQ).
• Предоставление командам доступа к часто обновляющимся данным с обновлением каждые 1 секунду.
• Обеспечение высокой доступности, масштабируемости и производительности.
• Разработка решений для больших объемов данных в финансовой среде.

Skills

PostgreSQL

PostgreSQL архитектура

Partitioning

Индексация/оптимизация запросов

ETL

Big Data

Linux

Производительность БД

Polish язык

English язык

Tools

RabbitMQ

Kafka

Apache Airflow

CI/CD

Job description

Описание

We are looking for an experienced Senior PostgreSQL / Data Engineer to join a team building a high-performance, enterprise-grade data platform for the financial markets / FX domain. This is a great opportunity for someone who enjoys working with large-scale data, complex PostgreSQL environments and near real-time processing. The platform handles approximately 40 million messages every day and provides up-to-date market data with refresh intervals as short as one second.

Задачи

• Processing data for 46 currency pairs


• Handling approximately 40 million messages per day


• Processing data in near real-time


• Managing large-scale data storage with 2-year retention


• Integrating the platform with messaging systems such as RabbitMQ


• Providing downstream teams with access to frequently refreshed data, with updates available every 1 second


• Ensuring high availability, scalability and performance


• Designing solutions capable of supporting large data volumes in a demanding financial environment

Требования

• Strong commercial experience with PostgreSQL


• Very good understanding of PostgreSQL architecture


• Hands-on experience with table partitioning


• Strong knowledge of database indexing and query optimization


• Experience with B-Tree, Hash, GIN, GiST and/or BRIN indexes


• Experience building or maintaining ETL processes


• Experience working with large-scale / Big Data environments


• Good knowledge of Linux


• Experience working with performance-critical database environments


• Fluent Polish and English


• Будет плюсом: Python; Kafka or RabbitMQ; Apache Airflow; CI/CD; Experience in the banking, financial services or FX domain; Experience with real-time or near real-time data processing

Условия

• A cafeteria system that allows employees to personalize benefits by choosing from a variety of options.


• Generous referral bonuses, offering up to PLN6,000 for referring specialists.


• Additional revenue sharing opportunities for initiating partnerships with new clients.


• Ongoing guidance from a dedicated Team Manager for each employee.


• Tailored technical mentoring from an assigned technical leader, depending on individual expertise and project needs.


• Dedicated team-building budget for online and on-site team events.


• Opportunities to participate in charitable initiatives and local sports programs.


• A supportive and inclusive work culture with an emphasis on diversity and mutual respect.