data engineer for regulatory reporting

Grid Dynamics

Wrocław

On-site

PLN 180,000 - 280,000

Full time

11 days ago

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Medical insurance and sports

Job summary

Grid Dynamics ищет инженера по данным/софтверному инженеру для разработки и поддержки продакшн-пайплайнов на базе Kafka и Snowflake. Вы будете работать над архитектурой потоков, обработкой ошибок, валидацией данных и оптимизацией SQL-запросов.

Требуется опыт построения потоковых систем, знание Kafka и Snowflake, а также навыки коммуникации на английском языке. Работа в динамичной команде с возможностями профессионального роста и гибким графиком.

Qualifications

Коммерческий опыт как инженера по данным или программному обеспечению в создании продакшн-пайплайнов потоковой обработки
Глубокие знания Kafka: архитектура, гарантии доставки, Kafka Streams и/или Kafka Connect, Schema Registry с Avro или Protobuf
Продвинутый SQL в Snowflake: сложные запросы и оптимизация
Практический опыт Snowflake Streams & Tasks, Snowpipe и Time Travel
Опыт моделирования отчетных данных и реализации согласованности, валидации и устранения дубликатов
Независимый и проактивный сотрудник, комфортно работать в сформированной команде, хорошее владение английским

Responsibilities

Проектирование и построение потоковых данных на базе Kafka: Streams/Connect, выбор гарантий доставки
Реализация обработки ошибок: повторные попытки, очереди Dead Letter, повторная обработка
Сохранение порядка сообщений и управление схемами через Schema Registry с Avro/Protobuf
Реализация сверки, валидации и устранения дубликатов для достоверной отчетности
Мониторинг отставания потребителей, настройка пропускной способности и оптимизация запросов Snowflake
Участие в определении архитектуры и процессов в новой команде

Skills

English communication

Independent proactivity

Tools

Kafka

Kafka Streams

Kafka Connect

Schema Registry (Avro/Protobuf)

Snowflake Streams/Tasks

Snowpipe

Time Travel

SQL (Snowflake)

Flink

Java 11/17+

Spring Boot

Spring Kafka

JUnit

Mockito

Testcontainers

Kubernetes

CI/CD

Git

Cloud

Job description

Описание

Grid Dynamics provides technology consulting, platform and product engineering, AI, and advanced analytics services. It helps enterprise companies undergoing business transformation address technical challenges and achieve positive business outcomes. The company has expertise in enterprise AI, data, analytics, cloud and DevOps, application modernization, and customer experience.

Задачи

Design and build Kafka-based data flows using Kafka Streams and/or Kafka Connect, selecting appropriate delivery guarantees
Implement error handling with retries, dead-letter queues, and reprocessing
Preserve message ordering and manage schema evolution using Schema Registry with Avro or Protobuf Model facts, dimensions, and SCD for regulatory reporting, and build ingestion and processing with Streams & Tasks, Snowpipe, and Time Travel
Implement reconciliation, validation, and deduplication to ensure reported figures are accurate and traceable
Monitor and tune consumer lag and throughput, and optimise Snowflake queries using execution plans, clustering keys, pruning, and warehouse sizing
Help define processes and architecture from scratch in a newly formed team

Требования

Commercial experience as a data or software engineer building production streaming and data pipelines
Strong knowledge of Kafka architecture, delivery guarantees, Kafka Streams and/or Kafka Connect, and Schema Registry with Avro or Protobuf
Advanced SQL in Snowflake, including complex queries and hands-on query optimisation
Practical experience with Snowflake Streams & Tasks, Snowpipe, and Time Travel
Experience modelling reporting data and implementing reconciliation, validation, and deduplication
Independent and proactive, comfortable in a newly formed team, with good communication in English

Будет плюсом