Regulatory Data Engineer | Kafka, Snowflake, Pipelines

Grid Dynamics; Wrocław; In loco; PLN 180.000 - 280.000; Tempo pieno

Vantaggi offerti da questo lavoro

Medical insurance and sports

Descrizione del lavoro

Grid Dynamics ищет инженера по данным/софтверному инженеру для разработки и поддержки продакшн-пайплайнов на базе Kafka и Snowflake. Вы будете работать над архитектурой потоков, обработкой ошибок, валидацией данных и оптимизацией SQL-запросов.

Требуется опыт построения потоковых систем, знание Kafka и Snowflake, а также навыки коммуникации на английском языке. Работа в динамичной команде с возможностями профессионального роста и гибким графиком.

Competenze

• Коммерческий опыт как инженера по данным или программному обеспечению в создании продакшн-пайплайнов потоковой обработки
• Глубокие знания Kafka: архитектура, гарантии доставки, Kafka Streams и/или Kafka Connect, Schema Registry с Avro или Protobuf
• Продвинутый SQL в Snowflake: сложные запросы и оптимизация
• Практический опыт Snowflake Streams & Tasks, Snowpipe и Time Travel
• Опыт моделирования отчетных данных и реализации согласованности, валидации и устранения дубликатов
• Независимый и проактивный сотрудник, комфортно работать в сформированной команде, хорошее владение английским

Mansioni

• Проектирование и построение потоковых данных на базе Kafka: Streams/Connect, выбор гарантий доставки
• Реализация обработки ошибок: повторные попытки, очереди Dead Letter, повторная обработка
• Сохранение порядка сообщений и управление схемами через Schema Registry с Avro/Protobuf
• Реализация сверки, валидации и устранения дубликатов для достоверной отчетности
• Мониторинг отставания потребителей, настройка пропускной способности и оптимизация запросов Snowflake
• Участие в определении архитектуры и процессов в новой команде

Conoscenze

English communication

Independent proactivity

Strumenti

Kafka

Kafka Streams

Kafka Connect

Schema Registry (Avro/Protobuf)

Snowflake Streams/Tasks

Snowpipe

Time Travel

SQL (Snowflake)

Flink

Java 11/17+

Spring Boot

Spring Kafka

JUnit

Mockito

Testcontainers

Kubernetes

CI/CD

Git

Cloud

Descrizione del lavoro

Grid Dynamics ищет инженера по данным/софтверному инженеру для разработки и поддержки продакшн-пайплайнов на базе Kafka и Snowflake. Вы будете работать над архитектурой потоков, обработкой ошибок, валидацией данных и оптимизацией SQL-запросов.

Требуется опыт построения потоковых систем, знание Kafka и Snowflake, а также навыки коммуникации на английском языке. Работа в динамичной команде с возможностями профессионального роста и гибким графиком.