Data platform engineer in CDP

БКС; United States; Hybrid; USD 120,000 - 180,000; Full time

Benefits offered by this job

ДМС с первого месяца

Job summary

БКС ищет Data Engineer/Backend Developer (Java) для развития и сопровождения системы CDP с потоковой и пакетной обработкой. Вы будете проектировать и внедрять интеграции, обеспечивать надёжность через CI/CD и мониторинг, использовать AI-инструменты для ускорения разработки.

Гибридный режим работы, участие в инновационных проектах и поддержка Минцифры России как IT-компании-аккредитата.

Qualifications

• 3+ года опыта в роли Data Engineer/Backend разработчика
• Уверенное владение Java и Python, опыт работы в streaming/batch
• Глубокие знания SQL, PostgreSQL, ClickHouse
• Опыт работы с Kafka, Airflow, CI/CD (GitLab CI), Docker

Responsibilities

• Проектировать и разворачивать batch- и streaming-процессы
• Реализовывать интеграции с источниками и потребителями данных
• Внедрять упреждающие проверки качества данных (DQ)
• Настраивать мониторинг, логирование и метрики сервиса
• Реализовывать CI/CD и инфраструктуру для повышения надежности

Skills

Java

Python

SQL

Kafka

Airflow

PostgreSQL

ClickHouse

Docker

GitLab CI

AI Tools

Tools

Airflow

Kafka

Docker

GitLab CI

PostgreSQL

ClickHouse

Redis

Job description

Описание:

Развитие и сопровождение системы класса CDP (Customer Data Platform); Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical; Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing); Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах.

Задачи:

Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющих требованиям Business Critical Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных Внедрять DQ-проверки на этапах обработки данных Выстраивать мониторинг, логирование и сбор метрик системы Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов

Требования:

3+ года опыта в роли Data Engineer/Backend Developer Java: уверенное владение для streaming processing Python: для написания DAGs Airflow (DAG, операторы, сенсоры) Airflow: DAG, операторы, сенсоры SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков СУБД: Redis/ClickHouse/PostgreSQL или подобные системы CI/CD: Gitlab CI, Runners, Docker, Bash Опыт использования AI-инструментов (ChatGPT, Claude, Cursor) для ускорения разработки, отладки и тестирования кода Применение AI для анализа логов, алертов и автоматизации CI/CD-пайплайнов

Условия:

Доступ к современным AI-инструментам Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка Современный стек технологий, амбициозные проекты, возможность профессионального развития Гибридный режим работы: возможность работать удаленно (частично или полностью) Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково ДМС с первого месяца работы