Data engineer

БКС; United States; Hybrid; USD 100,000 - 170,000; Full time

Benefits offered by this job

Доступ к современным AI-инструментам

Гибридный режим работы

ДМС с первого месяца работы

Job summary

БКС ищет Data Engineer/Backend Developer для разработки и сопровождения CI/CD пайплайнов ETL, обеспечения качества данных и инфраструктурных компонентов. Обязанности: версионирование кода ETL, автоматизация развёртывания, мониторинг и логирование процессов.

Требуется 3+ года опыта, Python и Airflow, SQL (PostgreSQL/ClickHouse), Kafka; умение работать с Redis, GitLab CI, Docker и Bash. Гибридный режим работы, доступ к современным AI-инструментам, ДМС с первого месяца.

Qualifications

• 3+ года опыта в роли Data Engineer/Backend Developer
• Python: для написания DAGs Airflow
• Airflow: DAG, операторы, сенсоры
• SQL: глубокое знание, оптимизация запросов, опыт PostgreSQL/ClickHouse
• Kafka: опыт работы с producers/consumers
• СУБД: Redis/ClickHouse/PostgreSQL или подобные
• CI/CD: Gitlab CI, Runners, Docker, Bash

Responsibilities

• Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов
• Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации
• Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях
• Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных
• Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки
• Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры
• Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов
• Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO
• Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ
• Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления

Skills

Python

Airflow

SQL

Kafka

CI/CD

Redis

PostgreSQL

ClickHouse

Tools

GitLab CI

Docker

Bash

Job description

Описание:

«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных). Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей: полную идентификацию и описание источников, измеримое качество через дата-контракты, единую навигацию по данным и знаниям о них, дисциплину поддержания актуальности, наличие источников в целевом состоянии.

Задачи:

• Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов
• Обеспечивать версионирование ETL-кода, конфигураций, тестов и технической документации
• Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов при сбоях
• Настраивать мониторинг, алертинг и централизованное логирование для контроля состояния процессов и качества данных
• Внедрять автоматизированные проверки схем, целостности и полноты данных на этапах загрузки и обработки
• Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры
• Поддерживать среды разработки, тестирования и эксплуатации, оптимизировать производительность и использование ресурсов
• Настраивать резервное копирование и восстановление данных и конфигураций, обеспечивать соблюдение RTO/RPO
• Участвовать в диагностике и устранении инцидентов, проводить пост-инцидентный анализ
• Документировать архитектуру, data-пайплайны, процессы деплоя и восстановления

Требования:

• 3+ года опыта в роли Data Engineer/Backend Developer
• Python: для написания DAGs Airflow (DAG, операторы, сенсоры)
• Airflow: DAG, операторы, сенсоры
• SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse
• Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков
• СУБД: Redis/ClickHouse/PostgreSQL или подобные системы
• CI/CD: Gitlab CI, Runners, Docker, Bash

Условия:

• Доступ к современным AI-инструментам
• Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка
• Современный стек технологий, амбициозные проекты, возможность профессионального развития
• Гибридный режим работы: возможность работать удаленно (частично или полностью)
• Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково
• ДМС с первого месяца работы