Data engineer

Adviva; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Adviva ищет опытного Senior Data Engineer, способного автономно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Ключевая задача — развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), создание батчевых и потоковых пайплайнов, и наведение порядка в legacy-процессах.

Требуется отличный Python и SQL, опыт Airflow, проектирование витрин и оптимизация БД. Условия: 100% удаленная работа, сотрудничество с командами Data Science и backend.

Qualifications

• Опыт разработки пайплайнов и DWH/ODS.
• Глубокие знания PostgreSQL и MySQL, оптимизация запросов.
• Опыт создания и поддержки пайплайнов, отличные знания Apache Airflow.
• Навыки работы с хранилищами данных и архитектурой данных.
• Опыт интеграции данных через Kafka, обработка потоков.

Responsibilities

• Проектирование и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
• Развитие витрин для риск-отчётности и систем принятия решений.
• Построение потоковой доставки данных через Apache Kafka (near real-time).
• Развитие ODS на PostgreSQL: интеграция данных, проектирование схем, настройка инкрементальной загрузки.
• Тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
• Работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
• Аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, распределение зон ответственности.
• Настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и SLA).
• Взаимодействие с Data Science, аналитиками и backend-разработчиками.

Skills

Python

SQL

Airflow

PostgreSQL

MySQL

Kafka

S3/MinIO

CI/CD

IaC

Tools

Kafka

NiFi

ClickHouse

MinIO

Job description

Описание:

Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.

Задачи:

• проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
• развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).
• построение потоковой доставки данных через Apache Kafka (near real-time).
• развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.
• тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
• работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
• аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.
• настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).
• взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).

Требования:

• отличное знание Python и SQL.
• уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).
• проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.
• глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников.
• умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата.
• понимание принципов проектирования отказоустойчивых и масштабируемых систем.
• привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и.
• Будет плюсом: Опыт работы с Apache Kafka (продюсеры, потребители, схемы).
• Опыт работы с S3 / MinIO и Apache NiFi.
• Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте.
• Бэкграунд в сферах FinTech, платежах или AntiFraud.
• Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code).

Условия:

высокая автономность в принятии технических решений без микроменеджмента. Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python. 100% удаленка.