Senior Data Engineer — Remote, DWH & Real-Time Pipelines

Adviva; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Adviva ищет опытного Senior Data Engineer, способного автономно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Ключевая задача — развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), создание батчевых и потоковых пайплайнов, и наведение порядка в legacy-процессах.

Требуется отличный Python и SQL, опыт Airflow, проектирование витрин и оптимизация БД. Условия: 100% удаленная работа, сотрудничество с командами Data Science и backend.

Qualifications

• Опыт разработки пайплайнов и DWH/ODS.
• Глубокие знания PostgreSQL и MySQL, оптимизация запросов.
• Опыт создания и поддержки пайплайнов, отличные знания Apache Airflow.
• Навыки работы с хранилищами данных и архитектурой данных.
• Опыт интеграции данных через Kafka, обработка потоков.

Responsibilities

• Проектирование и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
• Развитие витрин для риск-отчётности и систем принятия решений.
• Построение потоковой доставки данных через Apache Kafka (near real-time).
• Развитие ODS на PostgreSQL: интеграция данных, проектирование схем, настройка инкрементальной загрузки.
• Тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
• Работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
• Аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, распределение зон ответственности.
• Настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и SLA).
• Взаимодействие с Data Science, аналитиками и backend-разработчиками.

Skills

Python

SQL

Airflow

PostgreSQL

MySQL

Kafka

S3/MinIO

CI/CD

IaC

Tools

Kafka

NiFi

ClickHouse

MinIO

Job description

Adviva ищет опытного Senior Data Engineer, способного автономно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Ключевая задача — развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), создание батчевых и потоковых пайплайнов, и наведение порядка в legacy-процессах.

Требуется отличный Python и SQL, опыт Airflow, проектирование витрин и оптимизация БД. Условия: 100% удаленная работа, сотрудничество с командами Data Science и backend.