Data Engineer: Snowflake & Airflow Pipelines

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

HireHi ищет опытного инженера по данным для разработки и поддержки продакшн-пайплайнов на базе Python, Apache Airflow и Snowflake. Ваша задача — строить архитектуры данных, реализовывать историзацию и уровень Bronze/Silver/Gold, а также интегрировать источники через S3.

Требуется 5+ лет опыта, сильные навыки SQL и Python, знание Git и CI/CD, умение работать в продакшной среде и документировать решения. Плюсом будут регламентированные/клинические данные и опыт в здравоохранении.

Qualifications

• 5+ лет опыта в Data Engineering
• Сильный опыт работы со Snowflake: моделирование данных, RBAC, настройка производительности
• Продвинутые навыки SQL: сложные JOIN, CTE, оконные функции
• Сильные навыки Python для ETL, интеграций БД и тестирования
• Опыт работы с Airflow в продакшн
• Опыт работы с реляционными БД, объектным хранилищем, API и файловыми источниками
• Опыт работы с Git, CI/CD для пайплайнов данных
• Способность работать самостоятельно в продакшн-среде
• Плюсом: регламентированные/валидированные среды, клинико-биоинформатические данных

Responsibilities

• Проектирование, разработка и поддержка продакшн-пайплайнов данных на Python, Airflow, Snowflake и S3
• Разработка моделей данных и реализация инкрементальной загрузки, historization
• Написание и оптимизация сложных трансформаций SQL
• Интеграция данных из реляционных баз, API и файловых источников
• Обеспечение качества данных, мониторинг и обработка ошибок
• Администрирование доступа в Snowflake, управление ролями и развертыванием
• Поддержка CI/CD для объектов Snowflake и кода Python
• Мониторинг и оптимизация производительности пайплайнов
• Сотрудничество с командами и документация требований и решений

Skills

Snowflake data modeling

RBAC & Access Mgmt

Advanced SQL

Python ETL

Apache Airflow

CI/CD for data

Git & testing

Data architectures

Education

Bachelor in CS or related

Tools

Snowflake

Airflow

Git

CI/CD tools

Job description

HireHi ищет опытного инженера по данным для разработки и поддержки продакшн-пайплайнов на базе Python, Apache Airflow и Snowflake. Ваша задача — строить архитектуры данных, реализовывать историзацию и уровень Bronze/Silver/Gold, а также интегрировать источники через S3.

Требуется 5+ лет опыта, сильные навыки SQL и Python, знание Git и CI/CD, умение работать в продакшной среде и документировать решения. Плюсом будут регламентированные/клинические данные и опыт в здравоохранении.