data engineer in life sciences

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

HireHi ищет опытного инженера по данным для разработки и поддержки продакшн-пайплайнов на базе Python, Apache Airflow и Snowflake. Ваша задача — строить архитектуры данных, реализовывать историзацию и уровень Bronze/Silver/Gold, а также интегрировать источники через S3.

Требуется 5+ лет опыта, сильные навыки SQL и Python, знание Git и CI/CD, умение работать в продакшной среде и документировать решения. Плюсом будут регламентированные/клинические данные и опыт в здравоохранении.

Qualifications

• 5+ лет опыта в Data Engineering
• Сильный опыт работы со Snowflake: моделирование данных, RBAC, настройка производительности
• Продвинутые навыки SQL: сложные JOIN, CTE, оконные функции
• Сильные навыки Python для ETL, интеграций БД и тестирования
• Опыт работы с Airflow в продакшн
• Опыт работы с реляционными БД, объектным хранилищем, API и файловыми источниками
• Опыт работы с Git, CI/CD для пайплайнов данных
• Способность работать самостоятельно в продакшн-среде
• Плюсом: регламентированные/валидированные среды, клинико-биоинформатические данных

Responsibilities

• Проектирование, разработка и поддержка продакшн-пайплайнов данных на Python, Airflow, Snowflake и S3
• Разработка моделей данных и реализация инкрементальной загрузки, historization
• Написание и оптимизация сложных трансформаций SQL
• Интеграция данных из реляционных баз, API и файловых источников
• Обеспечение качества данных, мониторинг и обработка ошибок
• Администрирование доступа в Snowflake, управление ролями и развертыванием
• Поддержка CI/CD для объектов Snowflake и кода Python
• Мониторинг и оптимизация производительности пайплайнов
• Сотрудничество с командами и документация требований и решений

Skills

Snowflake data modeling

RBAC & Access Mgmt

Advanced SQL

Python ETL

Apache Airflow

CI/CD for data

Git & testing

Data architectures

Education

Bachelor in CS or related

Tools

Snowflake

Airflow

Git

CI/CD tools

Job description

Описание

Описания нет

Задачи

Design, develop, and maintain production data pipelines using Python, Apache Airflow, Snowflake, and Amazon S3 Design and evolve scalable data architectures, including Bronze, Silver, and Gold data layers Develop data models and implement incremental loading, historization, versioning, and reusable transformation patterns Write and optimize complex SQL transformations, views, stored procedures, dynamic tables, streams, tasks, and scheduled jobs Integrate data from relational databases, APIs, object storage, and file-based sources Implement data-quality checks, validation, reconciliation, lineage, monitoring, and robust error-handling processes Manage Snowflake access controls, roles, permissions, service accounts, and deployment across development, staging, and production environments Maintain CI/CD pipelines for Snowflake objects, Airflow DAGs, and Python code using Git and automated testing Monitor and troubleshoot production pipelines and proactively improve reliability and performance Collaborate with data, analytics, engineering, and other technical teams to translate business and technical requirements into reliable data products Create technical documentation and specifications following established quality and compliance standards

Требования

5+ Years of experience in Data Engineering, including at least 3 years working with production data platforms Strong hands-on experience with Snowflake, including data modeling, RBAC and access management, warehouse management, query profiling and performance optimization, and stored procedures Advanced SQL skills, including complex joins, CTEs, window functions, incremental processing, and query optimization Strong Python skills for ETL, database integration, automation, error handling, and testing Production experience with Apache Airflow, including DAG development, dependencies, sensors, task groups, retries, backfills, and operational support Experience with relational databases, object storage, APIs, and file-based data sources Strong understanding of modern data architectures, including medallion and dimensional modeling, slowly changing dimensions, natural and surrogate keys, and historization Experience with Git, pull requests, automated testing, and CI/CD for data pipelines and database code Strong problem-solving skills and the ability to work independently in a production environment Snowflake and Apache Airflow are core requirements; experience only with alternative data warehouses or orchestration tools is not sufficient Будет плюсом: experience in regulated or validated environments, life sciences, healthcare, clinical, laboratory, genomic, or bioinformatics data, LIMS or other scientific/clinical data systems, OMOP or other standardized clinical data models, Tableau or Streamlit, scientific or computational workflows and tools such as Nextflow, SnowPro certification, AWS Managed Workflows for Apache Airflow (MWAA)

Условия

Competitive compensation Flexible working hours