Data Engineer по медицинским данным: ETL/ELT пайплайны

NDA; United States; Remote; USD 39,000 - 56,000; Full time

Job summary

NDA ищет инженера по данным для разработки и поддержки пайплайнов загрузки данных из файлов, API и информационных систем. Ваша задача — нормализовать данные, загружать их в хранилище и обеспечивать их качество и безопасность.

Будет работать над архитектурой хранилища, инкрементальными загрузками, обработкой ошибок и подготовкой датасетов для ML-команды. Требуется опыт с Python, SQL, Linux и CI/CD, а также знание S3/Parquet и инструментов обработки данных.

Qualifications

• Уверенно владеть Python и SQL; писать продакшн-код, а не ноутбуки.
• Иметь практический опыт ETL/ELT: оркестрация, инкрементальная обработка, backfill и повторные запуски.
• Опыт самостоятельной настройки и поддержки дата-инфраструктуры.
• Понимать реляционное моделирование, ключи и связи.
• Иметь опыт работы с S3, Parquet, pandas, Polars или PyArrow.
• Знать Linux, Git, Docker и CI/CD.
• Опыт работы с чувствительными данными: контролировать доступ и не допускать персональные данные в логах.
• Будет плюсом: опыт с медицинскими данными, МИС и клиническими справочниками.

Responsibilities

• Строить Python/SQL пайплайны загрузки данных из файлов, API и информационных систем; нормализовать данные и загружать их в хранилище.
• Разворачивать и поддерживать инструменты обработки данных: оркестрацию, хранилище и S3.
• Проектировать модель хранилища: сущности, связи и правила преобразования источников.
• Обеспечивать надёжность пайплайнов: инкрементальные загрузки, повторные запуски без дублей, обработку ошибок.
• Встраивать псевдоанонимизацию и проверки качества в потоки данных.
• Готовить для ML-команды версионируемые датасеты.

Skills

Python

SQL

ETL/ELT

Orchestration

Incremental processing

Backfill

Data infrastructure

S3

Parquet

Pandas

Polars

PyArrow

Linux

Git

Docker

CI/CD

Data security

Tools

S3

Parquet

Pandas

Polars

PyArrow

Job description

NDA ищет инженера по данным для разработки и поддержки пайплайнов загрузки данных из файлов, API и информационных систем. Ваша задача — нормализовать данные, загружать их в хранилище и обеспечивать их качество и безопасность.

Будет работать над архитектурой хранилища, инкрементальными загрузками, обработкой ошибок и подготовкой датасетов для ML-команды. Требуется опыт с Python, SQL, Linux и CI/CD, а также знание S3/Parquet и инструментов обработки данных.