data engineer медицинских данных

NDA; United States; Remoto; USD 39.000 - 56.000; Tempo pieno

Descrizione del lavoro

NDA ищет инженера по данным для разработки и поддержки пайплайнов загрузки данных из файлов, API и информационных систем. Ваша задача — нормализовать данные, загружать их в хранилище и обеспечивать их качество и безопасность.

Будет работать над архитектурой хранилища, инкрементальными загрузками, обработкой ошибок и подготовкой датасетов для ML-команды. Требуется опыт с Python, SQL, Linux и CI/CD, а также знание S3/Parquet и инструментов обработки данных.

Competenze

• Уверенно владеть Python и SQL; писать продакшн-код, а не ноутбуки.
• Иметь практический опыт ETL/ELT: оркестрация, инкрементальная обработка, backfill и повторные запуски.
• Опыт самостоятельной настройки и поддержки дата-инфраструктуры.
• Понимать реляционное моделирование, ключи и связи.
• Иметь опыт работы с S3, Parquet, pandas, Polars или PyArrow.
• Знать Linux, Git, Docker и CI/CD.
• Опыт работы с чувствительными данными: контролировать доступ и не допускать персональные данные в логах.
• Будет плюсом: опыт с медицинскими данными, МИС и клиническими справочниками.

Mansioni

• Строить Python/SQL пайплайны загрузки данных из файлов, API и информационных систем; нормализовать данные и загружать их в хранилище.
• Разворачивать и поддерживать инструменты обработки данных: оркестрацию, хранилище и S3.
• Проектировать модель хранилища: сущности, связи и правила преобразования источников.
• Обеспечивать надёжность пайплайнов: инкрементальные загрузки, повторные запуски без дублей, обработку ошибок.
• Встраивать псевдоанонимизацию и проверки качества в потоки данных.
• Готовить для ML-команды версионируемые датасеты.

Conoscenze

Python

SQL

ETL/ELT

Orchestration

Incremental processing

Backfill

Data infrastructure

S3

Parquet

Pandas

Polars

PyArrow

Linux

Git

Docker

CI/CD

Data security

Strumenti

S3

Parquet

Pandas

Polars

PyArrow

Descrizione del lavoro

Описание:

Стартап создаёт продукт поддержки врачебных решений, который помогает врачам принимать более точные решения и повышает эффективность процессов в здравоохранении.

Задачи:

Строить Python/SQL-пайплайны загрузки данных из файлов, API и информационных систем: разбирать сложные и вложенные XML/JSON, нормализовать данные и загружать их в хранилище Разворачивать, настраивать и поддерживать инструменты обработки данных: оркестрацию, хранилище и S3 Проектировать модель хранилища: сущности, связи и правила преобразования источников Обеспечивать надёжность пайплайнов: настраивать инкрементальные загрузки и повторные запуски без дублей, обрабатывать ошибки и разбирать сбои Встраивать в потоки данных псевдоанонимизацию и проверки качества Готовить для ML-команды версионируемые датасеты

Требования:

Уверенно владеть Python и SQL, писать продакшн-код, а не ноутбуки Иметь практический опыт ETL/ELT: оркестрация, инкрементальная обработка, backfill и повторные запуски Иметь опыт самостоятельной настройки и поддержки дата-инфраструктуры Понимать реляционное моделирование, ключи и связи Иметь опыт работы с S3, Parquet, pandas, Polars или PyArrow Знать Linux, Git, Docker и CI/CD Иметь опыт работы с чувствительными данными: контролировать доступ и не допускать персональные данные в логах Будет плюсом: опыт работы с медицинскими данными, интеграциями с МИС и клиническими справочниками, подготовки данных для ML и превращения прототипа в регулярно работающий пайплайн

Условия:

Зарплата 280 000 – 400 000 ₽ гросс