Remote Data Engineer - AWS, Databricks & Pipelines

Insight Global; United States; Remote; USD 101,000 - 134,000; Full time

Job summary

Insight Global ищет Data Engineer для R&D AI организации глобальной фармацевтической компании. Ваша работа будет заключаться в создании и расширении внутренней AWS‑базированной платформы для обработки больших наборов данных и построения конвейеров, позволяющих ingest, processing и хранение сложных данных.

Команда небольшая и отвечает за масштабируемые пайплайны данных, взаимодействие с внутренними и внешними источниками.

Qualifications

• Опыт разработки дата-инженерии и конвейеров обработки данных.
• Глубокие знания Python и техник обработки данных.
• Опыт Databricks и data lake архитектур.
• Умение проектировать схемы и модели данных для табличных и нетабличных форматов.
• Опыт работы с AWS S3; знание Airflow и Iceberg; плюсом биоинформатика/секвенирование.

Responsibilities

• Разрабатывать и поддерживать масштабируемые конвейеры данных.
• Проектировать схемы, модели и архитектуру хранилища данных.
• Интегрировать источники данных и обеспечивать качество данных.

Skills

Python

Tools

Databricks

AWS S3

Apache Airflow

Apache Iceberg

Pandas

DuckDB

Job description

Insight Global ищет Data Engineer для R&D AI организации глобальной фармацевтической компании. Ваша работа будет заключаться в создании и расширении внутренней AWS‑базированной платформы для обработки больших наборов данных и построения конвейеров, позволяющих ingest, processing и хранение сложных данных.

Команда небольшая и отвечает за масштабируемые пайплайны данных, взаимодействие с внутренними и внешними источниками.