Remote Data Engineer - ELT/ETL, Airflow & Snowflake

HireHi; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

EPAM ищет опытного специалиста по Data Engineering для разработки и оптимизации ETL/ELT пайплайнов, включая пакетные и near‑real-time решения. Ваша задача — проектировать архитектуру, управлять оркестрациями и интеграцией данных, обеспечивая качество и документацию.

Требуется продвинутый опыт в облачных инструментах интеграции, Airflow, SQL/Python/PySpark, а также работа с хранилищами Snowflake/Azure Synapse. Вакансия предполагает удалённую работу в нескольких локациях.

Qualifications

• 5+ лет опыта в data engineering, warehousing и интеграции данных от начала до конца.
• Знание облачных инструментов интеграции: Azure Data Factory, AWS Glue или GCP Dataflow.
• Опыт с Apache Airflow; знакомство с CDC/потоковыми технологиями как Kafka, Debezium.
• Кодинг на SQL, Python, PySpark/Apache Spark на продакшн.
• Опыт работы с Snowflake, PostgreSQL, MS SQL Server или Azure Synapse.
• Понимание OLAP/OLTP, схем Star и Snowflake, Delta Lake.
• Git и CI/CD для data products.
• Умение объяснять сложные идеи бизнес-заказчикам и разработчикам.
• Уровень английского не ниже Upper-Intermediate.
• Дополнительные навыки: dbt, Docker/Kubernetes, AWS Lambda или Azure Functions.

Responsibilities

• Проектирование, сборка и оптимизация пакетных и ближневременных ETL/ELT пайплайнов.
• Разработка и управление оркестрациями рабочих процессов и автоматизацией загрузки данных.
• Проектирование и реализация слоёв хранилища данных и озера данных с разбиением, индексированием и SCD Type 2.
• Установка и контроль качества данных и фреймворков валидации.
• Определение требований к данным, анализ ограничений и архитектурные решения Source-to-Target mappings.
• Поддержка чистого, модульного репозитория кода.
• Лидерство в код-ревью и соблюдение инженерных стандартов.
• Настройка CI/CD пайплайнов с Docker контейнерами.
• Доставка технических спецификаций, документации по метаданным и словарей данных.

Skills

Data engineering

Data warehousing

End-to-end data integration

SQL

Python

PySpark / Apache Spark

OLAP/OLTP

Star/Snowflake schemas

Delta Lake/Lakehouse

Git

CI/CD pipelines

English communication

Airflow

dbt (nice to have)

Tools

Azure Data Factory

AWS Glue

GCP Dataflow

Apache Airflow

Kafka

Debezium

Snowflake

ClickHouse

PostgreSQL

MS SQL Server

Azure Synapse

Docker

Kubernetes

AWS Lambda

Azure Functions

RESTful APIs

Job description

EPAM ищет опытного специалиста по Data Engineering для разработки и оптимизации ETL/ELT пайплайнов, включая пакетные и near‑real-time решения. Ваша задача — проектировать архитектуру, управлять оркестрациями и интеграцией данных, обеспечивая качество и документацию.

Требуется продвинутый опыт в облачных инструментах интеграции, Airflow, SQL/Python/PySpark, а также работа с хранилищами Snowflake/Azure Synapse. Вакансия предполагает удалённую работу в нескольких локациях.