data engineer in data integration

HireHi; United States; Remote; USD 110,000 - 180,000; Full time

Job summary

EPAM приглашает специалиста по обработке данных для проектирования и реализации ETL/ELT конвейеров на базе Azure Data Factory. Ваша работа объединит данные из разных источников, обеспечит качество и безопасность данных, а также поддержит CI/CD и мониторинг процессов.

Требуется 5+ лет опыта с Azure Data Factory, глубокие знания SQL и интеграции данных, а также опыт с ADLS, Azure SQL, Synapse и Databricks. Уровень английского не ниже B2+.

Qualifications

• 5+ лет практического опыта работы с Azure Data Factory
• Владение SQL и концепциями интеграции данных
• Опыт работы с сервисами Azure, такими как ADLS, Azure SQL и Synapse
• Опыт работы с Databricks для обработки и трансформации данных
• Уровень владения английским языком не ниже B2+

Responsibilities

• Проектирование и разработка ETL/ELT конвейеров на базе Azure Data Factory
• Интеграция данных из баз данных, API, файлов, SaaS и облачного хранилища
• Построение и управление рабочими процессами, триггерами, датасетами и пайплайнами
• Реализация валидации данных, мониторинга, обработки ошибок и оптимизации производительности
• Использование Azure Data Lake, Azure SQL, Synapse и Databricks по мере надобности
• Сотрудничество с инженерами по данным, аналитиками и бизнес-командам для надёжных решений
• Поддержка развёртывания, CI/CD, безопасности и контроля доступа к конвейерам данных

Skills

Azure Data Factory

SQL

Data integration

English B2+

Tools

Azure Data Lake (ADLS)

Azure SQL

Synapse

Databricks

Job description

Описание

EPAM develops enterprise software products, open source solutions, and technology accelerators.

Задачи

Design and develop ETL/ELT pipelines using Azure Data Factory; Integrate data from databases, APIs, files, SaaS platforms, and cloud storage; Build and manage data workflows, triggers, linked services, datasets, and pipelines; Implement data validation, monitoring, error handling, and performance optimization; Leverage Azure Data Lake, Azure SQL, Synapse, and Databricks as needed; Partner with data engineers, analysts, and business teams to deliver reliable data solutions; Support deployment, CI/CD, security, and access controls for data pipelines.

Требования

5+ Years of hands-on experience with Azure Data Factory; Proficiency in SQL and data integration concepts; Experience with Azure data services such as ADLS, Azure SQL, and Synapse; Background in Databricks for data processing and transformation; English proficiency at a B2+ level.

Условия

No conditions specified