data engineer for cloud data platforms

HireHi; United States; Hybrid; USD 76,000 - 127,000; Full time

Benefits offered by this job

Гибридная работа

Удаленная работа по запросу

Job summary

Empiric ищет опытного инженера данных для проектирования и поддержки масштабируемых ETL/ELT пайплайнов на AWS. В задачи входит моделирование данных в Redshift, внедрение CDC, а также построение оркестрации через Step Functions и серверless-решения. Требуется крепкий опыт с Python и AWS сервисами.

Гибридная или удаленная работа, наличие гибких условий для работы по локации в Венгрии и удаленности возможностей сотрудничества.

Qualifications

• Опыт разработки ETL/ELT на AWS и Python.
• Опыт построения и оптимизации Redshift и CDC-подключений.
• Навыки оркестрации через AWS Step Functions и безсерверной разработки.

Responsibilities

• Проектирование, сборка и поддержка масштабируемых ETL/ELT пайплайнов на AWS.
• Разработка моделей данных в Redshift и внедрение CDC.
• Реализация оркестрации через AWS Step Functions и серверless-решения (Lambda, Glue).
• Управление дата-лотками на S3 и мониторинг качества данных.

Skills

AWS Glue

AWS data engineering

Amazon Redshift

CDC ingestion

AWS Step Functions

AWS Lambda

Serverless

Amazon S3 data lakes

Medallion Architecture

Python

SNS

Tools

SNS

AWS Glue

Job description

Описание:

Empiric is a technology and transformation recruitment agency specializing in data, digital, cloud, and security. It provides technology and change recruitment services to businesses seeking contract and permanent professionals.

Задачи:

• Design, build, and maintain scalable ETL/ELT pipelines on AWS;
• Develop and optimize Amazon Redshift data models;
• Implement CDC ingestion pipelines;
• Build orchestration workflows using AWS Step Functions;
• Develop serverless solutions using AWS Lambda and Glue;
• Manage data lakes on Amazon S3;
• Implement Medallion Architecture across Bronze, Silver, and Gold layers;
• Monitor data quality and platform performance;
• Collaborate with analytics and engineering teams;
• Help evolve the data lake architecture.

Требования:

• Strong hands-on experience with AWS Glue and AWS data engineering;
• Strong experience with Amazon Redshift and CDC ingestion;
• Experience building orchestration workflows with AWS Step Functions;
• Experience with AWS Lambda and serverless development;
• Experience managing data lakes on Amazon S3;
• Experience implementing ETL/ELT pipelines and Medallion Architecture;
• Experience with SNS and data quality monitoring;
• Strong Python background.

Условия:

• Contract freelance engagement;
• Hungary location available for hybrid or remote work.