Data Engineer: Build Scalable Pipelines on AWS & Databricks

Ticket; Swindon; Hybrid; GBP 39,000 - 65,000; Full time

Benefits offered by this job

Hybrid work

Pension scheme 6%

Discretionary bonus

Medical cover

Life insurance

Wellbeing program

Learning platform

Cycle to work

Employee discounts

Volunteering program

Job summary

A Edenred PayTech busca um Engenheiro de Dados para projetar, desenvolver e manter pipelines e infra de dados na plataforma. Atuarás com várias fontes, transformando dados, assegurando qualidade e confiabilidade, em ambiente híbrido Swindon/London.

Responsável por colaborar com analistas de negócios, produzir relatórios de conformidade e propor melhorias contínuas na plataforma. Requer experiência com Databricks, IaC, Git, Python (Pyspark) e SQL e vontade de aprender novas tecnologias.

Qualifications

• Experiência comprovada em Databricks.
• Experiência com IaC.
• Experiência com Git.
• Conhecimento sólido de Python (Pyspark) e SQL.
• Gestão de dados em data lake.
• Capacidade de explicar problemas técnicos a pares e clientes.
• Capacidade de progredir de forma independente com tarefas.
• Vontade de aprender novas tecnologias.

Responsibilities

• Projetar, desenvolver e manter pipelines e infra de dados na AWS.
• Gerar relatórios para conformidade regulatória.
• Colaborar com analistas de negócios para refinar requisitos e estimativas.
• Sugerir melhorias na plataforma de dados e na forma de trabalho.
• Resolver problemas de produção.
• Unit testing.
• Documentação.

Skills

Databricks

IaC

Git

Python

SQL

Data lake

Tools

Terraform

Job description

A Edenred PayTech busca um Engenheiro de Dados para projetar, desenvolver e manter pipelines e infra de dados na plataforma. Atuarás com várias fontes, transformando dados, assegurando qualidade e confiabilidade, em ambiente híbrido Swindon/London.

Responsável por colaborar com analistas de negócios, produzir relatórios de conformidade e propor melhorias contínuas na plataforma. Requer experiência com Databricks, IaC, Git, Python (Pyspark) e SQL e vontade de aprender novas tecnologias.