Senior Data Engineer

ICON Solutions do Brasil; Brasil; Remoto; BRL 180.000 - 320.000; Tempo pieno

Descrizione del lavoro

ICON Solutions do Brasil busca Engenheiro(a) de Dados Sênior para construir e manter pipelines de dados em produção em plataformas de nuvem.

Você projetará, desenvolverá e Otimizará pipelines ETL/ELT escaláveis em AWS ou Azure, implementando verificações de qualidade de dados, monitoramento e alertas. Colaborará com Lider de Engenharia de Dados e Arquiteto, apoiando modelagem de dados e schemas.

Competenze

• Experiência com pipelines ETL/ELT em produção.
• Conhecimentos em AWS ou Azure e custo/otimização.
• Capacidade de projetar, desenvolver e manter pipelines escaláveis.

Mansioni

• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em AWS ou Azure.
• Otimizar desempenho, confiabilidade e custos dos pipelines.
• Implementar verificações de qualidade de dados, monitoramento e alertas.
• Trabalhar com Lider de Engenharia de Dados e Arquiteto no desenho de pipelines e padrões.
• Apoiar modelagem de dados e desenho de schemas com o Analista de Modelagem de Dados.
• Diagnosticar e solucionar problemas de pipelines em produção.
• Participar de revisões de código e boas práticas de engenharia.

Conoscenze

Pipelines ETL/ELT

AWS

Azure

Qualidade de dados

Monitoramento

Alerts

Modelagem de dados

Schemas

Code review

Produção em nuvem

Strumenti

Python

SQL

Airflow

Cloud platforms

Descrizione del lavoro

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção e manutenção de pipelines de dados em produção em uma plataforma de nuvem. O profissional será responsável por projetar, desenvolver e otimizar pipelines ETL/ELT escaláveis em AWS ou Azure, implementando verificações de qualidade de dados, monitoramento e alertas. Trabalhará em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões, além de apoiar a modelagem de dados e o desenho de schemas.

Responsabilidades

• Projetar, desenvolver e manter pipelines ETL/ELT escaláveis em AWS ou Azure.
• Otimizar o desempenho, a confiabilidade e a eficiência de custos dos pipelines.
• Implementar verificações de qualidade de dados, monitoramento e alertas para pipelines em produção.
• Trabalhar em conjunto com o Líder de Engenharia de Dados e o Arquiteto no desenho dos pipelines e definição de padrões.
• Apoiar a modelagem de dados e o desenho de schemas em conjunto com o Analista de Modelagem de Dados.
• Diagnosticar e solucionar problemas de pipelines de dados em produção.
• Participar de revisões de código e contribuir para as boas práticas de engenharia.