Especialista - Engenheiro de Dados Sênior (AWS)

Leega Consultoria; São Paulo; Híbrido; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa dinâmica e inovadora busca profissionais apaixonados por desafios e resultados. Se você tem experiência sólida em AWS, PySpark e SQL, esta é a sua chance de se juntar a uma equipe que valoriza a ética, a transparência e a excelência. A Leega oferece um ambiente de trabalho híbrido, onde você poderá desenvolver suas habilidades e contribuir para a construção de um futuro promissor. Venha fazer parte de uma cultura inspiradora e que investe no crescimento de seus colaboradores!

Qualificações

• Mais de 5 anos de experiência com AWS e PySpark.
• Proficiência em SQL e integração de dados com ETL.

Responsabilidades

• Desenvolver pipelines de dados com PySpark em ambientes AWS.
• Integrar dados de diferentes fontes e garantir sua qualidade.

Conhecimentos

AWS (S3, Glue, Redshift, Athena)

PySpark

SQL

ETL

Jupyter Notebooks

SSIS

Apache Airflow

Python

DynamoDB

Formação académica

Bacharelado em Ciência da Computação

Engenharia de Dados

Ferramentas

AWS Glue

AWS Redshift

AWS Athena

Apache Airflow

Jupyter Notebooks

Descrição da oferta de emprego

Job description

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira, que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Main responsibilities

Requisitos e atribuições:

• Desenvolver e otimizar pipelines de dados utilizando PySpark em ambientes AWS (S3, Glue, Redshift, Athena).
• Projetar e implementar soluções de processamento distribuído de dados em larga escala.
• Utilizar Jupyter Notebooks para análise de dados, testes de algoritmos e visualizações.
• Integrar dados de diferentes fontes utilizando ETL e garantir sua qualidade e consistência.
• Trabalhar com SQL para consultas e transformações de dados, otimizando a performance.
• Usar SSIS para integração de dados e automação de processos ETL.
• Trabalhar com ferramentas de orquestração de workflows como Apache Airflow ou AWS Step Functions para automatizar os processos de dados.
• Monitorar e garantir a performance das soluções, otimizando custos e recursos.
• Aplicar práticas de segurança e governança de dados, assegurando conformidade com as políticas de privacidade.
• Colaborar com as equipes de BI e Analytics para preparar os dados para análise.
• Manter documentação técnica dos processos e soluções implementadas.

Requirements and skills

Qualificações:

• Experiência sólida comprovada em mais de 5 anos com AWS (S3, Glue, Redshift, Athena, Lambda, etc.).
• Experiência com DynamoDB comprovada;
• Proficiência em PySpark para processamento distribuído de dados (com mais de 5 anos).
• Familiaridade com Jupyter Notebooks para análise de dados e prototipagem.
• Sólidos conhecimentos de SQL e banco de dados relacionais e não-relacionais.
• Experiência com SSIS para integração de dados e automação de processos ETL.
• Experiência em ETL e automação de processos de dados.
• Conhecimento em arquiteturas de dados em nuvem e boas práticas de segurança de dados.
• Experiência com ferramentas de orquestração de workflows (Apache Airflow, AWS Step Functions).
• Habilidade em programação com Python ou outras linguagens de integração de dados.
• Bacharelado em Ciência da Computação, Engenharia de Dados ou áreas afins (ou experiência equivalente).

Diferenciais:

• Certificação AWS (Solutions Architect, Big Data, etc.).
• Experiência com Data Lakes e processamento de dados em larga escala.
• Conhecimento de frameworks de análise de dados, como Pandas, Matplotlib, ou Plotly.

Additional information

• Modelo de atuação: Híbrido 3x por semana na Vila Olimpia - São Paulo.