Data Engineer - Hibrido

Keyrus US; São Paulo; Híbrido; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora busca um engenheiro de dados apaixonado para integrar sua equipe. O candidato ideal desenvolverá e manterá pipelines de dados de alto desempenho, utilizando tecnologias modernas como Azure Data Factory e Python. Este papel é essencial para garantir a qualidade dos dados e a eficiência dos processos de ETL/ELT, além de colaborar com equipes globais em um ambiente dinâmico. Se você é motivado por desafios e deseja fazer parte de uma equipe que transforma dados em oportunidades, essa é a sua chance!

Qualificações

• Experiência em desenvolvimento e gerenciamento de processos ETL/ELT.
• Sólidos conhecimentos em SQL, incluindo consultas complexas.
• Experiência com modelagem de dados analítica e OLTP.

Responsabilidades

• Desenvolver e manter pipelines de dados robustos e escaláveis.
• Garantir a qualidade e integridade dos dados através de testes e auditorias.
• Colaborar com equipes de negócios para traduzir requisitos em soluções de dados.

Conhecimentos

Inglês fluente

SQL

Python

PySpark

ETL/ELT

Machine Learning

APIs REST

Comunicação em ambientes ágeis

Ferramentas

Azure Data Factory

Azure DevOps

Power BI

Tableau

Git

Descrição da oferta de emprego

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, independentemente de gênero, idade, raça ou religião. Não permitimos discriminação de qualquer tipo, reforçando esse compromisso em nossos processos e na cultura da empresa.

Reconhecemos que grandes resultados são alcançados por uma equipe talentosa e apaixonada, com desejo de crescimento profissional e de construir uma carreira conosco.

Papéis e Responsabilidades:

1. Desenvolver e manter pipelines de dados robustos, escaláveis e de alto desempenho, utilizando tecnologias como Azure Data Factory, PySpark, Python, SQL e bancos de dados NoSQL.
2. Orquestrar workflows de dados seguindo princípios de DAG (Directed Acyclic Graph), garantindo eficiência e confiabilidade.
3. Criar e otimizar tabelas e modelos de dados, aplicando técnicas como indexação, particionamento e modelos dimensionais (Star Schema).
4. Garantir a qualidade e integridade dos dados por meio de testes, auditorias e validações contra regras de negócios.
5. Colaborar com equipes de negócios para entender necessidades analíticas e traduzir requisitos em soluções de dados eficazes.
6. Implementar processos de governança de dados, assegurando conformidade com LGPD e GDPR, incluindo criptografia de PII, controle de acessos e auditoria de dados.
7. Monitorar e otimizar o desempenho de processos ETL/ELT e armazenamento de dados em Data Lakes e Data Warehouses.
8. Aplicar princípios de DevOps e CI/CD para automação de testes, versionamento de código e implantação de pipelines.
9. Colaborar com times globais para garantir a padronização das melhores práticas em engenharia de dados.

Qualificações Essenciais:

1. Inglês fluente, para comunicação com times internacionais.
2. Disponibilidade para atuar no modelo híbrido, 3x na semana na região de Pinheiros/SP.
3. Experiência no desenvolvimento e gerenciamento de processos ETL/ELT.
4. Sólidos conhecimentos em SQL, incluindo consultas complexas e otimização de performance.
5. Experiência com modelagem de dados analítica e OLTP.
6. Experiência em pelo menos uma das linguagens: Python, PySpark ou C#.
7. Conhecimento em Cloud Computing (Azure, AWS ou GCP) e suas ferramentas de armazenamento e processamento de dados.
8. Experiência com Spark para processamento distribuído de dados.
9. Entendimento de conceitos de Machine Learning aplicados à análise de dados.
10. Experiência com APIs REST, OAuth e integração de dados em tempo real.
11. Conhecimento em ferramentas de versionamento de código e CI/CD (Azure DevOps, Git, etc.).
12. Familiaridade com ferramentas de BI (Power BI, Tableau, Looker).
13. Habilidade para trabalhar em ambientes ágeis e times internacionais, com boa comunicação entre áreas técnicas e de negócios.

Nossa missão é ajudar as empresas a extrair todo o potencial de Dados e Digital, visando aumentar seu desempenho, impulsionar a transformação digital, gerar novas oportunidades de crescimento e fortalecer sua competitividade.

Vem fazer parte do Time Keyrus!

Se desejar saber mais sobre nós, visite nosso site: http://www.keyrus.com/br/

Desejamos boa sorte!