Engenheiro de Dados DataOps AWS

Grupo SysMap; Brasil; Teletrabalho; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

Grupo SysMap procura um(a) Engenheiro(a) de Dados para atuar em projetos de analytics e transformação digital no Brasil. O(a) profissional irá estruturar e evoluir pipelines de dados batch e streaming, utilizando Databricks, Spark/PySpark e SQL, bem como soluções em AWS.

O papel envolve DataOps, automação, qualidade de dados e colaboração com equipes multidisciplinares. A posição requer experiência sólida em engenharia de dados, ETL/ELT, e conhecimento de Delta Lake, além de foco em performance

Qualificações

• Experiência sólida em Engenharia de Dados.
• Experiência com ETL/ELT e pipelines de dados.
• Conhecimento avançado de SQL.
• Experiência com Databricks e Delta Lake.
• Conhecimento de Spark/PySpark.
• Capacidade de trabalhar com grandes volumes de dados, estruturados e semiestruturados.
• Boa comunicação e colaboração com times multidisciplinares.

Responsabilidades

• Desenvolver, evoluir e sustentar pipelines de dados batch e streaming.
• Projetar e implementar soluções de engenharia de dados usando Databricks e AWS.
• Atuar com DataOps, buscando automação, qualidade e confiabilidade dos dados.
• Desenvolver e manter processos de CI/CD para pipelines, notebooks, jobs e componentes de dados.
• Implementar monitoramento, observabilidade, logging e alertas de dados.
• Garantir qualidade, integridade e rastreabilidade dos dados.
• Trabalhar com processamento de grandes volumes de dados.
• Desenvolver soluções com Apache Spark / PySpark e SQL.
• Integrar diferentes fontes e sistemas de dados.

Conhecimentos

SQL Avançado

Python

PySpark

Apache Spark

Databricks

AWS

DataOps

Boa comunicação

Trabalho em equipe multidisciplinar

Ferramentas

Databricks

Delta Lake/Delta Tables

Apache Spark

AWS services

Descrição da oferta de emprego

Job type: Full-time employee Full-time employee

Você é movido(a) por tecnologia, dados e inovação?

Na Triggo.ai , transformamos desafios complexos em soluções inteligentes. Somos uma empresa brasileira focada em Analytics, IA e transformação digital, ajudando organizações a tomar decisões mais estratégicas e gerar impacto real nos negócios.

Trabalhamos com diferentes setores do mercado, sempre combinando tecnologia de ponta, visão de negócio e execução ágil.

Se você quer construir soluções que fazem a diferença e crescer junto com um time de alta performance, seu lugar pode ser aqui.

Vem para a Triggo.ai e construa o futuro com a gente.

Principais responsabilidades

• Desenvolver, evoluir e sustentar pipelines de dados batch e streaming.
• Projetar e implementar soluções de engenharia de dados utilizando Databricks e serviços AWS.
• Atuar em práticas de DataOps, buscando automação, padronização, qualidade e confiabilidade dos processos de dados.
• Desenvolver e manter processos de CI/CD para pipelines, notebooks, jobs e componentes de dados.
• Implementar mecanismos de monitoramento, observabilidade, logging e alertas.
• Garantir qualidade, integridade, disponibilidade e rastreabilidade dos dados.
• Trabalhar com processamento e transformação de grandes volumes de dados.
• Desenvolver soluções utilizando Apache Spark / PySpark e SQL.
• Atuar na integração de diferentes fontes e sistemas de dados.
• Contribuir para definição e evolução da arquitetura de dados.
• Apoiar iniciativas de otimização de performance e custos de infraestrutura/cloud.
• Identificar e solucionar problemas de performance, falhas de pipelines e inconsistências de dados.
• Trabalhar em parceria com Data Analysts, Data Scientists, Arquitetos, times de Engenharia e áreas de negócio.
• Contribuir para definição de padrões, boas práticas e governança de engenharia de dados.
• Experiência sólida em Engenharia de Dados.
• Experiência com desenvolvimento de ETL/ELT e pipelines de dados.
• Conhecimento avançado de SQL.
• Experiência com Python e/ou PySpark.
• Conhecimento de arquitetura e processamento de dados em larga escala.
• Experiência com dados estruturados e semiestruturados.
• Experiência prática com Databricks.
• Experiência com Delta Lake / Delta Tables.
• Conhecimento de Jobs, Workflows e mecanismos de processamento do Databricks.
• Conhecimento de boas práticas de performance e otimização de workloads.
• Forte senso de responsabilidade e compromisso com entrega
• Capacidade de assumir desafios e levá-los até o fim
• Boa comunicação e facilidade para trabalhar com times multidisciplinares
• Curiosidade, vontade de aprender e evoluir constantemente
• Mentalidade de construção e melhoria contínua

O futuro é agora e estamos aqui para transformar vidas, negócios e empresas. Vamos juntos?

Somos o Grupo SysMap, formado pelas marcas SysMap Solutions, TriggoLabs e triggo.ai um ecossistema de empresas de grande impacto no mercado, com soluções inovadoras em tecnologia que transformam negócios e desenvolvem pessoas.

Nossa essência é movida pela paixão por inovação, colaboração e crescimento contínuo. Há mais de 25 anos, superamos expectativas ao resolver desafios de negócio complexos, atuando em diferentes segmentos e acompanhando de forma ativa a evolução tecnológica.

Aqui, acreditamos que tecnologia só gera valor quando é construída por pessoas. Por isso, cultivamos um ambiente ético, colaborativo e diverso, onde o aprendizado é constante e a excelência pelo que fazemos faz parte do nosso jeito de ser.