Especialista em Engenharia de Dados

TOTVS; Florianópolis; Presencial; BRL 180 000 - 320 000; Tempo integral

Resumo da oferta

A TOTVS procura Especialista em Engenharia de Dados para atuar na construção e evolução do Data Lake e dos produtos de dados do time, incluindo soluções de Analytics, agentes e modelos de ML. Trabalhará com arquiteturas distribuídas usando AWS, Spark, Trino e Athena, assegurando alta performance, governança e disponibilidade dos dados para consumo via Metabase.

É esperado que o profissional desempenhe autonomia técnica, defina padrões de dados e participe da evolução do ecossistema, apoiando

Qualificações

• Engenheiro(a) de dados formado(a) com atuação em pipelines de grande escala.
• Experiência com arquitetura de Data Lake e governança de dados.
• Domínio de SQL avançado para grandes volumes de dados.
• Experiência prática com Spark e processamento distribuído.
• Experiência com AWS (S3, Glue, Athena, IAM).
• Conhecimento de engines de consulta distribuída (Athena/Trino).
• Infraestrutura como Código (Terraform) e orquestração (Airflow).
• Experiência em streaming com Kafka e modelagem de dados.

Responsabilidades

• Atuar na construção e evolução da arquitetura do Data Lake e produtos de dados.
• Desenvolver, otimizar e manter pipelines de dados em AWS.
• Modelar dados para consumo analítico e operacional com qualidade e governança.
• Definir padrões, arquiteturas e boas práticas de dados.
• Implementar consultas com Athena/Trino e processar grandes volumes com Spark.
• Garantir disponibilização de datasets para ferramentas analíticas como Metabase.
• Monitorar desempenho de pipelines, queries e tabelas do Data Lake.
• Apoiar particionamento, versionamento e organização de dados.
• Contribuir com documentação técnica e evolução de boas práticas de engenharia de dados.
• Acompanhar tendências e propor melhorias no ecossistema de dados.

Conhecimentos

SQL avançado

Spark

AWS

Trino

Athena

Kafka

Governança de dados

Modelagem de dados

Python

Formação académica

Engenharia, Ciência da Computação ou Sistemas de Informação

Ferramentas

Terraform

Airflow

Apache Kafka

Iceberg

PyIceberg

MongoDB

Milvus

Pinecone

S3

Glue

Athena

Descrição da oferta de emprego

A missão do Especialista em Engenharia de Dados será atuar na arquitetura, construção e evolução do Data Lake e dos produtos de dados desenvolvidos pelo time, incluindo soluções de Analytics, agentes e modelos de machine learning. Trabalhará em conjunto com outro especialista de engenharia de dados na definição e implementação de arquiteturas, modelagem e disponibilização de dados em ambientes distribuídos, utilizando tecnologias como AWS, Spark, Trino e Athena, além de viabilizar o consumo eficiente dessas informações por ferramentas como o Metabase. Será responsável por desenvolver e otimizar pipelines de dados, garantindo performance, escalabilidade, qualidade e governança das informações. Espera-se que o profissional atue com alta autonomia técnica, contribuindo para decisões de arquitetura e para a evolução contínua do ecossistema de dados, assegurando que as soluções atendam às necessidades analíticas e de inteligência dos produtos com robustez e confiabilidade.

Responsabilidades e atribuições

• Atuar na construção e evolução da arquitetura do Data Lake e dos produtos de dados do time (Analytics, agentes e modelos);
• Desenvolver, otimizar e manter pipelines de dados escaláveis e confiáveis em ambiente AWS;
• Modelar e estruturar dados para consumo analítico e operacional, garantindo qualidade, performance e governança;
• Definir padrões, arquiteturas e boas práticas de dados;
• Implementar e otimizar consultas e camadas de acesso a dados utilizando Athena e Trino;
• Processar e transformar grandes volumes de dados utilizando Spark;
• Garantir a disponibilização eficiente de datasets para consumo em ferramentas analíticas como Metabase;
• Monitorar, diagnosticar e otimizar o desempenho de pipelines, queries e tabelas no Data Lake;
• Assegurar qualidade, integridade e rastreabilidade dos dados ao longo de todo o pipeline;
• Apoiar a definição de estratégias de particionamento, versionamento e organização de dados;
• Contribuir com a documentação técnica e evolução das boas práticas de engenharia de dados;
• Acompanhar tendências e propor melhorias contínuas no ecossistema de dados e nas tecnologias

Requisitos e qualificações

• Graduação completa em Engenharia, Ciência da Computação, Sistemas de Informação ou áreas correlatas;
• Experiência sólida em engenharia de dados, construção e manutenção de pipelines de dados em larga escala;
• Domínio de SQL avançado para manipulação e otimização de grandes volumes de dados;
• Experiência prática com processamento distribuído utilizando Spark;
• Experiência com serviços de dados na AWS (ex: S3, Glue, Athena, IAM, entre outros);
• Experiência com engines de consulta distribuída, como Athena e/ou Trino;
• Conhecimento em infraestrutura como Código (Terraform)
• Experiência em streaming de dados em tempo real (Apache Kafka)
• Conhecimento em bancos relacionais (PostgreSQL), não relacionais (MongoDB) e vetoriais (Milvus, Pinecone, S3 Vector)
• Experiência em governança de dados (Apache Ranger)
• Conhecimento em Data lake/lakehouse moderno (Iceberg, PyIceberg)
• Conhecimento em boas práticas de qualidade, governança e organização de dados;
• Experiência trabalhando em conjunto com times multidisciplinares (dados, produto e engenharia);
• Capacidade de estruturar soluções de dados escaláveis e de alta performance.

Requisitos desejáveis

• Experiência com disponibilização de dados para ferramentas de BI, como Metabase, Power BI ou Tableau;
• Vivência com otimização de queries e particionamento de tabelas em Data Lake;
• Experiência com orquestração de pipelines (ex: Airflow ou similares);
• Conhecimento em arquitetura de Data Lake;
• Experiência prévia suportando times de Ciência de Dados e Machine Learning;
• Conhecimento em práticas de DataOps e observabilidade de pipelines;
• Pós-graduação ou cursos especializados em Engenharia de Dados, Big Data ou Arquitetura de Dados.