[Tech] Especialista em Engenharia de Dados

TOTVS; Florianópolis; Presencial; BRL 180 000 - 240 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Universidade em Rede TOTVS

+Saudáveis program

+Vantagens program

+ Cuidado program

Einstein Conecta

Resumo da oferta

A TOTVS está buscando um Especialista em Engenharia de Dados para atuar na arquitetura, construção e evolução de Data Lake e produtos de dados, incluindo soluções de Analytics, agentes e modelos. Trabalhará com Spark, Athena, Trino e AWS, assegurando pipelines de alto desempenho e governança.

Você avançará na modelagem de dados, disponibilização para BI com Metabase e colaboração com times multidisciplinares para atender necessidades analíticas dos produtos, com autonomia técnica e foco em

Qualificações

• Graduação completa em Engenharia, Ciência da Computação, Sistemas de Informação ou áreas correlatas.
• Experiência sólida em engenharia de dados, construção e manutenção de pipelines de dados em larga escala.
• Domínio de SQL para manipulação de grandes volumes de dados e otimização de consultas.

Responsabilidades

• Atuar na construção e evolução da arquitetura do Data Lake e dos produtos de dados do time (Analytics, agentes e modelos).
• Desenvolver, otimizar e manter pipelines de dados escaláveis na AWS.
• Modelar dados para consumo analítico e operacional com governança de dados.
• Definir padrões, arquiteturas e melhores práticas de dados.
• Implementar consultas eficientes com Athena e Trino.
• Processar grandes volumes com Spark.
• Garantir disponibilização de datasets para Metabase e outras ferramentas.
• Monitorar e otimizar desempenho de pipelines e tabelas no Data Lake.
• Assegurar qualidade, integridade e rastreabilidade dos dados.
• Acompanhar estratégias de particionamento, versionamento e organização de dados.

Conhecimentos

SQL Avançado

Python/PySpark

Data Modeling

ETL Pipelines

Kafka

Arquitetura de Dados

Formação académica

Graduação em Engenharia/CI/SI

Ferramentas

Terraform

Apache Spark

AWS (S3, Glue, Athena)

Metabase

Iceberg / PyIceberg

Milvus / Pinecone / Vector Stores

Descrição da oferta de emprego

[Tech] Especialista em Engenharia de Dados

Descrição da vaga

A missão do Especialista em Engenharia de Dados será atuar na arquitetura, construção e evolução do Data Lake e dos produtos de dados desenvolvidos pelo time, incluindo soluções de Analytics, agentes e modelos de machine learning. Trabalhará em conjunto com outro especialista de engenharia de dados na definição e implementação de arquiteturas, modelagem e disponibilização de dados em ambientes distribuídos, utilizando tecnologias como AWS, Spark, Trino e Athena, além de viabilizar o consumo eficiente dessas informações por ferramentas como o Metabase. Será responsável por desenvolver e otimizar pipelines de dados, garantindo performance, escalabilidade, qualidade e governança das informações. Espera-se que o profissional atue com alta autonomia técnica, contribuindo para decisões de arquitetura e para a evolução contínua do ecossistema de dados, assegurando que as soluções atendam às necessidades analíticas e de inteligência dos produtos com robustez e confiabilidade.

Responsabilidades e atribuições

• Atuar na construção e evolução da arquitetura do Data Lake e dos produtos de dados do time (Analytics, agentes e modelos);
• Desenvolver, otimizar e manter pipelines de dados escaláveis e confiáveis em ambiente AWS;
• Modelar e estruturar dados para consumo analítico e operacional, garantindo qualidade, performance e governança;
• Definir padrões, arquiteturas e boas práticas de dados;
• Implementar e otimizar consultas e camadas de acesso a dados utilizando Athena e Trino;
• Processar e transformar grandes volumes de dados utilizando Spark;
• Garantir a disponibilização eficiente de datasets para consumo em ferramentas analíticas como Metabase;
• Monitorar, diagnosticar e otimizar o desempenho de pipelines, queries e tabelas no Data Lake;
• Assegurar qualidade, integridade e rastreabilidade dos dados ao longo de todo o pipeline;
• Apoiar a definição de estratégias de particionamento, versionamento e organização de dados;
• Contribuir com a documentação técnica e evolução das boas práticas de engenharia de dados;
• Acompanhar tendências e propor melhorias contínuas no ecossistema de dados e nas tecnologias

Requisitos e qualificações

• Graduação completa em Engenharia, Ciência da Computação, Sistemas de Informação ou áreas correlatas;
• Experiência sólida em engenharia de dados, construção e manutenção de pipelines de dados em larga escala;
• Domínio de SQL avançado para manipulação e otimização de grandes volumes de dados;
• Experiência prática com processamento distribuído utilizando Spark;
• Experiência com serviços de dados na AWS (ex: S3, Glue, Athena, IAM, entre outros);
• Experiência com engines de consulta distribuída, como Athena e/ou Trino;
• Conhecimento em infraestrutura como Código (Terraform)
• Experiência em streaming de dados em tempo real (Apache Kafka)
• Conhecimento em bancos relacionais (PostgreSQL), não relacionais (MongoDB) e vetoriais (Milvus, Pinecone, S3 Vector)
• Experiência em governança de dados (Apache Ranger)
• Conhecimento em Data lake/lakehouse moderno (Iceberg, PyIceberg)
• Conhecimento em boas práticas de qualidade, governança e organização de dados;
• Experiência trabalhando em conjunto com times multidisciplinares (dados, produto e engenharia);
• Capacidade de estruturar soluções de dados escaláveis e de alta performance.

Requisitos desejáveis

• Experiência com disponibilização de dados para ferramentas de BI, como Metabase, Power BI ou Tableau;
• Vivência com otimização de queries e particionamento de tabelas em Data Lake;
• Experiência com orquestração de pipelines (ex: Airflow ou similares);
• Conhecimento em arquitetura de Data Lake;
• Experiência prévia suportando times de Ciência de Dados e Machine Learning;
• Conhecimento em práticas de DataOps e observabilidade de pipelines;
• Pós-graduação ou cursos especializados em Engenharia de Dados, Big Data ou Arquitetura de Dados.
• Universidade em Rede TOTVS, uma universidade Corporativa com conteúdos e certificações gratuitos para cada pessoa colaboradora;
• Programa +Saudáveis, que cuida de cada TOTVER com assessoria e ações voltadas para o bem estar em corpo, mente e finanças pessoais;
• Programa +Vantagens, a maior rede de descontos da América Latina, exclusivos para nossas pessoas colaboradoras;
• Programa + Cuidado, programa de apoio pessoal para pessoas colaboradoras e familiares, com orientações em diversas especialidades como: psicologia, serviço social, pet consultoria...
• Einstein Conecta, benefício de orientação médica online pelos médicos do Hospital Israelita Albert Einstein, totalmente gratuito;
• Plano de saúde e odontológico;
• Vale refeição e / ou alimentação;
• Vale transporte e fretados em algumas estações do metrô;
• Licença maternidade e paternidade estendida;
• Espaço de lactário;
• Seguro de vida;
• Auxílio creche;
• Previdência privada;
• Escritório que estimula a criatividade e produtividade com ambientes para lanches, salas de jogos, mesas de bilhar e poltronas para relaxar;

Sobre a empresa

Como empresa líder em tecnologia somos um universo de pessoas inconformadas, movidas por inovação, autonomia, aprendizado e performance. Juntos e juntas, criamos oportunidades, transformamos futuros e compartilhamos conhecimento. Aqui o seu desenvolvimento profissional acontece em um ambiente inclusivo, respeitoso e energizante. De gente pra gente! Buscamos o crescimento sustentável. E usamos dados e IA para impulsionar resultados mais inteligentes e eficientes para os nossos clientes. Vem com a gente inovar e construir o futuro da tecnologia. #VemPraTOTVS #SomosTOTVS