3566: Senior Data Engineer | AWS & Data Platforms

Mazzatech; Brasil; Híbrido; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A Mazzatech busca um engenheiro de dados para desenhar, desenvolver e manter pipelines escaláveis e confiáveis, com foco em qualidade e governança de dados.

Você atuará com AWS (S3, Glue, Redshift, Athena, Lambda), Spark/PySpark, SQL e Python, integrando Data Lakes e Data Warehouses em ambiente ágil e distribuído.

Qualificações

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Inglês avançado (C2) com capacidade de comunicação em ambiente internacional.
• Experiência no desenho, desenvolvimento e sustentação de pipelines de dados escaláveis.
• Conhecimento avançado de SQL e Python.
• Experiência com processos de ETL e ELT, ingestão, integração e transformação de dados.
• Vivência com serviços de dados da AWS, como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda.
• Conhecimento de modelagem de dados e arquiteturas de Data Warehouse e Data Lake.
• Experiência com processamento distribuído utilizando Apache Spark ou PySpark.
• Capacidade para desenvolver, monitorar, otimizar e solucionar problemas em pipelines de dados.
• Conhecimento de práticas de qualidade, segurança e governança de dados.
• Vivência em ambientes Agile e colaboração com equipes multidisciplinares e distribuídas.
• Capacidade analítica, autonomia, comunicação clara e atenção à qualidade das entregas.

Responsabilidades

• Desenhar, desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis.
• Construir processos de ingestão, integração e transformação de dados utilizando SQL, Python e tecnologias de processamento distribuído.
• Desenvolver e sustentar soluções de dados baseadas em AWS, utilizando serviços como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda.
• Apoiar a construção e a evolução de Data Lakes, Data Warehouses e plataformas modernas de dados.
• Implementar processos de ETL e ELT alinhados às necessidades técnicas e de negócio.
• Desenvolver soluções utilizando Apache Spark ou PySpark para processamento de grandes volumes de dados.
• Participar de discussões de arquitetura, contribuindo para a definição de soluções seguras, escaláveis e sustentáveis.
• Monitorar e otimizar a performance de pipelines, consultas, processos de transformação e workloads em cloud.
• Investigar e solucionar problemas relacionados à ingestão, processamento, armazenamento e disponibilização de dados.
• Realizar análises de causa raiz e implementar ações corretivas para problemas recorrentes.
• Garantir a qualidade, integridade, segurança e governança dos dados ao longo dos processos de engenharia.
• Colaborar com arquitetos, engenheiros de software, analistas e stakeholders de negócio na definição e entrega das soluções.
• Apoiar projetos de migração para cloud, modernização de plataformas e evolução da arquitetura de dados.
• Implementar práticas de automação, versionamento, CI/CD e DataOps.
• Garantir aderência aos padrões técnicos, controles internos e requisitos regulatórios aplicáveis.
• Criar e manter documentação técnica, fluxos de dados e procedimentos operacionais atualizados.
• Contribuir para iniciativas de padronização, compartilhamento de conhecimento e melhoria contínua.

Conhecimentos

Inglês avançado (C2)

Análise de dados

Capacidade analítica

Autonomia

Comunicação clara

Atenção à qualidade

Trabalho em equipe

Formação académica

Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas

Ferramentas

SQL

Python

AWS (S3, Glue, Redshift, Athena, Lambda)

Spark/PySpark

Airflow

dbt

Kafka

Terraform

Git/CI-CD

Descrição da oferta de emprego

Qualificações

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;
• Inglês avançado (C2), com capacidade de comunicação em ambiente internacional
• Experiência no desenho, desenvolvimento e sustentação de pipelines de dados escaláveis;
• Conhecimento avançado de SQL e Python;
• Experiência com processos de ETL e ELT, ingestão, integração e transformação de dados;
• Vivência com serviços de dados da AWS, como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda;
• Conhecimento de modelagem de dados e arquiteturas de Data Warehouse e Data Lake;
• Experiência com processamento distribuído utilizando Apache Spark ou PySpark;
• Capacidade para desenvolver, monitorar, otimizar e solucionar problemas em pipelines de dados;
• Conhecimento de práticas de qualidade, segurança e governança de dados;
• Vivência em ambientes Agile e colaboração com equipes multidisciplinares e distribuídas;
• Capacidade analítica, autonomia, comunicação clara e atenção à qualidade das entregas.

Diferenciais

• Experiência com Databricks ou Snowflake;
• Conhecimento de Apache Airflow ou ferramentas equivalentes de orquestração;
• Experiência com dbt;
• Vivência com Kafka ou outras tecnologias de mensageria e streaming;
• Conhecimento de Terraform e Infrastructure as Code;
• Experiência com Git, automação e pipelines de CI/CD;
• Vivência com práticas de DataOps;
• Participação em projetos de migração, modernização ou transformação de plataformas de dados
• Experiência em instituições financeiras, bancos, Wealth Management, Asset Management ou outros ambientes regulados;
• Certificações relacionadas a AWS, Azure, Databricks, Snowflake ou engenharia de dados.

Principais responsabilidades

• Desenhar, desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis.
• Construir processos de ingestão, integração e transformação de dados utilizando SQL, Python e tecnologias de processamento distribuído.
• Desenvolver e sustentar soluções de dados baseadas em AWS, utilizando serviços como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda.
• Apoiar a construção e a evolução de Data Lakes, Data Warehouses e plataformas modernas de dados.
• Implementar processos de ETL e ELT alinhados às necessidades técnicas e de negócio.
• Desenvolver soluções utilizando Apache Spark ou PySpark para processamento de grandes volumes de dados.
• Participar de discussões de arquitetura, contribuindo para a definição de soluções seguras, escaláveis e sustentáveis.
• Monitorar e otimizar a performance de pipelines, consultas, processos de transformação e workloads em cloud.
• nvestigar e solucionar problemas relacionados à ingestão, processamento, armazenamento e disponibilização de dados.
• Realizar análises de causa raiz e implementar ações corretivas para problemas recorrentes.
• Garantir a qualidade, integridade, segurança e governança dos dados ao longo dos processos de engenharia.
• Colaborar com arquitetos, engenheiros de software, analistas e stakeholders de negócio na definição e entrega das soluções.
• Apoiar projetos de migração para cloud, modernização de plataformas e evolução da arquitetura de dados.
• Implementar práticas de automação, versionamento, CI/CD e DataOps.
• Garantir aderência aos padrões técnicos, controles internos e requisitos regulatórios aplicáveis.
• Criar e manter documentação técnica, fluxos de dados e procedimentos operacionais atualizados.
• Contribuir para iniciativas de padronização, compartilhamento de conhecimento e melhoria contínua.

Tempo

indeterminado

Local

hibrida ou remota