11649035 - Analytics Engineer Pleno - #85

Extractta; Belo Horizonte; Presencial; BRL 167 000 - 257 000; Tempo integral

Resumo da oferta

A Extractta está buscando um Analytics Engineer para desenvolver e sustentar pipelines de dados na nuvem, com foco em qualidade, performance e confiabilidade para áreas de negócio e times analíticos.

O profissional atuará com Python e Spark para processamento em larga escala, usando Airflow para orquestração, AWS S3/EMR e Kubernetes, além de trabalhar com SQL e Trino para modelagem e consulta. Terraform e IaC farão parte da infraestrutura.

Qualificações

• Experiência sólida com desenvolvimento de pipelines de dados (ingestão, transformação e disponibilização).
• Conhecimento em Python para processamento de dados.
• Experiência com Spark para processamento em larga escala.
• Vivência com Airflow para orquestração de workflows.
• Experiência com serviços de dados na AWS, especialmente com S3 e EMR
• Ambientes distribuídos e conteinerização, utilizando Kubernetes.
• Domínio de SQL para modelagem e consulta de dados analíticos.
• Experiência com motores de consulta distribuída, como Trino.
• Conhecimento em Infraestrutura como Código (IaC), utilizando Terraform.
• Experiência com versionamento de código (Git).
• Vivência com otimização e tuning de jobs Spark.
• Conhecimento em boas práticas de governança, observabilidade e qualidade de dados.

Responsabilidades

• Desenvolver, evoluir e sustentar pipelines de dados na nuvem.
• Utilizar Python e Spark para processamento em larga escala.
• Orquestrar workflows com Airflow e gerenciar deployments em AWS (S3/EMR).
• Operar em ambientes distribuídos com Kubernetes e Terraform.
• Modelar e consultar dados analíticos com SQL e Trino.
• Garantir governança, observabilidade e qualidade dos dados.

Conhecimentos

Python

Spark

Airflow

Kubernetes

Terraform

Trino

Git

AWS S3/EMR

SQL

Data pipelines

Goverança/Observabilidade

Ferramentas

Airflow

Kubernetes

Terraform

Trino

Git

AWS

Descrição da oferta de emprego

Buscamos um(a) Analytics Engineer para atuar no desenvolvimento, evolução e sustentação de pipelines analíticos em ambiente de dados em nuvem. O profissional será responsável por construir e manter processos de ingestão, transformação e disponibilização de dados, garantindo qualidade, performance e confiabilidade das informações consumidas pelas áreas de negócio e times analíticos.

Responsabilidades e atribuições

Atuará com Python e Spark para processamento de dados em larga escala, utilizando Airflow como ferramenta de orquestração. Será responsável por pipelines de extração e integração em AWS, operando em ambientes distribuídos com Kubernetes e EMR.

No armazenamento e camada analítica, trabalhará com SQL, S3 e Trino, apoiando a modelagem e consulta de dados analíticos. Também participará da definição e manutenção da infraestrutura de dados utilizando Terraform, apoiado por framework proprietário de Infraestrutura como Código (IaC).

O profissional irá colaborar com times de engenharia, analytics e negócio, atuando no tuning e otimização de jobs Spark, versionamento e padronização de pipelines, além de contribuir com boas práticas de observabilidade, governança e escalabilidade da plataforma.

Requisitos e qualificações

• Experiência sólida com desenvolvimento de pipelines de dados (ingestão, transformação e disponibilização).
• Conhecimento em Python para processamento de dados.
• Experiência com Spark para processamento em larga escala.
• Vivência com Airflow para orquestração de workflows.
• Experiência com serviços de dados na AWS, especialmente com S3 e EMR
• Experiência com ambientes distribuídos e conteinerização, utilizando Kubernetes.
• Domínio de SQL para modelagem e consulta de dados analíticos.
• Experiência com motores de consulta distribuída, como Trino.
• Conhecimento em Infraestrutura como Código (IaC), utilizando Terraform.
• Experiência com versionamento de código (Git).
• Vivência com otimização e tuning de jobs Spark.
• Conhecimento em boas práticas de governança, observabilidade e qualidade de dados.