Sr data engineer

NetVagas; São Paulo; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa inovadora em São Paulo está em busca de um Engenheiro de Dados Sênior. O profissional será responsável por desenvolver e otimizar pipelines de dados em ambientes escaláveis na nuvem AWS, garantindo a qualidade e governança dos dados. O candidato ideal terá sólida experiência com ferramentas como Spark, SQL e Apache Airflow, além de habilidades em CI/CD e Docker. Oferecemos um ambiente inclusivo e diversos benefícios para promover o desenvolvimento profissional.

Serviços

Salário compatível com o mercado

Caju (cartão flexível) com a recarga de R$ 1.060/mês

Plano de Saúde Bradesco

Plano Odontológico Bradesco

Medicina preventiva com Dr. Alper

Seguro de Vida

Gympass

SESC

Auxílio Creche para mamães e papais

PLR

Qualificações

• Sólida experiência com AWS e Spark/PySpark.
• Conhecimento avançado em SQL e Apache Airflow.
• Experiência com CI/CD e Docker/Kubernetes.

Responsabilidades

• Projetar e desenvolver pipelines de dados escaláveis.
• Implementar workflows de orquestração de dados com Apache Airflow.
• Criar e gerenciar ambientes de CI/CD usando Jenkins.

Conhecimentos

AWS

Spark

SQL

Apache Airflow

Jenkins

Docker

Kubernetes

Databricks

IaC

Analytical Skills

Ferramentas

Terraform

Descrição da oferta de emprego

Descrição da Vaga:

Estamos em busca de um Engenheiro de Dados Sênior para atuar no desenvolvimento, otimização e sustentação de pipelines de dados em ambientes escaláveis na nuvem AWS. O profissional será responsável por projetar arquiteturas robustas e eficientes, garantindo a qualidade, confiabilidade e governança dos dados.

Responsabilidades:

1. Projetar e desenvolver pipelines de dados escaláveis para ingestão, transformação e armazenamento de grandes volumes de dados.
2. Implementar e otimizar workflows de orquestração de dados usando Apache Airflow.
3. Desenvolver e otimizar códigos em Python/PySpark para processamento distribuído de dados.
4. Garantir a eficiência e qualidade dos dados com boas práticas de modelagem, versionamento e governança.
5. Criar e gerenciar ambientes de CI/CD usando Jenkins para automação de deploys.
6. Implementar e manter arquiteturas baseadas em containers (Docker/Kubernetes) para escalabilidade e confiabilidade dos serviços.
7. Trabalhar com Databricks para análise e processamento de dados de forma distribuída.
8. Criar e otimizar consultas em SQL para manipulação e análise de dados.
9. Monitorar e otimizar a performance dos sistemas de dados, garantindo resiliência e escalabilidade.
10. Colaborar com times multidisciplinares (cientistas de dados, engenheiros de software e analistas de BI) para garantir a melhor utilização dos dados.

Requisitos Obrigatórios:

• Experiência sólida com AWS.
• Domínio de processamento distribuído com Spark/PySpark.
• Conhecimento avançado em SQL para modelagem e manipulação de dados.
• Experiência com orquestração de dados usando Apache Airflow.
• Experiência com CI/CD usando Jenkins.
• Conhecimento em Docker e Kubernetes para deploy e escalabilidade.
• Experiência com Databricks para processamento e análise de dados.
• Experiência prática com infraestrutura como código (IaC).
• Perfil analítico e habilidades para solucionar problemas complexos.

Diferenciais:

• Conhecimento em Terraform para provisionamento de infraestrutura.
• Experiência com monitoramento e observabilidade de pipelines de dados.
• Familiaridade com Data Governance e Data Security.
• Experiência em ambientes multi-cloud.

Benefícios:

• Salário compatível com o mercado;
• Caju (cartão flexível) com a recarga de R$ 1.060/mês;
• Plano de Saúde Bradesco;
• Plano Odontológico Bradesco;
• Medicina preventiva com Dr. Alper;
• Seguro de Vida;
• Gympass;
• SESC;
• Auxílio Creche para mamães e papais;
• PLR;
• Learning – área focada no desenvolvimento de hard e soft skills;
• Parceria com instituições de ensino para formação técnica, MBA, pós-graduação, certificações, inglês e espanhol;
• Plano de Carreira;
• Desconto em produtos de um portal parceiro.

Ressaltamos que todas as nossas vagas estão abertas a pessoas de todos os perfis e origens, valorizando a diversidade e promovendo um ambiente inclusivo e acolhedor para todos.