Engenheiro de Dados Sênior

Jobbol; São Paulo; Teletrabalho; BRL 150 000 - 210 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Home Office 100% remoto

Resumo da oferta

A Empresa de Desenvolvimento de Software busca Engenheiro de Dados Sênior em São Paulo com experiência em arquitetura de dados e AWS.

Você atuará na evolução de Data Lake, governança, catalogação com AWS Lake Formation, Glue Data Catalog e Spark no AWS EMR, bem como na padronização de pipelines CI/CD e na gestão de dados em S3.

Desejável atuação anterior como Arquiteto de Dados ou Engenheiro de Big Data; contrato 100% remoto com flexibilidade de horários.

Qualificações

• Ensino superior completo
• Experiência prévia em engenharia de dados ou arquitetura de dados
• Conhecimento de AWS e Spark em ambientes de big data

Responsabilidades

• Evoluir a arquitetura de dados e padronizar aplicações para a esteira CI/CD com foco em segurança e testes automatizados
• Modernizar Data Lake na AWS e desenvolver, tunar e sustentar jobs em Spark no AWS EMR
• Gerenciar governança, catálogo de dados e integração com AWS Glue Data Catalog
• Organizar particionamento, formatos colunares e tabelas gerenciadas em S3
• Relacionar-se com posições anteriores em Arquitetos de Dados, Cientistas de Dados Sênior ou Engenheiros de Big Data para alinhar atividades

Conhecimentos

Data engineering

Data lake

Arquitetura de dados

Governança de dados

Formação académica

Ensino superior completo

Ferramentas

Spark

AWS EMR

AWS Lake Formation

Glue Data Catalog

S3

Descrição da oferta de emprego

Empresa de Desenvolvimento de Software busca profissional Engenheiro de Dados Sênior em São Paulo.

Responsabilidades

Atuação na evolução da arquitetura de dados e na adequação de aplicações e componentes aos padrões definidos para a nova arquitetura do Data Lake. Padronização das aplicações para a esteira corporativa de CI/CD, com requisitos de segurança, ausência de vulnerabilidades e testes funcionais automatizados. Modernização de um Data Lake corporativo na AWS. Desenvolvimento, tuning e sustentação de jobs em produção em Spark no AWS EMR. Permissionamento, governança e catálogo no AWS Lake Formation. Catalogação, evolução de schema e integração com os motores de consulta no AWS Glue Data Catalog. Organização, particionamento, uso de formatos colunares e tabelas gerenciadas em AWS S3 e S3 Tables.

Atuações anteriores em Arquiteto de Dados, Cientista de Dados Sênior, Analista de Dados Sênior ou Engenheiro de Big Data podem indicar afinidade com algumas das atividades desta posição.

Requisitos Desejáveis

• Escolaridade: Ensino superior completo
• Experiência: Necessário experiência

Remuneração e Benefícios

• Salário: Faixa salarial será informada na entrevista.
• Benefícios a combinar

Informações Adicionais

• Contrato: Home Office. Modalidade 100% remota. Candidatos de São Caetano do Sul, Taboão da Serra, Guarulhos ou Osasco também são considerados para esta vaga.
• Período: Tempo Integral
• Jornada: A combinar