Engenheiro(a) de Dados - São Paulo

INTEGRA RH; São Paulo; Presencial; BRL 120.000 - 180.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro(a) de Dados Sênior para liderar projetos de dados em grande escala. O profissional será responsável por projetar e gerenciar a arquitetura de dados medallion, garantindo a qualidade e a governança em cada etapa do processo. Além disso, terá a oportunidade de se desenvolver na área de machine learning, colaborando com equipes de ciência de dados e engenharia de machine learning. Se você possui um forte entendimento em Big Data e deseja contribuir para a inovação em um ambiente dinâmico, essa é a sua chance de brilhar!

Qualificações

• Experiência sólida em arquitetura de dados com foco em arquitetura medallion.
• Conhecimento das camadas de dados (bronze, silver e gold) e suas melhores práticas.

Responsabilidades

• Projetar e gerenciar a arquitetura medallion para garantir a qualidade dos dados.
• Desenvolver e otimizar pipelines de ETL/ELT para processamento de dados em grande escala.

Conhecimentos

Arquitetura de Dados

Pipelines de ETL/ELT

Machine Learning

Governança de Dados

Big Data

Inovação

Formação académica

Formação Superior Completa

Ferramentas

Spark

Hadoop

Databricks

Descrição da oferta de emprego

Atribuições:

O Engenheiro(a) de Dados Sênior será responsável por projetar, desenvolver e gerenciar soluções de dados em grande escala, com foco em arquitetura de dados do tipo medallion e pipelines de ETL. Profissional deverá ter um sólido entendimento das camadas de dados (bronze, silver e gold), garantindo a qualidade e a governança dos dados em cada etapa do processo. Além disso, será incentivado e treinado para se desenvolver na área de machine learning, sendo essencial que demonstre interesse em aprendizado contínuo e habilidades para colaborar com equipes de ciência de dados e engenharia de machine learning.

Principais Responsabilidades:

• Projetar e gerenciar a arquitetura medallion, implementando as camadas bronze, silver e gold para garantir a integridade, organização e qualidade dos dados.
• Desenvolver e otimizar pipelines de ETL/ELT para ingestão, transformação e processamento de dados em grande escala (Big Data), garantindo que estejam alinhados com as necessidades do negócio.
• Definir e implementar padrões de qualidade de dados, com práticas para validação, limpeza e monitoramento contínuo dos dados.
• Assegurar a governança e segurança dos dados em todas as camadas, garantindo conformidade com as políticas internas e regulatórias da empresa.
• Trabalhar com ferramentas e tecnologias de Big Data, como Spark, Hadoop, e Databricks, para manipular grandes volumes de dados e possibilitar análises em tempo real ou em batch.
• Participar do design e da implementação de soluções escaláveis, otimizadas para performance e resilientes a falhas.
• Colaborar com cientistas de dados e engenheiros de ML, oferecendo suporte para a disponibilização de dados de alta qualidade e estruturados nas camadas de ouro (gold) para análise avançada e modelos de machine learning.
• Participar de treinamentos e iniciativas para desenvolver conhecimento em machine learning, com objetivo de evoluir para o suporte a modelos e à criação de pipelines de dados voltados a ML no futuro.
• Demonstrar iniciativa para aprendizado e interesse na área de machine learning, contribuindo para a inovação e aplicando boas práticas que podem facilitar o trabalho em um ambiente integrado de ML e dados.
• Buscar melhorias contínuas nos processos e nas ferramentas utilizadas, com o intuito de promover maior eficiência e segurança nas operações de dados.

Requisitos:

• Formação Superior na área completa;
• Experiência sólida em arquitetura de dados, com foco em arquitetura medallion e pipelines de ETL/ELT em ambientes de Big Data;
• Conhecimento das camadas de dados (bronze, silver e gold) e suas melhores práticas;
• Experiência com ferramentas e tecnologias de Big Data;
• Habilidade para garantir a qualidade e a governança dos dados em larga escala;
• Interesse e disposição para aprendizado na área de machine learning, com perfil proativo e orientado para inovação.

Informações adicionais: Conhecimento 2x na semana no escritório - Próximo a ponte estaiada em SP.