Engenheiro de Dados Sênior

Extractta; São Paulo; Presencial; BRL 120.000 - 180.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Dados altamente qualificado para se juntar à sua equipe. O profissional será responsável por desenvolver e manter pipelines de dados escaláveis, otimizando processos de ETL e criando fluxos de processamento massivo de dados. Se você possui experiência com ferramentas como Dataiku, AWS Glue e Amazon Redshift, além de um sólido conhecimento em bancos de dados SQL e NoSQL, esta é uma oportunidade imperdível. Venha fazer parte de um ambiente dinâmico e desafiador, onde suas habilidades em engenharia de dados farão a diferença em projetos de grande impacto.

Qualificações

• Experiência comprovada em engenharia de dados em ambientes de grande escala.
• Proficiência em Python e bibliotecas para manipulação de dados.

Responsabilidades

• Desenvolver e manter pipelines de dados escaláveis utilizando AWS Glue e Dataiku.
• Criar e otimizar processos de ETL para grandes volumes de dados.

Conhecimentos

Engenharia de Dados

Python

ETL

SQL

Modelagem de Dados

Apache Spark

Dataiku

AWS Glue

NoSQL

Formação académica

Certificações em AWS ou Dataiku

Ferramentas

Dataiku

AWS Glue

Amazon Redshift

Apache Spark

MongoDB

Cassandra

Redis

DynamoDB

Descrição da oferta de emprego

Descrição

Estamos em busca de um Engenheiro de Dados altamente qualificado para integrar nosso time e atuar no desenvolvimento e manutenção de pipelines de dados escaláveis e eficientes. O profissional será responsável por construir e otimizar processos de ETL, desenvolver fluxos de processamento massivo de dados, além de projetar e implementar modelos de dados para suportar as demandas do negócio. Se você tem experiência em Dataiku, AWS Glue, Amazon Redshift e Apache Spark, além de um sólido conhecimento em bancos de dados SQL e NoSQL, essa oportunidade é para você!

• Atuação HÍBRIDA 2x na semana na Avenida Paulista/SP

Responsabilidades e atribuições

• Desenvolver e manter pipelines de dados eficientes e escaláveis, utilizando AWS Glue e Dataiku;
• Criar e otimizar processos de ETL para manipulação e transformação de grandes volumes de dados;
• Construir fluxos de processamento massivo de dados na casa de terabytes utilizando Dataiku e Apache Spark;
• Projetar e implementar modelos de dados relacionais e dimensionais para atender às necessidades do negócio;
• Criar e otimizar consultas SQL para análise, transformação e manipulação de dados;
• Trabalhar com bancos de dados SQL e NoSQL (MongoDB, Cassandra, Redis, DynamoDB);
• Forte conhecimento e experiência com Amazon Redshift, incluindo modelagem, administração e otimização;
• Experiência com AWS DMS e SQL CDC para replicação e sincronização de dados em tempo real;
• Experiência em rotinas de processamento transacionais com alta performance no Dataiku e AWS Glue;
• Automatizar processos de ingestão e tratamento de dados para garantir eficiência operacional.

Requisitos e qualificações

• Certificações em AWS ou Dataiku;
• Experiência comprovada em engenharia de dados, com atuação em ambientes de grande escala;
• Proficiência em Python, incluindo bibliotecas voltadas para manipulação de dados (Pandas, PySpark, etc.);
• Experiência com Dataiku, incluindo desenvolvimento de fluxos de dados, integração com fontes diversas e automação de processos;
• Experiência com AWS Glue, incluindo desenvolvimento de ETLs e tuning de performance;
• Experiência com Amazon Redshift, incluindo modelagem, administração e otimização de performance;
• Experiência com AWS DMS e SQL CDC para replicação e movimentação de dados em tempo real;
• Proficiência em SQL, incluindo otimização de consultas e modelagem de dados;
• Conhecimento de bancos de dados NoSQL (MongoDB, Cassandra, Redis, DynamoDB);
• Experiência em modelagem de dados, incluindo esquemas relacionais e dimensionais;
• Conhecimento de Apache Spark para processamento distribuído de grandes volumes de dados;