Página da Vaga | Engenheiro de Dados Pl

Stefanini Group; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está buscando um profissional para projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks. O candidato deverá ter experiência com Python e SQL, além de sólidos conhecimentos em serviços AWS. A função inclui a implementação de data lakes e processos de ETL/ELT, colaborando com stakeholders para soluções técnicas. É uma excelente oportunidade para crescimento em um ambiente inovador.

Serviços

Vale Alimentação ou Vale Refeição

Desconto em cursos e universidades

Academia Stefanini - cursos online

Auxílio Creche

Assistência Médica

Assistência Odontológica

Qualificações

• Experiência relevante com Python e SQL.
• Sólidos conhecimentos em serviços AWS, incluindo Amazon S3 e Amazon Athena.
• Experiência com Trino (anteriormente PrestoSQL).
• Domínio do Databricks e Delta Lake.
• Experiência com PySpark.
• Conhecimento em modelagem de dados.
• Experiência com particionamento e otimização em data lakes.

Responsabilidades

• Projetar e construir pipelines de dados utilizando AWS Athena, PySpark e Databricks.
• Implementar e gerenciar data lakes no Amazon S3.
• Desenvolver queries e análises com Amazon Athena e Trino.
• Implementar processos de ETL/ELT para múltiplas fontes de dados.
• Participar de code reviews e fornecer mentoria técnica.
• Implementar rotinas de monitoramento dos pipelines de dados.

Conhecimentos

Python

SQL

AWS S3

AWS Athena

Trino

Databricks

PySpark

Git

Métodos ágeis

Ferramentas

Apache Airflow

Docker

Kubernetes

Descrição da oferta de emprego

Job description

Na Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.

Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!

Junte-se a nós e seja parte da mudança!

O que oferecemos:

• Vale Alimentação ou Vale Refeição
• Desconto em cursos, universidades e instituições de idiomas
• Academia Stefanini - plataforma com cursos online, gratuitos, atualizados e com certificado
• Auxílio Creche
• Clube de vantagens para consultas e exames
• Assistência Médica
• Assistência Odontológica
• Clube de vantagens e descontos nos melhores estabelecimentos
• Clube de viagens
• Convênio para Pet
• e muito mais...

Main responsibilities

O que esperamos que você realize:

• Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks.
• Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas
• Desenvolver queries e análises complexas com Amazon Athena, Trino e Databricks.
• Implementar processos de ETL/ELT para integração de múltiplas fontes de dados.
• Otimizar a performance de queries e o processamento de dados em larga escala.
• Participar de code reviews e fornecer mentoria técnica à equipe.
• Colaborar com stakeholders de negócios para traduzir requisitos em soluções técnicas.
• Implementar rotinas de monitoramento e observabilidade dos pipelines de dados
• Agendar a execução de rotinas de ETL usando Apache Airflow.

Requirements and skills

Requisitos essenciais:

• Experiência relevante com Python e SQL.
• Sólidos conhecimentos em serviços AWS, incluindo:
• Amazon S3 para armazenamento de dados.
• Amazon Athena para consultas serverless.
• Experiência com Trino (anteriormente PrestoSQL) para queries distribuídas.
• Domínio do Databricks e Delta Lake para processamento de dados.
• Experiência com PySpark para processamento de dados em larga escala.
• Conhecimento em modelagem de dados e data warehousing.
• Experiência com particionamento e otimização de performance em data lakes.
• Domínio de versionamento Git e metodologias ágeis usando Azure DevOps.
• Experiência com formatos de dados modernos (Parquet, Delta, Iceberg).

Diferenciais:

• Certificações AWS (Data Analytics, Solutions Architect ou Data Engineer).
• Experiência com Apache Airflow para orquestração.
• Experiência com streaming de dados (Kinesis, Kafka).
• Conhecimento em dbt (Data Build Tool) para transformações.
• Experiência com Great Expectations para qualidade de dados.
• Familiaridade com ferramentas de CDC (Change Data Capture).
• Conhecimento em observabilidade e monitoramento (Elastic Search com Kibana).
• Experiência com APIs RESTful.
• Conhecimento em containerização (Docker, Kubernetes).
• Experiência com Terraform ou CloudFormation para IaC.