Engenheiro de dados

PwC; Piracicaba; On-site; BRL 150,000 - 230,000; Full time

Job summary

A PwC Digital Technology Services (PwC DTS) está buscando Engenheiro(a) de Dados para atuar em Piracicaba, integrando o time de dados. A posição envolve desenvolvimento de pipelines ETL/ELT com Python, SQL e PySpark, além de soluções em AWS (Glue, S3, Athena, Redshift, Lambda, Step Functions) e governança de dados.

Você trabalhará na modelagem de dados, implementação de Data Lake com Parquet e integração entre diversas fontes (PostgreSQL, MongoDB, DynamoDB, Kafka, Kinesis), assegurando qualidade

Qualifications

• Experiência com Engenharia de Dados e sustentação de ambientes produtivos.
• Conhecimento avançado em Python e SQL.
• Experiência com PySpark e SparkSQL.

Responsibilities

• Desenvolver, manter e otimizar pipelines ETL/ELT utilizando Python, SQL, PySpark e SparkSQL.
• Construir soluções de processamento de dados em ambiente AWS utilizando Glue, S3, Athena, Redshift, Lambda e Step Functions.
• Projetar e administrar ambientes de Data Lake com armazenamento em Parquet.
• Implementar integrações entre PostgreSQL, MongoDB, DynamoDB, Kafka e Kinesis.
• Modelar dados, criar tabelas, views e estruturas analíticas para consumo de informações.
• Garantir padrões de qualidade, governança, rastreabilidade e auditoria dos dados.

Skills

Python

SQL

PySpark

SparkSQL

ETL/ELT pipelines

Education

Graduação em Ciência da Computação/Sistemas de Informação/Engenharia de Computação

Tools

AWS Glue

AWS S3

AWS Athena

AWS Redshift

AWS Lambda

Step Functions

IAM

KMS

Job description

A PwC Digital Technology Services (PwC DTS) é uma empresa especializada em tecnologia, que opera como um Delivery Center e executa projetos que estão na vanguarda de inovação. Na PwC DTS desenvolvemos soluções para nossos clientes utilizando todo o potencial das tecnologias existentes no mercado, como desenvolvimento de software em inúmeras linguagens para frontend e backend, plataformas de processos empresariais como ERP, CRMs, implementação de soluções em cloud computing, e soluções de hiperautomação e testes. Se você é apaixonado por tecnologia e busca um ambiente dinâmico e desafiador para desenvolver suas habilidades e acelerar seu crescimento profissional, venha para a PwC DTS!

Estamos em busca de um Engenheiro(a) de Dados para integrar nosso time de Piracicaba. Se você é uma pessoa movida a desafios e determinada a fazer a diferença, nós queremos te conhecer!

Seu papel nessa jornada:

• Desenvolver, manter e otimizar pipelines ETL/ELT utilizando Python, SQL, PySpark e SparkSQL.
• Construir soluções de processamento de dados em ambiente AWS utilizando Glue, S3, Athena, Redshift, Lambda e Step Functions.
• Projetar e administrar ambientes de Data Lake com armazenamento em formato Parquet.
• Implementar integrações entre diferentes fontes de dados, como PostgreSQL, MongoDB, DynamoDB, Kafka e Kinesis.
• Atuar na modelagem de dados, criação de tabelas, views e estruturas analíticas para consumo de informações.
• Garantir padrões de qualidade, governança, rastreabilidade e auditoria dos dados.
• Implementar controles de segurança, mascaramento de dados e conformidade com LGPD.
• Desenvolver e manter pipelines CI/CD utilizando Azure DevOps, Git e GitHub.
• Automatizar processos e fluxos serverless com Lambda e Step Functions.
• Executar atividades de monitoramento, troubleshooting, reprocessamentos e melhorias contínuas dos ambientes de dados.
• Apoiar times analíticos e áreas de negócio na disponibilização de informações confiáveis e escaláveis.

Se você possui os requisitos abaixo, essa oportunidade pode ser sua:

• Experiência com Engenharia de Dados e sustentação de ambientes produtivos.
• Conhecimento avançado em Python e SQL.
• Experiência com PySpark e SparkSQL.
• Vivência em arquitetura e serviços AWS para dados: AWS Glue S3 Athena Redshift Lambda Step Functions IAM e KMS.
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento em Data Lake e processamento distribuído.
• Vivência com versionamento de código utilizando Git.
• Experiência com CI/CD utilizando Azure DevOps ou GitHub.
• Conhecimento em governança, qualidade e catálogo de dados.
• Experiência com troubleshooting, monitoramento e otimização de performance.
• Formação: Graduação em Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Engenharia da Computação, Engenharia de Software ou áreas correlatas.

Pode ser um diferencial, se você tiver:

• Experiência em ambientes GCP.
• Conhecimento em BigQuery e Dataproc.
• Vivência com Snowflake.
• Conhecimento em Terraform e Infrastructure as Code.
• Experiência com Kafka ou Kinesis para fluxos near real time.
• Certificações em Cloud, Dados ou Analytics.
• Pós-graduação em Engenharia de Dados, Banco de Dados, Engenharia de Software ou áreas correlatas.

São nossos valores:

• Agimos com integridade
• Fazemos a diferença
• Cuidamos das pessoas
• Trabalhamos juntos
• Desafiamos o limite do possível

Você está pronto(a) para fazer a diferença? Aqui, você pode crescer de forma real.

Nós somos a PwC. Somos visionários. Trabalhamos com tecnologias de ponta, impulsionados pelas nossas pessoas, para entregar valor, gerar impacto e levar nossos clientes à vanguarda. Em tempos de transformação acelerada, utilizamos nossa expertise em indústrias, nossa experiência, competências e serviços integrados para construir confiança e resolver problemas importantes. Somos guiados pelos nossos valores, consistentes em nossa qualidade e dedicados a fazer a diferença. Aqui, seu desenvolvimento e crescimento se tornam uma vantagem para nossos clientes e influenciam o futuro do mundo.

Grow here. Go further.