Engenheiro(a) de Dados DTS | Senior Associate 2 [tag01]

PwC International; Piracicaba; On-site; BRL 120,000 - 180,000; Full time

Job summary

PwC DTS em Piracicaba busca Engenheiro(a) de Dados para projetar pipelines ETL/ELT com Python, SQL, PySpark e SparkSQL, entregando dados confiáveis para a empresa.

Você atuará com AWS (Glue, S3, Athena, Redshift, Lambda, Step Functions), construindo Data Lake com Parquet e assegurando governança, segurança e conformidade com LGPD, em ambiente CI/CD com Azure DevOps/GitHub.

Qualifications

• Experiência com Engenharia de Dados e sustentação de ambientes produtivos.
• Conhecimento avançado em Python e SQL.
• Experiência com PySpark e SparkSQL.
• Vivência em arquitetura e serviços AWS para dados: AWS Glue S3 Athena Redshift Lambda Step Functions IAM e KMS
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento em Data Lake e processamento distribuído.
• Vivência com versionamento de código utilizando Git.
• Experiência com CI/CD utilizando Azure DevOps ou GitHub.
• Conhecimento em governança, qualidade e catálogo de dados.
• Experiência com troubleshooting, monitoramento e otimização de performance.
• Formação: Graduação em Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Engenharia da Computação, Engenharia de Software ou áreas correlatas.

Responsibilities

• Desenvolver, manter e otimizar pipelines ETL/ELT utilizando Python, SQL, PySpark e SparkSQL.
• Construir soluções de processamento de dados em ambiente AWS utilizando Glue, S3, Athena, Redshift, Lambda e Step Functions.
• Projetar e administrar ambientes de Data Lake com armazenamento em formato Parquet.
• Implementar integrações entre PostgreSQL, MongoDB, DynamoDB, Kafka e Kinesis.
• Atuar na modelagem de dados, criação de tabelas, views e estruturas analíticas para consumo de informações.
• Garantir padrões de qualidade, governança, rastreabilidade e auditoria dos dados.
• Implementar controles de segurança, mascaramento de dados e conformidade com LGPD.
• Desenvolver e manter pipelines CI/CD utilizando Azure DevOps, Git e GitHub.
• Automatizar processos e fluxos serverless com Lambda e Step Functions.
• Executar atividades de monitoramento, troubleshooting, reprocessamentos e melhorias contínuas dos ambientes de dados.
• Apoiar times analíticos e áreas de negócio na disponibilização de informações confiáveis e escaláveis.

Skills

Python

SQL

PySpark

SparkSQL

Git

Azure DevOps

GitHub

Education

Graduação em Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Engenharia da Computação, Engenharia de Software

Tools

AWS Glue

S3

Athena

Redshift

Lambda

Step Functions

PostgreSQL

MongoDB

DynamoDB

Kafka

Kinesis

Git

GitHub

Azure DevOps

Terraform

Snowflake

Job description

Job Description & Summary

A PwC Digital Technology Services (PwC DTS) é uma empresa especializada em tecnologia, que opera como um Delivery Center e executa projetos que estão na vanguarda de inovação. Na PwC DTS desenvolvemos soluções para nossos clientes utilizando todo o potencial das tecnologias existentes no mercado, como desenvolvimento de software em inúmeras linguagens para frontend e backend, plataformas de processos empresariais como ERP, CRMs, implementação de soluções em cloud computing, e soluções de hiperautomação e testes. Se você é apaixonado por tecnologia e busca um ambiente dinâmico e desafiador para desenvolver suas habilidades e acelerar seu crescimento profissional, venha para a PwC DTS! Estamos em busca de um Engenheiro(a) de Dados para integrar nosso time de Piracicaba. Se você é uma pessoa movida a desafios e determinada a fazer a diferença, nós queremos te conhecer!

Seu papel nessa jornada:

• Desenvolver, manter e otimizar pipelines ETL/ELT utilizando Python, SQL, PySpark e SparkSQL.
• Construir soluções de processamento de dados em ambiente AWS utilizando Glue, S3, Athena, Redshift, Lambda e Step Functions.
• Projetar e administrar ambientes de Data Lake com armazenamento em formato Parquet.
• Implementar integrações entre diferentes fontes de dados, como PostgreSQL, MongoDB, DynamoDB, Kafka e Kinesis.
• Atuar na modelagem de dados, criação de tabelas, views e estruturas analíticas para consumo de informações.
• Garantir padrões de qualidade, governança, rastreabilidade e auditoria dos dados.
• Implementar controles de segurança, mascaramento de dados e conformidade com LGPD.
• Desenvolver e manter pipelines CI/CD utilizando Azure DevOps, Git e GitHub.
• Automatizar processos e fluxos serverless com Lambda e Step Functions.
• Executar atividades de monitoramento, troubleshooting, reprocessamentos e melhorias contínuas dos ambientes de dados.
• Apoiar times analíticos e áreas de negócio na disponibilização de informações confiáveis e escaláveis.

Se você possui os requisitos abaixo, essa oportunidade pode ser sua:

• Experiência com Engenharia de Dados e sustentação de ambientes produtivos.
• Conhecimento avançado em Python e SQL.
• Experiência com PySpark e SparkSQL.
• Vivência em arquitetura e serviços AWS para dados: AWS Glue S3 Athena Redshift Lambda Step Functions IAM e KMS
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento em Data Lake e processamento distribuído.
• Vivência com versionamento de código utilizando Git.
• Experiência com CI/CD utilizando Azure DevOps ou GitHub.
• Conhecimento em governança, qualidade e catálogo de dados.
• Experiência com troubleshooting, monitoramento e otimização de performance.
• Formação: Graduação em Ciência da Computação, Sistemas de Informação, Análise e Desenvolvimento de Sistemas, Engenharia da Computação, Engenharia de Software ou áreas correlatas.

Pode ser um diferencial, se você tiver:

• Experiência em ambientes GCP.
• Conhecimento em BigQuery e Dataproc.
• Vivência com Snowflake.
• Conhecimento em Terraform e Infrastructure as Code.
• Experiência com Kafka ou Kinesis para fluxos near real time.
• Certificações em Cloud, Dados ou Analytics.
• Pós-graduação em Engenharia de Dados, Banco de Dados, Engenharia de Software ou áreas correlatas.

São nossos valores:

• Agimos com integridade
• Fazemos a diferença
• Cuidamos das pessoas
• Trabalhamos juntos
• Desafiamos o limite do possível

Você está pronto(a) para fazer a diferença? Aqui, você pode crescer de forma real. Nós somos a PwC. Somos visionários. Trabalhamos com tecnologias de ponta, impulsionados pelas nossas pessoas, para entregar valor, gerar impacto e levar nossos clientes à vanguarda. Em tempos de transformação acelerada, utilizamos nossa expertise em indústrias, nossa experiência, competências e serviços integrados para construir confiança e resolver problemas importantes. Somos guiados pelos nossos valores, consistentes em nossa qualidade e dedicados a fazer a diferença. Aqui, seu desenvolvimento e crescimento se tornam uma vantagem para nossos clientes e influenciam o futuro do mundo. Grow here. Go further. #LI-DNI Are you ready to make a difference? Want to unlock new value by applying your unique perspective and talents? You can grow exponentially at PwC. Here, you can uncover hidden talents, build lifelong relationships rooted in trust and empathy and turn challenges into opportunities for innovation. We’ll help you grow your skills through challenging, meaningful work so you can go further.