Engenharia de Dados AWS Pleno (Remoto)

Sindicato dos Engenheiros no Estado de São Paulo; São José dos Campos; Teletrabalho; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Dados talentoso para projetar e otimizar pipelines de dados em ambientes críticos. O profissional ideal terá experiência em PySpark e SQL, além de um forte domínio da stack analítica AWS. Esta posição oferece a oportunidade de trabalhar em projetos de grande escala, contribuindo para a governança e organização de dados. Se você é apaixonado por tecnologia e deseja fazer a diferença em um ambiente dinâmico, esta é a oportunidade perfeita para você.

Qualificações

• Experiência prática em projetos de dados de média e alta complexidade.
• Domínio da stack analítica AWS e construção de pipelines com PySpark.

Responsabilidades

• Projetar e manter pipelines de dados usando PySpark e SQL.
• Gerenciar ingestão e transformação de dados com boas práticas.

Conhecimentos

PySpark

SQL

AWS S3

AWS Glue

AWS EMR

AWS Athena

AWS Redshift

AWS Lambda

AWS Step Functions

Git

Ferramentas

Terraform

DBT

DuckDB

Docker

Descrição da oferta de emprego

Responsabilidades:

1. Projetar, construir e manter pipelines de dados usando PySpark, SQL e serviços AWS.
2. Gerenciar ingestão e transformação de dados com eficiência, reutilização e boas práticas.
3. Atuar em projetos com Glue, EMR, Redshift, Athena, Lambda e Step Functions.
4. Otimizar ciclos de vida de dados no S3 e garantir performance das consultas.
5. Gerar valor através da organização e governança dos dados.
6. Trabalhar com ambientes críticos e de grande volume.
7. Conduzir reuniões com clientes, explicar decisões técnicas e propor soluções escaláveis.
8. Antecipar riscos técnicos e sugerir soluções.
9. Orientar profissionais Júnior e participar ativamente da disseminação de boas práticas no time.

Requisitos:

1. Experiência prática com projetos de média e alta complexidade em ambientes de dados.
2. Vivência em construção de pipelines com Spark/PySpark e SQL avançado.
3. Domínio da stack analítica AWS: S3, Glue, EMR, Athena, Redshift, Lambda, Step Functions.
4. Experiência com CI/CD, versionamento com Git e deploy automatizado.
5. Boa comunicação com stakeholders técnicos e não técnicos.
6. Visão clara de fluxo de dados e arquitetura em cloud.
7. Autonomia para execução e responsabilidade sobre entregas.

Hard Skills:

• PySpark avançado.
• SQL avançado.
• Stack analítica AWS: S3, Glue, EMR, Athena, Redshift, Lambda, Step Functions.
• Git + CI/CD.
• Amazon Redshift: Criação e manutenção de tabelas, distribuição (KEY, EVEN, ALL), sort keys, vacuum/stats, materialized views, COPY/UNLOAD, WLM.

Soft Skills:

• Postura consultiva.
• Organização e autonomia.
• Clareza e estruturação na comunicação.
• Capacidade de antecipação de problemas e riscos.
• Espírito de equipe e orientação a resultado.
• Capacidade de orientar e influenciar colegas menos experientes.
• Inglês intermediário (desejável).

Certificações desejáveis:

• AWS Data Engineer Associate.
• AWS Solutions Architect Associate.

Diferenciais:

• Conhecimento/experiência em Terraform, DBT, DuckDB, Docker.
• Databricks Certified Data Engineer Associate.