Engenheiro de Dados AWS Sênior

K2; São Paulo; Híbrido; BRL 145 000 - 190 000; Tempo integral

Resumo da oferta

A K2 está contratando um engenheiro de dados sênior para regime híbrido na região de Pinheiros, SP. O candidato deve ter experiência sólida em dados de grande escala, SQL avançado, Python e PySpark, além de experiência com AWS (Glue/EMR/Redshift/S3).

Você trabalhará com Data Lake, Data Warehouse, Lakehouse e Data Mesh, desenhará padrões de dados, criará pipelines ETL/ELT resilientes e aplicará DataOps, CI/CD e governança, traduzindo requisitos de negócio em soluções técnicas escaláveis com foco

Qualificações

• Experiência sólida em engenharia de dados em ambientes de grande escala.
• Conhecimento avançado em SQL e otimização de consultas complexas.
• Programação avançada em Python e PySpark; experiência com serviços de dados em nuvem AWS (Glue, EMR, Redshift, S3).
• Experiência com pipelines ETL/ELT e orquestração (Airflow, Step Functions).

Responsabilidades

• Desenhar e evoluir arquiteturas de dados: Definir padrões, boas práticas e estratégias que garantam eficiência e escalabilidade.
• Viabilizar iniciativas de dados atuando com áreas de negócio para entender necessidades e traduzir requisitos funcionais em soluções técnicas robustas.
• Criar soluções para ingestão e tratamento de dados: Desenvolver pipelines resilientes e escaláveis com DataOps para qualidade, automação e monitoramento.
• Aplicar boas práticas de engenharia de software (versionamento, CI/CD, testes).

Conhecimentos

Engenharia de dados

SQL avançado

Python

PySpark

Data Lake

Data Warehouse

Data Mesh

ETL/ELT pipelines

Airflow

AWS Glue/EMR/Redshift/S3

CI/CD

FinOps

Governança de dados

KPIs/OKRs

Ferramentas

Airflow

Descrição da oferta de emprego

• Híbrido 3x/semana. Região de Pinheiros.
• Experiência sólida em engenharia de dados em ambientes de grande escala.
• Experiência em ambientes de arquitetura Data Lake, Data Warehouse, Lakehouse, Data Mesh.
• Conhecimento avançado em SQL e otimização de consultas complexas.
• Programação avançada em Python e pySpark Experiência com serviços de dados em nuvem AWS (Glue, EMR, Redshift, S3, Step Functions).
• Experiência com pipelines ETL/ELT e orquestração (Airflow, Step Functions).
• Boas práticas de engenharia de software (versionamento, CI/CD, testes).
• Capacidade de traduzir conceitos de negócio em métricas quantitativas (KPIs/OKRs).
• Desenhar e evoluir arquiteturas de dados: Definir padrões, boas práticas e estratégias que garantam eficiência e escalabilidade, incluindo FinOps, governança e integração entre plataforma de IA (ML/GenAI).
• Viabilizar iniciativas de dados: Atuar desde a concepção dos projetos, interagindo com áreas de negócio para entender necessidades e traduzir requisitos funcionais em soluções técnicas robustas.
• Criar soluções para ingestão e tratamento de dados: Desenvolver pipelines resilientes e escaláveis, aplicando conceitos de DataOps para garantir qualidade, automação e monitoramento contínuo.