Engenheiro de Dados Pleno

Grupo Criatto Rh; Brasília; On-site; BRL 180,000 - 350,000; Full time

Job summary

Grupo Criatto Rh busca profissional para atuar com engenharia de dados em cliente em expansão, focado em pipelines ETL/ELT, dados em Data Lakes e Data Warehouses, e orquestração com Airflow e dbt. O papel envolve modelagem de dados, migrações e colaboração com equipes técnicas e de negócio no ambiente AWS.

O candidato ideal tem autonomia, boa capacidade analítica, e foco em qualidade, performance e confiabilidade de dados, com experiência prática em Terraform/CloudFormation e monitoramento com

Qualifications

• SQL avançado e otimização de consultas.
• Python para engenharia de dados com PySpark, Pandas e Boto3.
• Conhecimentos fortes em AWS (S3, Glue, Redshift, Lambda, RDS, DynamoDB).
• Airflow e dbt para orquestração e transformação de dados.
• Modelagem dimensional e conceitos de Lakehouse/DW.
• CI/CD, infraestrutura como código (Terraform/CloudFormation) e migrações de dados.

Responsibilities

• Desenvolver, manter e otimizar pipelines ETL/ELT integrando dados de várias fontes.
• Construir Data Lakes, Data Warehouses e arquiteturas Lakehouse com foco em qualidade e custo.
• Orquestrar fluxos com Airflow, manter documentação e monitorar ambientes em produção.
• Colaborar com equipes multidisciplinares, com autonomia para entregas de média complexidade.

Skills

SQL Avançado

Python para data engineering

PySpark

Pandas

Boto3

Airflow

dbt

AWS data services

Data Lake / DW / Lakehouse

CI/CD e IaC

Tools

Terraform

CloudFormation

Docker

Kubernetes

Power BI / QuickSight

Job description

O Grupo Criatto é uma cconsultoria de Recrutamento e Seleção especializada em tecnologia, atuando com grandes clientes no Brasil e nos Estados Unidos.

Esta oportunidade é para atuação em um de nossos clientes, que vive um forte momento de expansão e crescimento, com diversas novas posições abertas em seu time.

A empresa é referência em soluções Cloud e transformação digital, sendo reconhecida como AWS Advanced Partner e destaque no ecossistema AWS, figurando entre os principais parceiros da América Latina e do Brasil.

Responsabilidades

Desenvolver, manter e otimizar pipelines ETL/ELT, integrando dados de diferentes fontes e garantindo qualidade, segurança e confiabilidade. Construir e manter Data Lakes, Data Warehouses e arquiteturas Lakehouse, realizar modelagem de dados, orquestrar fluxos, monitorar ambientes produtivos e otimizar performance e custos em nuvem. Atuar em migrações, documentação, CI/CD e colaboração com equipes multidisciplinares, com autonomia e apoio técnico a profissionais júnior.

Requisitos

• SQL avançado e otimização de consultas.
• Python para engenharia de dados, incluindo PySpark, Pandas, Boto3 e NumPy.
• AWS: S3, Glue, Glue Data Catalog, Athena, Redshift, Lambda, Step Functions, RDS e DynamoDB.
• Apache Airflow e dbt para orquestração e transformação de dados.
• Modelagem dimensional, bancos relacionais e fundamentos de NoSQL.
• Arquiteturas Data Lake, Data Warehouse e conceitos de Lakehouse.
• Git, pull requests, code review, testes com pytest e fundamentos de CI/CD.
• Monitoramento com CloudWatch e segurança com IAM, KMS e Secrets Manager.
• Fundamentos de migração de dados, infraestrutura como código (Terraform ou CloudFormation) e Machine Learning.
• Conhecimentos desejáveis:
• Kafka, Kinesis, MSK, CDC, Databricks, Delta Lake, Apache Iceberg/Hudi, Docker, Kubernetes, Terraform avançado, observabilidade, governança e linhagem de dados, AWS DMS/SCT, Power BI ou QuickSight e integração de modelos de Machine Learning.

Perfil esperado: profissional com autonomia para conduzir entregas de média complexidade, boa capacidade analítica, comunicação com áreas técnicas e de negócio e foco em qualidade, performance e confiabilidade dos dados.