Engenheiro de Dados Pleno

Grupo Criatto; Brasília; Hybrid; BRL 150,000 - 230,000; Full time

Job summary

Grupo Criatto atua como consultoria de Recrutamento e Seleção especializada em tecnologia, com atuação no Brasil e nos EUA. Esta vaga é para um cliente em expansão, com várias posições novas.

A oportunidade envolve desenvolver, manter e otimizar pipelines de dados na AWS, com ETL/ELT, Data Lakes/Warehouses e Lakehouse, usando Python, SQL, Airflow e dbt, com autonomia para entregar projetos de média complexidade.

Qualifications

• Experiência em pipelines ETL/ELT e qualidade de dados.
• Conhecimento de Data Lakes, Data Warehouses e Lakehouse.
• Foco em qualidade, segurança e confiabilidade de dados.
• Colaboração com equipes multidisciplinares e entrega de médias complexas.

Responsibilities

• Desenvolver, manter e otimizar pipelines ETL/ELT, integrando dados de várias fontes.
• Construir e manter Data Lakes, Data Warehouses e Lakehouse, com modelagem de dados.
• Orquestrar fluxos com Airflow e transformação de dados com dbt.
• Migrar dados, documentar processos e apoiar equipes juniores.

Skills

SQL avançado

Python

AWS

Airflow

dbt

Git

Tools

PySpark

Pandas

Boto3

NumPy

S3

Glue

Redshift

Terraform

CloudFormation

Kafka

Job description

O Grupo Criatto é uma consultoria de Recrutamento e Seleção especializada em tecnologia, atuando com grandes clientes no Brasil e nos Estados Unidos.

Esta oportunidade é para atuação em um de nossos clientes, que vive um forte momento de expansão e crescimento, com diversas novas posições abertas em seu time.

A empresa é referência em soluções Cloud e transformação digital, sendo reconhecida como AWS Advanced Partner e destaque no ecossistema AWS, figurando entre os principais parceiros da América Latina e do Brasil.

Responsabilidades:

Desenvolver, manter e otimizar pipelines ETL/ELT, integrando dados de diferentes fontes e garantindo qualidade, segurança e confiabilidade. Construir e manter Data Lakes, Data Warehouses e arquiteturas Lakehouse, realizar modelagem de dados, orquestrar fluxos, monitorar ambientes produtivos e otimizar performance e custos em nuvem. Atuar em migrações, documentação, CI/CD e colaboração com equipes multidisciplinares, com autonomia e apoio técnico a profissionais júnior.

• SQL avançado e otimização de consultas.
• Python para engenharia de dados, incluindo PySpark, Pandas, Boto3 e NumPy.
• AWS: S3, Glue, Glue Data Catalog, Athena, Redshift, Lambda, Step Functions, RDS e DynamoDB.
• Apache Airflow e dbt para orquestração e transformação de dados.
• Modelagem dimensional, bancos relacionais e fundamentos de NoSQL.
• Arquiteturas Data Lake, Data Warehouse e conceitos de Lakehouse.
• Git, pull requests, code review, testes com pytest e fundamentos de CI/CD.
• Monitoramento com CloudWatch e segurança com IAM, KMS e Secrets Manager.
• Fundamentos de migração de dados, infraestrutura como código (Terraform ou CloudFormation) e Machine Learning.
• Conhecimentos desejáveis:
• Kafka, Kinesis, MSK, CDC, Databricks, Delta Lake, Apache Iceberg/Hudi, Docker, Kubernetes, Terraform avançado, observabilidade, governança e linhagem de dados, AWS DMS/SCT, Power BI ou QuickSight e integração de modelos de Machine Learning.

Perfil esperado: profissional com autonomia para conduzir entregas de média complexidade, boa capacidade analítica, comunicação com áreas técnicas e de negócio e foco em qualidade, performance e confiabilidade dos dados.