Engenheiro De Dados Sênior

Netvagas; Rio de Janeiro; On-site; BRL 180,000 - 300,000; Full time

Job summary

Netvagas no Rio de Janeiro contrata Engenheiro de Dados sênior para desenhar e manter pipelines de ingestão a partir de APIs, arquivos e bancos transacionais, com foco em qualidade e governança de dados.

O profissional atuará com AWS (S3, Glue, Lambda, Athena), Python para automação, Terraform e Git/GitHub para CI/CD, implementando pipelines incrementais e full load, monitorando falhas e garantindo contratos de dados com analytics.

Qualifications

• Experiência comprovada em engenharia de dados com pipelines de ingestão (APIs, arquivos CSV/JSON/Parquet) e ETL/ELT.
• Experiência com Python para automação e scripts de integração.
• Conhecimento de serviços AWS voltados a dados (S3, Glue, Lambda, Athena).
• Experiência com Git/GitHub (versionamento, PRs, code review) e Terraform (IaC).
• Capacidade de consumir APIs com autenticação, paginação e rate limiting.

Responsibilities

• Desenvolver e manter pipelines de ingestão de dados a partir de APIs e arquivos, com bancos transacionais como fonte.
• Construir integrações usando serviços nativos AWS (Glue, Lambda, S3, Kinesis, DMS, Athena, EventBridge).
• Implementar rotinas de extração incremental e full load, com controle de idempotência e reprocessamento.
• Monitorar falhas de ingestão (retry, dead-letter, alertas) e manter pipelines estáveis.
• Gerenciar infraestrutura de dados com Terraform e manter CI/CD via GitHub Actions.

Skills

Engenharia de dados

Python

APIs

Git/GitHub

ETL/ELT

AWS data services

CI/CD

Ingestão de dados

Tools

AWS S3

AWS Glue

AWS Lambda

AWS Athena

Git

Terraform

Airflow

Step Functions

DBT

Job description

Experiência com engenharia de dados (pipelines de ingestão, ETL/ELT)

Experiência com Python para automação e scripts de integração

Conhecimento de serviços AWS voltados a dados (S3, Glue, Lambda, Athena, no mínimo)

Experiência com Git/GitHub (versionamento, PRs, code review)

Conhecimento de Terraform (IaC)

Consumo de APIs (autenticação, paginação, rate limiting)

Diferenciais

Certificação AWS (AWS Certified Data Engineer, Solutions Architect Associate ou equivalente)

Experiência com orquestradores (Airflow, Step Functions)

Conhecimento de DBT

Experiência com arquiteturas de data lake / lakehouse

Vivência prévia entregando dados para times de BI/Analytics Engineering

Ingestão e Integração de Dados

Desenvolver e manter pipelines de ingestão de dados a partir de APIs, arquivos (CSV, JSON, Parquet) e bancos transacionais

Construir integrações usando serviços nativos AWS (Glue, Lambda, S3, Kinesis, DMS, Athena, EventBridge)

Implementar rotinas de extração incremental e full load, com controle de idempotência e reprocessamento

Monitorar e tratar falhas de ingestão (retry, dead-letter, alertas)

Infraestrutura como Código e Versionamento

Provisionar e manter infraestrutura de dados via Terraform

Gerenciar código-fonte, pipelines de CI/CD e revisão de código via GitHub (Actions, PRs, branching strategy)

Qualidade e Governança de Dados

Aplicação da arquitetura medalhão (bronze, silver e gold)

Estruturar dados na camada silver para consumo de Analytics Engineer

Alinhar contratos de dados (schemas, SLAs de atualização) com o time de analytics

Dar suporte técnico em troubleshooting de origem de dados quando necessário

Criar um alerta de emprego para esta pesquisa

Engenheiro de dados sênior RIO DE JANEIRO, RJ, BR