Engenheiro de Dados

JDC Tech & People; Betim; On-site; BRL 120,000 - 240,000; Full time

Job summary

A JDC Tech & People está buscando Engenheiro(a) de Dados para atuar no design, implementação e manutenção de pipelines de dados com foco em ETL/ELT. O profissional trabalhará com Snowflake e serviços AWS, além de Python e SQL.

Você utilizará Airflow/MWAA, dbt e práticas de CI/CD, contribuindo para governança, segurança e escalabilidade da arquitetura de dados da empresa.

Qualifications

• Experiência em Engenharia de Dados e desenvolvimento de pipelines ETL/ELT.
• Conhecimento avançado em Python e SQL.
• Experiência com Snowflake.
• Conhecimento em serviços e arquitetura AWS, especialmente S3, Glue, Redshift, Lambda e demais serviços relacionados à engenharia de dados.
• Experiência com Apache Airflow ou Amazon MWAA.
• Conhecimento em dbt para transformação, modelagem e testes de dados.
• Experiência com Git e práticas de CI/CD.
• Conhecimento em modelagem de dados e integração de diferentes fontes de informação.
• Capacidade de troubleshooting e otimização de processos de dados.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados utilizando arquiteturas ETL/ELT.
• Desenvolver processos de ingestão, transformação, integração e disponibilização de dados.
• Atuar na construção e otimização de soluções utilizando Snowflake e serviços da AWS.
• Desenvolver e manter scripts e processos de processamento de dados utilizando Python e SQL.
• Implementar e gerenciar fluxos de trabalho e orquestração de pipelines utilizando Apache Airflow/MWAA.
• Desenvolver e manter modelos de dados utilizando dbt.
• Aplicar boas práticas de modelagem, qualidade, governança e segurança dos dados.
• Implementar processos de versionamento e integração contínua (Git/CI/CD).
• Monitorar, identificar e solucionar problemas relacionados à execução e performance dos pipelines.
• Contribuir para a evolução da arquitetura de dados, buscando escalabilidade, eficiência e otimização de custos.

Skills

Python

SQL

ETL/ELT

Data pipelines

Git/CI-CD

Tools

Snowflake

Apache Airflow / MWAA

dbt

AWS (S3, Glue, Redshift, Lambda)

Git

Job description

Principais responsabilidades

• Projetar, desenvolver e manter pipelines de dados utilizando arquiteturas ETL/ELT
• Desenvolver processos de ingestão, transformação, integração e disponibilização de dados
• Atuar na construção e otimização de soluções utilizando Snowflake e serviços da AWS
• Desenvolver e manter scripts e processos de processamento de dados utilizando Python e SQL
• Implementar e gerenciar fluxos de trabalho e orquestração de pipelines utilizando Apache Airflow/MWAA
• Desenvolver e manter modelos de dados utilizando dbt
• Aplicar boas práticas de modelagem, qualidade, governança e segurança dos dados
• Implementar processos de versionamento e integração contínua (Git/CI/CD)
• Monitorar, identificar e solucionar problemas relacionados à execução e performance dos pipelines
• Contribuir para a evolução da arquitetura de dados, buscando escalabilidade, eficiência e otimização de custos

Requisitos técnicos

• Experiência em Engenharia de Dados e desenvolvimento de pipelines ETL/ELT
• Conhecimento avançado em Python e SQL
• Experiência com Snowflake
• Conhecimento em serviços e arquitetura AWS, especialmente S3, Glue, Redshift, Lambda e demais serviços relacionados à engenharia de dados
• Experiência com Apache Airflow ou Amazon MWAA
• Conhecimento em dbt para transformação, modelagem e testes de dados
• Experiência com Git e práticas de CI/CD
• Conhecimento em modelagem de dados e integração de diferentes fontes de informação
• Capacidade de troubleshooting e otimização de processos de dados