Engenheiro de Dados

Flash; Betim; On-site; BRL 120,000 - 230,000; Full time

Benefits offered by this job

Educação Continuada

Indique e Ganhe

Parceria Estácio

TOTALPASS

Desconto em aluguel de carros

Job summary

Flash em Betim busca Engenheiro(a) de Dados para projetar, desenvolver e manter pipelines ETL/ELT com foco em Snowflake e AWS. O candidato deve ter Python, SQL e atuação com governança de dados, visando performance e escalabilidade.

O papel envolve Airflow/MWAA, dbt e práticas de Git/CI/CD, com ênfase na evolução da arquitetura de dados da empresa e otimização de custos. Benefícios educacionais são oferecidos pela empresa.

Qualifications

• Engenharia de Dados e construção de pipelines ETL/ELT
• Python e SQL em nível avançado
• Experiência com Snowflake
• Conhecimento em AWS (S3, Glue, Redshift, Lambda) e demais serviços de engenharia de dados
• Experiência com Apache Airflow/MWAA
• Conhecimento em dbt para transformação e testes de dados
• Experiência com Git e práticas de CI/CD
• Modelagem de dados e integração de múltiplas fontes
• Capacidade de troubleshoot e otimização de pipelines

Responsibilities

• Projetar, desenvolver e manter pipelines de dados ETL/ELT
• Desenvolver processos de ingestão, transformação e disponibilização de dados
• Atuar com Snowflake e serviços AWS
• Desenvolver scripts em Python e SQL
• Implementar orquestração de pipelines com Airflow/MWAA
• Desenvolver e manter modelos de dados com dbt
• Aplicar boas práticas de governança de dados
• Implementar versionamento e CI/CD
• Monitorar e resolver problemas de execução e performance
• Contribuir para evolução da arquitetura de dados e eficiência de custos

Skills

Engenharia de Dados

ETL/ELT pipelines

Python

SQL

Snowflake

AWS data services

Apache Airflow/MWAA

dbt

Git & CI/CD

Tools

Snowflake

AWS

Apache Airflow

dbt

Git

CI/CD

Redshift

Job description

Principais responsabilidades

• Projetar, desenvolver e manter pipelines de dados utilizando arquiteturas ETL/ELT.
• Desenvolver processos de ingestão, transformação, integração e disponibilização de dados.
• Atuar na construção e otimização de soluções utilizando Snowflake e serviços da AWS.
• Desenvolver e manter scripts e processos de processamento de dados utilizando Python e SQL.
• Implementar e gerenciar fluxos de trabalho e orquestração de pipelines utilizando Apache Airflow/MWAA.
• Desenvolver e manter modelos de dados utilizando dbt.
• Aplicar boas práticas de modelagem, qualidade, governança e segurança dos dados.
• Implementar processos de versionamento e integração contínua (Git/CI/CD).
• Monitorar, identificar e solucionar problemas relacionados à execução e performance dos pipelines.
• Contribuir para a evolução da arquitetura de dados, buscando escalabilidade, eficiência e otimização de custos.

Requisitos técnicos

• Experiência em Engenharia de Dados e desenvolvimento de pipelines ETL/ELT.
• Conhecimento avançado em Python e SQL.
• Experiência com Snowflake.
• Conhecimento em serviços e arquitetura AWS, especialmente S3, Glue, Redshift, Lambda e demais serviços relacionados à engenharia de dados.
• Experiência com Apache Airflow ou Amazon MWAA.
• Conhecimento em dbt para transformação, modelagem e testes de dados.
• Experiência com Git e práticas de CI/CD.
• Conhecimento em modelagem de dados e integração de diferentes fontes de informação.
• Capacidade de troubleshooting e otimização de processos de dados.

Benefícios

• Programa de Educação Continuada, com auxílio em graduação, pós-graduação, certificação, treinamentos, eventos, workshops;
• Programa Indique e Ganhe: indicando aquele (a) profissional fera, caso ele seja contratado, você é reconhecido por isso;
• Parceria com a Estácio;
• TOTALPASS (descontos em planos de academia);
• Desconto no aluguel de carros;