Data Engineer

Net2Source (N2S) Consultoria em Recursos Humanos L; São Paulo; Presencial; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

A Net2Source (N2S) Consultoria em Recursos Humanos L procura Data Engineer para atuar no desenvolvimento, otimização e sustentação de soluções de dados em larga escala no Brasil. Você trabalhará com pipelines, Snowflake, AWS e ferramentas de engenharia de dados, buscando ambientes escaláveis e confiáveis.

É essencial ter forte experiência em SQL e Snowflake, com capacidade de otimizar estruturas e pipelines de dados em ambientes de grande volume.

Qualificações

• Experiência forte em SQL e Snowflake.
• Capacidade de otimizar estruturas e pipelines de dados.
• Conhecimento de ambientes de grande volume e dados.
• Conhecimento de ETL/ELT, modeling e data warehousing.

Responsabilidades

• Desenvolver, manter e otimizar pipelines de dados ETL/ELT.
• Criar e otimizar consultas SQL complexas considerando performance e escalabilidade.
• Projetar e manter modelos e estruturas de dados.
• Desenvolver e manter objetos no Snowflake seguindo boas práticas de data warehousing.
• Realizar tuning de performance e custos no Snowflake.
• Refatorar objetos, queries e pipelines Snowflake para grandes volumes.
• Desenvolver pipelines com dbt, Airflow ou similares.
• Trabalhar com serviços AWS (RDS, S3, Aurora).
• Gerenciar backups e restaurações de dados.
• Usar Python para scripts e automações.
• Utilizar Git/GitHub para versionamento e colaboração.
• Trabalhar em Linux com shell scripting e gestão de serviços.
• Aplicar containerização com Docker em ambientes locais e na cloud.
• Colaborar com equipes de engenharia e tecnologia para confiabilidade.

Conhecimentos

SQL

Snowflake

Python

Data pipelines

ETL/ELT

Ferramentas

Snowflake

dbt

Apache Airflow

AWS

Descrição da oferta de emprego

stamos buscando um(a) Data Engineer para atuar no desenvolvimento, otimização e sustentação de soluções de dados em larga escala. A pessoa será responsável por trabalhar com pipelines de dados, Snowflake, AWS e ferramentas de engenharia de dados, contribuindo para ambientes escaláveis, performáticos e confiáveis. Buscamos um profissional com forte experiência em SQL e Snowflake, capacidade de otimizar estruturas e pipelines de dados e experiência trabalhando em ambientes de grande volume.

Principais responsabilidades

• Desenvolver, manter e otimizar pipelines de dados ETL/ELT.
• Criar e otimizar consultas SQL complexas, considerando performance, escalabilidade e eficiência.
• Projetar e manter modelos e estruturas de dados.
• Desenvolver, otimizar e realizar manutenção de objetos no Snowflake, seguindo boas práticas de arquitetura e data warehousing.
• Realizar tuning e otimização de performance e custos no Snowflake.
• Refatorar objetos, queries e pipelines Snowflake para ambientes de dados de grande escala.
• Desenvolver e manter pipelines utilizando ferramentas como dbt, Apache Airflow ou similares.
• Trabalhar com serviços de dados da AWS, incluindo RDS, S3 e Aurora.
• Atuar com mecanismos de backup e restore de dados.
• Utilizar Python para desenvolvimento de scripts, automações, pipelines e ferramentas de suporte.
• Utilizar Git e GitHub para versionamento, branching, pull requests e desenvolvimento colaborativo.
• Trabalhar em ambientes Linux, realizando navegação no sistema de arquivos, shell scripting e gerenciamento de serviços.
• Utilizar tecnologias de containerização, como Docker, em ambientes locais e cloud.
• Colaborar com equipes de engenharia, dados e tecnologia para garantir a confiabilidade e disponibilidade das soluções de dados.