Engenheiro de dados

Net2Source (N2S); São Paulo; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

Net2Source (N2S) busca um(a) Senior Data Engineer para atuar no desenvolvimento, otimização e manutenção de soluções de dados em ambientes de grande escala. O profissional trabalhará com SQL, Snowflake e pipelines de dados, contribuindo para arquiteturas eficientes e com controle de custos.

Perfil hands-on, com forte capacidade técnica em engenharia de dados, otimização de queries e automatização usando Python, dbt e Airflow, além de experiência com AWS e containerização.

Qualificações

• Forte experiência com SQL, incluindo queries complexas e performance tuning.
• Experiência prática com Snowflake, design de schemas e otimização de custos.
• Construção e manutenção de pipelines ELT/ETL.
• Conhecimento de dbt, Apache Airflow ou equivalentes.
• Experiência ou familiaridade com serviços de dados da AWS (RDS, S3, Aurora).
• Conhecimento de Python para automação de pipelines e tooling de dados.
• Experiência com Git/GitHub para controle de versão e colaborativo.
• Ambientes Linux, shell scripting e gerenciamento de serviços. Docker em cloud e on-premises.

Responsabilidades

• Desenvolver, manter e otimizar soluções de engenharia de dados em ambientes de grande escala.
• Desenvolver queries SQL complexas, realizando análise e otimização de performance.
• Projetar e manter modelos de dados eficientes e escaláveis.
• Atuar no desenvolvimento e otimização de ambientes Snowflake.
• Projetar schemas e estruturas de dados seguindo boas práticas de arquitetura e modelagem.
• Refatorar e otimizar objetos Snowflake e pipelines de dados para melhorar performance, escalabilidade e eficiência de custos.
• Monitorar e otimizar o consumo de recursos e custos em ambientes Snowflake.
• Desenvolver e manter pipelines ELT/ETL utilizando ferramentas como dbt e Apache Airflow.
• Criar scripts e ferramentas de automação utilizando Python.
• Trabalhar com serviços de dados da AWS, incluindo RDS, S3 e Aurora.
• Atuar com mecanismos de backup e restore de dados.
• Utilizar Git e GitHub para controle de versão e desenvolvimento colaborativo.
• Trabalhar com ambientes Linux, shell scripting e gerenciamento de serviços.
• Utilizar Docker e containerização em ambientes cloud e locais.
• Colaborar com engenheiros de dados, desenvolvedores e demais equipes técnicas.

Conhecimentos

SQL

Snowflake

ELT/ETL

Python

Data Modeling

Cloud AWS

Git / GitHub

Ferramentas

dbt

Apache Airflow

Git

GitHub

Docker

Linux shell

Descrição da oferta de emprego

Estamos buscando um(a) Senior Data Engineer para atuar no desenvolvimento, otimização e manutenção de soluções de dados em ambientes de grande escala.

O profissional será responsável por trabalhar com SQL, Snowflake e pipelines de dados, contribuindo para a construção de arquiteturas eficientes, escaláveis e com controle de custos.

Buscamos um perfil hands-on, com forte capacidade técnica e experiência em engenharia de dados, otimização de queries e objetos Snowflake, processos ELT/ETL e automação, além de familiaridade com ambientes cloud, especialmente AWS.

Principais responsabilidades

• Desenvolver, manter e otimizar soluções de engenharia de dados em ambientes de grande escala.
• Desenvolver queries SQL complexas, realizando análise e otimização de performance.
• Projetar e manter modelos de dados eficientes e escaláveis.
• Atuar no desenvolvimento e otimização de ambientes Snowflake.
• Projetar schemas e estruturas de dados seguindo boas práticas de arquitetura e modelagem.
• Refatorar e otimizar objetos Snowflake e pipelines de dados para melhorar performance, escalabilidade e eficiência de custos.
• Monitorar e otimizar o consumo de recursos e custos em ambientes Snowflake.
• Desenvolver e manter pipelines ELT/ETL utilizando ferramentas como dbt, Apache Airflow ou tecnologias similares.
• Criar scripts e ferramentas de automação utilizando Python.
• Trabalhar com serviços de dados da AWS, incluindo RDS, S3 e Aurora.
• Atuar com mecanismos de backup e restore de dados.
• Utilizar Git e GitHub para controle de versão e desenvolvimento colaborativo.
• Trabalhar com ambientes Linux, realizando navegação em sistemas de arquivos, shell scripting e gerenciamento de serviços.
• Utilizar tecnologias de containerização, especialmente Docker, em ambientes locais e cloud.
• Colaborar com engenheiros de dados, desenvolvedores e demais equipes técnicas na evolução da plataforma de dados.
• Contribuir para definição e melhoria contínua de padrões, processos e boas práticas de engenharia de dados.

Requisitos Técnicos

• Forte experiência com SQL, incluindo: Queries complexas; Performance tuning; Otimização de consultas; Data modeling.
• Experiência prática e sólida com Snowflake, incluindo: Schema design; Otimização;Data warehousing; Boas práticas de arquitetura;Gerenciamento e otimização de custos.
• Experiência comprovada na refatoração e otimização de objetos e pipelines Snowflake em ambientes de dados de grande escala.
• Experiência na construção e manutenção de pipelines ELT/ETL.
• Conhecimento de ferramentas como dbt, Apache Airflow ou equivalentes.
• Experiência ou familiaridade com serviços de dados da AWS, especialmente: Amazon RDS;Amazon S3;
• Amazon Aurora;Backup e Restore.
• Conhecimento prático de Python para:Desenvolvimento de scripts; Automação de pipelines;Data engineering tooling;Suporte a processos de dados.
• Experiência com Git e GitHub, incluindo: Version control; Branching strategies; Pull Requests;
• Experiência em ambientes Linux, incluindo:Navegação e gerenciamento de arquivos; Shell scripting;Service management. Conhecimento de Docker e containerização em ambientes cloud e locais.

Diferenciais

• Experiência em ambientes de dados de grande escala.
• Experiência com otimização de custos em plataformas cloud e Snowflake.
• Conhecimento aprofundado de arquitetura de Data Warehouse / Data Platform.
• Experiência com automação de infraestrutura e processos de engenharia de dados.
• Experiência trabalhando com equipes distribuídas e ambientes de desenvolvimento colaborativo.