Engenheiro de dados

NetSource; São Paulo; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A NetSource procura um(a) Senior Data Engineer para desenvolver, otimizar e manter soluções de dados em larga escala. O profissional trabalhará com SQL, Snowflake, pipelines ELT/ETL e automação, contribuindo para arquiteturas eficientes e com controle de custos.

O candidato ideal possui experiência prática com dbt, Apache Airflow, Python e AWS (RDS/S3/Aurora), além de Docker e Linux. Veja a oportunidade de atuar em infraestrutura de dados avançada.

Qualificações

• Experiência avançada em SQL, com foco em queries complexas, tuning e modelagem de dados.
• Sólida prática com Snowflake, design de schema, otimização e gestão de custos.
• Experiência prática com pipelines ELT/ETL e ferramentas como dbt e Apache Airflow.
• Conhecimento de Python para automação de pipelines e scripts.
• Experiência com AWS (RDS, S3, Aurora) e containerização (Docker).

Responsabilidades

• Desenvolver, manter e otimizar soluções de engenharia de dados em ambientes de grande escala.
• Projeto e otimização de modelos de dados e queries SQL de alto desempenho.
• Desenvolver e otimizar pipelines ELT/ETL usando dbt, Airflow ou equivalente.
• Gerar scripts de automação com Python e gerenciar recursos em AWS Snowflake.
• Colaborar com equipes para evoluir a plataforma de dados e reduzir custos.

Conhecimentos

SQL

Data modeling

Performance tuning

Cloud AWS

Automation

Ferramentas

Snowflake

dbt

Apache Airflow

Python

Git/GitHub

Docker

Linux

S3

Amazon Aurora RDS

Descrição da oferta de emprego

Estamos buscando um(a) Senior Data Engineer para atuar no desenvolvimento, otimização e manutenção de soluções de dados em ambientes de grande escala. O profissional será responsável por trabalhar com SQL, Snowflake e pipelines de dados, contribuindo para a construção de arquiteturas eficientes, escaláveis e com controle de custos. Buscamos um perfil hands-on, com forte capacidade técnica e experiência em engenharia de dados, otimização de queries e objetos Snowflake, processos ELT/ETL e automação, além de familiaridade com ambientes cloud, especialmente AWS.

Principais responsabilidades

• Desenvolver, manter e otimizar soluções de engenharia de dados em ambientes de grande escala.
• Desenvolver queries SQL complexas, realizando análise e otimização de performance.
• Projetar e manter modelos de dados eficientes e escaláveis.
• Atuar no desenvolvimento e otimização de ambientes Snowflake.
• Projetar schemas e estruturas de dados seguindo boas práticas de arquitetura e modelagem.
• Refatorar e otimizar objetos Snowflake e pipelines de dados para melhorar performance, escalabilidade e eficiência de custos.
• Monitorar e otimizar o consumo de recursos e custos em ambientes Snowflake.
• Desenvolver e manter pipelines ELT/ETL utilizando ferramentas como dbt, Apache Airflow ou tecnologias similares.
• Criar scripts e ferramentas de automação utilizando Python.
• Trabalhar com serviços de dados da AWS, incluindo RDS, S3 e Aurora.
• Atuar com mecanismos de backup e restore de dados.
• Utilizar Git e GitHub para controle de versão e desenvolvimento colaborativo.
• Trabalhar com ambientes Linux, realizando navegação em sistemas de arquivos, shell scripting e gerenciamento de serviços.
• Utilizar tecnologias de containerização, especialmente Docker, em ambientes locais e cloud.
• Colaborar com engenheiros de dados, desenvolvedores e demais equipes técnicas na evolução da plataforma de dados.
• Contribuir para definição e melhoria contínua de padrões, processos e boas práticas de engenharia de dados.

Requisitos Técnicos

• Forte experiência com SQL, incluindo: Queries complexas; Performance tuning; Otimização de consultas; Data modeling.
• Experiência prática e sólida com Snowflake, incluindo: Schema design; Otimização;Data warehousing; Boas práticas de arquitetura;Gerenciamento e otimização de custos.
• Experiência comprovada na refatoração e otimização de objetos e pipelines Snowflake em ambientes de dados de grande escala.
• Experiência na construção e manutenção de pipelines ELT/ETL.
• Conhecimento de ferramentas como dbt, Apache Airflow ou equivalentes.
• Experiência ou familiaridade com serviços de dados da AWS, especialmente: Amazon RDS;Amazon S3;Amazon Aurora;Backup e Restore.
• Conhecimento prático de Python para:Desenvolvimento de scripts; Automação de pipelines;Data engineering tooling;Suporte a processos de dados.
• Experiência com Git e GitHub, incluindo: Version control; Branching strategies; Pull Requests;Collaborative development.
• Experiência em ambientes Linux, incluindo:Navegação e gerenciamento de arquivos; Shell scripting;Service management.
• Conhecimento de Docker e containerização em ambientes cloud e locais.

Diferenciais

• Experiência em ambientes de dados de grande escala.
• Experiência com otimização de custos em plataformas cloud e Snowflake.
• Conhecimento aprofundado de arquitetura de Data Warehouse / Data Platform.
• Experiência com automação de infraestrutura e processos de engenharia de dados.
• Experiência trabalhando com equipes distribuídas e ambientes de desenvolvimento colaborativo.