Engenheiro de Dados AWS/Snowflake Pleno | Remoto

DATASIDE; Brasil; Remote; BRL 180,000 - 300,000; Full time

Job summary

DATASIDE está recrutando um Engenheiro de Dados Pleno para projetar, construir e manter pipelines de dados com Python, PySpark e SQL, utilizando serviços de nuvem e Snowflake/Redshift. Você gerenciará ingestão, modelagem e transformação com boa governança e CI/CD.

O papel envolve orientar clientes, identificar melhorias técnicas e comunicar decisões com clareza, mantendo foco em resultados de negócio, custo e performance.

Qualifications

• Formação superior em ciência da computação, engenharia, sistemas de informação ou áreas correlatas.
• Experiência prática em projetos de engenharia de dados de média e alta complexidade.
• Conhecimento avançado em Python e SQL, com foco em soluções eficientes e legíveis.
• Experiência com Spark/PySpark, Kafka, Airflow e DBT para modelagem e pipeline de dados.
• Experiência com plataformas de data warehouse (Snowflake/BigQuery/Redshift) e prática de CI/CD.

Responsibilities

• Projetar, construir e manter pipelines de dados com Python, PySpark, SQL e serviços de nuvem.
• Gerenciar ingestão, modelagem e transformação de dados com eficiência e boas práticas de engenharia.
• Atuar em projetos com Kafka, Spark, Airflow, DBT e data warehouses (Snowflake/BigQuery/Redshift).
• Desenvolver pipelines com CI/CD, versionamento e deploy automatizado.
• Trabalhar com serviços AWS (Glue, EMR, Redshift, Athena, Lambda, Step Functions).
• Otimizar ciclo de vida dos dados, armazenamento no S3, performance de consultas e custos de infraestrutura.
• Contribuir para governança de dados, assegurando soluções escaláveis e sustentáveis.

Skills

Python

SQL

Spark/PySpark

Kafka

Airflow

DBT

Cloud AWS

Git

CI/CD

Arquitetura de dados

Education

Formação superior em Ciência da Computação/Engenharia/SI

Tools

Snowflake

BigQuery

Amazon Redshift

AWS

Glue

EMR

S3

Lambda

Step Functions

Terraform

Docker

Job description

Papel na empresa

O Engenheiro de Dados Pleno na Dataside tem autonomia para entregar soluções de alta complexidade em projetos de engenharia de dados. Atua como responsável técnico por contratos, sempre acompanhado de um Líder Técnico, Engenheiro Sênior ou Arquiteto de Dados.

Sua função envolve orientar clientes nas decisões sobre pipelines, serviços, otimização de custos e performance, além de identificar oportunidades de melhoria em arquiteturas existentes e comunicá-las aos responsáveis técnicos de maior senioridade. Também participa ativamente do desenvolvimento de colegas menos experientes, realizando revisões técnicas e mentorias para profissionais Júnior ou membros em fase de crescimento.

Além disso, espera-se que o profissional tenha foco em gerar valor real para o negócio, atuando com empatia, escuta ativa e visão estratégica. É fundamental que saiba encantar o cliente com entregas bem estruturadas, comunicação clara e postura parceira, trabalhando lado a lado para resolver as principais dores do projeto com foco em resultados concretos.

Responsabilidades

Projetar, construir e manter pipelines de dados utilizando Python, PySpark, SQL e serviços de nuvem.

Gerenciar processos de ingestão, modelagem e transformação de dados com eficiência, reutilização e aplicação de boas práticas de engenharia.

Atuar em projetos com tecnologias como Kafka, Spark, Airflow, DBT e plataformas de data warehouse, como Snowflake, BigQuery ou Redshift.

Desenvolver e manter pipelines de dados com práticas de CI/CD, versionamento e deploy automatizado.

Atuar em projetos com serviços AWS, incluindo Glue, EMR, Redshift, Athena, Lambda e Step Functions.

Otimizar o ciclo de vida dos dados, incluindo armazenamento no S3, performance de consultas e custos de infraestrutura.

Contribuir para a organização, qualidade e governança dos dados, garantindo soluções escaláveis e sustentáveis.

Trabalhar com ambientes críticos e grandes volumes de dados, identificando oportunidades de melhoria técnica e de processos.

Conduzir reuniões com clientes, explicar decisões técnicas e propor soluções escaláveis, alinhadas às necessidades do negócio.

Antecipar riscos técnicos, analisar problemas e propor soluções e melhorias contínuas.

Orientar profissionais Júnior e participar ativamente da disseminação de boas práticas no time.

Requisitos

Formação superior completa em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.

Experiência prática em projetos de engenharia de dados de média e alta complexidade, incluindo construção e manutenção de pipelines de dados.

Experiência avançada em Python e SQL, com capacidade de desenvolver soluções eficientes, legíveis e sustentáveis.

Experiência com Spark/PySpark e tecnologias de processamento e streaming de dados, como Kafka.

Experiência com Airflow ou ferramentas similares para orquestração de pipelines de dados.

Experiência com DBT para modelagem, transformação e organização de dados.

Experiência com plataformas de data warehouse, como Snowflake, BigQuery ou Amazon Redshift.

Experiência com pipelines de dados utilizando práticas de CI/CD, versionamento com Git e deploy automatizado.

Experiência em ambientes de computação em nuvem, preferencialmente AWS, incluindo visão de arquitetura, segurança, performance e custos.

Conhecimento da stack analítica AWS, incluindo S3, Glue, EMR, Athena, Redshift, Lambda e Step Functions.

Visão clara de arquitetura e fluxo de dados, com capacidade de identificar gargalos, antecipar riscos e propor melhorias técnicas e de processo.

Boa comunicação com stakeholders técnicos e não técnicos, capacidade de trabalho em equipe e facilidade para explicar decisões técnicas.

Perfil analítico, organizado, proativo e atento aos detalhes, com autonomia para conduzir entregas e lidar com múltiplas demandas e prioridades.

Interesse em aprendizado contínuo, desenvolvimento profissional e evolução das práticas e tecnologias de engenharia de dados.

Hard Skills

Python avançado.

SQL avançado.

Spark/PySpark.

Kafka ou tecnologias similares de streaming de dados.

Airflow ou ferramentas similares de orquestração.

DBT para modelagem e transformação de dados.

Plataformas de data warehouse: Snowflake, BigQuery ou Amazon Redshift.

Stack analítica AWS: S3, Glue, EMR, Athena, Redshift, Lambda e Step Functions.

Git, CI/CD e deploy automatizado.

Amazon Redshift: criação e manutenção de tabelas, estratégias de distribuição (KEY, EVEN e ALL), sort keys, VACUUM, estatísticas, materialized views, operações COPY/UNLOAD e WLM.

Soft Skills

Postura consultiva e orientação ao cliente.

Organização, autonomia e atenção aos detalhes.

Comunicação clara, objetiva e estruturada.

Capacidade analítica para antecipar problemas, avaliar riscos e propor melhorias.

Espírito de equipe e orientação a resultados.

Capacidade de lidar com múltiplas demandas e administrar prioridades.

Proatividade na identificação de oportunidades de melhoria técnica e de processos.

Capacidade de orientar e influenciar colegas menos experientes.

Interesse em aprendizado contínuo e evolução profissional.

Inglês intermediário (desejável).

Certificações Desejáveis

AWS Data Engineer Associate.

AWS Solutions Architect Associate.

Diferenciais

Conhecimento ou experiência com Terraform, DBT, DuckDB e Docker.

Databricks Certified Data Engineer Associate.