Engenheiro de Dados AWS/Snowflake Pleno | Remoto

Meu Home; Brasil; Remote; BRL 120,000 - 240,000; Full time

Job summary

Dataside procura um Engenheiro de Dados Pleno para projetar, construir e manter pipelines de dados com Python, PySpark, SQL e serviços de nuvem, assegurando ingestão, modelagem e transformação eficientes.

Você trabalhará com Kafka, Spark, Airflow e DBT em plataformas como Snowflake, BigQuery ou Redshift, promovendo práticas de CI/CD e governança de dados, com foco em resultados concretos e comunicação clara com stakeholders.

Qualifications

• Formação superior completa em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.
• Experiência prática em projetos de engenharia de dados de média e alta complexidade, incluindo construção e manutenção de pipelines de dados.
• Experiência avançada em Python e SQL, com capacidade de desenvolver soluções eficientes, legíveis e sustentáveis.
• Experiência com Spark/PySpark e tecnologias de processamento e streaming de dados, como Kafka.
• Experiência com Airflow ou ferramentas similares para orquestração de pipelines de dados.
• Experiência com DBT para modelagem, transformação e organização de dados.

Responsibilities

• Projetar, construir e manter pipelines de dados utilizando Python, PySpark, SQL e serviços de nuvem.
• Gerenciar processos de ingestão, modelagem e transformação de dados com eficiência, reutilização e aplicação de boas práticas de engenharia.
• Atuar em projetos com tecnologias como Kafka, Spark, Airflow, DBT e plataformas de data warehouse, como Snowflake, BigQuery ou Redshift.
• Desenvolver e manter pipelines de dados com práticas de CI/CD, versionamento e deploy automatizado.
• Atuar em projetos com serviços AWS, incluindo Glue, EMR, Redshift, Athena, Lambda e Step Functions.
• Otimizar o ciclo de vida dos dados, incluindo armazenamento no S3, performance de consultas e custos de infraestrutura.
• Contribuir para a organização, qualidade e governança dos dados, garantindo soluções escaláveis e sustentáveis.
• Conduzir reuniões com clientes, explicar decisões técnicas e propor soluções escaláveis, alinhadas às necessidades do negócio.

Skills

Python avançado

SQL avançado

Spark/PySpark

Kafka

Airflow

DBT

Git/CI-CD

AWS knowledge

Education

Graduação completa em Ciência da Computação, Engenharia, Sistemas de Informação

Tools

Snowflake

BigQuery

Amazon Redshift

Glue

EMR

Athena

Lambda

Step Functions

Terraform

Docker

Job description

Papel na empresa

O Engenheiro de Dados Pleno na Dataside tem autonomia para entregar soluções de alta complexidade em projetos de engenharia de dados. Atua como responsável técnico por contratos, sempre acompanhado de um Líder Técnico, Engenheiro Sênior ou Arquiteto de Dados.

Sua função envolve orientar clientes nas decisões sobre pipelines, serviços, otimização de custos e performance, além de identificar oportunidades de melhoria em arquiteturas existentes e comunicá-las aos responsáveis técnicos de maior senioridade. Também participa ativamente do desenvolvimento de colegas menos experientes, realizando revisões técnicas e mentorias para profissionais Júnior ou membros em fase de crescimento.

Além disso, espera-se que o profissional tenha foco em gerar valor real para o negócio, atuando com empatia, escuta ativa e visão estratégica. É fundamental que saiba encantar o cliente com entregas bem estruturadas, comunicação clara e postura parceira, trabalhando lado a lado para resolver as principais dores do projeto com foco em resultados concretos.

Responsabilidades

Projetar, construir e manter pipelines de dados utilizando Python, PySpark, SQL e serviços de nuvem.

Gerenciar processos de ingestão, modelagem e transformação de dados com eficiência, reutilização e aplicação de boas práticas de engenharia.

Atuar em projetos com tecnologias como Kafka, Spark, Airflow, DBT e plataformas de data warehouse, como Snowflake, BigQuery ou Redshift.

Desenvolver e manter pipelines de dados com práticas de CI/CD, versionamento e deploy automatizado.

Atuar em projetos com serviços AWS, incluindo Glue, EMR, Redshift, Athena, Lambda e Step Functions.

Otimizar o ciclo de vida dos dados, incluindo armazenamento no S3, performance de consultas e custos de infraestrutura.

Contribuir para a organização, qualidade e governança dos dados, garantindo soluções escaláveis e sustentáveis.

Trabalhar com ambientes críticos e grandes volumes de dados, identificando oportunidades de melhoria técnica e de processos.

Conduzir reuniões com clientes, explicar decisões técnicas e propor soluções escaláveis, alinhadas às necessidades do negócio.

Antecipar riscos técnicos, analisar problemas e propor soluções e melhorias contínuas.

Orientar profissionais Júnior e participar ativamente da disseminação de boas práticas no time.

Requisitos

Formação superior completa em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.

Experiência prática em projetos de engenharia de dados de média e alta complexidade, incluindo construção e manutenção de pipelines de dados.

Experiência avançada em Python e SQL, com capacidade de desenvolver soluções eficientes, legíveis e sustentáveis.

Experiência com Spark/PySpark e tecnologias de processamento e streaming de dados, como Kafka.

Experiência com Airflow ou ferramentas similares para orquestração de pipelines de dados.

Experiência com DBT para modelagem, transformação e organização de dados.

Experiência com plataformas de data warehouse, como Snowflake, BigQuery ou Amazon Redshift.

Experiência com pipelines de dados utilizando práticas de CI/CD, versionamento com Git e deploy automatizado.

Experiência em ambientes de computação em nuvem, preferencialmente AWS, incluindo visão de arquitetura, segurança, performance e custos.

Conhecimento da stack analítica AWS, incluindo S3, Glue, EMR, Athena, Redshift, Lambda e Step Functions.

Visão clara de arquitetura e fluxo de dados, com capacidade de identificar gargalos, antecipar riscos e propor melhorias técnicas e de processo.

Boa comunicação com stakeholders técnicos e não técnicos, capacidade de trabalho em equipe e facilidade para explicar decisões técnicas.

Perfil analítico, organizado, proativo e atento aos detalhes, com autonomia para conduzir entregas e lidar com múltiplas demandas e prioridades.

Interesse em aprendizado contínuo, desenvolvimento profissional e evolução das práticas e tecnologias de engenharia de dados.

Hard Skills

Python avançado.

SQL avançado.

Spark/PySpark.

Kafka ou tecnologias similares de streaming de dados.

Airflow ou ferramentas similares de orquestração.

DBT para modelagem e transformação de dados.

Plataformas de data warehouse: Snowflake, BigQuery ou Amazon Redshift.

Stack analítica AWS: S3, Glue, EMR, Athena, Redshift, Lambda e Step Functions.

Git, CI/CD e deploy automatizado.

Amazon Redshift: criação e manutenção de tabelas, estratégias de distribuição (KEY, EVEN e ALL), sort keys, VACUUM, estatísticas, materialized views, operações COPY/UNLOAD e WLM.

Soft Skills

Postura consultiva e orientação ao cliente.

Organização, autonomia e atenção aos detalhes.

Comunicação clara, objetiva e estruturada.

Capacidade analítica para antecipar problemas, avaliar riscos e propor melhorias.

Espírito de equipe e orientação a resultados.

Capacidade de lidar com múltiplas demandas e administrar prioridades.

Proatividade na identificação de oportunidades de melhoria técnica e de processos.

Capacidade de orientar e influenciar colegas menos experientes.

Interesse em aprendizado contínuo e evolução profissional.

Inglês intermediário (desejável).

Certificações Desejáveis

AWS Data Engineer Associate.

AWS Solutions Architect Associate.

Diferenciais

Conhecimento ou experiência com Terraform, DBT, DuckDB e Docker.

Databricks Certified Data Engineer Associate.