Senior Data Engineer Aws Data Platforms

Decision Group; São Paulo; Hybrid; BRL 120,000 - 180,000; Full time

Job summary

A Decision group busca um Engenheiro de Testes sênior para atuar em projetos de dados na região de São Paulo, com regime híbrido ou remoto. Você irá projetar, desenvolver e manter pipelines de dados escaláveis, assegurando qualidade, segurança e governança.

É desejável domínio de SQL, Python, ETL/ELT, AWS data services (S3, Glue, Redshift, Athena e Lambda) e Spark/PySpark. Fomento a práticas DataOps e colaboração com times multidisciplinares em ambiente Agile.

Qualifications

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Inglês avançado (C2) com comunicação em ambiente internacional.
• Experiência em desenho, desenvolvimento e sustentação de pipelines de dados escaláveis.
• SQL e Python avançados.
• Experiência com ETL/ELT, ingestão, integração e transformação de dados.
• Experiência com serviços de dados da AWS (S3, Glue, Redshift, Athena, Lambda).
• Modelagem de dados, Data Warehouse/Data Lake e Spark/PySpark.
• Governança de dados, qualidade e segurança em ambientes Agile.

Responsibilities

• Desenhar, desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis.
• Construir processos de ingestão, integração e transformação de dados com SQL, Python e Spark/PySpark.
• Desenvolver e sustentar soluções baseadas em AWS (S3/Glue/Redshift/Athena/Lambda).
• Apoiar Data Lakes, Data Warehouses e plataformas modernas de dados.
• Implementar ETL/ELT alinhados a necessidades técnicas e de negócio.
• Monitorar performance de pipelines e consultas em cloud.
• Colaborar com arquitetos, engenheiros de software e stakeholders.

Skills

SQL

Python

ETL/ELT

AWS

Data modeling

Spark/PySpark

Agile

Comunicação

Education

Graduação em Ciência da Computação/Engenharia de Software

Tools

Databricks

Snowflake

Airflow

dbt

Kafka

Terraform

Git

Job description

Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: 'Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas; Inglês avançado (C2), com capacidade de comunicação em ambiente internacional Experiência no desenho, desenvolvimento e sustentação de pipelines de dados escaláveis; Conhecimento avançado de SQL e Python; Experiência com processos de ETL e ELT, ingestão, integração e transformação de dados; Vivência com serviços de dados da AWS, como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda; Conhecimento de modelagem de dados e arquiteturas de Data Warehouse e Data Lake; Experiência com processamento distribuído utilizando Apache Spark ou PySpark; Capacidade para desenvolver, monitorar, otimizar e solucionar problemas em pipelines de dados; Conhecimento de práticas de qualidade, segurança e governança de dados; Vivência em ambientes Agile e colaboração com equipes multidisciplinares e distribuídas; Capacidade analítica, autonomia, comunicação clara e atenção à qualidade das entregas. Diferenciais: Experiência com Databricks ou Snowflake; Conhecimento de Apache Airflow ou ferramentas equivalentes de orquestração; Experiência com dbt; Vivência com Kafka ou outras tecnologias de mensageria e streaming; Conhecimento de Terraform e Infrastructure as Code; Experiência com Git, automação e pipelines de CI/CD; Vivência com práticas de DataOps; Participação em projetos de migração, modernização ou transformação de plataformas de dados Experiência em instituições financeiras, bancos, Wealth Management, Asset Management ou outros ambientes regulados; Certificações relacionadas a AWS, Azure, Databricks, Snowflake ou engenharia de dados. Principais responsabilidades: Desenhar, desenvolver, manter e otimizar pipelines de dados escaláveis e confiáveis. Construir processos de ingestão, integração e transformação de dados utilizando SQL, Python e tecnologias de processamento distribuído. Desenvolver e sustentar soluções de dados baseadas em AWS, utilizando serviços como Amazon S3, AWS Glue, Amazon Redshift, Amazon Athena e AWS Lambda. Apoiar a construção e a evolução de Data Lakes, Data Warehouses e plataformas modernas de dados. Implementar processos de ETL e ELT alinhados às necessidades técnicas e de negócio. Desenvolver soluções utilizando Apache Spark ou PySpark para processamento de grandes volumes de dados. Participar de discussões de arquitetura, contribuindo para a definição de soluções seguras, escaláveis e sustentáveis. Monitorar e otimizar a performance de pipelines, consultas, processos de transformação e workloads em cloud. nvestigar e solucionar problemas relacionados à ingestão, processamento, armazenamento e disponibilização de dados. Realizar análises de causa raiz e implementar ações corretivas para problemas recorrentes. Garantir a qualidade, integridade, segurança e governança dos dados ao longo dos processos de engenharia. Colaborar com arquitetos, engenheiros de software, analistas e stakeholders de negócio na definição e entrega das soluções. Apoiar projetos de migração para cloud, modernização de plataformas e evolução da arquitetura de dados. Implementar práticas de automação, versionamento, CI/CD e DataOps. Garantir aderência aos padrões técnicos, controles internos e requisitos regulatórios aplicáveis. Criar e manter documentação técnica, fluxos de dados e procedimentos operacionais atualizados. Contribuir para iniciativas de padronização, compartilhamento de conhecimento e melhoria contínua.' Habilidades: Sênior Qualquer localidade - Hibrido ou Remoto

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Engenheiro de Testes

Empresa:

Decision group

Atua com consultoria de mão de obra de serviços de tecnologia.

Ramo:

Recursos Humanos/ Recrutamento e seleção

(EC)