Engenheiro de Dados SR

Grupo SysMap; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e triggo.ai – procura um Engenheiro de Dados Sênior com forte experiência em desenvolvimento, arquitetura e otimização de pipelines de dados, usando Cloudera, Databricks e AWS.

O profissional projetará, desenvolverá e manterá pipelines escaláveis, assegurando qualidade, segurança e performance em grandes volumes de dados, contribuindo para a evolução da plataforma de dados.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados Sênior.
• ,

Responsibilities

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
• Implementar ingestão, transformação e integração de dados com batch e streaming.
• Desenvolver soluções com Cloudera, Databricks e AWS.
• Criar rotinas de processamento com Python, SQL e PySpark; ETL/ELT.
• Atuar com Data Lake, Lakehouse e processamento distribuído;
• Integrar fontes de dados com qualidade e confiabilidade.
• Monitorar performance de pipelines e consultas;
• Aplicar governança, segurança e linhagem de dados;
• Contribuir para evolução da arquitetura de dados e melhoria de processos.
• Colaborar com equipes de arquitetura, analytics e ciência de dados.

Skills

Cloudera

Databricks

AWS

SQL

Python

PySpark

Apache Spark

ETL/ELT

Data Lake

Data Lakehouse

Git

Data governance

Apache Airflow

Delta Lake

Hive

HDFS

Impala

Kafka

Tools

Apache Spark

Cloudera

Databricks

AWS

Job description

Job description

Você é apaixonado(a) por tecnologia e inovação?

No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e triggo.ai – acreditamos que grandes resultados nascem de pessoas incríveis.

Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital.

Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto.

Main responsibilities

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior com sólida experiência em desenvolvimento, arquitetura e otimização de soluções de dados, com conhecimentos em Cloudera, Databricks e AWS.

O profissional será responsável por projetar, desenvolver e manter pipelines de dados escaláveis, garantindo qualidade, segurança, disponibilidade e performance no processamento de grandes volumes de informações e contribuindo para a evolução e modernização da plataforma de dados.

Principais responsabilidades:

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes;
• Implementar processos de ingestão, transformação e integração de dados utilizando arquiteturas batch e streaming;
• Desenvolver e otimizar soluções utilizando Cloudera, Databricks e serviços da AWS;
• Criar rotinas de processamento e transformação de dados utilizando Python, SQL e PySpark;
• Desenvolver e manter processos de ETL/ELT;
• Atuar com arquiteturas de Data Lake, Lakehouse e processamento distribuído;
• Integrar diferentes fontes de dados, garantindo a qualidade, a consistência e a confiabilidade das informações;
• Monitorar e otimizar a performance de pipelines, jobs e consultas;
• Aplicar boas práticas de segurança, governança, catalogação e linhagem de dados;
• Contribuir para a evolução da arquitetura de dados e para a melhoria contínua dos processos;
• Trabalhar em conjunto com equipes de arquitetura, analytics, ciência de dados e áreas de negócio.

Requirements and skills

• Experiência sólida como Engenheiro(a) de Dados Sênior;
• Conhecimentos em Cloudera e Databricks, com experiência em processamento e transformação de grandes volumes de dados;
• Conhecimentos em AWS (Amazon Web Services) e em seus principais serviços aplicados à engenharia de dados;
• Domínio de SQL e experiência com Python e PySpark;
• Experiência com Apache Spark e processamento distribuído;
• Conhecimento de processos e ferramentas de ETL/ELT;
• Experiência com arquiteturas de Data Lake e Lakehouse;
• Conhecimento de modelagem de dados e integração de diferentes fontes de informação;
• Experiência com versionamento de código utilizando Git;
• Conhecimento de monitoramento, troubleshooting e otimização de pipelines de dados.

Vamos gostar muito se, além disso tudo, você tiver:

• Experiência com serviços AWS voltados a dados, como Amazon S3, AWS Glue, Amazon Redshift, AWS Lambda e Amazon Athena;
• Conhecimento de serviços de processamento e orquestração de dados em ambientes cloud;
• Experiência com Delta Lake e tecnologias do ecossistema Hadoop, como Hive, HDFS e Impala;
• Conhecimento de Apache Kafka e processamento de dados em tempo real;
• Experiência com Apache Airflow ou ferramentas similares de orquestração;
• Conhecimento de práticas de CI/CD, infraestrutura como código e automação;
• Experiência com governança, qualidade, segurança e observabilidade de dados;
• Vivência em projetos de migração, modernização e integração de plataformas de dados.