AWS Data Engineer | Mid/Senior

Compass UOL; Brasil; Teletrabalho; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados busca um profissional para desenvolver e otimizar pipelines de dados em ambientes cloud. O candidato ideal possui experiência com Databricks, Pyspark e SQL, e tem habilidades em modelagem de dados. Essa posição é remota, oferecendo flexibilidade e a oportunidade de trabalhar em projetos inovadores.

Qualificações

• Experiência com Databricks, Pyspark e Spark SQL.
• Conhecimentos em AWS DataSync.
• Conhecimento avançado em Python e SQL.
• Experiência em Modelagem de Dados.

Responsabilidades

• Desenvolver e otimizar pipelines de dados em ambientes cloud.
• Escrever e otimizar queries SQL em larga escala.
• Realizar ETL/ELT de dados a partir de múltiplas fontes.

Conhecimentos

Databricks

Pyspark

Spark SQL

Programação Python

SQL

Modelagem de Dados

Integração de dados via APIs RESTful/SOAP

AWS DataSync

Migração de dados

Ambiente Azure

Descrição da oferta de emprego

Main responsibilities

• Desenvolver e otimizar pipelines de dados em ambientes cloud (especialmente AWS);
• Escrever e otimizar queries SQL em larga escala (com foco em performance e escalabilidade);
• Realizar extração, transformação e carga (ETL/ELT) de dados a partir de múltiplas fontes;
• Participar da modelagem de dados para Data Lakes e Data Warehouses;
• Aplicar boas práticas de governança, segurança e qualidade dos dados;
• Automatizar fluxos com ferramentas de orquestração como Apache Airflow;
• Realizar a Migração de dados de Azure para AWS e migração e fundação do Databricks para o ambiente Produtivo na AWS;
• Colaborar com times de negócio e dados para garantir a disponibilidade e usabilidade da informação.

Requirements and skills

• Experiência com Databricks (Jobs, Notebooks, Workflows), Pyspark e Spark SQL;
• Conhecimentos em AWS DataSync;
• Conhecimento avançado em programação Python e SQL;
• Experiência em Modelagem de Dados;
• Capacidade de consumir e integrar dados via APIs RESTful e/ou SOAP;
• Conhecimento em migração de dados e testes de validação;
• Conhecimento ambiente Azure para realizar a migração para AWS.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

Additional information

#remote

remote