Specialist Data Engineer - AWS + Databricks

Keyrus; São Paulo; Híbrido; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

A Keyrus procura um Engenheiro de Dados Jr para projetar e implementar funcionalidades para sua plataforma de dados, integrando novas fontes e desenvolvendo novas APIs. O candidato ideal deve ter experiência sólida em AWS, Python e SQL, e estar disposto a colaborar em um ambiente dinâmico. Se você é apaixonado por dados e quer contribuir para a transformação digital de empresas, esta é a sua oportunidade.

Qualificações

• Sólida experiência em Engenharia de Dados em AWS utilizando Python e Spark.
• Domínio de SQL e capacidade de depurar lógica complexa.
• Forte vontade de aprender e contribuir ativamente.

Responsabilidades

• Projetar e implementar novas funcionalidades para a plataforma de dados.
• Garantir a escalabilidade e alta disponibilidade dos pipelines.
• Documentar e comunicar os processos de dados e as soluções implementadas.

Conhecimentos

Engenharia de Dados

Python

SQL

Spark

ETL/ELT

Governança de Dados

Ferramentas

Databricks

AWS

Descrição da oferta de emprego

• A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.
  
  

• A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.
  
  

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.

Papéis e Responsabilidades

• Projetar e implementar novas funcionalidades para a plataforma de dados, incluindo integração de novas fontes de dados, desenvolvimento de novas APIs e criação de novas ferramentas de análise.
• Liderar a implementação de soluções de governança de dados, qualidade de dados e otimização de pipelines.
• Buscar continuamente novas tecnologias e metodologias para melhorar a eficiência e a escalabilidade da plataforma.
• Desenvolver e manter pipelines de dados em tempo real e batch utilizando tecnologias AWS como Python, Airflow, Spark e Databricks.
• Implementar e otimizar processos de ETL/ELT para garantir a qualidade, integridade e consistência dos dados.
• Garantir a escalabilidade e alta disponibilidade dos pipelines, lidando com grandes volumes de dados.
• Projetar e implementar esquemas de dados para armazenar e consultar dados de forma eficiente.
• Desenvolver e otimizar consultas SQL complexas para extração e transformação de dados.
• Aplicar técnicas de transformação de dados para preparar os dados para análise e modelagem.
• Implementar mecanismos de monitoramento para identificar e resolver problemas de qualidade de dados.
• Implementar mecanismos de detecção de anomalias e alertas para garantir a integridade dos dados.
• Trabalhar em colaboração com cientistas de dados, analistas de negócios e outras equipes técnicas.
• Traduzir necessidades de negócio em requisitos técnicos para os pipelines de dados.
• Documentar e comunicar os processos de dados e as soluções implementadas.
  
  

Qualificações Essenciais

• Sólida experiência em Engenharia de Dados em AWS utilizando Python e Spark.
• Proficiência em Databricks, AWS, Unity Catalog, Open Meta Data.
• Domínio de SQL e capacidade de depurar lógica complexa.
• Experiência com conceitos de integração de dados (ETL/ELT).
• Experiência na criação/operação de sistemas distribuídos e altamente disponíveis para extração, ingestão e processamento de grandes conjuntos de dados.
• Capacidade de interagir com usuários de negócios, entender suas demandas e traduzi-las em ações técnicas.
• Conhecimento e experiência com ferramentas e tecnologias de transformação de dados (ex: Spark SQL, Pandas).
• Capacidade de escrever, depurar, realizar testes unitários e testes de performance de processos de integração de dados.
• Habilidade para definir claramente os problemas de qualidade de dados e propor soluções.
• Comunicação eficaz com outros stakeholders técnicos e de negócio.
• Forte vontade de aprender e contribuir ativamente.
  
  

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/

Desejamos boa sorte!

Engenheiro de Dados Jr - Banco de Talentos

Analista Júnior de Dados - Prevenção à Fraude

São Paulo, São Paulo, Brazil 19 hours ago

São Paulo, São Paulo, Brazil 20 hours ago

Analista de Dados Jr (área de Fraude) - São Paulo/SP

São Paulo, São Paulo, Brazil 5 months ago

Banco de Talentos - Data Engineer Spec I e II (Júnior e Pleno)

Engenheiro de DadosSão Paulo - SP e HíbridoEfetivo

Greater São Paulo Area R$3,001.00-R$4,000.00 2 weeks ago

São Paulo, São Paulo, Brazil 16 hours ago

Engenheiro(a) de Dados Júnior (Python, SQL, Big Data)