Pleno Data Engineer AWS + Databricks

Keyrus; São Paulo; On-site; BRL 120,000 - 180,000; Full time

Job summary

Keyrus busca Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e evolução de soluções de dados em um ambiente escalável. O profissional trabalhará com grandes volumes de informações, pipelines de ingestão, processamento com Python, Apache Spark e Databricks, assegurando desempenho, segurança e qualidade dos dados.

Você atuará com equipes de negócio e Analytics, contribuindo para a arquitetura de soluções e governança de dados, buscando resultados mensuráveis e melhoria contínua.

Qualifications

• Desenvolver e manter pipelines de ingestão de dados utilizando Databricks Autoloader, incluindo processamento incremental e evolução de esquemas (Schema Evolution).
• Implementar soluções de processamento de dados em larga escala com Spark Structured Streaming e Spark SQL.
• Aplicar boas práticas de Engenharia de Dados, incluindo particionamento, otimização de processamento e utilização de Delta Lake.
• Analisar e otimizar a performance e os custos dos ambientes Databricks.
• Implementar práticas de Data Quality, garantindo a confiabilidade e a consistência das informações.
• Trabalhar com controle de versionamento utilizando Git e processos de Pull Requests.
• Elaborar documentações técnicas claras sobre as soluções e demandas desenvolvidas.
• Colaborar com times de negócio e Analytics, garantindo a disponibilidade, estruturação e segurança dos dados.

Responsibilities

• Transformar desafios complexos em soluções de dados escaláveis, modernas e orientadas a resultados.
• Definir padrões arquiteturais para ambientes de dados integrados e seguros.
• Colaborar com times de negócio e Analytics para alinhamento de requisitos.
• Conduzir revisões técnicas e orientar a evolução tecnológica da equipe.

Skills

Python

Apache Spark

Delta Lake

Data Pipelines

Git

Tools

Databricks

Spark Structured Streaming

Spark SQL

Job description

Why Keyrus, Why Now!

A Keyrus é um grupo internacional com

a IA não transforma empresas. A inteligência arquitetada transforma.

Há mais de 30 anos, construímos as bases de dados que tornam os sistemas inteligentes possíveis, projetando o Sistema Operacional da Empresa Inteligente, onde a inteligência está incorporada ao núcleo dos processos de negócio para criar valor sustentável:

operacionalizamos a inteligência.

A IA não substitui os seres humanos. Ela nos reposiciona em um lugar que nenhum sistema pode alcançar: compreender, decidir, criar e inovar.

Why Keyrus, Why Now!

A Keyrus é um grupo internacional com 2.800 consultores e especialistas em 28 países, construído sobre uma convicção: a IA não transforma empresas. A inteligência arquitetada transforma. Há mais de 30 anos, construímos as bases de dados que tornam os sistemas inteligentes possíveis, projetando o Sistema Operacional da Empresa Inteligente, onde a inteligência está incorporada ao núcleo dos processos de negócio para criar valor sustentável: operacionalizamos a inteligência. A IA não substitui os seres humanos.

Na Keyrus, você não desenvolverá apenas habilidades; desenvolverá discernimento. Sua expertise se fortalece a cada sistema que você projeta, a cada desafio de negócio que ajuda a resolver e a cada implementação que evolui a partir dos aprendizados anteriores.

Com o tempo, você se tornará um dos profissionais mais raros da era da inteligência: alguém capaz de conectar dados, IA e tomada de decisão humana em escala, entre diferentes setores, mercados e geografias.

Esta não é apenas uma posição. É uma disciplina que você domina e uma história que ajuda a escrever para se tornar um Arquiteto da Inteligência da Keyrus.

O QUE VOCÊ IRÁ ARQUITETAR

Esta posição combina visão arquitetural, profundidade técnica e atuação consultiva. Buscamos profissionais capazes de transformar desafios complexos em soluções de dados escaláveis, modernas e orientadas a resultados.

QUEM VOCÊ É

Você é um profissional experiente que combina conhecimento técnico com visão estratégica de negócio. Você entende que dados são a base para decisões mais inteligentes e para a transformação das organizações. Você consegue navegar com naturalidade entre discussões arquiteturais, implementação técnica e relacionamento com stakeholders. Você gosta de estruturar ambientes complexos, criar padrões e impulsionar a evolução tecnológica. Você equilibra pragmatismo e inovação, priorizando soluções que geram impacto real. Você compartilha conhecimento e contribui para o crescimento técnico das equipes ao seu redor. Você possui perfil consultivo, analítico e orientado à resolução de problemas.

O QUE VOCÊ TRAZ

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e na evolução de soluções de dados em um ambiente altamente escalável, trabalhando com grandes volumes de informações e tecnologias modernas. O profissional será responsável por desenvolver, manter e otimizar pipelines de ingestão e processamento de dados, utilizando principalmente Python, Apache Spark e Databricks, contribuindo para a construção de arquiteturas eficientes, seguras e com alto desempenho.

Experiência e Qualificações

• Desenvolver e manter pipelines de ingestão de dados utilizando Databricks Autoloader, incluindo processamento incremental e evolução de esquemas (Schema Evolution).
• Implementar soluções de processamento de dados em larga escala com Spark Structured Streaming e Spark SQL.
• Aplicar boas práticas de Engenharia de Dados, incluindo particionamento, otimização de processamento e utilização de Delta Lake.
• Analisar e otimizar a performance e os custos dos ambientes Databricks.
• Implementar práticas de Data Quality, garantindo a confiabilidade e a consistência das informações.
• Trabalhar com controle de versionamento utilizando Git e processos de Pull Requests.
• Elaborar documentações técnicas claras sobre as soluções e demandas desenvolvidas.
• Colaborar com times de negócio e Analytics, garantindo a disponibilidade, estruturação e segurança dos dados.

Requisitos e Qualificações

• Experiência com Engenharia de Dados e processamento de grandes volumes de informações.
• Conhecimento em Python e Apache Spark.
• Experiência com Databricks.
• Conhecimento em construção e manutenção de pipelines de ingestão de dados.
• Vivência com Spark Structured Streaming e Spark SQL.
• Conhecimento em Delta Lake e técnicas de otimização de processamento.
• Experiência com Git e controle de versionamento.
• Conhecimento em práticas de Data Quality.

Diferenciais

• Conhecimento em arquiteturas modernas de dados e processos ETL/ELT.
• Experiência com metodologias ágeis, como Scrum e Kanban.
• Vivência com otimização de custos e performance em ambientes de dados escaláveis.
• Perfil analítico, autogerenciável e com habilidade para resolução de problemas.
• Interesse em aprender novas tecnologias e propor soluções inovadoras para desafios de negócio.

O QUE FARÁ VOCÊ TER SUCESSO

Excelente capacidade de comunicação com públicos técnicos e não técnicos. Facilidade para transformar necessidades de negócio em soluções práticas e escaláveis. Capacidade de influenciar decisões e construir relacionamentos de confiança com stakeholders. Perfil analítico e orientado à resolução de problemas. Foco na geração de valor e resultados para clientes e negócios. Colaboração, compartilhamento de conhecimento e melhoria contínua como parte da sua forma de trabalhar.

NOSSOS VALORES

Inteligência Coletiva

A colaboração entre diferentes especialidades, funções e geografias nos permite combinar conhecimento e entregar respostas mais completas para os desafios dos nossos clientes.

Confiabilidade

A capacidade de entregar projetos complexos com rigor, qualidade e consistência é um dos pilares da nossa relação com clientes e parceiros.

Pragmatismo

Priorizamos impacto concreto e valor mensurável acima de discursos tecnológicos abstratos.

Espírito Empreendedor

Curiosidade, energia, autonomia e iniciativa são a base da nossa cultura e impulsionam a inovação contínua.

About Keyrus

Na Keyrus, ajudamos as organizações a evoluir da IA experimental para a IA industrializada, de agentes isolados para sistemas orquestrados e de insights para execução. Essa é a disciplina que chamamos de Architect of Intelligence: desenhar o sistema operacional da empresa inteligente, onde a inteligência está incorporada aos processos de negócio para criar valor sustentável. Impulsionados pelo nosso modelo proprietário Human Orchestrated Model, estruturamos fundações de inteligência, governança centrada no ser humano e direcionamento de performance para criar ambientes inteligentes onde a tecnologia amplia as capacidades humanas. Com mais de 30 anos de experiência e 2.800 colaboradores distribuídos em 28 países, ajudamos organizações a ir além da transformação, construindo empresas adaptáveis, resilientes e em constante evolução. A IA não transforma negócios. A inteligência arquitetada transforma.

Vem fazer parte do Time Keyrus!

Para mais informações: www.keyrus.com.br

Desejamos boa sorte!