Engenheiro de Dados Sênior Databricks

INDT Innovation; São Paulo; Híbrido; BRL 180 000 - 320 000; Tempo integral

Resumo da oferta

A INDT Innovation busca Engenheiro(a) de Dados Sênior para atuar na implementação e evolução de uma plataforma de dados baseada em Databricks. O profissional desenvolverá pipelines, arquiteturas robustas e soluções escaláveis com alta autonomia.

O candidato ideal possui prática avançada com Databricks, Spark e Delta Lake, experiência com governança de dados e capacidade de tomar decisões técnicas de forma independente, contribuindo para o sucesso do projeto.

Qualificações

• Experiência prática com Databricks e Spark/PySpark em ambientes Enterprise.
• Domínio de Delta Lake e Unity Catalog para governança de dados.
• Capacidade de projetar pipelines de dados escaláveis com foco em performance e qualidade.

Responsabilidades

• Atuar na implementação e evolução da plataforma de dados em Databricks.
• Desenvolver pipelines de dados com Spark/PySpark.
• Construir soluções de ingestão, transformação e processamento de grandes volumes de dados.
• Trabalhar com Delta Lake e Unity Catalog para governança e segurança dos dados.
• Definir arquitetura e modelagem de soluções de dados escaláveis.
• Aplicar boas práticas de engenharia de dados, qualidade, governança e observabilidade.
• Identificar e resolver problemas de performance em pipelines de dados.
• Otimizar processamento, armazenamento e consultas de dados.
• Participar da orquestração e integração de pipelines com times de negócio e tecnologia.

Conhecimentos

Databricks

Apache Spark

PySpark

Delta Lake

Unity Catalog

Arquitetura de dados

Ferramentas

AWS

Terraform

Kafka

Descrição da oferta de emprego

Desde 2001, o INDT é um instituto de tecnologia que inspira inovação e respira tecnologia! Desenvolver está no nosso DNA e oferecemos um ambiente colaborativo com muitos desafios para o aprendizado e crescimento.

Surgimos em Manaus (AM) através da Nokia, e hoje atuamos em todo Brasil com o objetivo de apresentar os nossos serviços e a nossa Cultura para todas as regiões brasileiras. Atualmente, possuímos mais de 200 colaboradores atuando ativamente.

Para nós, eliminar as barreiras geográficas e culturais foi só uma consequência por acreditarmos que nada é impossível. Por isso, hoje, mais do que nunca, podemos olhar no espelho e pensar: trabalhamos em uma empresa que vive e cresce cada dia mais!

Você quer ter a oportunidade de desenvolver seus talentos?

Quer trabalhar num ótimo ambiente de trabalho e com colegas que te ajudarão na tua jornada?

Quer ter a uma experiência incrível de sentir valorizado?

Quer potencializar suas entregas diárias e projetos tendo líderes inspiradores?

Quer ter liberdade para propor e desenvolver projetos inovadores, com autonomia e protagonismo? Então vem com a gente promover a diferença! #VEMSERINDT

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto de implementação e evolução de uma plataforma de dados utilizando Databricks. O profissional terá atuação direta na construção e evolução de pipelines e soluções de dados, sendo responsável por desenvolver arquiteturas robustas, escaláveis e eficientes, com alto nível de autonomia técnica.

Buscamos alguém com experiência prática e aprofundada em Databricks, capaz de atuar desde a arquitetura e ingestão dos dados até transformação, governança, otimização e monitoramento das soluções.

Buscamos um profissional Sênior forte ou Especialista, com perfil hands-on e elevada autonomia técnica. É importante ter capacidade de tomar decisões, propor soluções e atuar diretamente na implementação, sem depender de acompanhamento constante. Além do conhecimento das ferramentas, buscamos profissionais que consigam explicar as decisões técnicas tomadas, os desafios encontrados e como solucionaram problemas reais em projetos de dados.

Principais responsabilidades

• Atuar na implementação e evolução da plataforma de dados em Databricks;
• Desenvolver e evoluir pipelines de dados utilizando Spark/PySpark;
• Construir soluções de ingestão, transformação e processamento de grandes volumes de dados;
• Trabalhar com Delta Lake e recursos do ecossistema Databricks;
• Atuar com arquitetura e modelagem de soluções de dados escaláveis;
• Implementar boas práticas de engenharia de dados, qualidade, governança e observabilidade;
• Atuar na identificação e resolução de problemas de performance em pipelines e processos de dados;
• Realizar otimizações de processamento, armazenamento e consultas;
• Trabalhar com Unity Catalog e recursos relacionados à governança e segurança dos dados;
• Participar da definição e implementação de estratégias de orquestração e integração de pipelines;
• Atuar em conjunto com times de tecnologia e negócio na definição das melhores soluções técnicas;
• Garantir qualidade, confiabilidade, escalabilidade e manutenção das soluções desenvolvidas;
• Contribuir para a evolução das boas práticas e padrões de engenharia de dados do projeto.

Requisitos

• Experiência sólida e prática com Databricks;
• Experiência avançada com Apache Spark e PySpark;
• Experiência com Delta Lake;
• Conhecimento e experiência com Unity Catalog;
• Experiência na implementação e evolução de pipelines de dados;
• Conhecimento de arquitetura e boas práticas de Engenharia de Dados;
• Experiência com otimização e troubleshooting de performance em Spark/Databricks;
• Experiência com processamento de grandes volumes de dados;
• Capacidade de atuar com autonomia na análise de problemas e definição de soluções técnicas;
• Experiência em ambientes corporativos/enterprise.

Será considerado diferencial

• Certificação Databricks;
• Experiência com AWS;
• Experiência com Terraform e práticas de Infrastructure as Code (IaC);
• Conhecimento ou experiência com Kafka e outras tecnologias de streaming;
• Experiência com Data Quality;
• Conhecimento de ferramentas e práticas de observabilidade;
• Experiência anterior em projetos de grande escala;
• Vivência com ambientes de alta volumetria e requisitos de alta disponibilidade.

Modelo de trabalho: Híbrido — 2 dias presenciais por semana na região da Av. Brig Luis Antonio - Bela Vista, São Paulo/SP