Consultor Databricks Sr.

T.O. Brasil; São Paulo; Híbrido; BRL 180 000 - 280 000; Tempo integral

Resumo da oferta

To Brasil seleciona engenheiro(a) de dados para atuar com a plataforma Databricks em projetos de grande escala em São Paulo, com modalidade híbrida (PJ). Você irá desenvolver, implementar e manter soluções de dados com PySpark, Spark SQL e Python, projetar pipelines de ingestão e processamento, implementar Lakehouse e Medallion, e manter as camadas Bronze, Silver e Gold.

Também apoiará governança, qualidade de dados e CI/CD, participando de reuniões técnicas com clientes e equipes e atuando como

Qualificações

• Ensino superior completo em TI e áreas afins.
• Experiência sólida em engenharia de dados, Big Data, Data Lake e Data Warehouse.
• Experiência comprovada com a plataforma Databricks em projetos de implementação, desenvolvimento, sustentação ou modernização de ambientes de dados.
• Domínio de Apache Spark e PySpark para processamento distribuído de grandes volumes de dados.
• Conhecimento avançado em Python e SQL.
• Experiência no desenvolvimento de pipelines de dados ETL e ELT.
• Conhecimento sólido da arquitetura Lakehouse.
• Experiência com Delta Lake e Delta Tables.
• Conhecimento em ingestão, transformação, processamento e disponibilização de dados.
• Conhecimento em Git e práticas de versionamento de código.
• Conhecimento de CI/CD aplicado a pipelines de dados.
• Experiência com metodologias ágeis.

Responsabilidades

• Desenvolver, implementar e manter soluções de dados utilizando a plataforma Databricks.
• Projetar e desenvolver pipelines de ingestão, transformação e processamento de dados.
• Desenvolver aplicações e processos de dados utilizando Python, PySpark, Spark SQL e SQL.
• Implementar arquiteturas Lakehouse e Medallion.
• Construir e manter as camadas Bronze, Silver e Gold.
• Desenvolver processos batch e streaming para processamento de grandes volumes de dados.
• Integrar dados de sistemas corporativos, bancos de dados, APIs, arquivos e plataformas em nuvem.
• Realizar tuning e otimização de performance dos workloads Spark.
• Implementar mecanismos de controle de qualidade e validação dos dados.
• Apoiar a definição e implementação de políticas de governança, segurança e controle de acesso.
• Realizar análise técnica de requisitos e propor soluções de dados escaláveis.
• Participar da definição da arquitetura técnica dos projetos.
• Apoiar processos de migração e modernização de Data Warehouses e plataformas legadas.
• Desenvolver testes unitários, integrados e de qualidade de dados.
• Implementar processos de CI/CD para soluções e pipelines de dados.
• Monitorar processos, identificar falhas e realizar troubleshooting.
• Elaborar documentação técnica e arquitetural.
• Participar de reuniões técnicas, workshops e apresentações para clientes.
• Atuar como referência técnica em Databricks e engenharia de dados nos projetos.
• Garantir a qualidade, performance, escalabilidade e segurança das soluções implementadas.
• Assegurar a adoção das boas práticas de desenvolvimento e arquitetura de dados.
• Garantir a qualidade, integridade, consistência e rastreabilidade dos dados.
• Definir e disseminar padrões técnicos para desenvolvimento de pipelines.
• Apoiar arquitetos e líderes técnicos nas decisões de arquitetura.
• Orientar tecnicamente profissionais juniores e plenos.
• Realizar revisão de código e garantir a qualidade das entregas técnicas.
• Identificar riscos técnicos e propor ações preventivas e corretivas.
• Apoiar a resolução de problemas complexos de dados e performance.
• Garantir o cumprimento dos prazos e a qualidade das entregas sob sua responsabilidade.
• Contribuir para a evolução contínua da arquitetura e da plataforma de dados.
• Apoiar iniciativas de inovação, modernização e adoção de novas funcionalidades da plataforma Databricks.
• Atuar de forma consultiva junto aos clientes, entendendo desafios de negócio e propondo soluções baseadas em dados.

Conhecimentos

Databricks

PySpark

Python

SQL

Apache Spark

Lakehouse

Delta Lake

Delta Tables

ETL/ELT

Git

CI/CD

Formação académica

Superior completo em TI

Ferramentas

Databricks

Databricks Workflows

Descrição da oferta de emprego

• Desenvolver, implementar e manter soluções de dados utilizando a plataforma Databricks.
• Projetar e desenvolver pipelines de ingestão, transformação e processamento de dados.
• Desenvolver aplicações e processos de dados utilizando Python, PySpark, Spark SQL e SQL.
• Implementar arquiteturas Lakehouse e Medallion.
• Construir e manter as camadas Bronze, Silver e Gold.
• Desenvolver processos batch e streaming para processamento de grandes volumes de dados.
• Integrar dados provenientes de sistemas corporativos, bancos de dados, APIs, arquivos e plataformas em nuvem.
• Realizar tuning e otimização de performance dos workloads Spark.
• Implementar mecanismos de controle de qualidade e validação dos dados.
• Apoiar a definição e implementação de políticas de governança, segurança e controle de acesso.
• Realizar análise técnica de requisitos e propor soluções de dados escaláveis.
• Participar da definição da arquitetura técnica dos projetos.
• Apoiar processos de migração e modernização de Data Warehouses e plataformas legadas.
• Desenvolver testes unitários, integrados e de qualidade de dados.
• Implementar processos de CI/CD para soluções e pipelines de dados.
• Monitorar processos, identificar falhas e realizar troubleshooting.
• Elaborar documentação técnica e arquitetural.
• Participar de reuniões técnicas, workshops e apresentações para clientes.
• Atuar como referência técnica em Databricks e engenharia de dados nos projetos.
• Garantir a qualidade, performance, escalabilidade e segurança das soluções implementadas.
• Assegurar a adoção das boas práticas de desenvolvimento e arquitetura de dados.
• Garantir a qualidade, integridade, consistência e rastreabilidade dos dados.
• Definir e disseminar padrões técnicos para desenvolvimento de pipelines.
• Apoiar arquitetos e líderes técnicos nas decisões de arquitetura.
• Orientar tecnicamente profissionais juniores e plenos.
• Realizar revisão de código e garantir a qualidade das entregas técnicas.
• Identificar riscos técnicos e propor ações preventivas e corretivas.
• Apoiar a resolução de problemas complexos de dados e performance.
• Garantir o cumprimento dos prazos e a qualidade das entregas sob sua responsabilidade.
• Contribuir para a evolução contínua da arquitetura e da plataforma de dados.
• Apoiar iniciativas de inovação, modernização e adoção de novas funcionalidades da plataforma Databricks.
• Atuar de forma consultiva junto aos clientes, entendendo desafios de negócio e propondo soluções baseadas em dados.

requisitos / exigências

Requisitos Obrigatórios:

• Ensino Superior completo em TI e afins;
• Experiência sólida em projetos de engenharia de dados, Big Data, Data Lake e Data Warehouse.
• Experiência comprovada com a plataforma Databricks em projetos de implementação, desenvolvimento, sustentação ou modernização de ambientes de dados.
• Domínio de Apache Spark e PySpark para processamento distribuído de grandes volumes de dados.
• Conhecimento avançado em Python e SQL.
• Experiência no desenvolvimento de pipelines de dados ETL e ELT.
• Conhecimento sólido da arquitetura Lakehouse.
• Experiência com Delta Lake e Delta Tables.
• Conhecimento em ingestão, transformação, processamento e disponibilização de dados.
• Experiência com Databricks Workflows e Jobs para orquestração de pipelines.
• Conhecimento em otimização e tuning de workloads Spark.
• Experiência com integração de múltiplas fontes de dados, incluindo bancos relacionais, APIs, arquivos e sistemas corporativos.
• Conhecimento em modelagem de dados relacional, dimensional e analítica.
• Experiência com Git e práticas de versionamento de código.
• Conhecimento de processos de CI/CD aplicados a pipelines e soluções de dados.
• Experiência com metodologias ágeis.
• Capacidade de levantamento de requisitos e tradução das necessidades de negócio em soluções técnicas.
• Boa comunicação e capacidade de interação com equipes técnicas, áreas de negócio e clientes.

inscrições

Inscrições até dia 15/08/2026Contratação: PJ – Híbrida (2x) -São Paulo/SP