Principal Engineer - Databricks

Ideen; São Paulo; Hybrid; BRL 500,000 - 700,000; Full time

Job summary

A Ideen está buscando um(a) Principal Engineer para liderar tecnicamente a plataforma Databricks corporativa. A posição envolve definir a arquitetura, padrões de governança e segurança, além de orquestração de cargas e IA.

É uma função hands-on que molda padrões referência, frameworks e roadmaps, com foco em escalabilidade e colaboração com equipes globais. O papel requer 8+ anos de experiência e disponibilidade para modelo híbrido em SP.

Qualifications

• 8+ anos em engenharia de software, engenharia de dados, engenharia de plataforma, engenharia de nuvem ou funções técnicas correlatas.
• 3+ anos atuando em nível sênior, lead, staff, principal ou equivalente de liderança técnica.
• Experiência hands-on projetando, implementando e operando Databricks em ambiente corporativo, administrando o ambiente e não apenas notebooks/pipelines.
• Experiência sólida com arquitetura e configuração de workspaces Databricks.
• Prática com Unity Catalog, incluindo padrões de governança e controle de acesso.
• Experiência projetando e operando Databricks Jobs e Workflows, e padrões de deploy entre desenvolvimento, teste e produção.
• Domínio de Python e SQL e fundamentos de engenharia de software.
• Experiência com Microsoft Azure ou cloud corporativa equivalente e IaC.
• Histórico de engenharia reutilizável e condução de capacidade técnica até produção.

Responsibilities

• Atuar como autoridade técnica principal da plataforma Databricks dentro da área de Enterprise Intelligence.
• Projetar e evoluir a arquitetura do ambiente Databricks nas trilhas de desenvolvimento, teste e produção.
• Estabelecer padrões escaláveis de configuração de workspace, compute, SQL warehouses, jobs, workflows, segurança, rede e integrações.
• Desenhar e implementar padrões de governança e controle de acesso com Unity Catalog, incluindo identidade, permissões, service principals, segredos e acesso seguro ao dado corporativo.
• Criar padrões repetíveis de deploy e configuração com infraestrutura como código e práticas de CI/CD.
• Monitorar e otimizar performance, utilização de compute, confiabilidade e custo da plataforma.
• Avaliar novas capacidades do Databricks e definir como se encaixam na arquitetura da área.

Skills

Python

SQL

Databricks

CI/CD

IaC

Azure

Software architecture

Mentoring

Tools

Unity Catalog

Job description

Resumo: Estamos buscando um(a) Principal Engineer para ser a autoridade técnica da plataforma Databricks corporativa de um cliente Ideen: uma companhia de grande porte e operação internacional, cuja área de Enterprise Intelligence constrói sobre essa plataforma os produtos de dados, as soluções analíticas e a próxima geração de aplicações inteligentes do negócio.

Não é uma cadeira de desenvolvimento nem de administração isolada. A posição é dona dos padrões técnicos de toda a plataforma: arquitetura de workspaces, segurança, governança, deployment e orquestração de cargas, além das capacidades de IA que consomem o dado corporativo. À medida que a área amadurece, o escopo se estende para analytics conversacional e agentes de IA sobre Databricks AI/BI Genie, Mosaic AI e LLMs.

É liderança técnica hands‑on: a pessoa constrói a solução e, ao mesmo tempo, estabelece os padrões, as arquiteturas de referência e os frameworks que permitem o restante da organização escalar. A divisão aproximada do tempo é 35% plataforma e arquitetura, 25% orquestração e engenharia de produção, 25% Genie e agentes de IA, e 15% liderança técnica e capacitação do time. A influência se dá por arquitetura, mentoria e código, não por gestão direta de pessoas.

Responsabilidades:

Plataforma e arquitetura Databricks

• Atuar como autoridade técnica principal da plataforma Databricks dentro da área de Enterprise Intelligence.
• Projetar e evoluir a arquitetura do ambiente Databricks nas trilhas de desenvolvimento, teste e produção.
• Estabelecer padrões escaláveis de configuração de workspace, compute, SQL warehouses, jobs, workflows, segurança, rede e integrações.
• Desenhar e implementar padrões de governança e controle de acesso com Unity Catalog, incluindo identidade, permissões, service principals, segredos e acesso seguro ao dado corporativo.
• Criar padrões repetíveis de deploy e configuração com infraestrutura como código e práticas de CI/CD.
• Monitorar e otimizar performance, utilização de compute, confiabilidade e custo da plataforma.
• Avaliar novas capacidades do Databricks e definir como se encaixam na arquitetura da área.

Orquestração e engenharia de produção

• Arquitetar padrões reutilizáveis de orquestração para pipelines de dados, cargas analíticas, aplicações inteligentes e processos automatizados.
• Construir e manter Databricks Jobs e Workflows para cargas produtivas.
• Desenvolver bibliotecas, frameworks, templates e automações reutilizáveis que aumentem a velocidade de engenharia da organização.
• Estabelecer com os engenheiros de dados os padrões de ingestão, transformação, teste, deploy, monitoramento e recuperação.
• Integrar as cargas do Databricks a serviços de nuvem, aplicações corporativas, APIs e outras plataformas de dados.
• Definir os padrões de observabilidade e operação que permitem ao time identificar e resolver incidentes rapidamente.

Governança de dados

• Implementar padrões escaláveis de governança com Unity Catalog e capacidades relacionadas.
• Estabelecer padrões de acesso, linhagem, metadados, qualidade de dado, segurança e separação de ambientes.
• Desenhar guardrails que permitam aos times andar rápido mantendo controle e governança.
• Traduzir requisitos corporativos de governança em padrões práticos de engenharia, junto a produto de dados, segurança, arquitetura e áreas de negócio.

Genie e aplicações inteligentes

• Projetar e desenvolver experiências de Databricks AI/BI Genie ancoradas em dado corporativo governado.
• Estabelecer padrões de produto de dados e de contexto semântico que permitam ao Genie e a outras experiências de IA interpretar corretamente o dado da companhia.
• Construir e integrar agentes de IA que interajam de forma segura com dados governados, regras de negócio, APIs e sistemas corporativos.
• Desenvolver padrões de retrieval e grounding para aplicações que exigem contexto corporativo.
• Estabelecer práticas de avaliação, monitoramento, tracing, segurança e governança para aplicações de IA em produção.

Liderança técnica

• Conduzir revisões de design e de arquitetura.
• Mentorar engenheiros de dados, analytics engineers e demais membros técnicos do time.
• Produzir documentação, implementações de referência e boas práticas de engenharia.
• Atuar junto à liderança da área no roadmap de plataforma e no desenvolvimento de capacidades.

Requisitos:

• Inglês fluente. A atuação é em uma companhia de operação internacional, com interação constante com times e lideranças no exterior.
• Disponibilidade para modelo híbrido, com 3 dias presenciais por semana, na região do metrô Brigadeiro (São Paulo).
• 8+ anos em engenharia de software, engenharia de dados, engenharia de plataforma, engenharia de nuvem ou funções técnicas correlatas.
• 3+ anos atuando em nível sênior, lead, staff, principal ou equivalente de liderança técnica.
• Experiência hands‑on profunda projetando, implementando e operando Databricks em ambiente corporativo, administrando o ambiente e não apenas desenvolvendo notebooks ou pipelines sobre uma plataforma existente.
• Experiência sólida com arquitetura e configuração de workspaces Databricks.
• Prática com Unity Catalog, incluindo padrões de governança e controle de acesso.
• Experiência projetando e operando Databricks Jobs e Workflows, e estabelecendo padrões de deploy entre desenvolvimento, teste e produção.
• Entendimento sólido da arquitetura de compute e de cargas SQL do Databricks.
• Experiência implementando CI/CD e automação de infraestrutura para ambientes Databricks.
• Capacidade demonstrada de diagnosticar problemas de plataforma, carga, performance e confiabilidade.
• Python em nível expert e SQL forte.
• Domínio dos fundamentos de engenharia de software: controle de versão, testes automatizados, CI/CD, code review e design modular.
• Experiência projetando APIs e integrando sistemas corporativos.
• Entendimento profundo de padrões modernos de engenharia de dados: ingestão, ETL/ELT, transformação, orquestração e modelagem, com histórico de pipelines em produção.
• Domínio de governança, segurança, linhagem, observabilidade e qualidade de dados.
• Experiência consistente com Microsoft Azure ou nuvem corporativa equivalente, incluindo IaC, IAM, rede, gestão de segredos e segurança.
• Experiência implementando monitoramento e observabilidade de sistemas em produção, com domínio de otimização de performance e custo em nuvem.
• Histórico de estabelecer padrões de engenharia e soluções reutilizáveis entre times, e de conduzir capacidade técnica complexa da arquitetura até a produção.
• Capacidade de circular entre engenharia de dados, analytics, infraestrutura, segurança, DevOps, arquitetura e negócio, traduzindo requisito de negócio em solução escalável.

Diferencial:

Experiência em IA é fortemente desejável: a expectativa é que a posição se envolva progressivamente com engenharia de IA conforme a capacidade da área amadurece. Ainda assim, profundidade na plataforma Databricks pesa mais nesta cadeira do que experiência com qualquer framework específico de IA.

• Experiência construindo ou configurando espaços de Databricks AI/BI Genie.
• Familiaridade com as capacidades do Databricks Mosaic AI.
• Experiência desenvolvendo aplicações com LLMs ou APIs de LLM.
• Entendimento de RAG (Retrieval-Augmented Generation), busca semântica, embeddings e padrões de grounding.
• Familiaridade com arquiteturas de agentes de IA e frameworks de orquestração.
• Entendimento de avaliação, observabilidade, segurança e guardrails aplicados a IA.

Informações da Empresa:

Na Ideen unimos tecnologia e estratégia para transformar desafios complexos em soluções que geram impacto real para grandes empresas. Somos um time movido por inovação, estratégia e resultados. Se busca um ambiente com autonomia, desafios relevantes e oportunidades reais de crescimento, a Ideen pode ser o próximo passo da sua jornada.