Eng.(a) de Plataforma de Dados e IA

Digiage; São Paulo; Hybrid; BRL 260,000 - 420,000; Full time

Job summary

A Digiage está buscando um(a) Engenheiro(a) de Plataforma de Dados e IA para compor o time da plataforma de IA Generativa do cliente. Você atuará ao lado do Arquiteto de Plataforma, transformando padrões em plataforma funcional, escalável e confiável, sem desenvolver modelos de IA.

O papel envolve integração com Databricks/Azure, gestão de ambientes Dev/QA/Prd, pipelines CI/CD e dashboards de observabilidade, com foco em governança, logs e confiabilidade.

Qualifications

• 6+ anos de experiência em Engenharia de Dados ou Engenharia de Plataforma.
• Experiência sólida com Databricks, Unity Catalog, Workflows e Jobs.
• Conhecimento de CI/CD (GitHub Actions, Azure DevOps) e integrações via APIs REST.
• Boa comunicação técnica e perfil colaborativo.

Responsibilities

• Implementar e manter padrões de uso da plataforma Databricks: templates de projeto, bibliotecas internas, estrutura de workspaces e harness de desenvolvimento.
• Configurar e operar o AI Gateway conforme as políticas definidas pelo Arquiteto: roteamento, rate limiting e autenticação.
• Implementar integrações entre a plataforma de IA e outros sistemas, seguindo os padrões arquiteturais estabelecidos.
• Implementar em código e configuração os padrões técnicos de suporte às soluções de IA: logs, fallback, retry e timeout.
• Operacionalizar a segregação de ambientes Dev/QA/Prd com cluster policies e Unity Catalog.
• Construir e manter esteiras de CI/CD para a plataforma.
• Construir e manter dashboards de observabilidade da plataforma: consumo, custo, erros e latência.
• Apoiar o Arquiteto em provas de conceito e avaliações técnicas de componentes da stack de IA.
• Contribuir em revisões técnicas de squads e parceiros, aplicando os padrões estabelecidos.
• Documentar os padrões implementados.

Skills

Python

SQL

Comunicação técnica

Colaboração

Tools

Databricks

GitHub Actions

Azure DevOps

Databricks Asset Bundles

Job description

Junte-se à Digiage e participe da construção de uma plataforma de IA corporativa de alta escala. Na Digiage, acreditamos que a tecnologia é a principal impulsionadora de negócios resilientes, seguros e eficientes.

Estamos em busca de um(a) Engenheiro(a) de Plataforma de Dados e IA para integrar o time responsável pela plataforma de IA Generativa do nosso cliente. Neste papel, você atuará ao lado do Arquiteto de Plataforma, sendo responsável por implementar e operar os padrões e componentes que sustentam as soluções de IA no ecossistema Databricks e Azure. A arquitetura e as diretrizes são definidas pelo Arquiteto; seu papel é transformar essas definições em plataforma funcional e confiável. Este é um papel de plataforma, não de desenvolvimento de produtos de IA. Você não desenvolverá modelos, agentes ou soluções de LLM.

Principais Responsabilidades:

• Implementar e manter os padrões de uso da plataforma Databricks: templates de projeto, bibliotecas internas, estrutura de workspaces e harness de desenvolvimento.
• Configurar e operar o AI Gateway conforme as políticas definidas pelo Arquiteto: roteamento, rate limiting e autenticação.
• Implementar as integrações entre a plataforma de IA e outros sistemas, seguindo os padrões arquiteturais estabelecidos.
• Implementar em código e configuração os padrões técnicos de suporte às soluções de IA: persistência de logs, fallback entre modelos, retry e timeout.
• Operacionalizar a segregação de ambientes (Dev/QA/Prd) com cluster policies e Unity Catalog.
• Construir e manter esteiras de CI/CD para a plataforma.
• Construir e manter dashboards de observabilidade da plataforma: consumo, custo, erros e latência.
• Apoiar o Arquiteto em provas de conceito e avaliações técnicas de componentes da stack de IA.
• Contribuir em revisões técnicas de squads e parceiros, aplicando os padrões estabelecidos.
• Documentar os padrões implementados.
• 6+ anos de experiência em Engenharia de Dados ou Engenharia de Plataforma.
• 3+ anos de sólida experiência em Databricks.
• Experiência sólida com Databricks em ambiente produtivo, incluindo Unity Catalog, Workflows, Jobs e cluster policies.
• Experiência prática com esteiras de CI/CD (GitHub Actions, Azure DevOps, Databricks Asset Bundles ou similar).
• Python avançado e SQL sólido.
• Experiência com cloud Azure em ambiente produtivo.
• Experiência implementando integrações via APIs REST, incluindo autenticação, logging e retry.
• Noções conceituais de IA Generativa e LLMs: compreender o que é serving models, RAG, embedding e vector search, de modo a implementar corretamente os padrões definidos pelo Arquiteto. Não é necessário saber desenvolver essas soluções.
• Boa comunicação técnica e perfil colaborativo.

Diferenciais:

• Certificações Databricks (Data Engineer Associate/Professional).
• Experiência prévia com componentes da Databricks Mosaic AI (Model Serving, AI Gateway, Vector Search).
• Experiência com observabilidade de plataformas (dashboards de uso, custo, SLIs/SLOs).
• Noções de FinOps aplicado a cloud.
• Experiência prévia com Microsoft Copilot Studio e Power Platform.