Tech Lead |Remote

Compass UOL; Brasil; A distancia; BRL 350.000 - 550.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Vale alimentação/refeição

Plano de saúde

Plano odontológico

Auxílio home office (para vagas remota

Kit de boas-vindas no onboarding

Seguro de vida

Zenklub (psicológico e nutricional)

TotalPass

Programa de Certificações e Capacitae

Parcerias e descontos para seu desenvo

Descripción de la vacante

A Compass UOL busca um(a) Tech Lead de Dados sênior com perfil hands-on para liderar a construção e governança da camada de dados de um produto de IA. Você conduzirá pipelines em Databricks e PySpark, trabalhará com Delta Lake, Unity Catalog e APIs, assegurando qualidade, segurança e observabilidade.

Você fará modelagem nas camadas silver e gold, preparará dados para IA generativa, criará frameworks reutilizáveis e atuará em ciclos curtos com o time de produto, orientando a squad e promovendo

Formación

• Experiência sólida em engenharia de dados e atuação como referência técnica de squad.
• Databricks, PySpark e Spark SQL em ambiente produtivo.
• Arquitetura medallion: landing, bronze, silver e gold.
• Delta Lake, Unity Catalog e Databricks Workflows.
• Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.
• Integração de dados via APIs e serviços, com segurança e observabilidade.
• Modelagem de dados analíticos nas camadas silver e gold.
• Git, CI/CD, code review, testes e validações de qualidade.
• Experiência em times ágeis de produto e entregas incrementais.
• Boa comunicação com áreas técnicas e de negócio.

Responsabilidades

• Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.
• Construir e sustentar pipelines em PySpark e SQL no Databricks.
• Trabalhar com arquitetura medallion, Delta Lake, Unity Catalog e Databricks Workflows.
• Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
• Integrar dados aos serviços de IA e ao Databricks Genie.
• Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
• Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
• Desenvolver frameworks reutilizáveis e validações de qualidade.
• Aplicar práticas de versionamento, CI/CD, testes e code review.
• Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
• Documentar pipelines e decisões técnicas.
• Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
• Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Conocimientos

Databricks

PySpark

Spark SQL

Arquitetura medallion

Delta Lake

Unity Catalog

Databricks Workflows

IA Generativa

APIs & security

Git & CI/CD

Educación

Formação em TI ou áreas correlatas

Herramientas

Open Hub SAP

Golden Gate/CDC

Power BI

Confluence

Descripción del empleo

Job description

.

Main responsibilities

Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade.

O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança.

Principais responsabilidades

Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.

Construir e sustentar pipelines em PySpark e SQL no Databricks.

Trabalhar com arquitetura medallion, Delta Lake, Unity Catalog e Databricks Workflows.

Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.

Integrar dados aos serviços de IA e ao Databricks Genie.

Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.

Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.

Desenvolver frameworks reutilizáveis e validações de qualidade.

Aplicar práticas de versionamento, CI/CD, testes e code review.

Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.

Documentar pipelines e decisões técnicas.

Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.

Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Requirements and skills

Experiência sólida em engenharia de dados e atuação como referência técnica de squad.

Databricks, PySpark e Spark SQL em ambiente produtivo.

Arquitetura medallion: landing, bronze, silver e gold.

Delta Lake, Unity Catalog e Databricks Workflows.

Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.

Integração de dados via APIs e serviços, com segurança e observabilidade.

Modelagem de dados analíticos nas camadas silver e gold.

Git, CI/CD, code review, testes e validações de qualidade.

Experiência em times ágeis de produto e entregas incrementais.

Boa comunicação com áreas técnicas e de negócio.

Formação em TI ou áreas correlatas.

Diferenciais

Databricks Genie e padrões corporativos de uso de IA generativa.

Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso.

Oracle com replicação via Golden Gate/CDC.

Extração de dados do SAP via Open Hub.

SQL Server e Microsoft Graph (SharePoint/M365).

Power BI.

Gestão de credenciais com identidades de serviço e cofres de segredos.

Documentação técnica no Confluence.

Additional information

Benefícios

• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Kit de boas-vindas no onboarding;
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• TotalPass;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas;

• Programa de indicações.