Tech Lead |Remote

Compass Uol

Ituiutaba

Remote

BRL 260,000 - 420,000

Full time

4 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

A Compass Uol procura um Tech Lead de Dados sênior para atuar na camada de dados de um produto de IA em um grande grupo de infraestrutura de mobilidade.

Você irá liderar a construção de pipelines com PySpark e SQL no Databricks, preparar dados para serviços de IA generativa e assegurar qualidade, segurança e governança, com integração a APIs e serviços.

Qualifications

  • Experiência sólida em engenharia de dados e referência técnica de squad.
  • Capacidade de construir pipelines com PySpark/SQL no Databricks.
  • Conhecimento em IA generativa, embeddings, índices vetoriais e qualidade de dados.
  • Governança de dados, LGPD, classificação, anonimização, linhagem e controle de acesso.

Responsibilities

  • Entender o produto, consumidores e fontes de dados, conduzindo tecnicamente as demandas com autonomia.
  • Construir e sustentar pipelines em PySpark e SQL no Databricks.
  • Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
  • Integrar dados aos serviços de IA, APIs e ao Databricks Genie.
  • Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
  • Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
  • Desenvolver frameworks reutilizáveis e validações de qualidade.
  • Aplicar práticas de versionamento, CI/CD, testes e code review.
  • Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
  • Documentar pipelines e decisões técnicas.
  • Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
  • Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Skills

Databricks
PySpark
Spark SQL
Engenharia de dados
Governança de dados
CI/CD
APIs de dados
IA Generativa

Education

Formação em TI

Tools

Oracle GoldenGate
SAP Open Hub
Databricks Genie
Confluence
Power BI

Job description

Experiência sólida em engenharia de dados e atuação como referência técnica de squad.

Databricks, PySpark e Spark SQL em ambiente produtivo.

Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.

Integração de dados via APIs e serviços, com segurança e observabilidade.

Modelagem de dados analíticos nas camadas silver e gold.

Git, CI/CD, code review, testes e validações de qualidade.

Experiência em times ágeis de produto e entregas incrementais.

Boa comunicação com áreas técnicas e de negócio.

Formação em TI ou áreas correlatas.

Diferenciais

Databricks Genie e padrões corporativos de uso de IA generativa.

Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso.

Oracle com replicação via Golden Gate/CDC.

Extração de dados do SAP via Open Hub.

Gestão de credenciais com identidades de serviço e cofres de segredos.

Documentação técnica no Confluence.

Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade.

O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança.

Principais responsabilidades

Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.

Construir e sustentar pipelines em PySpark e SQL no Databricks.

Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.

Integrar dados aos serviços de IA e ao Databricks Genie.

Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.

Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.

Desenvolver frameworks reutilizáveis e validações de qualidade.

Aplicar práticas de versionamento, CI/CD, testes e code review.

Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.

Documentar pipelines e decisões técnicas.

Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.

Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Tech Lead de Dados | Engenharia de Dados
Tech Lead de Dados | Engenharia de Dados

AI/R • São Paulo

On-site
BRL 446,000 - 781,000
Engenheiro de Dados Sênior
Engenheiro de Dados Sênior

4DF Connect • São Paulo

On-site
BRL 260,000 - 360,000
Líder Técnico (Tech Lead) | Full Stack | Engenharia de Dados | IA
Líder Técnico (Tech Lead) | Full Stack | Engenharia de Dados | IA

Nava | Tech for Business • Brazil

On-site
BRL 180,000 - 300,000
Tech Lead de Dados | IA Generativa
Tech Lead de Dados | IA Generativa

Semantix • Brazil

On-site
BRL 260,000 - 420,000
PCD friendly environment
Tech Lead - Data Platform
Tech Lead - Data Platform

ROIT • São Paulo

Hybrid
BRL 360,000 - 480,000
Tech Lead |Remote
Tech Lead |Remote

Compass UOL • Brazil

Remote
BRL 350,000 - 550,000
Vale alimentação/refeição
Plano de saúde
Plano odontológico
+7
Principal Engineer - Databricks
Principal Engineer - Databricks

Ideen • São Paulo

Hybrid
BRL 500,000 - 700,000
Tech Lead - Data Platform
Tech Lead - Data Platform

ROIT • Brazil

On-site
BRL 300,000 - 550,000
Engenheiro de Dados Pleno
Engenheiro de Dados Pleno

Projeto 22 • São Paulo

Hybrid
BRL 120,000 - 180,000
Bônus anual (1 a 3 salários)
Assistência médica – dependentes
Assistência odontológica
+9
Especialista em Dados
Especialista em Dados

ProjecTI • São Paulo

On-site
BRL 180,000 - 280,000