Tech Lead de Dados | Engenharia de Dados

AI/R

São Paulo

On-site

BRL 446,000 - 781,000

Full time

3 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

A AI/R, líder em soluções de IA para mobilidade, busca um Tech Lead de Dados sênior e hands-on para construir e manter a camada de dados do produto de IA.

Você irá desenvolver pipelines com PySpark e Spark SQL em Databricks, preparar dados para IA generativa, governança, APIs seguras e colaboração com a squad para entregas incrementais.

Qualifications

  • Experiência sólida em engenharia de dados e atuação como referência técnica de squad.
  • Experiência com Databricks, PySpark e Spark SQL em ambiente produtivo.
  • Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.
  • Integração de dados via APIs e serviços, com segurança e observabilidade.
  • Modelagem de dados analíticos nas camadas silver e gold.
  • Git, CI/CD, code review, testes e validações de qualidade.
  • Experiência em times ágeis de produto e entregas incrementais.
  • Boa comunicação com áreas técnicas e de negócio.

Responsibilities

  • Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.
  • Construir e sustentar pipelines em PySpark e SQL no Databricks.
  • Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
  • Integrar dados aos serviços de IA e ao Databricks Genie.
  • Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
  • Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
  • Desenvolver frameworks reutilizáveis e validações de qualidade.
  • Aplicar práticas de versionamento, CI/CD, testes e code review.
  • Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
  • Documentar pipelines e decisões técnicas.
  • Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
  • Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Skills

Engenharia de Dados
Liderança Técnica
Trabalho em times ágeis

Education

Formação em TI ou áreas correlatas

Tools

Databricks
PySpark
Spark SQL
Databricks Genie
Oracle GoldenGate/CDC
SAP Open Hub

Job description

Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade.

O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança.

Principais responsabilidades:

  • Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.
  • Construir e sustentar pipelines em PySpark e SQL no Databricks.
  • Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
  • Integrar dados aos serviços de IA e ao Databricks Genie.
  • Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
  • Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
  • Desenvolver frameworks reutilizáveis e validações de qualidade.
  • Aplicar práticas de versionamento, CI/CD, testes e code review.
  • Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
  • Documentar pipelines e decisões técnicas.
  • Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
  • Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.

Requisitos Técnicos:

  • Experiência sólida em engenharia de dados e atuação como referência técnica de squad.
  • Databricks, PySpark e Spark SQL em ambiente produtivo.
  • Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.
  • Integração de dados via APIs e serviços, com segurança e observabilidade.
  • Modelagem de dados analíticos nas camadas silver e gold.
  • Git, CI/CD, code review, testes e validações de qualidade.
  • Experiência em times ágeis de produto e entregas incrementais.
  • Boa comunicação com áreas técnicas e de negócio.
  • Formação em TI ou áreas correlatas.

Diferenciais:

  • Databricks Genie e padrões corporativos de uso de IA generativa.
  • Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso.
  • Oracle com replicação via Golden Gate/CDC.
  • Extração de dados do SAP via Open Hub.
  • Gestão de credenciais com identidades de serviço e cofres de segredos.
  • Documentação técnica no Confluence.
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Tech Lead |Remote
Tech Lead |Remote

Compass Uol • Ituiutaba

Remote
BRL 260,000 - 420,000
Tech Lead |Remote
Tech Lead |Remote

Compass UOL • Brazil

Remote
BRL 350,000 - 550,000
Vale alimentação/refeição
Plano de saúde
Plano odontológico
+7
Tech Lead - Data Platform
Tech Lead - Data Platform

ROIT • Brazil

On-site
BRL 300,000 - 550,000
Engenheiro de Dados Sênior
Engenheiro de Dados Sênior

4DF Connect • São Paulo

On-site
BRL 260,000 - 360,000
Engenheiro de Dados Pleno
Engenheiro de Dados Pleno

Projeto 22 • São Paulo

Hybrid
BRL 120,000 - 180,000
Bônus anual (1 a 3 salários)
Assistência médica – dependentes
Assistência odontológica
+9
Engenheiro(A) De Dados & Ia Sênior
Engenheiro(A) De Dados & Ia Sênior

Maxxi • São Paulo

On-site
BRL 300,000 - 520,000
Engenheiro de dados
Engenheiro de dados

DBC Company • Brazil

On-site
BRL 120,000 - 170,000
Líder Técnico (Tech Lead) | Full Stack | Engenharia de Dados | IA
Líder Técnico (Tech Lead) | Full Stack | Engenharia de Dados | IA

Nava | Tech for Business • Brazil

On-site
BRL 180,000 - 300,000
Engenheiro(a) de Dados Sênior
Engenheiro(a) de Dados Sênior

YSSY • Barueri

On-site
BRL 180,000 - 280,000
Engenheiro de dados SR
Engenheiro de dados SR

Compass UOL • Brazil

Hybrid
BRL 180,000 - 260,000