Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade.
O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança.
Principais responsabilidades:
- Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia.
- Construir e sustentar pipelines em PySpark e SQL no Databricks.
- Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento.
- Integrar dados aos serviços de IA e ao Databricks Genie.
- Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade.
- Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas.
- Desenvolver frameworks reutilizáveis e validações de qualidade.
- Aplicar práticas de versionamento, CI/CD, testes e code review.
- Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais.
- Documentar pipelines e decisões técnicas.
- Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas.
- Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados.
Requisitos Técnicos:
- Experiência sólida em engenharia de dados e atuação como referência técnica de squad.
- Databricks, PySpark e Spark SQL em ambiente produtivo.
- Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento.
- Integração de dados via APIs e serviços, com segurança e observabilidade.
- Modelagem de dados analíticos nas camadas silver e gold.
- Git, CI/CD, code review, testes e validações de qualidade.
- Experiência em times ágeis de produto e entregas incrementais.
- Boa comunicação com áreas técnicas e de negócio.
- Formação em TI ou áreas correlatas.
Diferenciais:
- Databricks Genie e padrões corporativos de uso de IA generativa.
- Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso.
- Oracle com replicação via Golden Gate/CDC.
- Extração de dados do SAP via Open Hub.
- Gestão de credenciais com identidades de serviço e cofres de segredos.
- Documentação técnica no Confluence.