Engenheiro de Dados Sênior

Premiersoft; São Paulo; Presencial; BRL 180 000 - 280 000; Tempo integral

Resumo da oferta

A Premiersoft contrata Engenheiro de Dados Sênior para liderar a evolução de pipelines de dados em iniciativas estratégicas de IA no setor financeiro. Você assegurará que os dados usados por modelos de IA sejam confiáveis, organizados, rastreáveis e prontos para gerar resultados de alta qualidade.

Você desenvolverá datasets que apoiarão treinamento, avaliação e evolução contínua dessas soluções, construindo pipelines, governança de dados e práticas de segurança, com colaboração entre equipes

Responsabilidades

• Desenvolver e evoluir pipelines de ingestão, transformação e disponibilização de dados conversacionais.
• Implementar ETL/ELT em larga escala com qualidade, rastreabilidade e governança de dados.
• Construir soluções em Data Lake, Lakehouse e Data Warehouse.
• Processar grandes volumes com Apache Spark e Databricks.
• Integrar informações de APIs, bancos de dados e fontes internas.
• Preparar datasets para IA, Analytics e Produto.
• Limpar, deduplicar, normalizar e anonimizar dados.
• Garantir versionamento, documentação, linhagem e monitoramento de pipelines.
• Automatizar validações e controles de qualidade dos dados.
• Colaborar com equipes multidisciplinares para iniciativas de IA.
• Apoiar boas práticas de LGPD e Data Governance.

Descrição da oferta de emprego

Na Premiersoft, você atuará como Engenheiro de Dados Sênior em um projeto estratégico voltado à evolução de iniciativas de Inteligência Artificial para uma das maiores empresas de soluções em dados e inteligência do mercado financeiro. Seu desafio será garantir que os dados utilizados por modelos de IA e LLMs sejam confiáveis, organizados, rastreáveis e preparados para gerar resultados de alta qualidade. Mais do que construir pipelines, você terá papel fundamental na estruturação de datasets que apoiarão o treinamento, avaliação e evolução contínua dessas soluções.

Responsabilidades

• Desenvolver e evoluir pipelines de ingestão, transformação e disponibilização de dados conversacionais.
• Implementar processos de ETL/ELT em larga escala, garantindo qualidade, rastreabilidade e governança dos dados.
• Construir soluções em ambientes de Data Lake, Lakehouse e Data Warehouse.
• Processar grandes volumes de dados utilizando Apache Spark e Databricks.
• Integrar informações provenientes de APIs, bancos de dados, sistemas internos e outras fontes corporativas.
• Preparar, organizar e enriquecer datasets destinados a projetos de IA, Analytics e Produto.
• Implementar processos de limpeza, deduplicação, normalização e anonimização de dados.
• Garantir versionamento, documentação, linhagem e monitoramento dos pipelines de dados.
• Automatizar validações e controles de qualidade, assegurando a confiabilidade dos dados.
• Colaborar com equipes multidisciplinares para atender às necessidades das iniciativas de Inteligência Artificial.
• Apoiar a aplicação de boas práticas de segurança, LGPD e Data Governance.