Engenheiro de Dados Sr.

FMD Soluções Financeiras; Santo André; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A FMD Soluções Financeiras procura Engenheiro de Dados Sênior para estruturar a plataforma de dados com foco em Databricks. O profissional liderará decisões arquiteturais, desenhará pipelines escaláveis e garantirá qualidade e governança de dados para Analytics, BI e Ciência de Dados.

É desejável atuação em ambientes Lakehouse, conhecimento de LGPD e experiência com DataOps. A posição oferece espaço para liderança técnica e melhoria contínua da plataforma de dados da empresa.

Qualificações

• Requisitos mínimos: formação superior em computação ou áreas correlatas.
• Experiência avançada com pipelines de dados e governança de dados.
• Conhecimento de práticas DataOps e versionamento de código.

Responsabilidades

• Projetar, construir e manter pipelines de dados com Databricks e Spark.
• Ingestão batch e streaming com baixa latência e alta disponibilidade.
• Monitorar performance e otimizar custos de processamento de dados.
• Contribuir para catálogo de dados e governança de dados.

Conhecimentos

Apache Spark

Python

SQL

Airflow

Databricks Workflows

Git CI/CD

Formação académica

Graduação em Ciência da Computação

Ferramentas

Databricks

Descrição da oferta de emprego

Buscamos um(a) Engenheiro(a) de Dados Sênior para estruturar e evoluir a plataforma de dados da FMD Banco, com foco em Databricks como tecnologia central. O profissional será responsável por projetar arquiteturas robustas, construir pipelines escaláveis e garantir a qualidade e governança dos dados que alimentam times de Analytics, BI e Ciência de Dados. É uma posição de alta influência técnica, com espaço para liderar decisões arquiteturais e contribuir diretamente com a estratégia de dados da empresa.

Principais Responsabilidades

• Projetar, construir e manter pipelines de dados robustos, escaláveis e confiáveis utilizando Databricks e Apache Spark
• Implementar arquiteturas de ingestão em batch e streaming, garantindo baixa latência e alta disponibilidade
• Monitorar e otimizar a performance dos pipelines, reduzindo custos e tempo de processamento
• Adotar boas práticas de versionamento, testes e documentação de código (DataOps)

Modelagem e Arquitetura de Dados

• Definir e evoluir a arquitetura da plataforma de
• Modelar camadas de dados (Bronze, Silver, Gold) garantindo consistência e reusabilidade
• Avaliar e recomendar tecnologias, frameworks e padrões arquiteturais alinhados às necessidades do negócio
• Participar ativamente de decisões técnicas e revisões de arquitetura com stakeholders

Ingestão e Integração de Fontes

• Integrar fontes heterogêneas de dados: sistemas transacionais (bancos de dados relacionais e NoSQL), APIs externas, arquivos e eventos em tempo real
• Garantir a rastreabilidade, linhagem e qualidade dos dados desde a origem até o consumo
• Desenvolver conectores e integrações customizadas quando necessário

Governança e Qualidade de Dados

• Implementar e manter processos de qualidade de dados (validações, alertas, SLAs de disponibilidade)
• Contribuir para a construção do catálogo de dados e práticas de Data Governance
• Garantir conformidade com políticas de segurança, privacidade (LGPD) e boas práticas de gestão de dados sensíveis
• Definir e monitorar métricas de confiabilidade e observabilidade dos dados

Suporte a Analytics, BI e Ciência de Dados

• Apoiar times de Analytics e BI na construção de modelos dimensionais e camadas de consumo otimizadas
• Colaborar com times de Ciência de Dados na preparação de features, feature stores e datasets de treinamento
• Atuar como referência técnica em dados para times multidisciplinares
• Documentar soluções e disseminar boas práticas de engenharia de dados na organização

Requisitos e Qualificações

Formação

• Graduação em Ciência da Computação, Engenharia, Matemática, Estatística ou áreas correlatas (concluída ou em andamento)

Experiência

• Mínimo de 5 anos de experiência em Engenharia de Dados
• Experiência sólida com Databricks (Delta Lake, Unity Catalog, Workflows, MLflow)
• Histórico comprovado de projetos com arquitetura Lakehouse ou ambientes de grande volume de dados

Conhecimentos Técnicos Obrigatórios

• Apache Spark (PySpark e/ou Scala): transformações, otimizações e tuning
• Python avançado para engenharia de dados
• SQL avançado e modelagem de dados (Star Schema, Data Vault, ou similares)
• Orquestração de pipelines: Apache Airflow, Databricks Workflows ou similares
• Controle de versão com Git e práticas de CI/CD aplicadas a dados

Diferenciais (Desejável)

• Certificação Databricks (Databricks Certified Data Engineer Associate ou Professional)
• Experiência no setor de crédito
• Conhecimento em ferramentas de qualidade de dados (Great Expectations, dbt, Soda)
• Experiência com streaming de dados: Apache Kafka, Azure Event Hubs ou similares
• Familiaridade com dbt (data build tool) para transformações analíticas
• Conhecimento em práticas de DataOps e observabilidade de dados (Monte Carlo, Atlan, etc.)
• Noções de Machine Learning e feature engineering
• Visão sistêmica e capacidade de traduzir necessidades de negócio em soluções técnicas de dados
• Autonomia e senioridade para liderar decisões arquiteturais sem supervisão constante
• Comunicação clara com perfis técnicos e não técnicos
• Mentalidade orientada a produto: dados tratados como ativo estratégico da empresa
• Colaboração com times multidisciplinares e disposição para mentoriar profissionais júnior e pleno
• Comprometimento com qualidade, rastreabilidade e confiabilidade dos dados entregues