Engenheiro(a) de Dados

Jump; Brasil; Remote; BRL 180,000 - 260,000; Full time

Job summary

A Jump busca um engenheiro de dados sênior para liderar a migração de cargas e estruturas de dados do Teradata para o Databricks, assegurando qualidade, desempenho, escalabilidade e conformidade com padrões de engenharia.

Você projetará pipelines com Databricks, Spark SQL e Delta Lake, converterá consultas e otimizações, e definirá estratégias de carga, recuperação de falhas e observabilidade. Liderança técnica e revisão de código serão parte do dia a dia.

Qualifications

• Experiência sólida em engenharia de dados e construção de plataformas analíticas.
• Domínio avançado de SQL e otimização de consultas em grandes volumes.
• Experiência avançada com Apache Spark, PySpark e Spark SQL.
• Experiência prática com Databricks e Delta Lake.
• Conhecimento de arquitetura Lakehouse e padrões de organização de dados em camadas.
• Experiência com pipelines batch e incrementais.

Responsibilities

• Avaliar processos, workloads, tabelas e dependências do ambiente Teradata.
• Definir, em conjunto com a arquitetura, a estratégia técnica de migração para cada domínio ou conjunto de cargas.
• Projetar e desenvolver pipelines complexos utilizando Databricks, Spark SQL, PySpark e Delta Lake.
• Converter e otimizar consultas, stored procedures, macros e transformações oriundas do Teradata.
• Redesenhar processos quando a simples conversão técnica não for adequada à arquitetura distribuída.
• Definir estratégias de carga completa, incremental, reprocessamento, tratamento de históricos e recuperação de falhas.
• Apoiar decisões relacionadas à implantação, estabilização e desativação gradual de componentes legados.
• Interagir com áreas técnicas, funcionais, de segurança, governança e operação.

Skills

SQL

Apache Spark

PySpark

Databricks

Delta Lake

Data engineering

Data quality

CI/CD

Spark SQL

Code review

Tools

Teradata

Databricks

Delta Lake

Spark SQL

Job description

Senioridade: Sênior

Breve Resumo do Projeto: Liderar tecnicamente a migração de cargas e estruturas de dados do Teradata para o Databricks, garantindo qualidade, desempenho, escalabilidade, segurança e aderência aos padrões de engenharia definidos para a nova plataforma.

Descrição das Principais Atividades e Reponsabilidades:

• Avaliar processos, workloads, tabelas e dependências do ambiente Teradata.
• Definir, em conjunto com a arquitetura, a estratégia técnica de migração para cada domínio ou conjunto de cargas.
• Projetar e desenvolver pipelines complexos utilizando Databricks, Spark SQL, PySpark e Delta Lake.
• Converter e otimizar consultas, stored procedures, macros e transformações oriundas do Teradata.
• Redesenhar processos quando a simples conversão técnica não for adequada à arquitetura distribuída.
• Definir estratégias de carga completa, incremental, reprocessamento, tratamento de históricos e recuperação de falhas.
• Atuar na otimização de desempenho, considerando particionamento, organização dos dados, paralelismo, consumo de recursos e custo computacional.
• Definir e implementar mecanismos de reconciliação entre origem e destino.
• Garantir que regras de negócio e resultados analíticos sejam preservados durante a migração.
• Estabelecer padrões de desenvolvimento, testes, observabilidade, tratamento de erros e documentação.
• Realizar revisões técnicas e apoiar o desenvolvimento dos profissionais plenos.
• Diagnosticar problemas complexos de dados, processamento e desempenho.
• Apoiar decisões relacionadas à implantação, estabilização e desativação gradual de componentes legados.
• Interagir com áreas técnicas, funcionais, de segurança, governança e operação.

Descrição Perfil Técnico:

• Experiência sólida em engenharia de dados e construção de plataformas analíticas.
• Domínio avançado de SQL e experiência com otimização de consultas em grandes volumes.
• Experiência avançada com Apache Spark, PySpark e Spark SQL.
• Experiência prática com Databricks e Delta Lake.
• Conhecimento de arquitetura Lakehouse e padrões de organização de dados em camadas.
• Experiência com pipelines batch e incrementais.
• Conhecimento de modelagem relacional, dimensional e analítica.
• Experiência com qualidade de dados, observabilidade, linhagem e tratamento de falhas.
• Conhecimento de práticas de CI/CD, versionamento e automação aplicadas a engenharia de dados.
• Capacidade de analisar sistemas legados, dependências técnicas e impactos de migração.
• Experiência em revisão de código e liderança técnica.

Diferenciais:

• Experiência aprofundada com Teradata, incluindo otimização, distribuição de dados e análise de planos de execução.
• Conhecimento de Unity Catalog, Databricks Workflows, Delta Live Tables ou Lakeflow.
• Experiência com governança, segurança e controle de acesso em ambientes de dados.
• Conhecimento de padrões de integração com ferramentas de BI, analytics e ciência de dados.
• Experiência em programas de migração de dados de larga escala.
• Vivência em instituições financeiras ou ambientes regulados e de alta criticidade.
• Conhecimento de FinOps aplicado a plataformas de dados.

Competências Comportamentais:

• Autonomia e senso de responsabilidade sobre as entregas.
• Capacidade de liderança e orientação técnica.
• Pensamento crítico para questionar conversões literais e propor soluções mais eficientes.
• Comunicação clara com públicos técnicos e não técnicos.
• Facilidade para atuar em ambientes complexos, com múltiplas dependências.
• Capacidade de antecipar riscos e conduzir decisões técnicas.

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência.Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.