Engenheiro(a) de Dados Sênior Databricks

Extractta; Brasil; Sur place; BRL 220 000 - 360 000; Plein temps

Avantages offerts par ce poste

Vale alimentação ou refeição

Convênio SESI/Sesc

Résumé du poste

A Extractta está recrutando um Engenheiro(a) de Dados Sênior no Brasil, com sólido domínio em Databricks, Spark e PySpark, para liderar a construção, evolução e sustentação de soluções de dados em ambientes de alta volumetria. O profissional atuará com times multidisciplinares para entregar pipelines confiáveis e pipelines de dados analíticos.

Espera-se experiência em Data Lake/Lakehouse, modelagem de dados, SQL avançado e práticas de CI/CD, com foco em qualidade, performance e escalabilidade.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior.
• Experiência comprovada com Databricks.
• Domínio de Apache Spark e PySpark.
• Experiência avançada com SQL.
• Conhecimento em Delta Lake.
• Experiência na construção e manutenção de pipelines ETL/ELT.
• Conhecimento de Data Lake, Lakehouse e/ou Data Warehouse.
• Experiência com processamento de grandes volumes de dados.
• Conhecimento em modelagem e transformação de dados.
• Experiência com Git e práticas de CI/CD.
• Boas práticas de segurança, governança e qualidade de dados.
• Capacidade de análise de performance e troubleshooting de pipelines.

Responsabilités

• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks.
• Construir soluções de processamento de dados com Spark e PySpark.
• Garantir performance, escalabilidade e confiabilidade em grandes volumes de dados.
• Gerenciar ingestão, transformação e disponibilização de dados.
• Contribuir para arquiteturas Data Lake/Lakehouse.
• Otimizar consultas SQL e melhorar tempos de processamento.
• Aplicar governança e qualidade de dados, com monitoramento de falhas.
• Participar de cerimônias ágeis e colaborar com equipes data/analytics/arquitetura.

Connaissances

Engenheiro de Dados

Databricks

Apache Spark

PySpark

SQL

Delta Lake

ETL/ELT pipelines

Data Lake/Lakehouse

Git/CI-CD

Performance / Troubleshooting

Outils

Databricks

Apache Spark

PySpark

Delta Lake

Git

Description du poste

Resumo da vaga:

Estamos em busca de uma pessoa Engenheiro(a) de Dados Sênior com sólida experiência em Databricks, para atuar na construção, evolução e sustentação de soluções modernas de dados em ambientes de alta volumetria e complexidade.

Buscamos uma pessoa com forte conhecimento técnico, visão de arquitetura e preocupação com qualidade, performance e escalabilidade. O profissional atuará em conjunto com times multidisciplinares na criação de pipelines, processamento e disponibilização de dados para consumo analítico e demais soluções de negócio.

Responsabilidades e atribuições:

• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks;
• Construir soluções de processamento de dados utilizando Apache Spark e PySpark;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e manter processos de ingestão, transformação e disponibilização de dados;
• Atuar na construção e evolução de arquiteturas Data Lake e Lakehouse;
• Desenvolver e otimizar consultas utilizando SQL;
• Implementar boas práticas de qualidade, governança e segurança de dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Apoiar definições técnicas e arquiteturais relacionadas à plataforma de dados;
• Implementar processos de monitoramento e tratamento de falhas nos pipelines;
• Trabalhar com versionamento de código e processos de CI/CD;
• Participar de cerimônias ágeis e atuar de forma colaborativa com Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente profissionais do time, contribuindo com boas práticas e evolução das soluções;
• Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior;
• Experiência comprovada com Databricks;
• Domínio de Apache Spark e PySpark;
• Experiência avançada com SQL;
• Conhecimento em Delta Lake;
• Experiência na construção e manutenção de pipelines ETL/ELT;
• Conhecimento de arquiteturas Data Lake, Lakehouse e/ou Data Warehouse;
• Experiência com processamento de grandes volumes de dados;
• Conhecimento em modelagem e transformação de dados;
• Experiência com Git e práticas de CI/CD;
• Conhecimento de boas práticas de segurança, governança e qualidade de dados;
• Capacidade de análise de performance e troubleshooting de pipelines;

Desejáveis:

• Experiência com Databricks Unity Catalog;
• Conhecimento de Databricks Workflows/Jobs;
• Experiência com Medallion Architecture (Bronze, Silver e Gold);
• Conhecimento em Python para Engenharia de Dados;
• Experiência com serviços de dados em AWS, Azure ou GCP;
• Conhecimento em ferramentas de orquestração, como Apache Airflow ou Azure Data Factory;
• Experiência com infraestrutura como código, como Terraform;
• Certificações relacionadas ao Databricks ou plataformas Cloud;
• Experiência em ambientes de alta volumetria e soluções críticas de dados.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.