Pessoa Engenheira de Dados Sênior

Extractta; Brazil; On-site; BRL 180,000 - 320,000; Full time

Benefits offered by this job

Vale alimentação/refeição

Convênio Sesi/Sesc

Educação/certificações apoiadas

Oportunidade de crescimento

Job summary

Extractta está recrutando Engenheiro(a) de Dados Sênior para atuar na construção, evolução e sustentação de soluções de dados modernas em ambientes de alta demanda. O profissional trabalhará com Databricks e/ou Snowflake, AWS e arquitetura Lakehouse, além de governança, qualidade e escalabilidade de dados.

Será responsável por migração de plataformas tradicionais para Lakehouse, implementando Medallion, Iceberg e Delta Lake, e liderando pipelines ETL/ELT com Airflow.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente Sênior.
• Domínio em Databricks ou Snowflake.
• Conhecimento avançado em Apache Spark e PySpark.
• Experiência com SQL avançado.
• Proatividade em AWS (S3, Glue, IAM, Athena).
• Experiência com Airflow para orquestração de pipelines.
• Conhecimento de Arquitetura Medallion (Bronze, Silver, Gold).
• Conhecimento de Iceberg e Delta Lake paraLakehouse.
• Experiência em migração para Lakehouse e modernização de plataformas de dados.

Responsibilities

• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) com Databricks ou Snowflake.
• Conduzir migrações para arquitetura Lakehouse.
• Projetar e evoluir soluções Medallion (Bronze/Silver/Gold).
• Desenvolver soluções de dados em AWS e gerenciar pipelines com Airflow.
• Trabalhar com Iceberg e Delta Lake para gerenciamento de tabelas e dados.
• Implementar controles de qualidade, governança e rastreabilidade de dados.
• Otimizar performance, escalabilidade e confiabilidade de pipelines e consultas.
• Colaborar com times de Engenharia de Dados, Analytics e Arquitetura.

Skills

Databricks

Snowflake

Apache Spark

PySpark

SQL

AWS

Apache Airflow

Medallion Architecture

Iceberg

Delta Lake

Git

CI/CD

Data Modeling

Data Lake / Lakehouse

Tools

Databricks Unity Catalog

Databricks Workflows/Jobs

Terraform

Great Expectations

Soda

Job description

• Conhecimento de Delta Lake;

Resumo da vaga:

Estamos em busca de uma pessoa Engenheiro(a) de Dados Sênior com sólida experiência em Databricks ou Snowflake, AWS e arquiteturas modernas de dados, para atuar na construção, evolução, migração e sustentação de soluções de dados em ambientes de alta volumetria e complexidade.

Buscamos um profissional com forte conhecimento técnico, visão de arquitetura e experiência em migração de ambientes tradicionais para arquiteturas Lakehouse, utilizando Databricks e/ou Snowflake.

É fundamental possuir experiência com Arquitetura Medallion (Bronze, Silver e Gold), Apache Airflow, Apache Iceberg e práticas de qualidade, governança, performance e escalabilidade de dados.

O profissional atuará em conjunto com times multidisciplinares, contribuindo para a modernização da plataforma de dados, desenvolvimento de pipelines e disponibilização de informações confiáveis para consumo analítico e demais soluções de negócio.

Responsabilidades e atribuições:

• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks ou Snowflake, conforme a plataforma adotada;
• Atuar em projetos de migração e modernização de plataformas de dados para arquitetura Lakehouse, utilizando Databricks e/ou Snowflake;
• Projetar, implementar e evoluir soluções baseadas em Arquitetura Medallion (Bronze, Silver e Gold);
• Desenvolver e sustentar soluções de Engenharia de Dados em ambientes AWS;
• Desenvolver, configurar e monitorar fluxos de orquestração utilizando Apache Airflow;
• Trabalhar com formatos modernos de armazenamento e gerenciamento de tabelas, como Apache Iceberg e Delta Lake;
• Implementar processos de ingestão, transformação, processamento e disponibilização de dados estruturados e semiestruturados;
• Desenvolver e aplicar regras de qualidade de dados, incluindo validação, consistência, completude, integridade e rastreabilidade;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e otimizar consultas utilizando SQL avançado;
• Apoiar a definição e evolução de arquiteturas Data Lake, Lakehouse e Data Warehouse;
• Aplicar boas práticas de governança, segurança, catalogação e controle de acesso aos dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Implementar processos de monitoramento, observabilidade e tratamento de falhas;
• Trabalhar com versionamento de código e práticas de CI/CD;
• Participar de definições técnicas e arquiteturais relacionadas à modernização da plataforma de dados;
• Atuar de forma colaborativa com os times de Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente outros profissionais do time, promovendo boas práticas.
• Atuar em projetos de migração e modernização de plataformas de dados para arquitetura Lakehouse, utilizando Databricks e/ou Snowflake;
• Projetar, implementar e evoluir soluções baseadas em Arquitetura Medallion (Bronze, Silver e Gold);
• Desenvolver e sustentar soluções de Engenharia de Dados em ambientes AWS;
• Desenvolver, configurar e monitorar fluxos de orquestração utilizando Apache Airflow;
• Trabalhar com formatos modernos de armazenamento e gerenciamento de tabelas, como Apache Iceberg e Delta Lake;
• Implementar processos de ingestão, transformação, processamento e disponibilização de dados estruturados e semiestruturados;
• Desenvolver e aplicar regras de qualidade de dados, incluindo validação, consistência, completude, integridade e rastreabilidade;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e otimizar consultas utilizando SQL avançado;
• Apoiar a definição e evolução de arquiteturas Data Lake, Lakehouse e Data Warehouse;
• Aplicar boas práticas de governança, segurança, catalogação e controle de acesso aos dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Implementar processos de monitoramento, observabilidade e tratamento de falhas;
• Trabalhar com versionamento de código e práticas de CI/CD;
• Participar de definições técnicas e arquiteturais relacionadas à modernização da plataforma de dados;
• Atuar de forma colaborativa com os times de Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente outros profissionais do time, promovendo boas práticas.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior;
• Experiência comprovada com Databricks ou Snowflake;
• Experiência com Apache Spark e PySpark, especialmente em ambientes de processamento distribuído;
• Experiência avançada em SQL;
• Experiência com AWS, especialmente serviços relacionados à Engenharia de Dados, como S3, Glue, IAM e Athena;
• Experiência com Apache Airflow para orquestração, agendamento e monitoramento de pipelines;
• Experiência prática com Arquitetura Medallion (Bronze, Silver e Gold);
• Conhecimento sólido em Apache Iceberg e formatos modernos de tabelas para ambientes Lakehouse;
• Experiência comprovada em projetos de migração para arquitetura Lakehouse utilizando Databricks e/ou Snowflake;
• Experiência na construção, manutenção e otimização de pipelines ETL/ELT;
• Conhecimento em arquiteturas Data Lake, Lakehouse e Data Warehouse;
• Experiência em qualidade de dados, incluindo validações, controles, monitoramento e tratamento de inconsistências;
• Experiência com processamento de grandes volumes de dados;
• Conhecimento em modelagem e transformação de dados;
• Experiência com Git e práticas de CI/CD;
• Conhecimento de boas práticas de segurança e governança de dados;
• Capacidade de análise de performance e troubleshooting de pipelines;
• Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas.

Desejáveis:

• Experiência com Databricks Unity Catalog;
• Conhecimento de Databricks Workflows/Jobs;
• Conhecimento de Delta Lake;
• Experiência com Snowflake, incluindo otimização de workloads e recursos avançados da plataforma;
• Conhecimento aprofundado em serviços AWS, como AWS Glue, Amazon EMR, Amazon Athena, AWS Lake Formation e Amazon Redshift;
• Experiência com Amazon MWAA (Managed Workflows for Apache Airflow);
• Conhecimento em ferramentas de qualidade de dados, como Great Expectations e Soda;
• Experiência com Python aplicado à Engenharia de Dados;
• Conhecimento em ferramentas de orquestração complementares, como Azure Data Factory;
• Experiência com infraestrutura como código, utilizando Terraform;
• Conhecimento em automação, observabilidade e monitoramento de plataformas de dados;
• Certificações relacionadas a Databricks, Snowflake ou AWS;
• Experiência em ambientes de alta volumetria, sistemas críticos e projetos de modernização de plataformas de dados.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.