Engenheiro de Dados PL/SR (Consultoria)

WeCogno; Florianópolis; Presencial; BRL 180 000 - 280 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Remoto

Plano de saúde

Conexa Saúde

Wellhub

Open English

Auxílio Home Office

Day off aniversário

22 dias úteis recesso

Contrato PJ

Resumo da oferta

WeCogno busca um consultor de engenharia de dados para atuar com Databricks, Delta Lakehouse e governança de dados. O candidato ideal tem forte experiência em SQL, ETL/ELT e arquitetura de dados escalável, com atuação em projetos que envolvem Lakehouse e modelagem de dados analítica.

A posição oferece flexibilidade de trabalho remoto, com foco em entrega de pipelines robustos, governança de dados e integração de várias fontes. Experiência com AWS e plataformas de warehouses é desejável.

Qualificações

• Experiência sólida em Databricks e arquitetura Delta Lakehouse.
• Forte conhecimento em SQL e otimização de queries para processamento distribuído.
• Experiência com ETL/ELT e arquitetura de dados escalável.
• Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC).

Responsabilidades

• Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks.
• Identificar e implementar melhores práticas para cargas de grande volume de dados, garantindo performance e disponibilidade das informações.
• Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas.
• Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança.
• Desenhar e implementar arquiteturas de Data Lakehouse, aplicando o conceito Medalhão (Bronze, Silver, Gold).
• Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake).
• Explorar boas práticas em ambientes de Big Data, especialmente no contexto Databricks e Delta Lake.
• Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas.
• Garantir a governança de dados, incluindo controle de acessos e versionamento.

Conhecimentos

Databricks

SQL

ETL/ELT

Data Lakehouse

Data modeling

Big Data

Ferramentas

Databricks

Delta Lake

Unity Catalog

AWS

Descrição da oferta de emprego

• Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;


• Identificar e implementar melhores práticas para cargas de grande volume de dados, garantindo performance e disponibilidade das informações;


• Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;


• Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança;


• Desenhar e implementar arquiteturas de Data Lakehouse, aplicando o conceito Medalhão (Bronze, Silver, Gold);


• Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake);


• Explorar boas práticas em ambientes de Big Data, especialmente no contexto Databricks e Delta Lake;


• Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;


• Garantir a governança de dados, incluindo controle de acessos e versionamento;

Principais Responsabilidades

• Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;


• Identificar e implementar melhores práticas para cargas de grande volume de dados, garantindo performance e disponibilidade das informações;


• Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;


• Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança;


• Desenhar e implementar arquiteturas de Data Lakehouse, aplicando o conceito Medalhão (Bronze, Silver, Gold);


• Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake);


• Explorar boas práticas em ambientes de Big Data, especialmente no contexto Databricks e Delta Lake;


• Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;


• Garantir a governança de dados, incluindo controle de acessos e versionamento;

Requisitos

Buscamos alguém com:

• Experiência sólida em Databricks e arquitetura Delta Lakehouse;


• Forte conhecimento em SQL e otimização de queries para processamento distribuído;


• Experiência com ETL/ELT e arquitetura de dados escalável;


• Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC);


• Experiência em modelagem de dados analítica (Star-Schema, Snowflake);


• Experiência com cargas em Databricks, incluindo refatoração de pipelines e tuning de performance;

Diferenciais

• Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;


• Conhecimento em Data Warehouses modernos (Databricks, Snowflake, BigQuery, Redshift);


• Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR;


• Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados;

Benefícios

O Que Oferecemos

• Flexibilidade! Nosso time é remoto, você pode trabalhar onde quiser;


• Plano de saúde e odontológico Bradesco;


• Conexa Saúde & Psicologia Viva;


• Wellhub (antiga Gympass);


• Parceria com a Open English;


• Caju: Auxílio Home Office;


• Day off de aniversário;


• 22 dias úteis/ano de recesso remunerado;


• Modelo de contratação PJ (valor fixo mensal).