Engenheiro de Dados Sr (Databricks)

TO Brasil; São Paulo; Híbrido; BRL 180 000 - 240 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Trabalho híbrido próximo a Marginal Pi

Ambiente colaborativo

Resumo da oferta

TO Brasil busca profissional com sólida experiência em engenharia de dados, Big Data, Data Lake e Data Warehouse para atuar com Databricks em projetos de implementação, desenvolvimento e modernização de ambientes de dados.

O candidato dominará Medallion, Spark/PySpark, Python/SQL, pipelines ETL/ELT, Lakehouse, Delta Lake e Delta Tables, além de Workflows, Jobs e práticas de versionamento de código. Trabalho híbrido, com foco em integração de múltiplas fontes e colaboração com áreas de negócio.

Qualificações

• Ensino Superior completo em TI e afins.
• Experiência sólida em projetos de engenharia de dados, Big Data, Data Lake e Data Warehouse.
• Experiência comprovada com a plataforma Databricks em projetos de implementação, desenvolvimento, sustentação ou modernização de ambientes de dados.
• Experiência com arquitetura Medallion, utilizando as camadas Bronze, Silver e Gold.
• Domínio de Apache Spark e PySpark para processamento distribuído de grandes volumes de dados.
• Conhecimento avançado em Python e SQL.
• Experiência no desenvolvimento de pipelines de dados ETL e ELT.
• Conhecimento sólido da arquitetura Lakehouse.
• Experiência com Delta Lake e Delta Tables.
• Conhecimento em ingestão, transformação, processamento e disponibilização de dados.
• Experiência com Databricks Workflows e Jobs para orquestração de pipelines.
• Conhecimento em otimização e tuning de workloads Spark.
• Experiência com integração de múltiplas fontes de dados, incluindo bancos relacionais, APIs, arquivos e sistemas corporativos.
• Conhecimento em modelagem de dados relacional, dimensional e analítica.
• Experiência com Git e práticas de versionamento de código.
• Conhecimento de processos de CI/CD aplicados a pipelines e soluções de dados.
• Experiência com metodologias ágeis.
• Capacidade de levantamento de requisitos e tradução das necessidades de negócio em soluções técnicas.
• Boa comunicação e capacidade de interação com equipes técnicas, áreas de negócio e clientes.

Responsabilidades

Conhecimentos

Databricks

Big Data

Data Lake

Data Warehouse

Medallion

Spark

PySpark

Python

SQL

ETL/ELT

Lakehouse

Delta Lake

Delta Tables

Ingestão

Transformação

Processamento

Workflows

Jobs

Spark Tuning

Integração Dados

Modelagem Relacional

Modelagem Dimensional

Analytical Modeling

Git

Versionamento

CI/CD

Ágeis

Levantamento de Requisitos

Comunicação

Formação académica

Superior Completo

Ferramentas

Git

CI/CD

Descrição da oferta de emprego

• Experiência sólida em projetos de engenharia de dados, Big Data, Data Lake e Data Warehouse.
• Experiência comprovada com a plataforma Databricks em projetos de implementação, desenvolvimento, sustentação ou modernização de ambientes de dados.
• Experiência com arquitetura Medallion, utilizando as camadas Bronze, Silver e Gold.
• Domínio de Apache Spark e PySpark para processamento distribuído de grandes volumes de dados.
• Conhecimento avançado em Python e SQL.
• Experiência no desenvolvimento de pipelines de dados ETL e ELT.
• Conhecimento sólido da arquitetura Lakehouse.
• Experiência com Delta Lake e Delta Tables.
• Conhecimento em ingestão, transformação, processamento e disponibilização de dados.
• Experiência com Databricks Workflows e Jobs para orquestração de pipelines.
• Conhecimento em otimização e tuning de workloads Spark.
• Experiência com integração de múltiplas fontes de dados, incluindo bancos relacionais, APIs, arquivos e sistemas corporativos.
• Conhecimento em modelagem de dados relacional, dimensional e analítica.
• Experiência com Git e práticas de versionamento de código.
• Conhecimento de processos de CI/CD aplicados a pipelines e soluções de dados.
• Experiência com metodologias ágeis.
• Capacidade de levantamento de requisitos e tradução das necessidades de negócio em soluções técnicas.
• Boa comunicação e capacidade de interação com equipes técnicas, áreas de negócio e clientes.

Descrição

Requisitos Obrigatórios

• Ensino Superior completo em TI e afins;
• Experiência sólida em projetos de engenharia de dados, Big Data, Data Lake e Data Warehouse.
• Experiência comprovada com a plataforma Databricks em projetos de implementação, desenvolvimento, sustentação ou modernização de ambientes de dados.
• Experiência com arquitetura Medallion, utilizando as camadas Bronze, Silver e Gold.
• Domínio de Apache Spark e PySpark para processamento distribuído de grandes volumes de dados.
• Conhecimento avançado em Python e SQL.
• Experiência no desenvolvimento de pipelines de dados ETL e ELT.
• Conhecimento sólido da arquitetura Lakehouse.
• Experiência com Delta Lake e Delta Tables.
• Conhecimento em ingestão, transformação, processamento e disponibilização de dados.
• Experiência com Databricks Workflows e Jobs para orquestração de pipelines.
• Conhecimento em otimização e tuning de workloads Spark.
• Experiência com integração de múltiplas fontes de dados, incluindo bancos relacionais, APIs, arquivos e sistemas corporativos.
• Conhecimento em modelagem de dados relacional, dimensional e analítica.
• Experiência com Git e práticas de versionamento de código.
• Conhecimento de processos de CI/CD aplicados a pipelines e soluções de dados.
• Experiência com metodologias ágeis.
• Capacidade de levantamento de requisitos e tradução das necessidades de negócio em soluções técnicas.
• Boa comunicação e capacidade de interação com equipes técnicas, áreas de negócio e clientes.

Outros Requisitos

• O candidato deve ter disponibilidade em trabalhar híbrido, 2x no cliente, localizado próximo a Marginal Pinheiros/SP. ***