Engenheiro(a) de Dados | Databricks

Jump

Brasil

Hybrid

BRL 180,000 - 280,000

Full time

6 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Power BI

Job summary

A Jump procura um profissional Sênior para atuar na evolução da plataforma de dados, acelerando ingestão, organização, governança e disponibilização de dados no Databricks, com Unity Catalog como camada de governança.

Você projetará pipelines com PySpark e SQL, integrando dados de fontes variadas, estruturandoDatas Bronze, Silver e Gold, e disponibilizando datasets via Unity Catalog; apoiará migração de fontes para a plataforma.

Qualifications

  • Experiência com pipelines de ingestão de dados.
  • Conhecimento de Databricks e Unity Catalog.
  • Capacidade de trabalhar com dados em camadas Bronze, Silver e Gold.

Responsibilities

  • Projetar, desenvolver e evoluir pipelines de ingestão para Databricks.
  • Integrar dados de bancos relacionais, APIs, SharePoint, arquivos e Data Lakes.
  • Desenvolver pipelines com PySpark, SQL e Spark nativo.
  • Estruturar dados em Bronze, Silver e Gold com Unity Catalog.
  • Configurar permissões e políticas de acesso no Unity Catalog.
  • Otimizar performance e custo de workloads no Databricks.
  • Automatizar deployment e execução de pipelines.
  • Trabalhar com Arquitetura, Segurança e Governança de Dados.

Skills

SQL
Python
Spark
Governança de dados

Tools

Databricks
Azure Data Factory
Unity Catalog
Power BI

Job description

Senioridade

Sênior

Breve Resumo do Projeto

Atuar nas frentes estruturantes da plataforma de dados, acelerando a ingestão, organização, governança e disponibilização dos dados no Databricks, garantindo que as informações estejam disponíveis de forma padronizada, segura e escalável para os diferentes times consumidores. O profissional terá papel importante na evolução da plataforma de dados, apoiando a consolidação do Databricks como ambiente central de processamento e disponibilização de dados, utilizando o Unity Catalog como camada de governança e o Microsoft Fabric como ferramenta complementar nos fluxos de integração e ingestão.

Descrição das Principais Atividades e Reponsabilidades
  • Projetar, desenvolver e evoluir pipelines de ingestão de dados para o Databricks.
  • Atuar na integração de dados provenientes de bancos relacionais, APIs, Sharepoints, arquivos, sistemas corporativos, Data Lakes e outras plataformas.
  • Desenvolver pipelines utilizando recursos nativos do Databricks (+Asset Bundles) e Azure Data Factory.
  • Apoiar a migração e onboarding de novas fontes de dados para a plataforma.
  • Estruturar dados seguindo arquiteturas em camadas, como Bronze, Silver e Gold.
  • Estruturar e disponibilizar datasets, schemas e tabelas por meio do Unity Catalog.
  • Definir e aplicar padrões de governança, organização, nomenclatura e acesso aos dados.
  • Configurar permissões, grupos e políticas de acesso no Unity Catalog.
  • Apoiar iniciativas de lineage, rastreabilidade e governança de dados.
  • Desenvolver processos de transformação utilizando SQL, PySpark e Spark.
  • Implementar mecanismos de qualidade, validação e monitoramento dos pipelines.
  • Trabalhar na otimização de performance e custo dos workloads no Databricks.
  • Apoiar a construção de frameworks reutilizáveis de ingestão.
  • Automatizar processos de deployment e execução dos pipelines.
  • Atuar em conjunto com times de Arquitetura, Engenharia de Dados, Segurança, Governança e áreas consumidoras.
Diferenciais
  • Atuação com Power BI.
Informações da Empresa

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência.Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro(a) Sênior de Dados | Databricks
Engenheiro(a) Sênior de Dados | Databricks

Candidata ai • Brazil

On-site
BRL 260,000 - 420,000
Engenheiro(a) de Dados
Engenheiro(a) de Dados

Jump • Brazil

Remote
BRL 180,000 - 260,000
Arquiteto Databricks
Arquiteto Databricks

Jump • São Paulo

On-site
BRL 180,000 - 320,000
Engenheiro(a) de Dados | DataSecOps
Engenheiro(a) de Dados | DataSecOps

Jump • São Paulo

On-site
BRL 201,000 - 312,000
Engenheiro(a) DevOps / DataOps Databricks
Engenheiro(a) DevOps / DataOps Databricks

Jump • Brazil

Remote
BRL 180,000 - 300,000
Engenheiro(a) de Dados Sênior (Databricks)
Engenheiro(a) de Dados Sênior (Databricks)

Serasa Experian • São Paulo

On-site
BRL 200,000 - 320,000
Engenheiro de Dados Databricks (Home Office/Brasil)
Engenheiro de Dados Databricks (Home Office/Brasil)

Programmers • Brazil

Hybrid
BRL 180,000 - 240,000
Política de Home Office
Plano de saúde nacional
Plano odontológico
+8
Engenheiro(a) Sênior de Dados | Databricks Cooperado
Engenheiro(a) Sênior de Dados | Databricks Cooperado

Regazzo • Brazil

Remote
BRL 350,000 - 550,000
Engenheiro(a) de Dados Sênior (Databricks)
Engenheiro(a) de Dados Sênior (Databricks)

Experian • São Paulo

On-site
BRL 300,000 - 420,000
Engenheiro(a) de Dados Sênior
Engenheiro(a) de Dados Sênior

Panvel Farmácias • Eldorado do Sul

Hybrid
BRL 180,000 - 280,000
Refeitório no local
Plano de Saúde & Odonto
Transporte Fretado
+2