Engenheiro de Dados PL - Lakehouse & Spark

Stefanini

United States

Remote

USD 110,000 - 180,000

Full time

30 hours ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

O Grupo Stefanini está buscando profissional para atuar com arquitetura e engenharia de dados, desenvolvendo soluções analíticas usando Databricks, Spark/PySpark, SQL e Delta Lake. Irá projetar, desenvolver e sustentar pipelines, além de governança, segurança e controle de acesso a dados.

Você integrará fontes diversas, trabalhará com ambientes em nuvem (Azure) e aplicará práticas de CI/CD para garantir entregas de alta qualidade.

Qualifications

  • Graduação completa na área de Tecnologia da Informação.
  • Experiência com Databricks, notebooks, jobs/workflows, clusters e arquitetura Lakehouse.
  • Experiência com Apache Spark/PySpark e SQL para processamento de grandes volumes de dados.
  • Conhecimento em Delta Lake, modelagem de dados e arquiteturas para ambientes analíticos.
  • Conhecimento em governança, segurança, qualidade e controle de acesso a dados.
  • Experiência com integração de dados de diferentes fontes e sistemas.
  • Conhecimento em CI/CD, Git e versionamento aplicados a soluções de dados.
  • Conhecimento em ambientes de nuvem, preferencialmente Microsoft Azure, e integração com Databricks.

Responsibilities

  • Projetar, desenvolver e sustentar arquiteturas, pipelines e soluções de engenharia de dados.
  • Criar e otimizar processos de ingestão, transformação e processamento de grandes volumes de dados.
  • Definir modelos de dados e arquiteturas para ambientes analíticos.
  • Aplicar práticas de governança, segurança, qualidade e controle de acesso aos dados.
  • Integrar diferentes fontes, sistemas e serviços em nuvem.
  • Utilizar CI/CD, versionamento e automação para apoiar a qualidade das entregas.
  • Monitorar e otimizar o desempenho, a escalabilidade e a confiabilidade das soluções.
  • Elaborar e manter documentação técnica de arquiteturas, fluxos de dados e decisões de solução.

Skills

Databricks
Apache Spark
SQL
Delta Lake
Data modeling
Governance
CI/CD
Git
Azure
Unity Catalog
Lakehouse architecture

Education

Graduação em TI

Job description

O Grupo Stefanini está buscando profissional para atuar com arquitetura e engenharia de dados, desenvolvendo soluções analíticas usando Databricks, Spark/PySpark, SQL e Delta Lake. Irá projetar, desenvolver e sustentar pipelines, além de governança, segurança e controle de acesso a dados.

Você integrará fontes diversas, trabalhará com ambientes em nuvem (Azure) e aplicará práticas de CI/CD para garantir entregas de alta qualidade.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

12899976 - ENGENHEIRO DE DADOS PL
12899976 - ENGENHEIRO DE DADOS PL

Stefanini • United States

Remote
USD 110,000 - 180,000
Engenheiro(a) de Dados Sênior - Databricks & DataOps
Engenheiro(a) de Dados Sênior - Databricks & DataOps

Grupo Regazzo • United States

Remote
USD 120,000 - 170,000
Engenheiro de Dados Sênior — Data Lake & AI (Remoto)
Engenheiro de Dados Sênior — Data Lake & AI (Remoto)

Stefanini • United States

Remote
USD 120,000 - 180,000
Arquiteto de Dados Sênior - Databricks Lakehouse & AI
Arquiteto de Dados Sênior - Databricks Lakehouse & AI

confidential • United States

Remote
USD 150,000 - 210,000
Arquiteto de Dados Sênior - Lakehouse & Databricks
Arquiteto de Dados Sênior - Lakehouse & Databricks

Grupo Regazzo • United States

Remote
USD 180,000 - 260,000
Engenheiro Sênior de Dados - Databricks & DataOps
Engenheiro Sênior de Dados - Databricks & DataOps

confidential • United States

Remote
USD 120,000 - 180,000
Engenheira de Dados Pl/Sr: Pipelines Spark, Nuvem e BI
Engenheira de Dados Pl/Sr: Pipelines Spark, Nuvem e BI

DB | CRESCER com propósito! • United States

Remote
USD 90,000 - 130,000
Vale alimentação
Plano de saúde
Plano odontológico
+2
Engenheiro(a) de Dados Pleno
Engenheiro(a) de Dados Pleno

Solutis • United States

Remote
USD 90,000 - 140,000
Engenheiro(a) de Dados & IA Sênior — Databricks/Lakehouse
Engenheiro(a) de Dados & IA Sênior — Databricks/Lakehouse

confidential • United States

Remote
USD 150,000 - 230,000
Auxílio Creche
Auxílio Home Office
Totalpass
+7
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)

Stefanini • United States

Remote
USD 120,000 - 160,000