Engenheiro DevOps/DataOps (Databricks)

Marlabs Inc.

Piscataway Township (NJ)

On-site

USD 120,000 - 160,000

Full time

1 hour ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

A Marlabs Inc. procura um Engenheiro DevOps/DataOps Sênior para integrar o time de Lakehouse Platform, responsável por construir e sustentar a esteira de CI/CD do Enterprise Lakehouse Databricks.

Garantir que artefatos da plataforma sejam versionados, testados e promovidos entre ambientes de forma automatizada. Você atuará como guardião dos padrões de engenharia de software, com foco em governança de dados e colaboração com squads para deployments dos pipelines, utilzando Databricks Asset

Qualifications

  • Experiência de 5 anos ou mais em DevOps/DataOps com pipelines CI/CD ponta a ponta.
  • Implantação de CI/CD com Jenkins, estratégias de deploy, rollback e versionamento de releases.
  • Domínio de controle de versão e branching (trunk-based, GitFlow ou equivalente).
  • Experiência com Python ou Groovy, modularização de projetos e publicação de bibliotecas.
  • Testes unitários e de integração em pipelines de dados (pytest) com mocks e métricas de cobertura.
  • Experiência em AWS ou Azure no contexto de plataformas de dados.
  • Graduação completa em Engenharia, Ciência da Computação, ou áreas correlatas.

Responsibilities

  • Projetar e evoluir a esteira de CI/CD da plataforma Databricks com promoção automatizada entre ambientes.
  • Padronizar empacotamento e deploy de workloads com Databricks Asset Bundles e templates reutilizáveis.
  • Definir estratégia de branching, code review, versionamento e release no repositório corporativo (Bitbucket, GitHub, GitLab).
  • Definir gitflows e gates de qualidade automatizados (tests, contratos de dados, lint, cobertura).
  • Divulgar boas práticas de engenharia de software e apoiar squads nos deployments dos pipelines.

Skills

CI/CD
DevOps
DataOps
Git
Python
Groovy
Jenkins

Education

Engenharia
Ciência da Computação

Tools

Databricks Asset Bundles
Databricks CLI
Databricks Repos
AWS
Azure
Bitbucket
GitHub
GitLab
DataDog

Job description

Engenheiro DevOps/DataOps (Databricks)
Sobre a oportunidade

A Marlabs é uma empresa de tecnologia com mais de 30 anos e que conta com mais de 3.000 especialistas ao redor do mundo. Aqui aprendemos algo novo todos os dias e vivemos desafios que nos mantêm em constante desenvolvimento. Somos um time global, reconhecido internacionalmente e com o propósito de encontrar, atrair e contratar os melhores talentos da área de Tecnologia. Todas as nossas vagas são acessíveis a profissionais PcDs, pessoas pertencentes a comunidade LGBTQIA+, pessoas negras, mulheres e demais grupos de diversidade.

Descrição da Vaga

Buscamos um(a) Engenheiro(a) DevOps / DataOps Sênior para integrar o time de Lakehouse Platform, com a missão de construir e sustentar a esteira de CI/CD do Enterprise Lakehouse Databricks. Você será responsável por garantir que todo artefato da plataforma — jobs, workflows, pipelines, bibliotecas e objetos de catálogo — seja versionado, testado, promovido entre ambientes de forma automatizada e auditável, atuando como guardião(ã) dos padrões de engenharia de software e dos enforcements de governança dentro dos domínios de dados.

Responsabilidades
  • Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, com promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
  • Padronizar o empacotamento e o deploy de workloads com Databricks Asset Bundles, disponibilizando templates reutilizáveis pelos domínios de dados.
  • Definir a estratégia de branching, code review, versionamento e release da plataforma no repositório corporativo (Bitbucket, GitHub ou GitLab).
  • Definir gitflows e quality gates automatizados na esteira: testes unitários e de integração, validação de contratos de dados, análise estática, lint e cobertura mínima como pré-requisito de merge.
  • Disseminar boas práticas de engenharia de software e suportar junto às squads os deployments dos pipelines.
Requisitos
  • Experiência de 5 anos ou mais de atuação em DevOps ou DataOps, com esteiras de CI/CD construídas ponta a ponta;
  • CI/CD: Implementação de esteira em Jenkins, incluindo estratégias de deploy, rollback e versionamento de releases.
  • Git: Domínio de controle de versão, estratégias de branching (trunk-based, GitFlow ou equivalente), pull requests, code review e proteção de branches.
  • Experiência com Python ou groovy avançado, estruturação e modularização de projetos, empacotamento de bibliotecas (wheel) e publicação em artifact registry.
  • Prática com testes unitários e de integração aplicados a pipelines de dados (pytest ou equivalente), mocks, fixtures e métricas de cobertura.
  • Vivência com AWS ou Azure no contexto de plataformas de dado.
  • Graduação completa em Engenharia, Ciência da Computação, Análise de Desenvolvimento de Software ou cursos relacionados.
Requisitos desejáveis
  • Databricks Asset Bundles: empacotamento e deploy de jobs, workflows e configurações, com uso da Databricks CLI e Databricks Repos.
  • Experiência em projetos de migração de data warehouse legado para Lakehouse Databricks — diferencial importante.
  • Observabilidade: monitoramento de jobs e infraestrutura com ferramentas como DataDog ou equivalentes.
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro Sênior de Dados | Databricks
Engenheiro Sênior de Dados | Databricks

confidential • United States

Remote
USD 120,000 - 180,000
Engenheiro(a) Sênior de Dados
Engenheiro(a) Sênior de Dados

Grupo Regazzo • United States

Remote
USD 120,000 - 170,000
Senior DevOps Engineer – Databricks, CI/CD
Senior DevOps Engineer – Databricks, CI/CD

Compass • United States

Remote
USD 120,000 - 170,000
Arquiteto Dados Sênior (Databricks)
Arquiteto Dados Sênior (Databricks)

Grupo Regazzo • United States

Remote
USD 180,000 - 260,000
Arquiteto Dados Sênior (Databricks)
Arquiteto Dados Sênior (Databricks)

confidential • United States

Remote
USD 150,000 - 210,000
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)
12767420 - Engenheiro(a) de Dados Senior (Databricks / Unity Catalog)

Stefanini • United States

Remote
USD 120,000 - 160,000
Engenheiro de Dados Sênior | Databricks em AWS
Engenheiro de Dados Sênior | Databricks em AWS

confidential • United States

Remote
USD 140,000 - 200,000
12630267 - ENGENHEIRO DE DADOS SR - MICROSOFT FABRIC
12630267 - ENGENHEIRO DE DADOS SR - MICROSOFT FABRIC

Stefanini • United States

Remote
USD 120,000 - 180,000
Eng de Dados Pl/Sr [AFIRMATIVA PARA MULHERES]
Eng de Dados Pl/Sr [AFIRMATIVA PARA MULHERES]

DB | CRESCER com propósito! • United States

On-site
USD 90,000 - 130,000
Vale alimentação
Plano de saúde
Plano odontológico
+2
Senior Databricks CI/CD Engineer - Remote
Senior Databricks CI/CD Engineer - Remote

Compass • United States

Remote
USD 120,000 - 170,000