TECH LEAD II - Engenharia de Dados

Omie

São Paulo

Presencial

BRL 300 000 - 420 000

Tempo integral

Há 7 dias

Torna-te num dos primeiros candidatos

Gerador de candidaturas

Não envies um currículo genérico — gera um currículo e uma carta de apresentação adaptados a esta função específica.

Ultrapassa os filtros ATS

Vantagens oferecidas por esta oferta de emprego

Plano de saúde Bradesco

Seguro de vida

Plano odontológico Amil

Auxílio-home-office

Auxílio-creche

Vale-refeição

Resumo da oferta

A Omie busca engenheiros de dados experientes para desenhar e manter plataformas de dados escaláveis na nuvem, com foco em performance, segurança e governança. Você trabalhará com pipelines complexos, Lakehouse em Delta Lake e workflows de ML/IA em um ambiente multiworkspace.

É essencial atuação com PySpark, Unity Catalog e práticas de CI/CD, além de cooperação com equipes de produto e engenharia. Oportunidade híbrida com foco em tecnologia de ponta no ecossistema Databricks.

Qualificações

Experiência comprovada em engenharia de dados e arquitetura de dados com foco em big data.
Conhecimento avançado em AWS e data lakes.
Experiência prática com ETL, pipelines e orquestração de fluxos de dados.
Domínio de Delta Lake, otimização de tabelas e gestão de schema em larga escala.
Domínio da plataforma Databricks, PySpark, Delta Live Tables e Serverless SQL Warehouses.
Experiência com Unity Catalog e governança de metadados em múltiplos workspaces.
Experiência com IA/ML, MLOps e ferramentas conversacionais de IA (Databricks Genie).
Proeficiência em Python e SQL.

Responsabilidades

Desenhar, construir e otimizar arquiteturas de dados escaláveis em Cloud.
Construir pipelines automatizados com AWS Glue e Databricks Jobs/Workflows.
Projetar lakehouse com Delta Lake e gerenciamento de schema com otimização de desempenho.
Implementar governança, acesso, lineage e auditoria com Unity Catalog.
Operacionalizar workloads de ML/IA e suportar BI via linguagem natural.
Monitorar performance de SQL Warehouses e custos de cluster Databricks.
Liderar tecnicamente equipes de dados e promover melhores práticas de CI/CD.

Conhecimentos

Engenharia de dados

AWS

Orquestração ETL

Delta Lake

Databricks

Unity Catalog

Databricks Genie

Python

SQL

Ferramentas

Databricks

AWS Glue

Python

SQL

Descrição da oferta de emprego

Job description

A Omie tem como propósito trazer prosperidade para o ecossistema empreendedor brasileiro. Por isso, buscamos por pessoas com mentalidade de crescimento, valorizando perfis que tenham capacidade de adaptação, senso colaborativo e sejam motivadas pela inovação e pelo aprendizado contínuo.

Faça parte da história de uma das empresas de tecnologia que mais cresce no país!

#VempraOmie

Main responsibilities

Arquitetura & Ecossistema Cloud: Desenhar, construir e otimizar arquiteturas de plataforma de dados escaláveis, resilientes e seguras usando AWS e Databricks.
Engenharia de Pipelines & Data Lake: Construir pipelines automatizados usando AWS Glue, Databricks Jobs/Workflows, ingestão JDBC de fontes SQL Server multi-tenant e integrações via API REST (HubSpot, Jira, Sympla, Zoom).
Lakehouse Moderno: Arquitetar e manter o lakehouse em Delta Lake nas camadas bronze/silver/gold, com transações ACID, time travel, evolução de schema e estratégias de Z-ORDER/particionamento para custo e performance.
Governança & Segurança Corporativa: Arquitetar e manter controle de acesso granular, linhagem de dados e gestão de metadados via Databricks Unity Catalog em múltiplos workspaces, incluindo gestão de secret scopes e rotação de credenciais.
IA/ML & Analytics Conversacional: Construir e operacionalizar infraestrutura de dados para workloads de ML/IA e LLMs. Configurar espaços de Databricks AI/BI Genie, incluindo trusted assets, instructions e metric spaces, para suportar BI self-service em linguagem natural.
Otimização de Performance & Controle de Custo: Monitorar e otimizar SQL Warehouses e clusters de job do Databricks para performance e custo , incluindo atribuição via system.billing, dimensionamento de warehouse, detecção de ociosidade e tuning de queries.
Liderança Técnica & Mentoria: Guiar e mentorar engenheiros de dados sênior e pleno, estabelecendo boas práticas de engenharia em CI/CD, testes automatizados e versionamento.

Requirements and skills

Experiência: 7+ anos de experiência profissional em engenharia de dados, arquitetura de dados ou plataformas de big data.
Ecossistema AWS: Conhecimento avançado de AWS Data Lakes, incluindo experiência em migração cloud-to-lakehouse.
Orquestração & ETL: Experiência prática extensiva construindo workflows complexos de ingestão e transformação usando AWS Glue e Databricks Jobs.
Delta Lake: Conhecimento sólido de internals do Delta Lake — padrões de merge/upsert, otimização de tabelas (OPTIMIZE, Z-ORDER, VACUUM) e gestão de schema em escala.
Ecossistema Databricks: Domínio da plataforma Databricks, incluindo PySpark, Delta Live Tables e Serverless SQL Warehouses.
Governança: Experiência prática configurando e gerenciando Databricks Unity Catalog para gestão centralizada de metadados, controle de acesso e auditoria em múltiplos workspaces.
IA/ML & Databricks Genie: Experiência montando plataformas de dados para workflows de ML, MLOps e ferramentas conversacionais de IA, especificamente Databricks Genie, incluindo curadoria de Genie spaces, ajuste de prompts/instructions e integração com a semântica do Unity Catalog.
Programação & SQL: Proficiência avançada em Python e SQL.

Additional information

Saúde e bem‑estar