9757605 - Engenheiro de Dados Pleno

MTP Métodos e Tecnologia – Brasil; Brasil; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia da informação está buscando um profissional para desenvolver e manter pipelines de dados ETL/ELT usando Databricks. Espera-se que o candidato tenha forte conhecimento em Databricks, PySpark e SQL, além de experiência em ambientes em nuvem como Azure. O trabalho será 100% Home Office e oferece diversos benefícios, incluindo plano de saúde e vale-refeição.

Serviços

Plano de saúde

Vale-refeição

Vale-mobilidade

Vale-educação

Seguro de vida

Qualificações

• Profundo conhecimento em Databricks e Unity Catalog.
• Proficiente em PySpark e SQL.
• Experiência com plataformas em nuvem, especialmente Azure.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados ETL/ELT escaláveis.
• Otimizar o desempenho dos pipelines de dados.
• Colaborar com equipes multifuncionais para elaborar soluções de dados.

Conhecimentos

Databricks

PySpark

SQL

Azure

AirFlow

DataOps

Ferramentas

Azure Data Factory

Git

Descrição da oferta de emprego

Overview

Com 28 anos de experiência no mercado de Tecnologia da Informação, a MTP é uma empresa multinacional com mais de 1.500 colaboradores espalhados em mais de 11 unidades em nível global, o que nos permite promover o crescimento e intercâmbio profissional. MTP é líder no fornecimento de serviços e soluções de TI com foco em Quality Assurance. Possuímos mais de 10 certificações, incluindo o TMMI - level 5, o mais alto nível da categoria. Oferecendo um dos mais amplos portfólios, entregamos soluções inovadoras e flexíveis para ajudar empresas a resolver seus desafios mais complexos. Atuando em projetos em mais de 21 países, tais como: Alemanha, Reino Unido, Japão, Suécia, Coreia do Sul, Moçambique, Guatemala, Argentina, Chile, Peru, entre outros.

Main responsibilities

• Projetar, desenvolver e manter pipelines de dados ETL/ELT escaláveis usando Databricks com PySpark, SQL e Delta Lake.
• Otimizar o desempenho dos pipelines de dados, gerenciar fluxos de trabalho e monitorar execuções utilizando workflows e notebooks.
• Integrar, transformar e processar dados estruturados e não estruturados de várias fontes, como armazenamento em nuvem, APIs, JSON e arquivos diversos.
• Implementar verificações de qualidade dos dados e validações, assegurando governança, rastreabilidade e conformidade de segurança (ex.: Unity Catalog).
• Colaborar com arquitetos de dados, analistas e áreas de negócio para traduzir requisitos em modelos e soluções de dados.
• Participar ativamente em ritos de governança de dados e contribuir para a melhoria contínua dos processos de dados através de automação e documentação.
• Ter visão de produtos de dados e criar padrões reutilizáveis.
• Propor e implementar soluções inovadoras para desafios técnicos em um ambiente ágil e colaborativo.

Requirements and skills

Requisitos e Qualificações:

• Profundo conhecimento em Databricks e Unity Catalog, com sólida compreensão da arquitetura Lakehouse, Delta Lake e MLFlow.
• Proficiência em PySpark, SQL e processamento distribuído de dados.
• Experiência com plataformas em nuvem, especialmente Azure, e serviços como Azure Data Factory e AirFlow.
• Familiaridade com ambientes DataOps, incluindo práticas de CI/CD e controle de versão (Git, Azure DevOps).
• Experiência em performance tuning, segurança e integração de dados em ambientes cloud.
• Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos.

Diferenciais:

• Certificação Databricks (ex.: Databricks Certified Data Engineer Associate/Professional).
• Experiência com modelagem dimensional e arquitetura de dados.
• Experiência em projetos de dados financeiros (ERP, Compras).
• Certificações em cloud computing ou engenharia de dados.
• Habilidades em comunicação e capacidade de trabalhar efetivamente com equipes multifuncionais

Additional information

Informações adicionais:

• Modelo de Contratação: CLT
• 100% Home Office

Benefícios:

• Plano de saúde;
• Plano odontológico;
• Vale-refeição;
• Vale-mobilidade;
• Vale-cultura;
• Vale-educação;
• Seguro de vida;
• Programa de Saúde Mental e Bem-Estar;
• Auxílio-creche;
• Descontos com parceiros.