Engenheiro(a) de Dados SR

MIDAS SOLUTIONS; São Paulo; On-site; BRL 180,000 - 280,000; Full time

Job summary

A MIDAS SOLUTIONS procura evoluir e operar a plataforma de dados da empresa, garantindo escalabilidade, performance, segurança, qualidade e confiabilidade no processamento e disponibilização de dados.

Você irá desenvolver pipelines de ingestão, manter projetos dbt em Delta Lake e orquestrar workflows no Airflow, com foco em reduzir custos e aumentar a confiabilidade para BI. Experiência com Docker, Kubernetes e Git é essencial.

Qualifications

• Experiência sólida em Python para pipelines e tratamento de dados.
• SQL avançado com técnicas de performance e tuning.
• Experiência prática com Apache Airflow em ambiente de produção.
• Experiência com dbt (modelos incrementais, testes e macros).
• Conhecimento de arquitetura Lakehouse (Delta Lake ou Iceberg) e motores SQL distribuídos (Trino/Presto ou Spark SQL).
• Experiência prática com Docker, Kubernetes e Git no dia a dia.
• Capacidade de diagnosticar problemas ponta a ponta e documentar decisões técnicas.

Responsibilities

• Desenvolver e manter pipelines de ingestão e transformação a partir de fontes variadas.
• Modelar e manter projetos dbt sobre tabelas Delta Lake.
• Impormentar e orquestrar workflows no Apache Airflow em produção.
• Manter a saúde do Lakehouse, otimizando consultas e infraestrutura para performance e custo.
• Investigar incidentes, identificar a raiz do problema e propor correções.
• Aplicar governança, qualidade e monitoramento de dados para BI confiável.
• Colaborar com Desenvolvimento, BI e Negócio para transformar regras operacionais em dados confiáveis.

Skills

Python

SQL avançado

Apache Airflow

dbt

Delta Lake/Spark SQL

Docker

Kubernetes

Git

Diagnóstico e troubleshoot

Governança de dados

Tools

dbt (dbt-trino)

Airflow (produção)

Delta Lake/Apache Iceberg

Trino/Presto

Spark SQL

Job description

A Midas é especialista em desenvolver soluções focadas em resolver desafios dos processos de GRC, (Governança, Risco e Compliance) com excelência, devolvendo tempo de qualidade para os nossos clientes. Tempo para viver, criar e desbloquear todo potencial humano e criativo.

Se você está em busca de uma empresa inovadora, ousada e à frente do seu tempo, o seu lugar é aqui. Nosso propósito é criar um mundo onde a tecnologia nos permita ser mais humanos, automatizando tarefas repetitivas e liberando tempo para o que realmente importa: a vida.

Propósito da vaga:

Você será responsável por evoluir e operar a plataforma de dados da empresa, garantindo escalabilidade, performance, segurança, qualidade e confiabilidade no processamento e na disponibilização de dados.

Atividades e Responsabilidades:

• Desenvolver e manter pipelines de ingestão e transformação a partir de fontes variadas.
• Modelar e manter projetos dbt (dbt-trino) sobre tabelas Delta Lake.
• Implementar e orquestrar workflows no Apache Airflow 3.
• Manter a saúde do Lakehouse, otimizando consultas, pipelines e infraestrutura com foco em performance, escalabilidade e redução de custos.
• Investigar incidentes, identificar a causa-raiz (dado, pipeline ou infraestrutura) e implementar correções estruturais.
• Implementar práticas de governança, qualidade e monitoramento de dados, garantindo a confiabilidade das entregas para BI.
• Trabalhar em conjunto com as equipes de Desenvolvimento, BI e Negócio para transformar regras operacionais em dados confiáveis e documentados.

Competências técnicas:

• Experiência sólida com Python (pipelines, tratamento de dados, pandas/polars ou similar) e SQL avançado (CTEs, window functions, tuning).
• Experiência prática com Apache Airflow em ambiente de produção.
• Experiência com dbt (modelos incrementais, testes, macros).
• Vivência com arquitetura Lakehouse (Delta Lake ou Apache Iceberg) e motores SQL distribuídos (Trino/Presto ou Spark SQL).
• Experiência prática com Docker, Kubernetes e Git no dia a dia (deploy, troubleshooting, análise de logs e alocação de recursos).
• Capacidade de diagnosticar problemas de ponta a ponta e documentar decisões técnicas.

Será um diferencial:

• Conhecimentos em ecossistema AWS (S3, ECR, IAM, EKS ou equivalentes em outras clouds).
• Experiência com Delta-rs/deltalake, PySpark/Spark ou Apache Kafka/CDC.
• Vivência com Apache Superset (ou outras ferramentas de BI) e noções de modelagem dimensional (star schema).

E aí, se identificou com essa oportunidade?

Junte-se a nós e faça parte de um time que valoriza inovação, superação e entusiasmo.