Engenheiro de dados

Amaggi; Cuiabá; On-site; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Assistência médica

Assistência odontológica

Vale-alimentação

Auxílio Creche

Seguro de vida

Previdência privada

Lucros ou Resultados

Universidade AMAGGI

Programa de Auxílio Educação

WellHub

Job summary

A Amaggi está recrutando um Engenheiro de Dados para atuar na construção e manutenção de pipelines de ingestão, transformação e processamento de dados. Você trabalhará com dados estruturados e não estruturados oriundos de APIs, arquivos e outras fontes, usando Python/PySpark e Airflow.

Será responsável por soluções na plataforma Databricks com Delta Live Tables, Unity Catalog e DABs, participando de revisões de código, versionamento, testes e documentação, com foco em qualidade e governança de

Qualifications

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados.
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes.
• Construir soluções em Python/PySpark.
• Desenvolver e orquestrar DAGs no Apache Airflow.
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs).
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação.
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas.
• Interagir com áreas de negócio para compreender processos, regras e necessidades.
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas.

Responsibilities

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados.
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes.
• Construir soluções em Python/PySpark.
• Desenvolver e orquestrar DAGs no Apache Airflow.
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs).
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação.

Skills

Python/PySpark

Data pipelines

Airflow

Stakeholder communication

Git & testing

AI tooling

Tools

Databricks

Delta Live Tables (DLT)

Unity Catalog

DABs

Apache Kafka

Kafka Connect

Debezium

ClickHouse

Job description

Requisitos Necessários:

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados;
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes;
• Construir soluções em Python/PySpark;
• Desenvolver e orquestrar DAGs no Apache Airflow;
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs);
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação;
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas;
• Interagir com áreas de negócio para compreender processos, regras e necessidades;
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas.

Diferenciais

• Experiência com ClickHouse;
• Conhecimento em Kafka e Kafka Connect;
• Experiência com CDC utilizando Debezium.
• Assistência médica
• Assistência odontológica
• Apoio Pass (serviço de apoio psicológico, jurídico, financeiro e social)
• WellHub (soluções de saúde e bem-estar)
• Participação nos Lucros ou Resultados
• Previdência privada
• Seguro de vida
• Vale-alimentação
• Auxílio Creche
• Licença maternidade/paternidade estendida
• Kit do Conhecimento (material escolar para filhos)
• Universidade AMAGGI
• Programa de Auxílio Educação

Nossas oportunidades são abertas para todos os profissionais, sem distinção de raça, cor, gênero, idade, crença e deficiência (PCD)