Engenheiro de dados

Amaggi; Cuiabá; On-site; BRL 180,000 - 240,000; Full time

Benefits offered by this job

Assistência médica

Assistência odontológica

WellHub (saúde e bem-estar)

Participação nos Lucros ou Resultados

Previdência privada

Seguro de vida

Vale-alimentação

Auxílio Creche

Licença maternidade/paternidade estend

Kit do Conhecimento

Universidade AMAGGI

Programa de Auxílio Educação

Job summary

A Amaggi abriu vaga para Engenheiro de Dados em Cuiabá, com foco em pipelines de ingestão, transformação e processamento de dados. Você trabalhará com dados estruturados e não estruturados de APIs, arquivos e outras fontes, desenvolvendo em Python/PySpark.

A posição envolve Databricks Delta Live Tables, Unity Catalog e DABs, além de orquestrar DAGs no Airflow e colaborar com equipes de negócio para melhoria contínua. Mínima experiência com IA aplicada ao desenvolvimento será valorizada.

Qualifications

• Graduação em Ciências da Computação ou Analise de Sistema.
• Conhecimento sólido em Python/PySpark.
• Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles.
• Domínio dos fundamentos de Git e práticas de integração e entrega contínuas.
• Experiência com Azure DevOps: Boards, Repos e Pipelines.
• Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento.

Responsibilities

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados.
• Trabalhar com dados estruturados e não estruturados de APIs, arquivos e outras fontes.
• Construir soluções em Python/PySpark.
• Desenvolver e orquestrar DAGs no Apache Airflow.
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs).
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação.
• Atuar com Azure DevOps, utilizando Boards, Repos/Git e Pipelines de CI/CD.
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas.
• Interagir com áreas de negócio para compreender processos, regras e necessidades.
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas.

Skills

Python/PySpark

Delta Live Tables

Unity Catalog

Databricks Asset Bundles

Git

Azure DevOps

IA em desenvolvimento

Education

Graduação em Ciências da Computação ou Analise de Sistema

Tools

ClickHouse

Kafka

Debezium

Job description

Atribuições

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes
• Construir soluções em Python/PySpark
• Desenvolver e orquestrar DAGs no Apache Airflow
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs)
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação
• Atuar com Azure DevOps, utilizando Boards, Repos/Git e Pipelines de CI/CD
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas
• Interagir com áreas de negócio para compreender processos, regras e necessidades
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas

Requisitos Necessários

• Graduação em Ciências da Computação ou Analise de Sistema
• Conhecimento sólido em Python/PySpark
• Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles
• Domínio dos fundamentos de Git e práticas de integração e entrega contínuas
• Experiência com Azure DevOps: Boards, Repos e Pipelines
• Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento

Diferenciais

• Experiência com ClickHouse
• Conhecimento em Kafka e Kafka Connect
• Experiância com CDC utilizando Debezium

Benefícios

• Assistência médica
• Assistência odontológica
• Apoio Pass (serviço de apoio psicológicos, jurídico, financeiro e social)
• WellHub (soluções de saúde e bem-estar)
• Participação nos Lucros ou Resultados
• Previdência privada
• Seguro de vida
• Vale-alimentação
• Auxílio Creche
• Licença maternidade/paternidade estendida
• Kit do Conhecimento (material escolar para filhos)
• Plataforma de Telemedicina 24 horas
• Universidade AMAGGI
• Programa de Auxílio Educação

Nossas oportunidades são abertas para todos os profissionais, sem distinção de raça, cor, gênero, idade, crença e deficiência (PCD)

Graduação em Ciências da Computação ou Analise de Sistema; Conhecimento sólido em Python/PySpark; Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles; Domínio dos fundamentos de Git e práticas de integração e entrega contínuas; Experiência com Azure DevOps: Boards, Repos e Pipelines; Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento.