Engenheiro de dados

Casado; Cuiabá; On-site; BRL 180,000 - 320,000; Full time

Benefits offered by this job

Assistência médica

Assistência odontológica

Previdência privada

Seguro de vida

Vale-alimentação

Licença maternidade/paternidade estend

Programa de Educação

Job summary

A Casado, sediada em Cuiabá, busca engenheiro de dados para desenvolver e manter pipelines de ingestão, transformação e processamento de dados com Python/PySpark, trabalhando com dados estruturados e não estruturados de APIs, arquivos e outras fontes.

O profissional irá desenvolver e orquestrar DAGs no Apache Airflow, implementar soluções na plataforma Databricks com Delta Live Tables, Unity Catalog e Databricks Asset Bundles, e colaborar com áreas de negócio para entender regras e necessidades.

Qualifications

• Graduação em Ciências da Computação ou Analise de Sistema.
• Conhecimento sólido em Python/PySpark.
• Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles.
• Domínio dos fundamentos de Git e práticas de integração e entrega contínuas.
• Experiência com Azure DevOps: Boards, Repos e Pipelines.
• Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento.

Responsibilities

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados.
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes.
• Construir soluções em Python/PySpark.
• Desenvolver e orquestrar DAGs no Apache Airflow.
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs).
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação.
• Atuar com Azure DevOps, utilizando Boards, Repos/Git e Pipelines de CI/CD.
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas.
• Interagir com áreas de negócio para compreender processos, regras e necessidades.
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas.

Skills

Python

PySpark

Airflow

Education

Graduação em Ciências da Computação ou Analise de Sistema

Tools

Delta Live Tables

Unity Catalog

Databricks Asset Bundles

Git

CI/CD pipelines

Azure DevOps

Job description

Atribuições

• Desenvolver e manter pipelines de ingestão, transformação e processamento de dados
• Trabalhar com dados estruturados e não estruturados provenientes de APIs, arquivos e outras fontes
• Construir soluções em Python/PySpark
• Desenvolver e orquestrar DAGs no Apache Airflow
• Implementar soluções na plataforma Databricks utilizando Delta Live Tables (DLT), Unity Catalog e Databricks Asset Bundles (DABs)
• Participar de revisões de código e aplicar boas práticas de versionamento, testes e documentação
• Atuar com Azure DevOps, utilizando Boards, Repos/Git e Pipelines de CI/CD
• Utilizar ferramentas de IA de forma responsável como apoio à produtividade e à qualidade das entregas
• Interagir com áreas de negócio para compreender processos, regras e necessidades
• Identificar riscos, oportunidades de melhoria e possíveis problemas antes que impactem as entregas

Requisitos Necessários

• Graduação em Ciências da Computação ou Analise de Sistema
• Conhecimento sólido em Python/PySpark
• Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles
• Domínio dos fundamentos de Git e práticas de integração e entrega contínuas
• Experiência com Azure DevOps: Boards, Repos e Pipelines
• Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento

Diferenciais

• Experiência com ClickHouse
• Conhecimento em Kafka e Kafka Connect
• Experiência com CDC utilizando Debezium

Benefícios

• Assistência médica
• Assistência odontológica
• Apoio Pass (serviço de apoio psicológico, jurídico, financeiro e social)
• WellHub (soluções de saúde e bem-estar)
• Participação nos Lucros ou Resultados
• Previdência privada
• Seguro de vida
• Vale-alimentação
• Auxílio Creche
• Licença maternidade/paternidade estendida
• Kit do Conhecimento (material escolar para filhos)
• Plataforma de Telemedicina 24 horas
• Universidade AMAGGI
• Programa de Auxílio Educação

Nossas oportunidades são abertas para todos os profissionais, sem distinção de raça, cor, gênero, idade, crença e deficiência (PCD)

Graduação em Ciências da Computação ou Analise de Sistema;, Conhecimento sólido em Python/PySpark;, Conhecimento em Delta Live Tables, Unity Catalog e Databricks Asset Bundles;, Domínio dos fundamentos de Git e práticas de integração e entrega contínuas;, Experiência com Azure DevOps: Boards, Repos e Pipelines;, Familiaridade com o uso de IA como ferramenta de produtividade no desenvolvimento.