Senior Data Engineer (Azure)

Keyrus; São Paulo; Presencial; BRL 160.000 - 200.000; Tempo integral

Resumo da oferta

Uma empresa de consultoria em dados está à procura de um profissional para desenvolver e manter pipelines de dados na nuvem Azure. O candidato ideal deve ter experiência sólida em serviços Azure e habilidades em PySpark, SQL e Python. Esta posição é uma ótima oportunidade para aqueles que buscam crescimento profissional em um ambiente colaborativo e inovador.

Qualificações

• Experiência sólida com serviços Azure, como ADF e Databricks.
• Domínio em PySpark e experiência com SQL e Python.
• Familiaridade com ferramentas de orquestração como Airflow.

Responsabilidades

• Desenvolver pipelines de dados na nuvem Azure.
• Trabalhar com grandes volumes de dados estruturados e não estruturados.
• Colaborar com equipes de Data Science e Analytics.

Conhecimentos

Experiência sólida com serviços Azure (ADF, Databricks)

Domínio em PySpark

Experiência com SQL

Experiência com Python

Experiência com orquestração de pipelines em Airflow

Conhecimentos em Kafka

Boa comunicação

Trabalho colaborativo com times multidisciplinares

Descrição da oferta de emprego

Overview

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.

Papéis e Responsabilidades

• Desenvolver e manter pipelines de dados eficientes, escaláveis e seguros na nuvem Azure (ADF, Databricks). Projetar e implementar processos de ingestão, transformação e armazenamento de dados (ETL/ELT) utilizando ferramentas como Airflow para orquestração.
• Trabalhar com grandes volumes de dados estruturados e não estruturados, garantindo qualidade, integridade e disponibilidade.
• Criar e otimizar modelos de dados em ambientes de Data Lake e Data Warehouse.
• Colaborar com equipes de Data Science, Analytics e Produtos para entregar dados de alto valor para o negócio.
• Monitorar e garantir a performance das soluções em produção, atuando na identificação e resolução de incidentes.
• Aplicar boas práticas de versionamento de código (GitHub), segurança e governança de dados.
• Integrar e processar fluxos de dados em tempo real utilizando Kafka.

Qualificações Essenciais

• Experiência sólida com serviços Azure (ADF, Databricks).
• Domínio em PySpark e sólida experiência com SQL e Python.
• Conhecimentos em Spark para processamento distribuído de dados.
• Experiência com orquestração de pipelines em Airflow.
• Experiência com versionamento de código em Git/GitHub.
• Familiaridade com boas práticas de modelagem de dados, arquitetura de pipelines e documentação.
• Conhecimentos em soluções de mensageria/streaming, como Kafka.
• Boa comunicação, postura proativa e trabalho colaborativo com times multidisciplinares.

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/

Desejamos boa sorte!