Engenheiro de Dados - Pleno

BRQ; São Paulo; Híbrido; BRL 120 000 - 180 000; Tempo integral

Resumo da oferta

A BRQ está contratando Engenheiro(a) de Dados Pleno com foco em Databricks para atuar no desenvolvimento e evolução de soluções de dados em ambientes de missão crítica. O profissional trabalhará com Python, PySpark, Spark SQL, APIs REST e integração com Azure Databricks, Azure Data Factory e Azure Storage, em equipes ágeis, buscando pipelines escaláveis, performáticos e confiáveis.

Seja parte de um ecossistema que valoriza colaboração, qualidade de software e entrega de valor para o negócio com

Qualificações

• Experiência com Databricks em projetos de dados.
• Conhecimento em Python, PySpark e Spark SQL.
• Experiência com APIs REST e Git.
• Conhecimento em Azure Databricks, Data Factory e Storage.
• Vivência com metodologias ágeis.

Responsabilidades

• Desenvolver pipelines de dados com Databricks, Python, PySpark e Spark SQL.
• Implementar processos batch e streaming para integração e transformação de dados.
• Desenvolver componentes reutilizáveis seguindo boas práticas de engenharia de software.
• Participar da evolução e manutenção de pipelines críticos de negócio.
• Desenvolver integrações utilizando APIs REST.
• Trabalhar com arquitetos, engenheiros e negócio em metodologias ágeis.

Conhecimentos

Databricks

Python

PySpark

Spark SQL

Apache Spark

REST APIs

Git

Azure Databricks

Azure Data Factory

Azure Storage

CI/CD

OO development

Metodologias ágeis

Ferramentas

Kubernetes (AKS)

Jenkins

SonarQube

Kedro

Cloudera/Hadoop

Maestro/Control-M

Databricks on AWS

Descrição da oferta de emprego

Engenheiro(a) de Dados Pleno | Databricks

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks, Python e PySpark para atuar no desenvolvimento e evolução de soluções de dados em ambientes de missão crítica.

Buscamos um profissional com boa capacidade analítica, perfil colaborativo e interesse em desenvolver soluções escaláveis, de alta qualidade e orientadas à performance.

Responsabilidades

• Desenvolver pipelines de dados utilizando Databricks, Python, PySpark e Spark SQL.
• Implementar processos batch e streaming para integração e transformação de dados.
• Desenvolver componentes reutilizáveis seguindo boas práticas de engenharia de software.
• Participar da evolução e manutenção de pipelines críticos de negócio.
• Desenvolver integrações utilizando APIs REST.
• Atuar na correção de incidentes, otimização de processos e melhoria contínua das soluções.
• Trabalhar em conjunto com arquitetos, engenheiros e equipes de negócio utilizando metodologias ágeis.

Requisitos

• Experiência com Databricks em projetos de Engenharia de Dados.
• Conhecimento em Python, PySpark e Spark SQL.
• Conhecimento de Apache Spark, incluindo particionamento, joins, cache, persistência e boas práticas de desenvolvimento.
• Conhecimento em bancos de dados relacionais e NoSQL.
• Experiência no desenvolvimento e consumo de APIs REST.
• Experiência com Git.
• Conhecimento em Azure, preferencialmente Azure Databricks, Azure Data Factory e Azure Storage.
• Noções de CI/CD e versionamento de código.
• Conhecimento em desenvolvimento orientado a objetos.
• Vivência com metodologias ágeis.

Diferenciais

• Experiência em instituições financeiras.
• Conhecimento em Kubernetes (AKS).
• Experiência com Jenkins, SonarQube ou ferramentas similares.
• Conhecimento em Kedro.
• Experiência com Cloudera ou Hadoop.
• Conhecimento em Databricks sobre AWS.
• Experiência com orquestradores de workflow, como Maestro ou Control-M.

Certificações

• Certificação Databricks Data Engineer Associate será considerada um diferencial.
• Caso ainda não possua a certificação, espera-se disponibilidade para obtê-la durante o desenvolvimento profissional.
• Certificações Microsoft Azure (AZ-900 e DP-900) serão consideradas diferenciais.

Cultura na BRQ

Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.

Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/