Engenheiro(a) de Dados Sênior

Rox Partner; São Paulo; Remote; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Remote work

Home-office allowance

Birthday Day off

Learning resources access

Certification reimbursement

Counseling sessions

Wellness program

Work equipment provided

Job summary

A Rox Partner está buscando um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento e evolução de soluções no ecossistema Google Cloud Platform (GCP).

O profissional atuará no ciclo de dados, desde ingestão e processamento até transformação, modelagem e disponibilização das informações para consumo, desenvolvendo pipelines com BigQuery, Dataform/dbt e automação em Python.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados em projetos de média ou alta complexidade.
• Experiência prática com Google Cloud Platform (GCP).
• Domínio de Python para desenvolvimento de soluções e automação de processos.
• SQL avançado e experiência com modelagem de dados e Data Warehouse.
• Experiência no desenvolvimento e manutenção de pipelines ETL/ELT.
• Conhecimento em ferramentas de transformação de dados, como Dataform ou dbt.
• Experiência com orquestração de pipelines utilizando Apache Airflow e/ou Cloud Workflows.
• Vivência com processamento distribuído utilizando Apache Spark, Dataproc ou tecnologias equivalentes.
• Experiência com Git, GitLab, versionamento de código e práticas de CI/CD.
• Conhecimento em boas práticas de engenharia de software, monitoramento e tratamento de erros.

Responsibilities

• Desenvolver, evoluir e sustentar pipelines de dados utilizando serviços e ferramentas do ecossistema Google Cloud Platform.
• Construir e otimizar processos de integração, transformação e processamento de dados (ETL/ELT).
• Desenvolver e manter jobs de processamento distribuído, trabalhando com grandes volumes de dados.
• Implementar e gerenciar fluxos de orquestração de dados, utilizando ferramentas como Apache Airflow e Cloud Workflows.
• Desenvolver transformações e modelos de dados, aplicando boas práticas de versionamento, testes e documentação.
• Criar scripts e soluções de automação utilizando Python.
• Desenvolver consultas complexas e otimizar processos de manipulação de dados utilizando SQL.
• Atuar na identificação e resolução de problemas relacionados à performance, qualidade e disponibilidade dos pipelines.
• Participar de revisões de código, versionamento e processos de CI/CD.
• Colaborar com o time em um ambiente ágil, utilizando metodologias Kanban para acompanhamento das demandas.

Skills

Python

SQL

GCP

Modelagem de dados

ETL/ELT

CI/CD

Tools

Dataform

dbt

Apache Airflow

Cloud Workflows

Dataproc

Apache Spark

Git

Job description

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP).

A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo.

O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados.

Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio.

Responsabilidades e Atribuições

• Desenvolver, evoluir e sustentar pipelines de dados utilizando serviços e ferramentas do ecossistema Google Cloud Platform.
• Construir e otimizar processos de integração, transformação e processamento de dados (ETL/ELT).
• Desenvolver e manter jobs de processamento distribuído, trabalhando com grandes volumes de dados.
• Implementar e gerenciar fluxos de orquestração de dados, utilizando ferramentas como Apache Airflow e Cloud Workflows.
• Desenvolver transformações e modelos de dados, aplicando boas práticas de versionamento, testes e documentação.
• Criar scripts e soluções de automação utilizando Python.
• Desenvolver consultas complexas e otimizar processos de manipulação de dados utilizando SQL.
• Atuar na identificação e resolução de problemas relacionados à performance, qualidade e disponibilidade dos pipelines.
• Participar de revisões de código, versionamento e processos de CI/CD.
• Colaborar com o time em um ambiente ágil, utilizando metodologias Kanban para acompanhamento das demandas.

Requisitos

• Experiência sólida como Engenheiro(a) de Dados em projetos de média ou alta complexidade.
• Experiência prática com Google Cloud Platform (GCP).
• Domínio de Python para desenvolvimento de soluções e automação de processos.
• SQL avançado e experiência com modelagem de dados e Data Warehouse.
• Experiência no desenvolvimento e manutenção de pipelines ETL/ELT.
• Conhecimento em ferramentas de transformação de dados, como Dataform ou dbt.
• Experiência com orquestração de pipelines utilizando Apache Airflow e/ou Cloud Workflows.
• Vivência com processamento distribuído utilizando Apache Spark, Dataproc ou tecnologias equivalentes.
• Experiência com Git, GitLab, versionamento de código e práticas de CI/CD.
• Conhecimento em boas práticas de engenharia de software, monitoramento e tratamento de erros.

Diferenciais

• Conhecimento em Dataflow e Apache Beam.
• Experiência com arquitetura Lakehouse.
• Certificações Google Cloud.
• Vivência com processos de conciliação financeira, contábil ou operacional.
• Conhecimento em Data Reliability e estratégias de monitoramento da qualidade dos dados.
• Experiência com grandes volumes de dados.
• Vivência com Kanbanize.

Benefícios

• Atuação remota - Segunda a sexta, (09h às 18h);
• Auxílio home-office - Crédito no cartão Ifood para Refeição/Alimentação no valor de R$ 300,00 por mês;
• Aniversário - Uma data tão especial, a Rox te presenteia com um vale presente e um Day off para que você possa curtir seu dia;
• Cursos - Acesso completo pela RoxSchool, Plataforma Alura, Pluralsight, Oreilly para livros e palestras e RoxSchool;
• Certificações - Reembolso de certificação de até R$300,00 (TECNOLOGIA) + Bônus de R$300,00 por certificação alcançada dessas Brands;
• Auxílio Psicólogo - Duas sessões de Psicoteparia custeados pela ROX mensalmente com psicólogos parceiros;
• WellHub (Gympass) - Parceria com academias e aplicativos de saúde e bem-estar; Oferecemos o equipamento de trabalho.