Pessoa Engenheira de Dados | Rio de Janeiro

Pulse Client Experts; Rio de Janeiro; On-site; BRL 167,400 - 223,200; Full time

Benefits offered by this job

Ambiente diversificado e inclusivo

Job summary

Uma empresa de tecnologia está buscando um(a) Engenheiro(a) de Dados no Rio de Janeiro. O profissional será responsável por construir e otimizar a infraestrutura de dados, atuando como referência técnica e mentor(a) em um ambiente de Big Data. É imprescindível ter experiência com Databricks, conhecimentos avançados em Python e SQL, e habilidades de comunicação. A função requer um perfil proativo e que busque disseminar uma cultura data-driven na organização. Oferecemos um ambiente inclusivo e diverso.

Qualifications

• Experiência sólida como Engenheiro de Dados em ambientes de Big Data.
• Profundo conhecimento da plataforma Databricks no ambiente Azure.
• Domínio avançado de Python e SQL.

Responsibilities

• Desenvolver, otimizar e manter pipelines de dados robustos.
• Atuar como referência técnica para o time de dados.
• Implementar rotinas de monitoramento da qualidade dos dados.

Skills

Python

SQL

Apache Spark / PySpark

Governança de Dados

Modelagem de Dados

Azure Databricks

Comunicação

Education

Superior Completo em Engenharia da Computação, Ciência da Computação ou Sistemas de Informação

Tools

Databricks

Git

MongoDB

Job description

Nesta oportunidade de Engenheiro(a) de Dados, você será responsável por construir e otimizar nossa infraestrutura de dados, também atuará como uma referência técnica e mentor(a), capacitando nossas equipes de Analistas, Especialistas e Cientistas de Dados a extraindo o máximo valor dos nossos ativos de dados, assumindo a propriedade de domínios de dados e garantindo que nossas soluções sejam escaláveis, seguras e governadas.

Aqui na Pulse temos compromissos com a equidade de oportunidades para todas as pessoas. Valorizamos as diferenças e temos um ambiente onde todos e todas são mais que bem-vindos, por isso buscamos diversidade em identidade de gênero, idade, cor e etnia, orientação afetivo-sexual, origem, pessoas com deficiência e entre outras diversidades, pois entendemos que todas as pessoas devem sonhar, crescer e realizar.

Para te ajudar a entender este desafio, aqui estão algumas responsabilidades:

• Construção de Pipelines de Dados: Desenvolver, otimizar e manter pipelines de dados (ETL/ELT) robustos, eficientes e escaláveis, utilizando o ecossistema Azure Databricks, incluindo Databricks Jobs e Delta Live Tables (Pipelines);
• Otimização e Performance: Otimizar a performance de queries complexas e processos de ingestão e transformação, garantindo o processamento eficiente de grandes volumes de dados;
• Liderança Técnica e Mentoria: Atuar como referência técnica para o time de dados, promovendo as melhores práticas de engenharia, governança e qualidade de dados, mentorando o time de Dados;
• Monitoramento e Qualidade: Implementar e manter rotinas de monitoramento que garantam a saúde, a consistência e a qualidade dos nossos pipelines e bases de dados;
• Arquitetura e Desenvolvimento em Data Mesh: Liderar a concepção e ser o guardião técnico de domínios de dados específicos, garantindo a qualidade, disponibilidade, segurança e documentação dos "produtos de dados";
• Governança de Dados: Implementar e disseminar estratégias de governança de dados dentro do time, incluindo conhecimento de todos os domínios de dados, garantindo a conformidade e a segurança das informações acessadas;
• Suporte Estratégico: Colaborar ativamente com stakeholders, Analistas e Cientistas de Dados para entender os requisitos de negócio e traduzi-los em soluções de dados eficazes e estratégicas, disponibilizando datasets prontos para consumo;
• Disseminação da Cultura Data-Driven: Agir como um evangelista de dados, auxiliando as áreas de negócio a compreender e utilizar os dados disponíveis para tomar decisões mais inteligentes.

Para esta oportunidade, é necessário que você:

• Superior Completo em Engenharia da Computação, Ciência da Computação, Sistemas de Informação ou áreas correlatas;
• Experiência sólida e comprovada como Engenheiro de Dados, atuando em ambientes de Big Data;
• Profundo conhecimento e experiência prática com a plataforma Databricks no ambiente Azure (ADB), dominando seu principais componentes como Databricks JOBs, Delta Live Tables, e integração com Azure Data Lake Stirage (ADLS);
• Domínio avançado de Python e SQL para manipulação e processamento de dados em larga escala;
• Experiência avançada com Apache Spark / PySpark, incluindo otimização de jobs e performance;
• Sólidos conhecimentos em modelagem de dados (Dimensional, Data Vault) e arquitetura de dados;
• Compreensão profunda e vivência prática com os conceitos e a implementação de arquiteturas Data Mesh;
• Experiência com práticas e ferramentas de governança de dados (Data Governance), qualidade de dados (Data Quality) e segurança;
• Conhecimento em ferramentas de versionamento de código, como Git;
• Excelentes habilidades de comunicação, colaboração e mentoria.

É um diferencial se você possuir:

• Conhecimento em bancos de dados NoSQL, especialmente MongoDB;
• Familiaridade com metodologias ágeis (Scrum, Kanban).