Análise de Dados PL (Híbrido/SP) - 124706

GFT Group; Barueri; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa líder em tecnologia busca um profissional de nível PL para atuar em Análise de Dados. O candidato ideal terá experiência em desenvolver e otimizar pipelines de dados, utilizando ferramentas como PySpark e AWS. A função envolve colaboração com diferentes equipes para garantir a qualidade e a integridade dos dados, além de promover boas práticas de governança. Se você é criativo, colaborativo e tem coragem para enfrentar desafios, esta é a oportunidade perfeita para você.

Qualificações

• Experiência prática em AWS e PySpark.
• Proficiência em SQL e Airflow.
• Experiência com integração de dados de CRMs, especialmente Salesforce.

Responsabilidades

• Desenvolver e otimizar pipelines de dados utilizando PySpark.
• Trabalhar com Airflow para automação de processos de dados.
• Garantir a qualidade e a segurança dos dados em soluções robustas.

Conhecimentos

Colaboração

Resolução de problemas

Criatividade

Ferramentas

AWS

PySpark

Airflow

Iceberg

SQL

Salesforce

Descrição da oferta de emprego

Profissional de nível PL que atue com Análise de Dados.

Atividades:

1. Desenvolver e otimizar pipelines de dados utilizando PySpark para processamento distribuído e transformação de grandes volumes de dados;
2. Trabalhar com ferramentas de orquestração de workflows, como Airflow, para garantir a automação e o monitoramento adequado dos processos de dados;
3. Projetar soluções de armazenamento e consulta eficientes usando Iceberg e AWS, garantindo a escalabilidade e a integridade dos dados;
4. Escrever e otimizar consultas SQL para transformação e análise de dados em diferentes fontes de dados (relacionais e não-relacionais);
5. Integrar dados de diferentes sistemas e fontes, com experiência em CRMs, especialmente Salesforce, para garantir a disponibilidade e qualidade dos dados em toda a organização;
6. Trabalhar junto a equipes de dados, negócios e TI para entender os requisitos e implementar soluções de dados que atendam às necessidades de cada área;
7. Garantir a qualidade, consistência e segurança dos dados, promovendo boas práticas de governança e compliance.

Requisitos e qualificações:

1. Experiência prática em AWS, incluindo serviços como S3, Lambda, EMR, Redshift e outros relacionados ao processamento e armazenamento de dados;
2. Proficiência em PySpark para o processamento de grandes volumes de dados em ambientes distribuídos;
3. Experiência com Airflow para orquestrar e automatizar pipelines de dados;
4. Sólidos conhecimentos em SQL para manipulação e transformação de dados;
5. Experiência com Iceberg para gerenciamento de dados em grandes volumes e ambientes distribuídos;
6. Experiência prévia com Salesforce ou outros CRMs, especialmente em integrar dados de CRMs a sistemas de análise e BI;
7. Habilidade de colaborar com diferentes equipes, como desenvolvedores, analistas e gestores de negócios, para coletar requisitos e implementar soluções;
8. Capacidade de identificar, diagnosticar e resolver problemas em pipelines de dados e processos relacionados;
9. Projetar, desenvolver e otimizar pipelines de dados utilizando ferramentas como PySpark, Apache Kafka, RabbitMQ e NiFi;
10. Implementar e manter soluções de processamento de dados em larga escala utilizando AWS, incluindo serviços como Amazon S3, Redshift, EMR, Lambda, entre outros;
11. Utilizar e integrar tecnologias de processamento distribuído (Airflow, Iceberg) para orquestrar e gerenciar fluxos de dados;
12. Trabalhar com grandes volumes de dados e garantir a qualidade, consistência e disponibilidade dos dados através de soluções robustas e escaláveis;
13. Colaborar com times de desenvolvimento, análise de dados e arquitetura para definir e implementar requisitos de dados de forma eficiente e segura;
14. Monitorar e otimizar a performance de sistemas de dados, identificando e corrigindo gargalos.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.