Engenheiro(a) de Dados Senior

Ivy Group S/A; São Paulo; On-site; BRL 180,000 - 320,000; Full time

Job summary

A Ivy Group atua em projetos de Tecnologia e Cibersegurança, buscando um Engenheiro de Dados Sênior com forte proatividade e base técnica sólida em dados. A posição foca em pipelines escaláveis em GCP, ETL com Airflow, Python e modelagem de dados, com atuação em ambientes de grande escala.

O candidato ideal terá experiência em GCP (BigQuery, Dataflow, Pub/Sub, Cloud Storage), Airflow, SQL e NoSQL, além de Docker e Kubernetes para orquestração. Proatividade e visão estratégica são valorizadas.

Qualifications

• Experiência comprovada como Engenheiro de Dados ou função similar.
• Conhecimento sólido em GCP, com BigQuery, Dataflow, Pub/Sub e Cloud Storage.
• Experiência prática com Airflow para orquestrar pipelines de dados.
• Proficiência em Python para automação e transformação de dados.
• Conhecimento em SQL e NoSQL (MongoDB, Cassandra, Redis) e modelagem de dados.
• Experiência com Docker e Kubernetes para orquestrar containers.
• Capacidade de trabalhar com grandes volumes de dados distribuídos e garantir qualidade.
• Proatividade para identificar melhorias e inovações tecnológicas.

Responsibilities

• Projetar, desenvolver e implementar pipelines de dados em GCP, com foco em otimização, escalabilidade e segurança.
• Desenvolver e otimizar pipelines ETL com Airflow para orquestração de processos.
• Criar e manter scripts em Python para automação de tarefas e integração de fontes de dados.
• Trabalhar com bancos de dados SQL e NoSQL, garantindo arquitetura flexível.
• Aplicar boas práticas de modelagem de dados e consultas SQL otimizadas.
• Garantir a integridade, qualidade e segurança dos dados ao longo do pipeline.
• Colaborar com equipes técnicas e de negócios para solucionar problemas de dados.
• Garantir a performance e saúde dos pipelines com monitoramento e alertas.
• Contribuir para governança de dados e evolução das arquiteturas.

Skills

Proatividade

Autonomia

Visão analítica

Colaboração

Inovação

Tools

Google Cloud Platform (GCP)

BigQuery

Dataflow

Pub/Sub

Cloud Storage

Airflow

Python

SQL

NoSQL

Docker

Kubernetes

Job description

A Ivy Group atua em projetos de Tecnologia e Cibersegurança, oferecendo soluções em Cloud, FinOps, Desenvolvimento de Software, Assessments, Pentest, Governança, Dados e Inteligência Artificial. Buscamos profissionais que combinem excelência técnica, visão analítica, autonomia e colaboração para transformar necessidades de negócio e dos usuários em soluções digitais consistentes, funcionais e de alta qualidade.

Estamos em busca de um Engenheiro de Dados Sênior altamente qualificado, com um forte senso de proatividade e uma sólida base técnica em dados. O candidato ideal terá experiência prática em Google Cloud Platform (GCP), Python, Airflow, SQL e NoSQL, além de ser capaz de lidar com a criação e otimização de pipelines de dados escaláveis e eficientes. Esta posição exige alguém que não apenas entregue soluções de alta qualidade, mas que também identifique oportunidades de melhoria contínua e inovações tecnológicas para transformar e otimizar o uso de dados em toda a organização.

Principais Responsabilidades

• Projetar, desenvolver e implementar pipelines de dados em ambientes de grande escala utilizando Google Cloud Platform (GCP), com foco em otimização, escalabilidade e segurança.
• Desenvolver e otimizar pipelines de ETL utilizando Apache Airflow para orquestração de processos e automação de fluxos de dados.
• Criar e manter scripts em Python para automação de tarefas, processamento de dados e integração de fontes de dados.
• Trabalhar com bancos de dados SQL e NoSQL, garantindo uma arquitetura flexível e eficiente para suportar os diferentes tipos de dados da organização (estruturados, semi-estruturados e não estruturados).
• Aplicar boas práticas de modelagem de dados e consultas SQL otimizadas para garantir desempenho e escalabilidade.
• Implementar soluções que garantam a integridade, qualidade e segurança dos dados ao longo de todo o pipeline.
• Colaborar de forma proativa com equipes técnicas e de negócios para identificar e solucionar problemas de dados, sempre buscando alternativas para melhorar a eficiência e eficácia dos processos.
• Garantir a performance e saúde dos pipelines de dados, com a implementação de ferramentas de monitoramento e alertas para detectar possíveis falhas ou gargalos.
• Ajudar a definir e aprimorar processos e melhores práticas de governança de dados em toda a empresa.
• Participar ativamente da evolução das arquiteturas de dados, trazendo novas ideias e propondo melhorias contínuas para infraestrutura e fluxo de dados.
• Requisitos Técnicos
• Experiência comprovada como Engenheiro de Dados ou em função similar, com sólido conhecimento em soluções de engenharia de dados em larga escala.
• Domínio em Google Cloud Platform (GCP), com experiência prática em ferramentas como BigQuery, Dataflow, Pub/Sub, Cloud Storage, entre outras.
• Sólida experiência com Airflow para orquestração de pipelines de dados, com capacidade de otimizar e gerenciar fluxos de dados em tempo real ou em batch.
• Proficiência técnica em SQL e NoSQL (como MongoDB, Cassandra, Redis, etc.), com experiência em modelagem de dados, criação de consultas otimizadas e manipulação de grandes volumes de dados.
• Proficiência em Python para automação, transformação de dados e integração entre sistemas e plataformas.
• Experiência com Docker e Kubernetes para criar, gerenciar e orquestrar containers no ambiente de dados.
• Forte capacidade de análise e resolução de problemas técnicos, além de uma visão estratégica para otimizar soluções de dados e atender às demandas de crescimento da empresa.
• Capacidade de trabalhar com grandes volumes de dados distribuídos e garantir sua qualidade, consistência e acessibilidade para diferentes equipes e stakeholders.
• Proatividade para identificar melhorias no processo de engenharia de dados e implementar soluções inovadoras para novos desafios.
• Diferenciais:
• Certificações em Google Cloud Platform (GCP) ou em outras plataformas de cloud computing.
• Experiência em Apache Beam ou ferramentas de processamento de dados em tempo real.
• Experiência no desenvolvimento e manutenção de API’s
• Conhecimento em Data Warehousing e Data Lakes.
• Experiência com ferramentas de visualização de dados como Looker ou PowerBI.
• Vivência com metodologias ágeis (Scrum, Kanban).