Pessoa Engenheira De Dados (Python/Especialista)

buscojobs Brasil; São Paulo; Presencial; BRL 120.000 - 160.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está em busca de um Engenheiro de Dados em São Paulo. O candidato ideal deve ter conhecimento avançado em SQL, experiência com bancos de dados diversos e domínio do Google Cloud Platform. A função envolve desenvolver soluções robustas para gestão de dados, otimizar pipelines e adotar melhores práticas de engenharia de dados.

Qualificações

• Domínio da linguagem SQL, incluindo melhores práticas e otimização de consultas.
• Experiência com bancos de dados relacionais e não relacionais.
• Experiência em Cloud Computing, especialmente no Google Cloud Platform.

Responsabilidades

• Identificar e priorizar requisitos de negócio, funcionais e técnicos.
• Projetar e implementar arquiteturas escaláveis para dados.
• Desenvolver e otimizar pipelines de ingestão e transformação de dados.

Conhecimentos

SQL

Python

Data Warehousing

Git

APIs

Terraform

Documentação

Formação académica

Certificação Google Cloud Certified – Professional Data Engineer

Ferramentas

Jupyter Notebooks

Google Cloud Platform

Descrição da oferta de emprego

MISSÃO DO CARGO

Oportunidade para atuar como Engenheiro de Dados na maior empresa de Tecnologia do Brasil!

O QUE VOCÊ VAI FAZER

• Compreensão e tradução de requisitos : Identificar e priorizar requisitos de negócio, funcionais e técnicos, traduzindo-os em soluções nas plataformas de dados, utilizando as melhores práticas de engenharia de dados.
• Arquitetura e modelagem de dados : Projetar e implementar arquiteturas escaláveis para armazenar, processar e disponibilizar grandes volumes de dados com alta performance.
• Integração com Data Science : Trabalhar em parceria com o time de Data Science para projetar e implementar soluções baseadas em dados e Machine Learning.
• Pipelines e processamento de dados : Desenvolver e otimizar pipelines de ingestão, processamento e transformação de dados, garantindo qualidade, eficiência e governança.
• Orquestração de Pipelines de Dados : Implementar e gerenciar workflows de dados utilizando ferramentas como Apache Airflow, garantindo a automação e escalabilidade dos processos de ingestão e processamento.
• Melhores Práticas de DataOps : Aplicar conceitos de CI / CD para pipelines de dados, testes automatizados em ETLs, versionamento de dados e monitoramento contínuo da qualidade e confiabilidade dos dados.
• Segurança e Governança de Dados : Garantir boas práticas de proteção de dados, controle de acessos, auditoria e conformidade com regulamentos como LGPD e GDPR.
• Boas práticas e escalabilidade : Atuar como referência técnica na implementação de soluções em nuvem, promovendo as melhores práticas de engenharia de dados, segurança, confiabilidade e escalabilidade.

O QUE ESPERAMOS DE VOCÊ

• Expertise em SQL : Domínio da linguagem SQL, incluindo melhores práticas, otimização de consultas e modelagem de dados eficiente.
• Bancos de dados : Experiência com bancos de dados relacionais (SQL) e não relacionais (NoSQL), com foco em desempenho e escalabilidade.
• Programação e notebooks interativos : Experiência com Python e Jupyter Notebooks para análise, processamento e manipulação de dados.
• Versionamento e colaboração : Conhecimento em sistemas de controle de versão, especialmente Git.
• Integração e APIs : Familiaridade com consumo e criação de APIs para manipulação e integração de dados.
• Processamento e análise de dados em larga escala : Conhecimento em Data Warehousing e tecnologias de Big Data para lidar com grandes volumes de dados.
• Documentação e suporte : Capacidade de criar e manter documentações claras e acessíveis para facilitar o uso dos recursos por outros usuários.
• Gerenciamento de projetos : Experiência com organização e entregas de projetos de alta complexidade em engenharia de dados.
• Cloud Computing : Experiência com provedores de nuvem, com foco em Google Cloud Platform (GCP) e serviços como Cloud Functions, BigQuery, Pub / Sub, Dataflow e Cloud Storage.
• Experiência com ferramentas de Data Science, incluindo bibliotecas e frameworks para modelagem e análise de dados.
• Familiaridade com sistemas ERP, especialmente TOTVS, em contextos de integração de dados corporativos.
• Infraestrutura como Código (IaC) e Automação : Conhecimento em Terraform para provisionamento e gerenciamento de infraestrutura na nuvem.
• Certificação Google Cloud Certified – Professional Data Engineer, demonstrando expertise em soluções de dados na nuvem.