Engenheiro de dados

Jamefy; São Paulo; On-site; BRL 180,000 - 240,000; Full time

Job summary

A Jamefy está contratando um engenheiro de dados para desenvolver e sustentar pipelines em Azure e Databricks, assegurando disponibilidade e performance. O trabalho envolve coleta de requisitos, testes de qualidade de dados e melhoria contínua em ambientes de nuvem.

O profissional atuará com ETL/ELT, SQL e Python, contribuindo para governança, conformidade com LGPD e entrega de soluções de dados eficientes para as áreas da empresa.

Qualifications

• Experiência mínima de 3 anos na área.
• Experiência prática com ETL/ELT e pipelines de dados.
• Vivência em plataformas de nuvem, preferencialmente Azure.
• Experiência em linguagens SQL e Python.

Responsibilities

• Desenvolver e sustentar pipelines de dados nas plataformas Azure e Databricks, garantindo disponibilidade, confiabilidade e performance.
• Capturar e analisar requisitos de negócio, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas.
• Executar testes e validações nos pipelines e sistemas de dados, assegurando a qualidade e integridade das informações procesadas.
• Monitorar a performance dos sistemas de big data em nuvem e identificar oportunidades de otimização.

Skills

SQL

Python

PySpark

Tools

Azure

Databricks

Data Factory

Data Lake

Job description

Descrição da Vaga

Objetivo da posição: Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo: Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo: Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo: Confiabilidade das decisões: Acuracidade nas decisões de negócio;

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo: Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo: Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo: Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo: Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo: Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo: Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo: Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos

Experiência: Experiência mínima de 3 anos na área; Experiência prática com ferramentas de ETL/ELT e pipelines de dados; Vivência em plataformas de nuvem, preferencialmente Azure; Experiência em linguagens SQL e Python.

Competências e Habilidades:

Competências técnicas: Linguagens de programação SQL, Python e PySpark; Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake); Desenvolvimento e manutenção de pipelines de dados; Bancos de dados relacionais e NoSQL; Fundamentos de big data e processamento distribuído; Metodologias ágeis (Scrum, Kanban); Controle de versionamento (Git); Conceitos de governança de dados e LGPD.

Competências funcionais: Coleta e análise de requisitos de negócio; Documentação técnica.

Competências comportamentais: Comunicação clara e objetiva; Trabalho em equipe e colaboração; Orientação para resultados e qualidade; Adaptabilidade e aprendizagem contínua; Organização e gestão de tempo.

Requisitos:

Objetivo da posição: Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo: Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo: Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo: Confiabilidade das decisões: Acuracidade nas decisões de negócio;

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo: Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo: Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo: Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo: Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo: Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo: Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo: Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos

Experiência: Experiência mínima de 3 anos na área; Experiência prática com ferramentas de ETL/ELT e pipelines de dados; Vivência em plataformas de nuvem, preferencialmente Azure; Experiência em linguagens SQL e Python.

Competências e Habilidades:

Competências técnicas: Linguagens de programação SQL, Python e PySpark; Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake); Desenvolvimento e manutenção de pipelines de dados; Bancos de dados relacionais e NoSQL; Fundamentos de big data e processamento distribuído; Metodologias ágeis (Scrum, Kanban); Controle de versionamento (Git); Conceitos de governança de dados e LGPD.

Competências funcionais: Coleta e análise de requisitos de negócio; Documentação técnica.

Competências comportamentais: Comunicação clara e objetiva; Trabalho em equipe e colaboração; Orientação para resultados e qualidade; Adaptabilidade e aprendizagem contínua; Organização e gestão de tempo.