Engenheiro(a) de dados - SR

Domvs IT; São Paulo; Vor Ort; BRL 180.000 - 280.000; Vollzeit

Zusammenfassung

A DOMVS iT está contratando engenheiro(a) de dados para desenvolver e sustentar pipelines em Azure e Databricks, assegurando disponibilidade, confiabilidade e performance das soluções de dados.

Você capturará requisitos de negócio, executará testes e manterá a documentação técnica, apoiando a governança de dados e LGPD em toda a organização.

Qualifikationen

• Experiência mínima de 3 anos em engenharia de dados / pipelines.
• Conhecimento prático de ETL/ELT e pipelines de dados.
• Vivência em plataformas de nuvem, preferencialmente Azure.
• Linguagens SQL, Python e PySpark.
• Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake).
• Desenvolvimento e manutenção de pipelines de dados.
• Bancos de dados relacionais e NoSQL.
• Fundamentos de big data e processamento distribuído.
• Metodologias ágeis (Scrum, Kanban).
• Controle de versionamento (Git).
• Conceitos de governança de dados e LGPD.

Aufgaben

• Desenvolver e sustentar pipelines de dados nas plataformas Azure e Databricks, visando disponibilidade e performance.
• Capturar requisitos de negócio e propor soluções técnicas de dados.
• Realizar testes e validações dos pipelines e garantir a qualidade das informações.
• Monitorar a performance dos sistemas de big data em nuvem e identificar oportunidades de otimização.
• Apoiar governança, qualidade, segurança e LGPD em projetos de dados.
• Participar de migrações e implementações de soluções de dados corporativas.
• Elaborar documentação técnica dos pipelines e promover transferência de conhecimento.
• Realizar troubleshooting e apoiar resolução de problemas técnicos nos sistemas de dados.
• Apoiar colegas com menor experiência em engenharia de dados.

Kenntnisse

Experiência 3+ anos

ETL/ELT pipelines

Azure cloud

SQL

Python

PySpark

Azure Data Factory

Databricks

Data Lake

Git

Governança LGPD

Big data basics

Tools

Azure Databricks

Git

Data Factory

Data Lake

Jobbeschreibung

Prazer, somos a DOMVS iT!

Na DOMVS iT, nossos colaboradores são protagonistas de suas carreiras, e oferecemos todo o suporte necessário para que alcancem o sucesso profissional.

E adivinha? Estamos com uma oportunidade incrível para você se juntar ao nosso time!

Objetivo da posição:

Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo:

• Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo:

• Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo:

• Confiabilidade das decisões: Acuracidade nas decisões de negócio;

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo:

• Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo:

• Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo:

• Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo:

• Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo:

• Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo:

• Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo:

• Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos.

• Experiência mínima de 3 anos na área;
• Experiência prática com ferramentas de ETL/ELT e pipelines de dados;
• Vivência em plataformas de nuvem, preferencialmente Azure;
• Linguagens de programação SQL, Python e PySpark;
• Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake);
• Desenvolvimento e manutenção de pipelines de dados;
• Bancos de dados relacionais e NoSQL;
• Fundamentos de big data e processamento distribuído;
• Metodologias ágeis (Scrum, Kanban);
• Controle de versionamento (Git);
• Conceitos de governança de dados e LGPD.

Competências funcionais:

• Coleta e análise de requisitos de negócio;
• Documentação técnica.

Competências comportamentais:

• Comunicação clara e objetiva;
• Trabalho em equipe e colaboração;
• Orientação para resultados e qualidade;
• Adaptabilidade e aprendizagem contínua;
• Organização e gestão de tempo.