Python jobs in United States

O que faz a área de Engenharia de Dados na Porto Bank?

Na área de Engenharia de Dados na Porto Bank, o foco está em criar e integrar sistemas que monitoram e acompanham o ecossistema de dados. Isso envolve seguir as melhores práticas para desenvolver pipelines eficientes e escaláveis. Além disso, é importante identificar e gerenciar os riscos das atividades do time, bem como estabelecer padrões e boas práticas de desenvolvimento e documentação. Uma parte crucial do trabalho é ter uma visão ampla, capaz de integrar diferentes áreas e soluções de dados para garantir que todas as partes do sistema funcionem de maneira harmoniosa e eficiente. Em resumo, o engenheiro de dados na Porto Bank desempenha um papel fundamental na gestão e desenvolvimento de sistemas de dados que impulsionam as operações e estratégias da empresa.

1. Desenvolver arquitetura de dados robusta e escalável, que suporte os times de dados (Analytics, BI, Data Science, Machine Learning e outras verticais) e negócios, democratizando o acesso aos dados de forma segura, simples, estruturada e com qualidade;
2. Desenhar, construir e integrar mecanismos de monitoramento e acompanhamento do ecossistema de dados;
3. Desenhar e construir padrões e boas práticas de desenvolvimento, documentação do ambiente e entregas;
4. Documentar, monitorar e garantir a qualidade dos dados;
5. Desenhar e garantir a aplicação das melhores práticas de desenvolvimento de pipelines, focando em performance e escalabilidade;
6. Garantir e ter uma visão capaz de relacionar e integrar áreas (Produtos de Dados e ML Ops) e soluções de dados;
7. Garantir que o conhecimento seja compartilhado entre todos do time;
8. Identificar, administrar e tratar os riscos das atividades sob sua responsabilidade e do time;
9. Garantir e implementar o desenho da arquitetura de dados;
10. Compreender as necessidades de negócio e visão estratégica;
11. Garantir que todas as necessidades mapeadas a serem desenvolvidas sejam entregues com qualidade, escalabilidade e dentro do prazo.

Requisitos mínimos:

• Graduação em Engenharia, Ciência da Computação ou áreas afins;
• Experiência com Azure e/ou AWS;
• Experiência com Databricks, Delta Lake / Lake House, CosmosDB, Azure Synapse e Analysis Services;
• Experiência com linguagens de programação Python, SQL e PySpark;
• Experiência com processamento distribuído de dados;
• Experiência com pipelines de integração e entrega contínua (CI/CD) e/ou Azure DevOps;
• Experiência com desenvolvimento de APIs e Azure Functions.

Informações adicionais:

Benefícios incluem Vale Alimentação e Refeição, transporte, plano de saúde, odontológico, seguro de vida, participação nos lucros, auxílio creche ou babá, previdência privada, programas de saúde e bem-estar, bolsas de estudo, subsídio para cursos de idiomas, entre outros benefícios que promovem o bem-estar e desenvolvimento do colaborador.