Engenheiro de Dados Senior

Framework Digital; Ananindeua; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia no Brasil procura um profissional experiente em Engenharia de Dados. O candidato atuará na migração de pacotes SSIS para Python e otimização de notebooks no Databricks, junto a um ambiente colaborativo e flexível. É necessário ter experiência com Databricks, Python e processos de ETL, além de conhecimentos em modelagem de dados e BI. A empresa oferece benefícios competitivos com foco no bem-estar e desenvolvimento profissional.

Serviços

Vale alimentação e refeição

Auxílio home office

Plano de saúde

Participação nos lucros

Horário flexível

Ambiente leve e colaborativo

Qualificações

• Experiência sólida e comprovável em Engenharia de Dados.
• Vivência com Databricks, Python, PySpark, Spark e SQL.
• Experiência em ambientes de Analytics e IA em Cloud.
• Conhecimento em processos de ETL (Extract, Transform and Load).
• Vivência com arquitetura de BI, Data Warehouse e Datalake.

Responsabilidades

• Atuar na migração e reconstrução de pacotes SSIS para notebooks em Python.
• Otimizar performance e custo de notebooks no Databricks.
• Realizar testes e validações de qualidade de dados.

Conhecimentos

Engenharia de Dados

Databricks

Python

PySpark

SQL

ETL

Business Intelligence

Modelagem de Dados

Governança de Dados

DevOps

Ferramentas

Azure SQL Database

Power BI

Azure Data Lake Storage

Azure Synapse Analytics

Descrição da oferta de emprego

Somos a Framework! Evoluímos grandes marcas em todo o mundo com transformação digital e crescemos continuamente através de agilidade, design e tecnologia. Fazer parte do nosso time é saber que a sua jornada será de desafios reais, de crescimento contínuo e de contato diário com referências em tecnologia. Vem com a gente!

• Todas as nossas vagas são abertas para PCDs!

Benefícios? É claro que temos!

Vale alimentação e refeição no cartão Swile com mais de R$ 1.200,00 mensais

Auxílio home office no valor de R$ 150,00 mensais

Você decide entre vale-transporte ou vale-combustível, no caso de vagas híbridas e presenciais

Plano de saúde e auxílio odontológico de alta qualidade

Seguro de vida que cobre doenças ocupacionais

Participação nos lucros

Total Pass para se manter saudável

Trib Pass para trocar moedas digitais por hospedagens e passagens aéreas com cobertura mundial

Licença maternidade estendida : 180 dias

Licença paternidade estendida : 30 dias

Desconto em consultas nutricionais

Desconto em terapia online

Clube de benefícios para quem gosta de comprar com descontos

Knowledge transfer através do Frame KT

Bonificação por indicação de novos colaboradores

E não paramos por aí!

Horário flexível

No dress code

Nas pausas presenciais, fique à vontade para comer pães, bolos e frutas

Ambiente leve, flexível e cultura colaborativa.

E qual será a sua missão na Framework?

• Atuar na migração e reconstrução de pacotes SSIS (SQL Server Integration Services) para notebooks em Python, PySpark e SQL no Databricks;
• Otimizar performance e custo de notebooks e computações no Databricks;
• Reapontar artefatos de consumo de dados (Power BI, planilhas Excel, APIs, entre outros) do Azure SQL Server para o Datalake no Databricks;

Corrigir e ajustar artefatos de consumo de dados impactados pelo processo de migração

• Realizar testes e validações de qualidade de dados, bem como ajustes em modelagem de dados multidimensional;
• Configurar e criar objetos e metadados no Unity Catalog do Databricks;
• Conduzir entrevistas e processos de homologação junto às áreas de negócio;
• Definir rotinas e jobs de execução dos notebooks considerando dependências e relacionamentos de dados;
• Planejar e executar atividades em conjunto com times técnicos e áreas de negócio produtoras e consumidoras de dados;
• Realizar análises de impacto e solução de problemas;
• Pesquisar, propor e desenvolver soluções e estratégias técnicas para redução do esforço de migração e homologação;

Utilizar IA para aceleração de desenvolvimento de código e atividades de migração e homologação.

O que é preciso para fazer parte do time?

• Experiência sólida e comprovável em Engenharia de Dados;
• Vivência com Databricks, Python, PySpark, Spark e SQL;
• Experiência com Azure SQL Database e SSIS;
• Atuação em ambientes de Analytics e IA em Cloud;
• Conhecimento em processos de ETL (Extract, Transform and Load);
• Vivência com arquitetura de BI, Data Warehouse e Datalake;
• Experiência em estruturação, transporte, refinamento e armazenamento de Big Data em Datalake Cloud;
• Conhecimento em modelagem de dados multidimensional (Star Schema);
• Experiência em modelagem de dados relacional em conformidade com as formas normais;
• Vivência com arquitetura Medallion de Datalake;
• Conhecimento em consultas SQL avançadas, com foco em desempenho e segurança;
• Experiência em ambientes críticos, de alto volume de dados, alta disponibilidade e real time;
• Vivência em análise de negócio e fornecimento de dados para públicos e objetivos heterogêneos;
• Experiência no desenvolvimento de relatórios e painéis utilizando Power BI;

Conhecimento em governança de dados, padrões de desenvolvimento e práticas de DevOps (CI / CD) para Analytics e IA.

Será um diferencial se você :

• Tiver experiência com Azure SQL DW;
• Possuir vivência com Azure Data Lake Storage;
• Ter atuado com Azure Synapse Analytics;

Possuir conhecimento em Azure Machine Learning.

A NOSSA EVOLUÇÃO É CRESCENTE!

E, para acompanhar esse crescimento, precisamos de pessoas que agreguem propondo ideias, soluções e desafios!

Gostou da oportunidade? Vamos juntos e faça parte da nossa história! #vempraframe