Engenheiro De Dados

Niteo Technologies; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em Sergipe procura um profissional experiente para projetar e desenvolver pipelines de dados em ambientes cloud. O candidato deverá ter experiência sólida com Azure Data Services e domínio de Databricks e Apache Spark. É essencial ter habilidades em Python e SQL, além de conhecimento em ETL/ELT e práticas DevOps. O profissional irá colaborar com diversas equipes para garantir a qualidade e segurança dos dados, implementando boas práticas de governança. O trabalho se dará em um ambiente dinâmico.

Qualificações

• Experiência sólida com Azure Data Services, incluindo Data Lake e Data Factory.
• Domínio de Databricks e Apache Spark.
• Proficiência em Python e SQL.
• Conhecimento em ETL/ELT e arquitetura de dados.
• Experiência com versionamento de código e práticas DevOps.
• Familiaridade com ferramentas de orquestração de pipelines.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis em ambientes cloud.
• Trabalhar com Databricks para processamento de dados em larga escala.
• Garantir a qualidade e segurança dos dados em todas as etapas.
• Colaborar com diferentes times para traduzir necessidades em soluções.
• Implementar boas práticas de governança de dados.
• Otimizar performance de pipelines e custos de infraestrutura.

Conhecimentos

Azure Data Services

Databricks

Apache Spark

Python

SQL

Git

DevOps

Ferramentas de orquestração

Delta Lake

Power BI

Descrição da oferta de emprego

Responsabilidades

Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes em ambientes cloud (Azure).

Trabalhar com Databricks para processamento de dados em larga escala, utilizando Spark.

Garantir a qualidade, integridade e segurança dos dados em todas as etapas do processo.

Colaborar com times de produto, engenharia e negócios para entender necessidades e traduzir em soluções de dados.

Implementar boas práticas de governança, versionamento e documentação de dados.

Otimizar performance de pipelines e custos de infraestrutura em cloud.

Participar da definição de arquitetura de dados e estratégias de integração entre sistemas.

Requisitos

Experiência sólida com Azure Data Services (Data Lake, Data Factory, Synapse, etc.).

Domínio de Databricks e Apache Spark.

Proficiência em Python e SQL.

Conhecimento emagem de dados, ETL / ELT e arquitetura orientada a dados.

Experiência com versionamento de código (Git) e práticas DevOps para dados.

Familiaridade com ferramentas de orquestração e monitoramento de pipelines.

Capacidade analítica, atenção a detalhes e perfil colaborativo.

Desejável

Experiência com Delta Lake, Unity Catalog e CI / CD para dados.

Conhecimento em Power BI ou outras ferramentas de visualização.

Experiência em ambientes ágeis e squads multidisciplinares.

Inglês técnico.