Engenheiro De Dados

Niteo Technologies; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia no Brasil está buscando um profissional para projetar e manter pipelines de dados em ambientes Azure. O papel envolve trabalhar com Databricks e Apache Spark, além de garantir a qualidade e segurança de dados. O candidato ideal deve ter experiência sólida com Azure Data Services, proficiência em Python e SQL, e habilidades em práticas DevOps. Oferecemos um ambiente colaborativo e a oportunidade de atuar em projetos desafiadores.

Qualificações

• Experiência sólida com Azure Data Services (Data Lake, Data Factory, Synapse, etc.).
• Domínio de Databricks e Apache Spark.
• Proficiência em Python e SQL.
• Experiência com versionamento de código (Git) e práticas DevOps para dados.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
• Colaborar com times para entender necessidades e traduzir em soluções.
• Otimizar performance de pipelines e custos de infraestrutura.

Conhecimentos

Azure Data Services

Databricks

Apache Spark

Python

SQL

DevOps

ETL/ELT

Git

Orquestração de pipelines

Ferramentas

Power BI

Descrição da oferta de emprego

Responsabilidades

Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes em ambientes cloud (Azure).

Trabalhar com Databricks para processamento de dados em larga escala, utilizando Spark.

Garantir a qualidade, integridade e segurança dos dados em todas as etapas do processo.

Colaborar com times de produto, engenharia e negócios para entender necessidades e traduzir em soluções de dados.

Implementar boas práticas de governança, versionamento e documentação de dados.

Otimizar performance de pipelines e custos de infraestrutura em cloud.

Participar da definição de arquitetura de dados e estratégias de integração entre sistemas.

Requisitos

Experiência sólida com Azure Data Services (Data Lake, Data Factory, Synapse, etc.).

Domínio de Databricks e Apache Spark.

Proficiência em Python e SQL.

Conhecimento emagem de dados, ETL / ELT e arquitetura orientada a dados.

Experiência com versionamento de código (Git) e práticas DevOps para dados.

Familiaridade com ferramentas de orquestração e monitoramento de pipelines.

Capacidade analítica, atenção a detalhes e perfil colaborativo.

Desejável

Experiência com Delta Lake, Unity Catalog e CI / CD para dados.

Conhecimento em Power BI ou outras ferramentas de visualização.

Experiência em ambientes ágeis e squads multidisciplinares.

Inglês técnico.