Data Engineer: Build Scalable Pipelines & ML in Production

Inetum; Ermesinde; Presencial; EUR 42 000 - 62 000; Tempo integral

Resumo da oferta

A Inetum procura um Data Engineer de nível intermédio para desenhar, otimizar e manter pipelines de dados complexos. Colaborará com equipas de Data Science para integrar modelos de ML em produção e melhorar a performance de soluções de dados.

O profissional trabalhará com PySpark, Polars e Databricks, aplicando as melhores práticas de engenharia de software, CI/CD e gestão de dados, em ambiente de larga escala.

Qualificações

• Mais de 3 anos de experiência em Data Engineering.
• Proficiência avançada em Python e SQL.
• Capacidade de desenhar soluções escaláveis para processamento de dados em grande escala.
• Experiência com bibliotecas/estruturas de dados como Polars e PySpark.
• Desenvolvimento de pipelines de ingestão de dados via REST APIs.
• Boas práticas de desenvolvimento: Git, CI/CD e testes.

Responsabilidades

• Desenhar, desenvolver e manter pipelines de dados escaláveis.
• Otimizar fluxos de processamento de dados para grandes volumes.
• Gerir ingestão de dados de várias fontes.
• Assegurar qualidade, confiabilidade e performance dos dados.
• Colaborar com Data Science para operacionalizar modelos ML.
• Contribuir para melhores práticas de engenharia de software.

Conhecimentos

Python

SQL

PySpark

Polars

Data pipelines

REST APIs

Git

CI/CD

ML deployment

Cloud

Ferramentas

PySpark

Polars

Databricks

Airflow

Git

Descrição da oferta de emprego

A Inetum procura um Data Engineer de nível intermédio para desenhar, otimizar e manter pipelines de dados complexos. Colaborará com equipas de Data Science para integrar modelos de ML em produção e melhorar a performance de soluções de dados.

O profissional trabalhará com PySpark, Polars e Databricks, aplicando as melhores práticas de engenharia de software, CI/CD e gestão de dados, em ambiente de larga escala.