Azure Data Engineer - Remote ML Pipelines

LCG Inc.

Lisboa

Teletrabalho

EUR 40 000 - 60 000

Tempo integral

14 dias+

Uma candidatura completa num minuto

Currículo e carta de apresentação personalizados, prontos a enviar.

Ultrapassa os filtros ATS

Resumo da oferta

A LCG Inc. procura um Data Engineer para integrar a equipa em regime remoto.

O papel centra-se em desenhar, desenvolver e manter pipelines de dados eficientes, usando Azure Databricks, PySpark e Azure Data Factory conforme necessário. As responsabilidades incluem ingesto, transformação e modelação de dados num Data Lakehouse, preparação de datasets para Machine Learning, treino e avaliação de modelos, e monitorização de qualidade de dados.

Qualificações

  • 2 a 3 anos de experiência em Engenharia de Dados.
  • Experiência sólida com Python, SQL e PySpark.
  • Conhecimentos em pipelines ETL/ELT e Data Lakehouse.
  • Conhecimento de Azure Databricks e armazenamento de dados em Azure Data Lake Storage.
  • Familiaridade com ferramentas de versionamento e gestão de projetos (Git, Jira, Confluence).

Responsabilidades

  • Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark.
  • Implementar ingesto, transformação e modelação de dados em Data Lakehouse.
  • Preparar datasets para ML incluindo limpeza e engenharia de features.
  • Colaborar com Data Scientists para treino e avaliação de modelos.
  • Selecionar métricas de avaliação e monitorizar qualidade de dados e desempenho de modelos.
  • Integrar outputs de modelos nos fluxos de dados e garantir custos/ performance.
  • Assegurar boas práticas de desenvolvimento, documentação e testes.

Conhecimentos

Python
SQL
PySpark
Data engineering
Model deployment basics

Ferramentas

Azure Databricks
Azure Data Lake Storage
Parquet
Delta Lake
Git
Jira
Confluence
Unity Catalog

Descrição da oferta de emprego

A LCG Inc. procura um Data Engineer para integrar a equipa em regime remoto.

O papel centra-se em desenhar, desenvolver e manter pipelines de dados eficientes, usando Azure Databricks, PySpark e Azure Data Factory conforme necessário. As responsabilidades incluem ingesto, transformação e modelação de dados num Data Lakehouse, preparação de datasets para Machine Learning, treino e avaliação de modelos, e monitorização de qualidade de dados.

Obtém a tua avaliação gratuita e confidencial do currículo.

ou arrasta e larga o ficheiro aqui.

Similar jobs

Ofertas semelhantes que vale a pena comparar

Engenheiro de Dados Azure | Remote & ML Pipelines
Engenheiro de Dados Azure | Remote & ML Pipelines

LCG • Lisboa

Híbrido
EUR 50 000 - 75 000
Remote Data Engineer – ML & Azure Databricks
Remote Data Engineer – ML & Azure Databricks

Integer Consulting • Coimbra

Teletrabalho
EUR 40 000 - 70 000
Azure Data Engineer: Scalable Pipelines, Databricks & BI
Azure Data Engineer: Scalable Pipelines, Databricks & BI

Caixa Mágica Software • Lisboa

Presencial
EUR 30 000 - 50 000
Health and Life Insurance
Tech equipment and SIM card
Training in the latest technologies
+1
Azure Data Engineer (Databricks) — Global Data Pipelines
Azure Data Engineer (Databricks) — Global Data Pipelines

NBCC Consulting • Portugal

Presencial
EUR 45 000 - 60 000
Formação contínua
Oportunidades de evolução profissional
Ambiente de trabalho dinâmico
Data Engineer - Azure
Data Engineer - Azure

LCG • Lisboa

Híbrido
EUR 50 000 - 75 000
Azure Data Engineer — ETL & Data Warehouse for Sports
Azure Data Engineer — ETL & Data Warehouse for Sports

LCG • Lisboa

Presencial
EUR 45 000 - 70 000
Data Scientist & ML Engineer: Azure, Pipelines
Data Scientist & ML Engineer: Azure, Pipelines

Ankix • Portugal

Presencial
EUR 40 000 - 60 000
Formação contínua
Descontos exclusivos em saúde e bem-estar
Eventos de team building
AWS Data Engineer: Pipelines, Lakes & Analytics
AWS Data Engineer: Pipelines, Lakes & Analytics

Elevus • Lisboa

Híbrido
EUR 40 000 - 60 000
Azure Data Engineer - Remote | Databricks, Python, Spark
Azure Data Engineer - Remote | Databricks, Python, Spark

Adentis • Porto

Teletrabalho
EUR 42 000 - 64 000
Azure Data Engineer: Scalable Data Products for BI
Azure Data Engineer: Scalable Data Products for BI

NBCC Consulting • Lisboa

Presencial
EUR 40 000 - 60 000
Principais localizações