Data Engineer

MitUP & ME Consulting; Portugal; Híbrido; EUR 45 000 - 65 000; Tempo integral

Resumo da oferta

MitUP & ME Consulting procura um(a) Data Engineer – GCP / Python para integrar um projeto internacional em ambiente cloud, com pipelines de dados escaláveis. A posição é híbrida em Lisboa, com presença no escritório cerca de 10 vezes por mês.

As responsabilidades incluem desenvolvimento de pipelines ETL/ELT, soluções em GCP, transformações em Python/SQL e integração de modelos de IA, com foco em qualidade, governança e documentação.

Qualificações

• 3+ anos de experiência em Data Engineering.
• Experiência sólida com Python e SQL.
• Experiência prática com GCP, especialmente BigQuery, Cloud Storage, Dataflow/Beam, Dataproc, Pub/Sub e Cloud Composer/Airflow.
• Experiência com modelagem de dados e pipelines em produção.
• Conhecimentos de Git, CI/CD e ferramentas de orquestração.
• Conhecimentos de MLOps e operacionalização de modelos de IA.

Responsabilidades

• Desenvolver e manter pipelines de dados ETL/ELT.
• Criar e evoluir soluções de dados em Google Cloud Platform.
• Desenvolver transformações, automações e validações utilizando Python e SQL.
• Apoiar a integração de modelos de IA em pipelines de dados.
• Realizar testes, validação de dados e controles de qualidade.
• Implementar boas práticas de monitorização, segurança, governança e documentação.

Conhecimentos

Python

SQL

Data modeling

MLOps

CI/CD

Ferramentas

BigQuery

Cloud Storage

Dataflow/Beam

Dataproc

Pub/Sub

Cloud Composer/Airflow

Git

CI/CD

Spark

Databricks

Vertex AI

Kafka

Looker

Tableau

Power BI

Descrição da oferta de emprego

Procuramos um(a) Data Engineer – GCP / Python para integrar um projeto internacional, com atuação em ambientes cloud e desenvolvimento de pipelines de dados escaláveis.

A posição é híbrida em Lisboa, com presença no escritório cerca de 10 vezes por mês.

Responsabilidades

• Desenvolver e manter pipelines de dados ETL/ELT.
• Criar e evoluir soluções de dados em Google Cloud Platform.
• Desenvolver transformações, automações e validações utilizando Python e SQL.
• Apoiar a integração de modelos de IA em pipelines de dados.
• Realizar testes, validação de dados e controles de qualidade.
• Implementar boas práticas de monitorização, segurança, governança e documentação.

Requisitos

• 3+ anos de experiência em Data Engineering.
• Experiência sólida com Python e SQL.
• Experiência prática com GCP, especialmente BigQuery, Cloud Storage, Dataflow/Beam, Dataproc, Pub/Sub e Cloud Composer/Airflow.
• Experiência com modelagem de dados e pipelines em produção.
• Conhecimentos de Git, CI/CD e ferramentas de orquestração.
• Conhecimentos de MLOps e operacionalização de modelos de IA.

Diferenciais

Experiência com Spark, Databricks, Vertex AI, Kafka, Looker, Tableau ou Power BI, além de conhecimentos em UAT, QA e governança de dados.