Data Engineer: Spark, Cloud Pipelines & Migrations

Enfint; Lisboa; Presencial; EUR 77 000 - 94 000; Tempo integral

Resumo da oferta

Spectrum IT Recruitment Portugal ищет специалиста по данным для проектов в области технологий и разработки ПО в Португалии. Ваша задача — проектировать масштабируемые конвейеры данных и руководить миграциями инфраструктуры.

Требуется подтверждённый опыт миграций Cloudera/Hadoop к Snowflake или Databricks, сильные навыки Python и Spark/PySpark, умение модернизировать устаревшие ETL‑пайплайны, знание распределённых систем и опыт работы с AWS или GCP.

Qualificações

• Подтверждённый опыт миграций Cloudera/Hadoop к Snowflake или Databricks.
• Сильные навыки Python и Spark / PySpark.
• Опыт модернизации устаревших ETL‑пайплайнов.
• Продвинутое знание распределённых систем.
• Опыт работы с AWS или GCP.

Responsabilidades

• Design scalable data pipelines using Spark / PySpark.
• Lead migrations from Cloudera/Hadoop to Snowflake or Databricks.
• Build cloud-native ingestion pipelines and develop production-grade Python data services.

Conhecimentos

Python

Spark / PySpark

Distributed systems

Data pipelines

Ferramentas

Cloudera/Hadoop

Snowflake

Databricks

Hive/Impala

Descrição da oferta de emprego

Spectrum IT Recruitment Portugal ищет специалиста по данным для проектов в области технологий и разработки ПО в Португалии. Ваша задача — проектировать масштабируемые конвейеры данных и руководить миграциями инфраструктуры.

Требуется подтверждённый опыт миграций Cloudera/Hadoop к Snowflake или Databricks, сильные навыки Python и Spark/PySpark, умение модернизировать устаревшие ETL‑пайплайны, знание распределённых систем и опыт работы с AWS или GCP.