Data Engineer

Enfint; Lisboa; Presencial; EUR 77 000 - 94 000; Tempo integral

Resumo da oferta

Spectrum IT Recruitment Portugal ищет специалиста по данным для проектов в области технологий и разработки ПО в Португалии. Ваша задача — проектировать масштабируемые конвейеры данных и руководить миграциями инфраструктуры.

Требуется подтверждённый опыт миграций Cloudera/Hadoop к Snowflake или Databricks, сильные навыки Python и Spark/PySpark, умение модернизировать устаревшие ETL‑пайплайны, знание распределённых систем и опыт работы с AWS или GCP.

Qualificações

• Подтверждённый опыт миграций Cloudera/Hadoop к Snowflake или Databricks.
• Сильные навыки Python и Spark / PySpark.
• Опыт модернизации устаревших ETL‑пайплайнов.
• Продвинутое знание распределённых систем.
• Опыт работы с AWS или GCP.

Responsabilidades

• Design scalable data pipelines using Spark / PySpark.
• Lead migrations from Cloudera/Hadoop to Snowflake or Databricks.
• Build cloud-native ingestion pipelines and develop production-grade Python data services.

Conhecimentos

Python

Spark / PySpark

Distributed systems

Data pipelines

Ferramentas

Cloudera/Hadoop

Snowflake

Databricks

Hive/Impala

Descrição da oferta de emprego

Описание: Spectrum IT Recruitment Portugal operates as a recruitment agency specializing in the technology and software development sectors.

Задачи

• Design scalable data pipelines using Spark / PySpark; Lead Cloudera (CDH/HDP) to Snowflake or Databricks migrations; Re-platform Hive / Impala workloads and migrate HDFS datasets; Build cloud-native ingestion pipelines (CDC, API, Reverse ETL); Develop production-grade Python data services.

Требования

• Proven Cloudera/Hadoop to Snowflake or Databricks migration experience; Strong Python and Spark / PySpark skills; Experience modernising legacy ETL pipelines; Strong knowledge of distributed systems; Experience with AWS or GCP.

Условия

Up to €85,000 per year.