Cloud Data Engineer – GCP, Spark & Pipelines

HireHi; Kraków; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

B2B контракт

AI и автоматизация проектов

Job summary

Capco ищет инженера данных для разработки масштабируемых конвейеров и обработки данных с использованием Python и Apache Spark. Нужно работать с Hadoop, Linux, SQL и GCP, обеспечивая качество данных и документацию.

Требуется 2–4+ года опыта, знание английского уровня не ниже B2, умение работать в Agile и обсуждать требования с командой. Предусмотрен B2B контракт и участие в проектах в финансовом секторе.

Qualifications

• 2–4+ года коммерческого опыта в Data Engineering или аналогичной роли

Responsibilities

• Проектирование, разработка и поддержка масштабируемых конвейеров данных и процессов обработки
• Разработка трансформаций и процессов обработки с использованием Python и Apache Spark
• Работа с крупными наборами данных в распределённых средах Hadoop
• Разработка облачных решений на Google Cloud Platform (GCP)
• Поддержка внедрения и тестирования дата-решений и их документации

Skills

Python

Apache Spark

Linux

SQL

Git

Agile

English B2

Tools

Docker

Kubernetes

Airflow

BigQuery

Job description

Capco ищет инженера данных для разработки масштабируемых конвейеров и обработки данных с использованием Python и Apache Spark. Нужно работать с Hadoop, Linux, SQL и GCP, обеспечивая качество данных и документацию.

Требуется 2–4+ года опыта, знание английского уровня не ниже B2, умение работать в Agile и обсуждать требования с командой. Предусмотрен B2B контракт и участие в проектах в финансовом секторе.