Data Engineer, FinTech — ELT Pipelines in Amsterdam

HireHi; Amsterdam; On-site; EUR 70,000 - 100,000; Full time

Job summary

Adyen ищет опытного Data Engineer для работы в офисе в Амстердаме. Ваша роль — проектирование и поддержка ELT-конвейеров, сотрудничество с учеными данными и инженерами для превращения требований в надежные решения.

Вы будете оптимизировать архитектуры данных, внедрять тестирование и мониторинг, обеспечивать качество данных и соответствие SLA. Требуется 3+ лет опыта, владение Python, PySpark, Airflow, Hadoop, Spark, Kafka, SQL и Git.

Qualifications

• 3+ года опыта работы Data Engineer или схожей роли.
• Устойчивое понимание практик Software/Data Engineering.
• Умение общаться сложные данные с заинтересованными сторонами.

Responsibilities

• Работать с дата-сайентистами, аналитиками, инженерами и продакт-менеджерами, чтобы понять требования и разработать решения.
• Проектировать, разворачивать, поддерживать ELT-конвейеры и архитектуры данных.
• Интегрировать данные из разных источников и форматов для обеспечения консистентности.
• Помогать формировать лучшие практики по производительности, качеству кода, валидации данных, управлению данными и обнаруживаемости.
• Участвовать в наставничестве и обмене знаниями.
• Обеспечивать точность, полноту, надежность и своевременность данных.
• Внедрять тестирование, мониторинг и валидацию кода и данных с использованием Pytest.
• Идентифицировать узкие места в конвейерах данных и системах.
• Повышать производительность запросов и использование ресурсов для соблюдения SLA и требований к производительности с использованием Spark.

Skills

Python

PySpark

Airflow

Hadoop

Spark

Kafka

SQL

Git

Job description

Adyen ищет опытного Data Engineer для работы в офисе в Амстердаме. Ваша роль — проектирование и поддержка ELT-конвейеров, сотрудничество с учеными данными и инженерами для превращения требований в надежные решения.

Вы будете оптимизировать архитектуры данных, внедрять тестирование и мониторинг, обеспечивать качество данных и соответствие SLA. Требуется 3+ лет опыта, владение Python, PySpark, Airflow, Hadoop, Spark, Kafka, SQL и Git.