Data engineer

The Formula Consulting; Berlin; Hybrid; EUR 70,000 - 95,000; Full time

Benefits offered by this job

Гибкий график

Возможна работа до 50% удалённо

Job summary

The Formula Consulting ищет Data Engineer в Берлине для развития ETL/ELT пайплайнов, создания масштабируемых data warehouse и data lake, обеспечения качества данных и разработки API для аналитиков и команд риска. Вас ждёт миграция в гибридную/облачную среду и участие в управлении данными.

Требуется 5+ лет опыта в IT, техническое образование и уверенный немецкий (C1). График гибкий, офис в центре Берлина, работа до 50% удалённо.

Qualifications

• Успешно завершено техническое образование.
• Не менее 5 лет полноtime IT-опыта, из них 2 года у одного работодателя.
• Не менее 3 лет опыта Data Engineer.
• Свободное владение SQL и Python; Bash.
• Опыт работы с облачными системами.
• Хорошие коммуникативные навыки, умение работать в междисциплинарных командах, аккуратность, Agile.
• Деловой немецкий (C1).

Responsibilities

• Дальнейшее развитие ETL/ELT-пайплайнов.
• Построение масштабируемых data warehouse и data lake.
• Реализация автоматических процессов валидации данных и обеспечения их качества.
• Разработка высокопроизводительных API и интерфейсов данных для аналитиков и команд.
• Поддержка миграции on-premises в гибридные или выделенные облачные среды.
• Мониторинг и оптимизация производительности, времени выполнения и затрат на запросы по данным.
• Помощь Data Lineage-команде в создании прозрачного управления данными и каталогизации.

Skills

SQL

Python

Bash

German (C1)

Education

Technical degree

Tools

Jenkins

Nexus

Airflow

Bitbucket

Ansible

Job description

Описание

Описания нет

Задачи

• You further develop the data pipelines (ETL/ELT).
• You build robust, scalable data warehouse and data lake structures.
• You implement automated processes for validating, cleaning, and ensuring the quality of internal data.
• You develop high-performance APIs and data interfaces for business analysts, risk managers, and data science teams.
• You support the migration of on-premise legacy systems to secure hybrid or dedicated cloud environments.
• You monitor, analyze, and optimize the performance, runtimes, and costs of big data queries and system resources.
• You support the Data Lineage team in building and maintaining transparent data governance and data cataloging.

Требования

• Successfully completed a technical degree.
• At least 5 years of full-time professional experience in IT, including at least 2 years with the same employer.
• At least 3 years of full-time professional experience as a Data Engineer.
• Fluent in SQL and good at Python in Bash.
• Good knowledge of database servers, as well as experience with at least one of the following technologies: Jenkins, Nexus, Airflow, Bitbucket, Ansible.
• Initial experience with cloud systems.
• Strong communication skills, experience with interdisciplinary teams, accuracy, agile methods.
• Business-fluent German (C1).

Условия

• Work at a spin-off of one of Germany's most successful banks.
• Deliver high-priority IT projects.
• Enjoy flexible working hours and the option to work from home up to 50% of the week.
• Come to the beautiful office in the heart of Berlin.
• Take part in regular company events and sports activities, such as a summer party, Christmas party, table tennis, or a company run.
• 30 + 2 vacation days.