Data Engineer

Madfish; Deutschland; Vor Ort; EUR 50.000 - 70.000; Vollzeit

Zusammenfassung

A prominent consulting firm in Germany is seeking a Data Engineer to design and maintain scalable data pipelines, optimize data workflows, and collaborate with BI teams. The ideal candidate has over 1 year of experience in data engineering, strong skills in Python and SQL, and familiarity with tools like Airflow and DBT. This role offers competitive benefits focused on health, wellness, and professional growth, providing a dynamic work environment and growth opportunities.

Leistungen

Health & Wellness Focus

Global Medical Coverage

Growth Opportunities

Benefits Programs

Performance-Driven Rewards

Dynamic Work Environment

Qualifikationen

• 1+ years of experience in data engineering with a focus on ELT processes.
• Good expertise in Python, SQL, data modeling, and performance optimization.
• Hands-on experience with Airflow DAGs for workflow orchestration.
• Experience with DBT for data transformations and modular modeling.
• Understanding of AWS S3, Athena, and data lake architectures.
• Familiarity with Terraform for infrastructure automation (will be a plus).

Aufgaben

• Design, develop, and maintain scalable data pipelines using Airflow.
• Create and optimize tables in Athena, ensuring efficient query performance and cost-effectiveness.
• Write and manage SQL transformations in DBT, building reusable and well-documented models.
• Optimize data workflows for performance, reliability, and cost-efficiency.
• Automate infrastructure provisioning using Terraform for data processing environments.
• Ensure data integrity and consistency through monitoring, validation, and error handling.
• Collaborate with analytics, BI, and engineering teams to understand data needs and deliver solutions.
• Troubleshoot and resolve data pipeline issues in a timely manner.

Kenntnisse

Python

SQL

Data modeling

Airflow

DBT

Terraform

Tools

AWS S3

Athena

Jobbeschreibung

Наш клієнт, Growe, провідна консалтингова компанія та група сервісів у сфері iGaming і розваг. Вони створюють стратегії, що працюють, та рішення, які масштабуються. Поєднуючи стратегічне бачення з практичним досвідом, Growe допомагає бізнесам орієнтуватися в динамічній індустрії, відкривати нові можливості, виходити на нові ринки та досягати сталого зростання.

Ідеально для тих, хто прагне:

• Проектувати, розробляти та обслуговувати масштабовані конвеєри даних за допомогою Airflow;
• Створювати та оптимізувати таблиці в Athena, забезпечуючи ефективність продуктивності запитів та економічної ефективності;
• Писати та керувати SQL-перетвореннями в DBT, створювати моделі, що повторно використовуються та добре документовані;
• Оптимізувати робочі процеси обробки даних для підвищення продуктивності, надійності та економічної ефективності;
• Автоматизувати надання інфраструктури за допомогою Terraform для середовищ обробки даних;
• Забезпечувати цілісність та узгодженість даних шляхом моніторингу, перевірки та обробки помилок;
• Співпрацювати з командами аналітики, бізнес‑аналітики та інженерів для розуміння потреб у даних та надання рішень;
• Своєчасно усувати та виправляти проблеми з конвеєрами даних.

Досвід, який стане твоєю перевагою:

• 1+ роки досвіду в інженерії даних з фокусом на процеси ELT;
• Перевірений досвід з Python, SQL, моделюванням даних та оптимізації продуктивності;
• Досвід роботи з Airflow DAG для оркестровки робочого процесу;
• Досвід роботи з DBT для перетворень даних та модульного моделювання;
• Розуміння архітектур AWS S3, Athena та озера даних;
• Досвід з Terraform для автоматизації інфраструктури (буде плюсом).

Ми цінуємо:

• Сильні аналітичні здібності;
• Навички вирішення проблем;
• Увагу до деталей.

Наші клієнти пропонують конкурентні переваги для підтримки вашого професійного та особистого зростання, зокрема:

• Орієнтація на здоров’я та добробут;
• Глобальне медичне страхування;
• Можливості для зростання;
• Програми бенефітів (компенсація спорту / стоматології / психолога тощо);
• Бонуси за досягнення результатів;
• Динамічне робоче середовище.

English version:

Perfect for those who aim to:

• Design, develop, and maintain scalable data pipelines using Airflow;
• Create and optimize tables in Athena, ensuring efficient query performance and cost-effectiveness;
• Write and manage SQL transformations in DBT, building reusable and well‑documented models;
• Optimize data workflows for performance, reliability, and cost‑efficiency;
• Automate infrastructure provisioning using Terraform for data processing environments;
• Ensure data integrity and consistency through monitoring, validation, and error handling;
• Collaborate with analytics, BI, and engineering teams to understand data needs and deliver solutions;
• Troubleshoot and resolve data pipeline issues in a timely manner.

Experience you’ll need to bring:

• 1+ years of experience in data engineering with a focus on ELT processes;
• Good expertise in Python, SQL, data modeling, and performance optimization;
• Hands‑on experience with Airflow DAGs for workflow orchestration;
• Experience with DBT for data transformations and modular modeling;
• Understanding of AWS S3, Athena, and data lake architectures;
• Familiarity with Terraform for infrastructure automation (will be a plus).

It's a perfect match if you have those personal features:

• Strong analytical skills;
• Problem‑solving skills;
• Attention to detail.

Our clients offer competitive benefits to support your professional and personal growth, including:

• Health & Wellness Focus;
• Global Medical Coverage;
• Growth Opportunities;
• Benefits Programs (compensation for the gym / stomatology / psychological service & etc.);
• Performance‑Driven Rewards;
• Dynamic Work Environment.