Data Engineer

BCF Software Sp. z o.o.; Województwo mazowieckie; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Great Place to Work Award i Diamentowy

Pakiet benefitów

Wpływ na architekturę i decyzje techn

Diamentowy Certyfikat Forbesa

Job summary

BCF Software Sp. z o.o. poszukuje Data Engineera do zespołu projektowego i utrzymaniowego, wspierającego budowę i rozwój platformy CDP w architekturze Data Lakehouse opartej na GCP. Dołączysz do środowiska dużych danych i nowoczesnych procesów przetwarzania.

Oczekujemy doświadczenia w ETL/ELT, pracy z BigQuery, Airflow oraz SQL i Pythona. Firma oferuje realny wpływ na architekturę rozwiązania i pakiet benefitów.

Qualifications

• Doświadczenie na stanowisku Data Engineer lub pokrewnym.
• Znajomość GCP, szczególnie BigQuery.
• Dobra znajomość SQL i Python.
• Doświadczenie w ETL/ELT.
• Znajomość Apache Airflow i orkiestracji danych.
• Doświadczenie z relacyjnymi bazami danych.
• Znajomość architektury Data Lakehouse oraz zagadnień związanych z jakością i integracją danych.
• Znajomość Git i podstaw procesów CI/CD.
• Umiejętność analitycznego myślenia, rozwiązywania problemów i pracy zespołowej.

Responsibilities

• Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na GCP.
• Projektowanie i optymalizacja procesów ETL/ELT.
• Tworzenie i rozwój potoków przetwarzania danych z wykorzystaniem Python i SQL.
• Praca z BigQuery oraz integracja danych z różnych źródeł.
• Orkiestracja procesów danych z wykorzystaniem Apache Airflow.
• Dbałość o jakość, spójność i wydajność przetwarzanych danych.
• Monitorowanie procesów oraz rozwiązywanie problemów.
• Współpraca z zespołem projektowym i utrzymaniowym.

Skills

SQL

Python

Analityczne myślenie

Praca zespołowa

Rozwiązywanie problemów

Tools

BigQuery

Apache Airflow

Git

CI/CD

Job description

Nasze wymagania:

• Doświadczenie na stanowisku Data Engineer lub pokrewnym
• Praktyczna znajomość Google Cloud Platform (GCP), w szczególności BigQuery
• Dobra znajomość SQL i Python
• Doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT
• Znajomość Apache Airflow i orkiestracji procesów danych
• Doświadczenie w pracy z relacyjnymi bazami danych
• Znajomość architektury Data Lakehouse oraz zagadnień związanych z jakością i integracją danych
• Znajomość Git i podstaw procesów CI/CD
• Umiejętność analitycznego myślenia, rozwiązywania problemów i pracy zespołowej

O projekcie:

Poszukujemy Data Engineera, który dołączy do zespołu projektowego i utrzymaniowego, wspierając budowę, rozwój oraz utrzymanie platformy Customer Data Platform (CDP) w architekturze Data Lakehouse opartej na Google Cloud Platform (GCP). To okazja do pracy przy nowoczesnych rozwiązaniach przetwarzania danych w ramach dużego, złożonego środowiska technologicznego.

Zakres obowiązków:

• Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na GCP
• Projektowanie i optymalizacja procesów ETL/ELT
• Tworzenie i rozwój potoków przetwarzania danych z wykorzystaniem Python i SQL
• Praca z BigQuery oraz integracja danych z różnych źródeł
• Orkiestracja procesów danych z wykorzystaniem Apache Airflow
• Dbałość o jakość, spójność i wydajność przetwarzanych danych
• Monitorowanie procesów oraz rozwiązywanie problemów
• Współpraca z zespołem projektowym i utrzymaniowym

Oferujemy:

• Praca w firmie, która otrzymała nagrodę Great Place to Work Award i Diamentowy Certyfikat Forbesa
• Pakiet benefitów
• Realny wpływ na architekturę rozwiązania oraz podejmowanie decyzji technicznych