Mid Google Cloud Data Engineer

Itelence; Polska; Remote; PLN 179,000 - 220,000; Full time

Job summary

ITELENCE poszukuje specjalisty Data Engineer do długoterminowego, zdalnego projektu dla międzynarodowych klientów. Praca w modelu B2B, 100% zdalnie, Full-time.

Kluczowe zadania to projektowanie i utrzymanie pipeline'ów danych w Google Cloud Platform, implementacja ETL/ELT w Pythonie i SQL oraz pracy z BigQuery i przetwarzaniem danych w czasie rzeczywistym. Wymagane minimum 3 lata doświadczenia, znajomość GCP, Python, SQL, BigQuery, Pub/Sub, Dataflow, Airflow/Composer i dbt/Dataform.

Qualifications

• Minimum 3 years of commercial experience as Data Engineer and practical experience with Google Cloud Platform.
• Practical experience with Python and SQL.
• Experience with BigQuery and other GCP services.
• Experience with Cloud Storage, Cloud Run, Cloud Workflows and Cloud Composer / Apache Airflow.
• Knowledge of real-time processing solutions and event-driven architecture.
• Hands-on experience with Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent, Eventarc.
• Experience building and maintaining scalable data pipelines for large data volumes and high event rates.
• Familiarity with data transformation and orchestration tools, especially dbt, Dataform and Apache Airflow.
• Ability to work in production data environments and address performance and reliability issues.
• Very good English language skills for international collaboration.

Responsibilities

• Design, develop and maintain scalable data pipelines in Google Cloud Platform.
• Build and develop ETL/ELT processes using Python and SQL.
• Work with BigQuery, including real-time data processing solutions.
• Design and implement streaming and event-driven data processing solutions.
• Build pipelines using Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent and Eventarc.
• Design and maintain orchestration processes using Apache Airflow / Cloud Composer.
• Develop data transformation using dbt and Dataform.
• Monitor performance, quality and reliability of pipelines and identify optimization opportunities.
• Collaborate with Data Engineering, Analytics and other technical teams to design and implement data solutions.
• Ensure scalability, security and reliability of production data architectures.

Skills

Python

SQL

Google Cloud Platform

BigQuery

Pub/Sub

Dataflow

Apache Beam

Kafka

Confluent

Eventarc

Apache Airflow

Cloud Composer

dbt

Dataform

Terraform

Docker

CI/CD

Tools

Google Cloud Platform

BigQuery

Pub/Sub

Dataflow

Apache Beam

Kafka

Confluent

Eventarc

Apache Airflow

Cloud Composer

dbt

Dataform

Terraform

Docker

CI/CD

Job description

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest dla nas bardzo ważna. Chcemy tworzyć środowisko, w którym każdy może rozwijać swoje kompetencje, zdobywać nowe doświadczenia i realizować ambitne projekty.

Dla naszego Klienta poszukujemy osoby na stanowisko:

Forma współpracy: B2B

Tryb pracy: 100% zdalnie

Zaangażowanie: Full-time

Projekt: długoterminowy projekt

Stawka: 130-160 zł netto za godz.

Zakres obowiązków:

• Projektowanie, rozwój i utrzymywanie skalowalnych pipeline'ów danych w środowisku Google Cloud Platform.
• Budowanie i rozwój procesów ETL/ELT z wykorzystaniem Python oraz SQL.
• Praca z BigQuery, w tym rozwiązaniami związanymi z przetwarzaniem danych w czasie rzeczywistym.
• Projektowanie i implementacja rozwiązań do przetwarzania danych w modelu streaming oraz event-driven.
• Budowanie pipeline'ów z wykorzystaniem Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent oraz Eventarc.
• Projektowanie i utrzymywanie procesów orkiestracji z wykorzystaniem Apache Airflow / Cloud Composer.
• Rozwijanie procesów transformacji danych przy użyciu dbt oraz Dataform.
• Monitorowanie wydajności, jakości i niezawodności pipeline'ów danych oraz identyfikowanie obszarów do optymalizacji.
• Współpraca z zespołami Data Engineering, Analytics oraz innymi zespołami technicznymi przy projektowaniu i wdrażaniu rozwiązań danych.
• Dbanie o skalowalność, bezpieczeństwo i niezawodność rozwiązań działających w środowisku produkcyjnym.

Wymagania:

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer oraz praktyczne doświadczenie z Google Cloud Platform.
• Bardzo dobra znajomość Python oraz SQL.
• Praktyczne doświadczenie z BigQuery oraz innymi usługami GCP.
• Doświadczenie z Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer / Apache Airflow.
• Znajomość rozwiązań do przetwarzania danych w czasie rzeczywistym i architektur event-driven.
• Praktyczne doświadczenie z co najmniej częścią technologii: Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent, Eventarc.
• Doświadczenie w budowaniu i utrzymywaniu skalowalnych pipeline'ów danych, również dla dużych wolumenów danych i wysokiej liczby zdarzeń.
• Znajomość narzędzi do transformacji i orkiestracji danych, w szczególności dbt, Dataform oraz Apache Airflow.
• Umiejętność pracy z produkcyjnymi środowiskami danych oraz rozwiązywania problemów związanych z wydajnością i niezawodnością pipeline'ów.
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziane:

• Doświadczenie z systemami przetwarzającymi 1 000+ zdarzeń na sekundę.
• Doświadczenie w projektowaniu architektur real-time / near-real-time data processing.
• Znajomość Terraform lub innych narzędzi Infrastructure as Code.
• Doświadczenie z konteneryzacją, Docker oraz CI/CD.
• Znajomość zagadnień związanych z data governance, data quality oraz data security.
• Długoterminową współpracę z możliwością przedłużenia projektu.
• Pracę w 100% zdalną.
• Możliwość pracy przy nowoczesnym projekcie Data Engineering na Google Cloud Platform.
• Pracę z technologiami takimi jak BigQuery, Pub/Sub, Dataflow, Cloud Run, Composer, Airflow, dbt oraz Dataform.
• Możliwość rozwijania kompetencji w obszarze cloud, streaming oraz event-driven data processing.
• Wsparcie zespołu ITELENCE na każdym etapie współpracy.