Senior Data Engineer

your Jared; Kraków; Hybrid; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Medicover health care

Dental care (Medicover)

Sports card (Medicover)

Life insurance

Retirement program

Certification access

Welfare programs

Job summary

your Jared poszukuje Senior Data Engineer do pracy przy migracji platformy danych z Cloudera/on-premise do Google Cloud Platform. Do obowiązków należy projektowanie, rozwój i optymalizacja rozwiązań danych w oparciu o GCP, a także utrzymanie pipeline’ów batch i streaming oraz ścisła współpraca z zespołami biznesowymi.

Wymagane jest 5–6 lat doświadczenia w Data Engineering, biegła znajomość GCP (Dataproc, Dataflow, BigQuery, Cloud Composer) i praktyczne umiejętności w ETL, Airflow oraz Terraform.

Qualifications

• Minimum 5–6 lat doświadczenia w Data Engineering lub Big Data.
• Dobra znajomość GCP (Dataproc, Dataflow, BigQuery, Cloud Composer).
• Doświadczenie w migracjach on-premise do chmury i pracy w projekcie międzynarodowym.

Responsibilities

• Udział w migracji platformy danych z Cloudera/on-premise do GCP.
• Projektowanie, rozwój i optymalizacja rozwiązań danych w chmurze GCP.
• Tworzenie i utrzymanie pipeline’ów danych (batch i streaming).
• Praca z usługami GCP: Dataproc, Dataflow, BigQuery, Cloud Composer.
• Analiza architektury, rekomendowanie rozwiązań, dbałość o skalowalność i koszty.

Skills

Data engineering

GCP Dataproc

GCP Dataflow

GCP BigQuery

GCP Cloud Composer

Python

Java

Apache Airflow

Terraform

Cloudera/Hadoop

Data governance

Tools

Dataproc

Dataflow

BigQuery

Cloud Composer

Apache Airflow

Git

Terraform

Job description

# Senior Data EngineerKraków, PolandRemoteplvia direct// Job TypeFull Time// SalaryNot disclosed// Posted1 day ago// Work Moderemote## About the RoleQuick Facts Rola: Data/AI Engineer (Data Engineering) Projekt: migracja platformy danych z on-premise (Cloudera) do Google Cloud Platform (GCP) Model pracy: 100% zdalnie z Polski Description Udział w strategicznej i międzynarodowej inicjatywie dotyczącej migracji platformy danych z Cloudera/on-premise do GCP. Projekt obejmuje projektowanie, rozwój i optymalizację rozwiązań danych w oparciu o usługi GCP, w tym utrzymanie pipeline’ów batch oraz streaming oraz współpracę międzynarodową z zespołami biznesowymi i architektami. Responsibilities Udział w migracji platformy danych z Cloudera/on-premise do Google Cloud Platform Projektowanie, rozwój i optymalizacja rozwiązań danych w oparciu o usługi GCP Tworzenie i utrzymanie wydajnych pipeline’ów danych (batch oraz streaming) Praca z usługami GCP: Dataproc, Dataflow, BigQuery, Cloud Composer Analiza istniejących rozwiązań legacy i rekomendowanie docelowej architektury w chmurze Współpraca z zespołami biznesowymi, architektami i partnerami technologicznymi Dbanie o skalowalność, bezpieczeństwo i optymalizację kosztową rozwiązań danych Wsparcie automatyzacji, orkiestracji oraz CI/CD Udział w warsztatach technicznych, przygotowywaniu dokumentacji i podejmowaniu decyzji architektonicznych Requirements Minimum 5-6 lat doświadczenia w Data Engineering, Big Data lub platformach danych (w tym projekty chmurowe) Bardzo dobra znajomość GCP: Dataproc (Spark, Hadoop Ecosystem), Dataflow (Apache Beam), BigQuery (projektowanie, optymalizacja wydajności i kosztów), Cloud Composer (Apache Airflow) Doświadczenie w migracjach on-premise do chmury Mile widziane doświadczenie z platformami Cloudera lub innymi rozwiązaniami Hadoop Bardzo dobra znajomość Python w ETL, automatyzacji i budowie pipeline’ów danych Znajomość Javy, szczególnie w kontekście Spark, Apache Beam oraz batch i streaming Doświadczenie w projektowaniu i wdrażaniu złożonych pipeline’ów danych w środowiskach produkcyjnych Umiejętność architektury danych w GCP: skalowalność, bezpieczeństwo, efektywność kosztowa Praktyczna znajomość Airflow, Git, Terraform lub podobnych rozwiązań Bardzo dobra znajomość angielskiego (min. B2+/C1) Znajomość Data Governance, bezpieczeństwa danych i zarządzania dostępami w chmurze Benefits Stabilna i długoterminowa współpraca Jasno zdefiniowana ścieżka kariery Możliwość relokacji w ramach lokalnych oddziałów Po zakończeniu projektu możliwość zaangażowania w kolejny projekt Wdrożenie oraz współpraca z dedykowanym Competences Managerem Opieka medyczna (Medicover) Opieka stomatologiczna (Medicover) Platforma Medicover Benefits Karta sportowa (Medicover) Program poleceń Wyprawka dla nowonarodzonego dziecka pracownika Ubezpieczenie grupowe na życie Program emerytalny Współpraca: B2B lub umowa zlecenia (UZ) Dostęp do certyfikacji (np. Google, ISTQB) Dostęp do branżowych wydarzeń Knowledge Sharing Program Dostęp do programu poleceń