Data Engineer

Solid Company; Katowice; On-site; PLN 227,000 - 324,000; Full time

Job summary

HeadHR w Katowicach poszukuje specjalisty ds. migracji danych i Data/AI, który poprowadzi projekt migracji platformy danych z Cloudera na GCP. Odpowiada za projektowanie architektury, skalowalność i bezpieczeństwo środowiska.

Wymagane doświadczenie w migracjach on-premise do chmury, znajomość Python i Java oraz narzędzi Airflow, Git i Terraform. Lokalizacja Katowice; budżet do 200 PLN/h + VAT, zależnie od doświadczenia.

Qualifications

• Doświadczenie w realizacji projektów migracyjnych z on-premise do środowisk chmurowych, mile widziane z Cloudera lub Hadoop.
• Bardzo dobra znajomość Pythona, ETL, budowy pipeline’ów danych oraz automatyzacji.
• Bardzo dobra znajomość Javy oraz projektowania architektury danych w GCP.
• Praktyczna znajomość narzędzi do orkiestracji i CI/CD (Airflow, Git, Terraform).
• Doskonała znajomość angielskiego na poziomie C1, umożliwiająca codzienną komunikację i dokumentację.

Responsibilities

• Prowadzenie migracji danych z on-premise do chmury (GCP).
• Projektowanie i implementacja rozwiązań Data/AI w chmurze, z uwzględnieniem skalowalności i bezpieczeństwa.
• Optymalizacja kosztów i governance danych w środowiskach chmurowych.

Skills

Python ETL

Java

GCP architecture

English C1

Data governance

Tools

Airflow

Git

Terraform

Job description

• migracja platformy danych z Cloudera (on-premise) do architektury opartej na Google Cloud Platform (GCP) oraz wdrożenie nowych rozwiązań Data/AI w chmurze,
• opracowanie strategii i ścieżki migracji, w tym podejścia oraz rekomendacji technicznych,
• przeniesienie i modernizację istniejących procesów z wykorzystaniem usług GCP,
• projektowanie i implementację rozwiązań Data/AI z wykorzystaniem Dataproc, Dataflow, BigQuery, Cloud Composer oraz narzędzi automatyzacji,
• lokalizacja projektu: Katowice,
• budżet projektu: do 200 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kogo poszukujemy?

• doświadczenie w realizacji projektów migracyjnych z on-premise do środowisk chmurowych, mile widziane doświadczenie z platformą Cloudera lub innymi rozwiązaniami opartymi na Hadoop,
• bardzo dobra znajomość języka Python, w szczególności w obszarze ETL, budowy pipeline’ów danych oraz automatyzacji,
• bardzo dobra znajomość języka Java,
• umiejętność projektowania i architektowania rozwiązań danych w GCP z uwzględnieniem skalowalności, bezpieczeństwa oraz optymalizacji kosztów,
• praktyczna znajomość narzędzi do orkiestracji, CI/CD oraz automatyzacji, takich jak Airflow, Git, Terraform lub rozwiązania równoważne,
• bardzo dobra znajomość języka angielskiego na poziomie C1, umożliwiająca codzienną komunikację, prowadzenie warsztatów technicznych oraz przygotowywanie dokumentacji projektowej,
• doświadczenie w analizie istniejących rozwiązań legacy oraz rekomendowaniu docelowych architektur w środowiskach chmurowych,
• znajomość zagadnień związanych z data governance, bezpieczeństwem danych oraz kontrolą dostępu w środowiskach chmurowych.