IT Architect

Edge One Solutions Sp. z o.o.; Warszawa; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Indywidualne wsparcie S.D.M.

Szkolenia i certyfikaty

Elastyczne benefity

Wsparcie work-life balance

Karta sportowa i opieka medyczna

Zdalna możliwość pracy

Job summary

Edge One Solutions Sp. z o.o. poszukuje IT Architecta w Warszawie do pracy w modelu hybrydowym. Do głównych obowiązków należy projektowanie przebiegów ETL/ELT, tworzenie i optymalizacja DAG-ów w Airflow/Cloud Composer oraz rozwijanie modeli danych.

Wymagane jest 3 lata doświadczenia z GCP, Pythonem, PySpark i SQL oraz praktyczna znajomość BigQuery, dbt Core i CI/CD. Praca w bankowym projekcie z możliwością rozwoju kompetencji w świadczonych usługach.

Qualifications

• Minimum 3 lata doświadczenia na stanowisku Data Engineer, GCP Developer lub podobnym.
• Bardzo dobra znajomość Python, PySpark oraz SQL.
• Praktyczne doświadczenie w pracy z BigQuery oraz dbt Core.
• Doświadczenie z Cloud Composer / Apache Airflow, Cloud Storage oraz Pub/Sub.
• Doświadczenie w projektowaniu i budowie procesów ETL/ELT.
• Doświadczenie w przetwarzaniu dużych zbiorów danych.
• Znajomość GitHub, CI/CD oraz dobrych praktyk wytwarzania oprogramowania.
• Znajomość języka angielskiego umożliwiająca swobodną pracę z dokumentacją techniczną.

Responsibilities

• Wdrażanie modeli danych przygotowanych przez architektów i modelarzy.
• Projektowanie i tworzenie procesów ETL/ELT działających w trybie batch oraz streaming.
• Rozwój modeli, transformacji oraz testów z wykorzystaniem dbt Core i PySpark.
• Tworzenie, rozwój i utrzymanie DAG-ów w Apache Airflow / Cloud Composer.
• Implementowanie mechanizmów walidacji i kontroli jakości danych.
• Współpraca przy tworzeniu generatorów oraz frameworków wspierających procesy zasileń danych.
• Przygotowywanie i rozwijanie testów jednostkowych, integracyjnych oraz jakościowych.
• Tworzenie i aktualizowanie dokumentacji technicznej.
• Wsparcie procesów wdrożeniowych na środowiska TEST, PREPROD oraz PROD.

Skills

Python

PySpark

SQL

Google Cloud Platform

Airflow / Cloud Composer

BigQuery

dbt Core

GitHub

ETL/ELT

Data modeling

CI/CD

English

Tools

Apache Airflow

Cloud Composer

Pub/Sub

Terraform

Dataflow

Job description

IT Architect

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Google Cloud Platform
• Python
• PySpark
• SQL
• Cloud Composer
• Apache Airflow
• Cloud Storage
• Pub/Sub
• GitHub

Mile widziane

• Google Cloud Dataproc
• Dataflow

O projekcie

Nasz klient to jeden z trzech największych polskich banków uniwersalnych, jak również jedna z największych instytucji finansowych w obszarze Europy Środkowo-Wschodniej. Jako pierwszy polski bank uruchomił bankomat i wydał kartę kredytową.

Tryb pracy

Praca hybrydowa 8 dni w miesiącu z biura klienta w Warszawie.

Twój zakres obowiązków

• Wdrażanie modeli danych przygotowanych przez architektów i modelarzy
• Projektowanie i tworzenie procesów ETL/ELT działających w trybie batch oraz streaming
• Rozwój modeli, transformacji oraz testów z wykorzystaniem dbt Core i PySpark
• Tworzenie, rozwój i utrzymanie DAG-ów w Apache Airflow / Cloud Composer
• Implementowanie mechanizmów walidacji i kontroli jakości danych
• Współpraca przy tworzeniu generatorów oraz frameworków wspierających procesy zasileń danych
• Przygotowywanie i rozwijanie testów jednostkowych, integracyjnych oraz jakościowych
• Tworzenie i aktualizowanie dokumentacji technicznej
• Wsparcie procesów wdrożeniowych na środowiska TEST, PREPROD oraz PROD

Nasze wymagania

• Minimum 3 lata doświadczenia na stanowisku Data Engineer, GCP Developer lub podobnym
• Bardzo dobra znajomość Python, PySpark oraz SQL
• Praktyczne doświadczenie w pracy z BigQuery oraz dbt Core
• Doświadczenie z Cloud Composer / Apache Airflow, Cloud Storage oraz Pub/Sub
• Doświadczenie w projektowaniu i budowie procesów ETL/ELT
• Doświadczenie w przetwarzaniu dużych zbiorów danych
• Znajomość GitHub, CI/CD oraz dobrych praktyk wytwarzania oprogramowania
• Doświadczenie w przygotowywaniu testów jednostkowych, integracyjnych lub testów jakości danych
• Znajomość języka angielskiego umożliwiająca swobodną pracę z dokumentacją techniczną

Mile widziane

• Znajomość Google Cloud Dataproc lub Dataflow
• Doświadczenie w budowie i utrzymaniu procesów streamingowych
• Znajomość Terraform oraz podejścia Infrastructure as Code
• Doświadczenie w obszarze Data Quality i Data Governance
• Znajomość specyfiki branży finansowej lub bankowej

To oferujemy

• Zyskujesz indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o Twój komfort i satysfakcję z pracy w projekcie
• Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych
• SmartChange – umożliwiamy zmianę projektu i dobieramy kolejny zgodnie z Twoimi preferencjami
• Dbamy o Twój work-life balance, dlatego poza pracą oferujemy wyjścia integracyjne, aktywności sportowe i inspirujące webinary #edge1talks, które rozwijają i łączą ludzi.
• Aktywność fizyczna – wspieramy sportowe inicjatywy i wynajem sal treningowych
• Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i platforma ze wsparciem psychologicznym
• Elastyczne benefity – sam decydujesz, na co przeznaczasz punkty w naszym systemie benefitowym

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• ubezpieczenie na życie
• możliwość pracy zdalnej
• elastyczny czas pracy
• wsparcie psychologiczne
• lekcje języka angielskiego

Edge One Solutions Sp. z o.o.

Społeczność Edge One Solutions powstała z miłości do nowych technologii. Liczymy ponad 350 ekspertów, a w Grupie Euvic, której jesteśmy częścią, jest nas już 5500. Indywidualne podejście pozwala na dopasowanie projektów do umiejętności, przez co realnie wspieramy się w rozwoju kompetencji.