Big Data Developer

Scalo

United States

Remote

USD 41,000 - 59,000

Full time

42 hours ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Opieka medyczna
Karta sportowa
Platforma kafeteryjna
100% zdalny model pracy

Job summary

Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Zakres obejmuje analizę i rozwój procesów danych, ETL, data pipelines i modelowanie danych dla projektów z obszaru Limits oraz testów i release’ów produkcyjnych.

Oczekujemy minimum 2 lat doświadczenia w Data Engineering, bardzo dobrej znajomości SQL, Pythona i Control-M. Praca w modelu 100% zdalnym, stawka do 145 PLN/h + VAT (B2B), oferujemy różnorodne projekty i benefity.

Qualifications

  • Minimum 2 years of experience in Data Engineering / Big Data.
  • Practical knowledge of Big Data environments and Data Lake.
  • Very good knowledge of SQL.
  • Experience in Python programming.
  • Practical experience in creating ETL processes.
  • Experience in data ingest and transformation.
  • Knowledge of building and maintaining data pipelines.
  • Experience in data modeling.
  • Knowledge of Control-M and batch processes.
  • Ability to analyze, validate and reconcile data.
  • English knowledge at least B2.

Responsibilities

  • Udział w projektach dla międzynarodowej organizacji z sektora bankowego, w obszarze zarządzania i przetwarzania danych.
  • Analiza istniejących modeli danych, przepływów i zależności w Data Lake.
  • Rozwój i utrzymanie procesów Python, ETL i pipeline’ów danych.
  • Implementacja mechanizmów ingestii, transformacji i przetwarzania danych.
  • Rozwój i utrzymanie zadań Control-M oraz procesów batchowych.
  • Tworzenie i dostosowywanie modeli danych i datasetów dla rozwiązań z obszaru Limits.
  • Analiza danych z wykorzystaniem SQL, walidacja i uzgadnianie danych z różnych źródeł.
  • Wdrażanie mechanizmów kontroli jakości danych i wsparcie w rozwiązywaniu problemów z danymi.
  • Udział w testach, certyfikacjach, wdrożeniach i release’ach produkcyjnych.
  • Przygotowywanie i utrzymanie dokumentacji technicznej dotyczącej modeli danych, procesów i transformacji.
  • Współpraca w modelu 100% zdalnym.

Skills

SQL
Python
ETL
Data pipelines
Control-M
Data modeling
English (B2)

Tools

Jira
Confluence
Atoti/ActiveViam

Job description

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu.

Zakres współpracy obejmuje:
  • udział w projekcie realizowanym dla międzynarodowej organizacji z sektora bankowego, w obszarze zarządzania i przetwarzania danych
  • analizę istniejących modeli danych, przepływów, transformacji oraz zależności w środowisku Data Lake
  • rozwój i utrzymanie procesów Python, ETL oraz pipeline’ów danych
  • implementację mechanizmów ingestii, transformacji i przetwarzania danych
  • rozwój i utrzymanie zadań Control-M oraz procesów batchowych
  • tworzenie i dostosowywanie modeli danych oraz datasetów na potrzeby rozwiązania z obszaru Limits
  • analizę danych z wykorzystaniem SQL, walidację oraz uzgadnianie danych pomiędzy różnymi źródłami
  • wdrażanie mechanizmów kontroli jakości danych oraz wsparcie w rozwiązywaniu problemów związanych z danymi
  • udział w testach, certyfikacji, wdrożeniach oraz release’ach produkcyjnych
  • przygotowywanie i utrzymanie dokumentacji technicznej dotyczącej modeli danych, procesów i transformacji
  • współpracę w modelu 100% zdalnym
  • stawkę do 145 zł/h + VAT (B2B)
Kompetencje wymagane:
  • minimum 2 lata doświadczenia w obszarze Data Engineering / Big Data
  • praktyczna znajomość środowisk Big Data oraz Data Lake
  • bardzo dobra znajomość SQL
  • doświadczenie w programowaniu w Python
  • praktyczne doświadczenie w tworzeniu procesów ETL
  • doświadczenie w ingestii oraz transformacji danych
  • znajomość budowy i utrzymania data pipelines
  • doświadczenie w modelowaniu danych
  • znajomość Control-M oraz procesów batchowych
  • umiejętność analizy, walidacji i uzgadniania danych
  • znajomość języka angielskiego na poziomie minimum B2

Mile widziana znajomość Atoti / ActiveViam, Databricks, REST API, architektury mikroserwisowej, Jira i Confluence oraz doświadczenie w obszarze Counterparty Risk / Limits.

Co oferujemy:
  • możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services
  • zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie
  • dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Azure Data Engineer
Azure Data Engineer

act digital • United States

Remote
USD 41,000 - 58,000
Premia za polecenie Kandydatów do 6 %6
Karta Medicover
Karta Multisport
+1
Data Engineer (with Snowflake & Airflow)
Data Engineer (with Snowflake & Airflow)

TQLO SP. Z O.O. • United States

Remote
USD 46,000 - 81,000
Senior Data Engineer (AWS and Data Platform)
Senior Data Engineer (AWS and Data Platform)

Onwelo • United States

Remote
USD 110,000 - 170,000
Elastyczne godziny
Praca zdalna
Szkolenia i ścieżki rozwojowe
+4
Senior Data Engineer (AWS and Data Platform)
Senior Data Engineer (AWS and Data Platform)

Onwelo • Town of Poland (NY)

Hybrid
USD 90,000 - 120,000
Elastyczne godziny pracy
Możliwość pracy zdalnej
Udział w ciekawych projektach
+3
Senior Data Governance Engineer
Senior Data Governance Engineer

Scalo • United States

Remote
USD 45,000 - 65,000
Opieka medyczna i karta sportowa
Platforma kafeteryjna
Różnorodne projekty Software/Embedded/
Remote Big Data Engineer - SQL, Python & ETL Pipelines
Remote Big Data Engineer - SQL, Python & ETL Pipelines

Scalo • United States

Remote
USD 41,000 - 59,000
Opieka medyczna
Karta sportowa
Platforma kafeteryjna
+1
Senior Cloud Data Engineer (AWS and Databricks)
Senior Cloud Data Engineer (AWS and Databricks)

Future Processing • United States

Remote
USD 46,000 - 67,000
Duża swoboda działania
Projekty międzynarodowe (UE/USA)
Szkolenia chmurowe AWS/Microsoft/Datbr
+4
Data Engineer
Data Engineer

Future Processing • United States

Remote
USD 28,000 - 41,000
Senior Data Engineer
Senior Data Engineer

Codest • Town of Poland (NY)

On-site
USD 120,000 - 160,000
Umowa B2B
Dni wolne święta
Karta Worksmile 300 zł
+1
Senior Data Engineer
Senior Data Engineer

1dea • United States

Remote
USD 53,000 - 60,000