Data Engineer

DataServe; Województwo mazowieckie; On-site; PLN 167,400 - 279,000; Full time

Benefits offered by this job

Elastyczne godziny pracy

Karta Multisport

Przyjazna atmosfera w biurze

Job summary

Wiodąca firma technologiczna poszukuje Konsultanta wdrożeniowca z doświadczeniem w inżynierii danych i Big Data. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i wdrażanie nowoczesnych rozwiązań oraz prace nad dużymi zbiorami danych. Wymagana jest znajomość narzędzi takich jak Hadoop oraz umiejętność analizy danych za pomocą Pythona. Oferujemy elastyczne godziny pracy oraz udział w ambitnych projektach.

Qualifications

• Minimum 3-5 lat doświadczenia w obszarze inżynierii danych.
• Ekspertyza w technologii Big Data i systemach takich jak Hadoop i Spark.
• Znajomość przynajmniej одной technologii bazodanowej w zastosowaniach Big Data.

Responsibilities

• Projektowanie, wdrażanie i utrzymanie rozwiązań Big Data.
• Wspieranie klientów w analizie danych.
• Optymalizacja procesów integracji danych.

Skills

Inżynieria danych

Big Data

Analiza danych

SQL

Python

Tools

Hadoop

Apache Spark

ETL/ELT

Airflow

Job description

Konsultant wdrożeniowiec o profilu Data Engineer to specjalista, który łączy zaawansowane kompetencje techniczne z umiejętnością analizy danych i podstawową wiedzą z zakresu Data Science. Odpowiada za projektowanie, wdrażanie oraz utrzymanie nowoczesnych rozwiązań w obszarze Big Data, architektury danych i platform analitycznych, wspierając klientów w wykorzystaniu danych do podejmowania decyzji biznesowych.

Lubisz porządkować dane, projektować wydajne pipeline’y i tworzyć niezawodne środowiska analityczne? Dołącz do DataServe jako Data Engineer i pracuj przy projektach, które wspierają podejmowanie decyzji opartych na danych. Wykorzystuj nowoczesne narzędzia, rozwiązania chmurowe i technologie Big Data w praktyce biznesowej.

Oczekujemy od Ciebie:

• minimum 3-5 lat doświadczenia w obszarze inżynierii danych, wdrożeń Big Data lub analizy danych;
• doświadczeniaw pracy z narzędziami i technologiami Big Data oraz w realizacji projektów analitycznych dla danych.

Szczegółowe wymagania:

• ekspertyza w technologii Big Data i ekosystemach takich jak Hadoop oraz Apache Spark;
• projektowanie i wdrażanie skalowalnych rozwiązań Big Data dla dużych zbiorów danych;
• dobór technologii i narzędzi zgodnych z potrzebami biznesowymi oraz technicznymi (Modern Data Analytics Platform, Query Engines, technologie dla Data Lake, narzędzia chmurowe).
• znajomość podstaw projektowania i zarządzania hurtowniami danych (Data Warehouse);
• doświadczenie w implementacji i utrzymaniu środowisk Data Lake i Data Lakehouse.

Bazy danych

• zaawansowana znajomość przynajmniej jednej technologii bazodanowej w zastosowaniach BigData (od 1TB+) takich jak: PostgreSQL, Vertica, Snowflake, MariaDB, Oracle, SQL Server;
• umiejętność optymalizacji zapytań, tuning wydajności oraz praca z dużymi zbiorami danych.
• znajomość narzędzi ETL/ELT i orkiestracji danych takich jak: Airbyte, dbt (data build tool), Apache Airflow;
• praktyczna wiedza w zakresie automatyzacji procesów integracji i przetwarzania danych.

Konfiguracja i administracja

• praktyczna wiedza w zakresie konfiguracji i administracji ekosystemów Hadoop oraz systemów Object Store (np. VAST, MinIO).

Rozwiązania typu Query Engine

• znajomość przynajmniej jednej technologii platform takich jak: Dremio, Databricks, Denodo, Starburst.

Analiza danych i podstawy Data Science

• podstawowa wiedza z zakresu Data Science: znajomość metod eksploracyjnej analizy danych (EDA); podstawowe techniki modelowania danych i ich zastosowanie w biznesie; umiejętność interpretacji wyników analizy i współpracy z zespołami analitycznymi.
• praktyczne doświadczenie w analizie danych za pomocą Python (biblioteki takie jak Pandas, NumPy, Matplotlib, Seaborn).

Programowanie i SQL

• zaawansowana znajomość języka Python zorientowana na przetwarzanie i analizę danych;
• zaawansowana znajomość SQL: tworzenie zaawansowanych zapytań, analiza danych ich optymalizacja.

Mile widziane kwalifikacje i doświadczenie to:

• znajomość platformy HPE Ezmeral lub/i technologii związanych z VAST Data;
• doświadczenie z narzędziami chmurowymi (AWS, Azure, GCP) w kontekście przetwarzania danych;
• doświadczenie w pracy z Kubernetes (K8s) w kontekście wdrażania i zarządzania aplikacjami danych.

Oczekiwane cechy osobowościowe:

• analityczne myślenie i kreatywne podejście do rozwiązywania problemów;
• umiejętności prezentacji zagadnień technicznych dla zespołów technicznych i nietechnicznych;
• umiejętność współpracy z różnorodnymi zespołami, w tym z analitykami i Data Scientistami;
• zdolność do jasnej komunikacji z klientami i przedstawiania wyników analizy danych w zrozumiały sposób;
• otwartość na ciągłe uczenie się i rozwijanie nowych umiejętności.

W zamian za Twoje zaangażowanie oferujemy:

• udział w wyjątkowo ciekawych i ambitnych projektach z obszaru Machine Learning rozwijających nasze produkty oraz realizowanych dla firm stawiających na najnowsze technologie;
• elastyczne godziny pracy;
• kartę Multisport;
• nieformalną, przyjazną atmosferę w biurze.