Senior Data Engineer

Integral Solutions - Informatica Distributor; Warszawa; On-site; PLN 120,000 - 160,000; Full time

Benefits offered by this job

Prywatne ubezpieczenie medyczne

Multisport

Dostęp do systemu myBenefit

Job summary

Firma informatyczna w Warszawie poszukuje ekspertów do rozwoju rozwiązań klasy Data Lake oraz Data Warehouse. Wymagana jest znajomość relacyjnych baz danych, optymalizacji zapytań SQL, a także umiejętność programowania w Pythonie. Dodatkowymi atutami są doświadczenie w Google Cloud Platform oraz znajomość technologii takich jak Informatica Power Center i Kafka. Oferujemy dostęp do benefitów, takich jak prywatne ubezpieczenia medyczne oraz Multisport.

Qualifications

• Ekspercka znajomość relacyjnych baz danych, takich jak Oracle i PostgreSQL.
• Znajomość budowy pipeline-ów ETL/ELT.
• Doświadczenie w pracy z Google BigQuery.

Responsibilities

• Budowa rozwiązań klasy Data Lake oraz Data Warehouse.
• Optymalizacja i strojenie zapytań SQL w bazach danych.
• Wspieranie testów i wdrażania zmian.

Skills

Projektowanie hurtowni danych

Zarządzanie bazami danych SQL

Python

Google Cloud Platform

Informatica Power Center

Linux

Kafka

Job description

• Budowa rozwiązań klasy Data Lake i Data Warehouse, obejmujących procesy zasilania danych zarówno online, jak i offline.
• Projektowanie oraz implementacja rozwiązań informatycznych odpowiedzialnych za zasilanie, przetwarzanie i integrację danych.
• Analiza danych oraz przygotowywaniemodeli logicznych i fizycznych zgodnie z wymaganiami biznesowymi.
• Optymalizacja i strojenie zapytań SQL w relacyjnych i hurtownianych bazach danych, działających zarówno on‑premises, jak i w środowisku Google Cloud Platform.
• Tworzenie oraz utrzymanieprzepływów danych (offline i online) z wykorzystaniem narzędzi on‑premises oraz GCP.
• Opracowywanie rozwiązań doładowania danych w Pythonie i Ruście dla danych strukturalnych i niestrukturalnych.
• Przygotowywaniedatamartów tematycznych opartych o bazy relacyjne oraz kolumnowe.
• Tworzenie koncepcji technicznych oraz realizacja implementacji w oparciu o potrzeby i wymagania biznesowe.
• Usuwanie incydentów oraz udział w procesach diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych.
• Wspieranie testów i wdrażania zmian w obszarzeprocesów zasilania danych.
• Udzielanie wsparcia w zakresieserwisowania wdrożonego oprogramowania.
• Realizacja zadań zgodnie z praktykamiDevSecOps.

Wymagania

• Znajomość zasad projektowania i budowy nowoczesnych hurtowni danych,
• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT :
• Ekspercka znajomość relacyjnych baz danych Oracle, PostgeSQL (projektowanie, budowa i tuning baz danych),
• Znajomość Google BigQuery
• Znajomość Informatica Power Center,
• Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takie jak np. Kafka, Pub/Sub,
• Znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika

Mile widziane

• Pracę na kontrakcie B2B
• Dostęp do systemu myBenefit, w tym prywatne ubezpieczenie medyczne, Multisport i wiele innych