Senior Data Engineer

ITConnect; Polska; Hybrid; PLN 180,000 - 240,000; Full time

Job summary

ITConnect Sp. z o.o. poszukuje Senior Data Engineera do prac nad dedykowanym data martem i procesami ETL. Osoba na tym stanowisku będzie projektować modele danych, budować hurtownię danych oraz warstwę danych dla raportów i analiz w Power BI.

Wymaga to minimum 5 lat doświadczenia z Microsoft SQL Server, SSIS, T-SQL oraz projektowania hurtowni danych. Praca głównie zdalna z okresowymi spotkaniami w biurze; możliwość pracy w Warszawie, Katowicach, Krakowie lub Tarnowie.

Qualifications

• Minimum 5 years of experience with Microsoft SQL Server (design, development, maintenance).
• Very good knowledge of T-SQL including stored procedures, functions, views and query optimization.
• Extensive experience with SSIS (SQL Server Integration Services) for ETL development and diagnostics.
• Experience in designing/building data warehouses and data marts.
• Practical knowledge of processing data in JSON, XML and text files.
• Experience in data modeling and optimizing structures for reporting and analytics.
• Experience integrating data from multiple sources (Oracle, SQL Server, Kafka, data exchange files).
• Ability to design data loading processes including ingestion, transformation, validation and sharing.
• Ability to collaborate with business and technical stakeholders translating requirements into technical solutions.
• Experience diagnosing and solving production data processing issues.
• Ability to create and maintain technical documentation.
• Participation in a project building a dedicated data mart.
• Work with data from many source systems and collaborate with analysts and owners of source systems.
• Willingness to develop solutions supporting reporting and business analytics.
• Role mainly remote with occasional on-site presence for project meetings and in Warszawa, Katowice, Kraków or Tarnów.

Responsibilities

• Analizować wymagania biznesowe i współpracować z interesariuszami przy definiowaniu potrzeb danych.
• Projektować i rozwijać modele danych oraz data mart.
• Budować i utrzymywać procesy ETL z różnych źródeł.
• Integracja danych z Oracle, MSSQL, Kafka oraz plików JSON/XML/TXT.
• Transformować, mapować i walidować dane do docelowego modelu relationalnego.
• Tworzyć wydajne procedury, funkcje i widoki.
• Przygotowywać i utrzymywać warstwę danych wykorzystywaną przez raporty Power BI.
• Optymalizować struktury danych i wydajność zapytań.
• Diagnozować i rozwiązywać problemy przetwarzania i jakości danych w środowiskach produkcyjnych.
• Prowadzić dokumentację techniczną.

Skills

Analytical thinking

Stakeholder management

Data modeling

Problem solving

Tools

Microsoft SQL Server

SSIS

Kafka

JSON/XML/TXT formats

Job description

Poszukujemy Senior Data Engineera, który wesprze projekt budowy dedykowanego data martu na potrzeby procesów związanych z obsługą kancelarii prawniczych.

Projekt obejmuje integrację danych pochodzących z wielu systemów źródłowych, ich przetwarzanie oraz udostępnianie na potrzeby raportowania i analiz biznesowych. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie modeli danych, budowę procesów ETL oraz przygotowanie wydajnej warstwy danych wykorzystywanej m.in. przez Power BI.

Twój zakres obowiązków:

• Analiza wymagań biznesowych oraz współpraca z interesariuszami przy definiowaniu potrzeb dotyczących danych.
• Projektowanie i rozwój modeli danych oraz data martu.
• Budowa i utrzymanie procesów integracyjnych oraz ETL zasilających dane z różnych źródeł.
• Integracja danych z baz Oracle, Microsoft SQL Server, komunikatów Kafka oraz plików JSON, XML i TXT.
• Transformacja, mapowanie i walidacja danych do docelowego modelu relacyjnego.
• Tworzenie wydajnych procedur składowanych, funkcji i widoków.
• Przygotowywanie oraz utrzymanie warstwy danych wykorzystywanej przez raporty i dashboardy Power BI.
• Optymalizacja struktur danych i wydajności zapytań.
• Diagnozowanie i rozwiązywanie problemów związanych z przetwarzaniem oraz jakością danych, również na środowiskach produkcyjnych.
• Przygotowywanie dokumentacji technicznej.

Nasze wymagania:

• Minimum 5 lat doświadczenia w pracy z Microsoft SQL Server, w tym projektowania, rozwoju i utrzymania baz danych.
• Bardzo dobra znajomość T-SQL, w tym tworzenia procedur składowanych, funkcji, widoków oraz optymalizacji zapytań.
• Bardzo duże doświadczenie w pracy z SSIS (SQL Server Integration Services), szczególnie w zakresie budowy, utrzymania i diagnostyki procesów ETL.
• Doświadczenie w projektowaniu i budowie hurtowni danych oraz data martów.
• Praktyczna znajomość przetwarzania danych w formatach JSON, XML oraz plikach tekstowych.
• Doświadczenie w modelowaniu danych i optymalizacji struktur na potrzeby raportowania i analiz.
• Doświadczenie w integracji danych z różnych źródeł, w szczególności Oracle, Microsoft SQL Server, Kafka oraz plików wymiany danych.
• Umiejętność projektowania procesów zasilania danych obejmujących ich pozyskiwanie, transformację, walidację i udostępnianie.
• Umiejętność samodzielnej współpracy z interesariuszami biznesowymi i technicznymi oraz przekładania wymagań biznesowych na rozwiązania techniczne.
• Doświadczenie w diagnozowaniu i rozwiązywaniu problemów na środowiskach produkcyjnych.
• Umiejętność tworzenia i utrzymywania dokumentacji technicznej.
• Udział w projekcie budowy dedykowanego data martu.
• Pracę z danymi pochodzącymi z wielu systemów źródłowych.
• Współpracę z interesariuszami biznesowymi, analitykami, zespołami raportowymi i właścicielami systemów źródłowych.
• Możliwość rozwoju rozwiązań wspierających raportowanie i analitykę biznesową.
• Praca głównie w trybie zdalnym: okresowa obecność w biurze podczas istotnych spotkań projektowych.
• Możliwość świadczenia usług stacjonarnie w Warszawie, Katowicach, Krakowie lub Tarnowie.