Azure Data Engineer

act digital; EE. UU.; A distancia; USD 41.000 - 58.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Premia za polecenie Kandydatów do 6 %6

Karta Medicover

Karta Multisport

Szkolenia i certyfikaty techniczne

Descripción de la vacante

act digital poszukuje Data Engineera odpowiedzialnego za projektowanie i rozwój rozwiązań do przetwarzania danych w środowisku Azure. Będziesz tworzyć pipeline’y łączące źródła danych, API i platformy przetwarzania strumieniowego oraz rozwijać procesy ETL/ELT w Databricks i Azure Data Factory.

Praca wymaga biegłej znajomości SQL i PySpark, modelowania danych oraz ścisłej współpracy z zespołami Data Science i architektami chmury. Mile widziane doświadczenie z Power BI i praktyki CI/CD.

Formación

• Doświadczenie w architekturze Data Lake/ Lakehouse.
• Praktyczna znajomość Databricks i Azure Data Factory.
• SQL i PySpark na zaawansowanym poziomie.
• Modelowanie danych i projektowanie procesów ETL/ELT.
• Znajomość Pythona do transformacji danych i orkiestracji.

Responsabilidades

• Projektowanie i rozwijanie skalowalnych rozwiązań przetwarzania danych w Azure.
• Tworzenie i utrzymywanie pipeline’ów danych łączących bazy danych, API i strumienie danych.
• Rozwój procesów ETL/ELT z użyciem Azure Data Factory i Databricks.
• Współpraca z zespołami danych, analitykami i architektami chmury.
• Wdrażanie dobrych praktyk CI/CD i DevOps w przetwarzaniu danych.
• Integracja platformy danych z Power BI.

Conocimientos

SQL

PySpark

Python

Databricks

Azure Data Factory

CI/CD

Git/Azure DevOps

Data Modeling

Power BI

Herramientas

Databricks

Azure Data Factory

Azure DevOps

Descripción del empleo

Opis firmyNaszą misją jako firmy świadczącej usługi IT jest dostarczanie najlepszych rozwiązań naszym klientom na całym świecie. Osiągamy to poprzez analizowanie potrzeb naszych klientów i dopasowywanie ich do umiejętności i aspiracji naszych pracowników. Dlatego jedną z naszych głównych motywacji jest zapewnienie każdemu Pracownikowi i Konsultantowi satysfakcjonującego doświadczenia. Dołączenie do nas oznacza bycie częścią społeczności o różnorodnych osobowościach. Rozpocznij swoją przygodę z act digital!

Opis projektu

Poszukujemy Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Azure.

Zadania

• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania danych ustrukturyzowanych oraz nieustrukturyzowanych.
• Tworzenie i utrzymywanie pipeline’ów danych integrujących informacje z baz danych, API oraz platform przetwarzania strumieniowego.
• Rozwój procesów ETL/ELT z wykorzystaniem Azure Data Factory i Databricks.
• Współpraca z inżynierami danych, specjalistami Data Science oraz architektami chmurowymi.
• Współpraca z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami i Product Ownerami na kluczowych etapach projektu.
• Wdrażanie dobrych praktyk CI/CD i DevOps w procesach przetwarzania danych.
• Integracja platformy danych z narzędziami analitycznymi, takimi jak Power BI.

Wymagania

• Praktyczne doświadczenie w rozwiązaniach opartych na architekturze Data Lake.
• Doświadczenie w przetwarzaniu i przepływie danych z wykorzystaniem Databricks oraz Azure Data Factory.
• Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure.
• Biegła znajomość SQL i PySpark.
• Umiejętność modelowania danych oraz projektowania procesów ETL/ELT.
• Doświadczenie w programowaniu w Pythonie lub podobnym języku skryptowym, wykorzystywanym do transformacji danych, orkiestracji i automatyzacji.
• Praktyczna wiedza z zakresu zaawansowanych funkcjonalności Databricks, w tym Unity Catalog, MLflow, Jobs i Pipelines.
• Rozumienie architektury danych w chmurze, w szczególności Data Lakehouse, Medallion Architecture, integracji API i architektury event-driven.
• Doświadczenie w stosowaniu CI/CD i DevOps, w tym Git oraz Azure DevOps.
• Umiejętność współpracy w zespołach interdyscyplinarnych.
• Język angielski na poziomie minimum B2.

Mile widziane

• Doświadczenie w pracy z chmurami AWS lub GCP.
• Praktyka w integracji platform danych z narzędziami analitycznymi, np. Power BI.

Dodatkowe informacje

Kontrakt: B2BStawka: do 140 PLN/h net + vatOferujemyDostęp do lokalnych i międzynarodowych projektów - Klienci z Francji, Niemiec, Portugalii, Wielkiej Brytanii i krajów Beneluksu.Wsparcie w rozwoju zawodowym - szkolenia, certyfikaty techniczne, udział w konferencjach, lektoraty języków obcych i szkolenia miękkie dofinansowane do 2 000zł.Elastyczność - sam wybierasz formę współpracy: umowa o pracę lub umowa business-to-business.Premia za polecanie Kandydatów do 6 000zł.W pełni opłacona karta Medicover.Karta Multisport.Regularne imprezy integracyjne i upominki.Program Mobilny.Długoterminową współpracę.

Oferujemy

• Dostęp do lokalnych i międzynarodowych projektów - Klienci z Francji, Niemiec, Portugalii, Wielkiej Brytanii i krajów Beneluksu.
• Wsparcie w rozwoju zawodowym - szkolenia, certyfikaty techniczne, udział w konferencjach, lektoraty języków obcych i szkolenia miękkie dofinansowane do 2 000zł.
• Elastyczność - sam wybierasz formę współpracy: umowa o pracę lub umowa business-to-business.
• Premia za polecanie Kandydatów do 6 000zł.
• W pełni opłacona karta Medicover.
• Karta Multisport.
• Regularne imprezy integracyjne i upominki.
• Program Mobilny.
• Długoterminową współpracę.