Data Engineer (DevOps)

Aberg Connect Sp. z o. o.; Warszawa; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Karta sportowa

Dodatkowe ubezpieczenie

Job summary

Aberg Connect Sp. z o. o. poszukuje Data Engineera, który samodzielnie przygotuje i wdroży rozwiązania związane z przetwarzaniem danych na funkcjonującej już infrastrukturze. Zakres obejmuje 70% pracy z danymi i 30% infrastrukturą działu DevOps w doświadczonym zespole.

Praca zdalna w 100% z możliwością korzystania z biura w Warszawie, z perspektywą udziału w nowych projektach typu greenfield. Oferujemy narzędzia AI oraz szybki rozwój technologiczny w środowisku Azure i Terraform.

Qualifications

• Minimum 3 lata doświadczenia zawodowego na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość języka Python w obszarze przetwarzania danych i automatyzacji.
• Praktyczne doświadczenie w pracy w środowisku Linux oraz dobra znajomość Bash.
• Doświadczenie w pracy z relacyjnymi bazami danych, w szczególności PostgreSQL i MS SQL Server.
• Znajomość narzędzi i praktyk Infrastructure as Code, w tym Terraform.
• Doświadczenie w pracy z chmurą Microsoft Azure.
• Umiejętność efektywnej pracy z narzędziami wspierającymi rozwój oprogramowania, takimi jak Bitbucket i Jira.
• Samodzielność, odpowiedzialność oraz umiejętność skutecznej współpracy z zespołami technicznymi i interesariuszami biznesowymi.

Responsibilities

• Projektowanie, rozwój i utrzymanie pipeline’ów danych oraz procesów ETL/ELT.
• Administracja, rozwój i optymalizacja relacyjnych baz danych (PostgreSQL, MS SQL Server).
• Zarządzanie schematami baz danych oraz procesami migracji w podejściu schema-as-code (Atlas).
• Automatyzacja procesów operacyjnych i deweloperskich z wykorzystaniem Pythona oraz Bash.
• Integracja systemów z usługami i aplikacjami zewnętrznymi.
• Współpraca z zespołem Data Science oraz zespołami deweloperskimi, analitycznymi i biznesowymi.
• Budowa i utrzymanie infrastruktury w chmurze Microsoft Azure z wykorzystaniem podejścia Infrastructure as Code (Terraform).
• Zarządzanie procesami wdrożeniowymi zgodnie z praktykami GitOps przy wykorzystaniu Argo CD.
• Dbanie o wysoką jakość, bezpieczeństwo oraz stabilność wdrażanych systemów i procesów.

Skills

Python

Linux

Bash

PostgreSQL

MS SQL Server

Terraform

Azure

Bitbucket

Jira

Współpraca zespołowa

Tools

Terraform

Azure

Bitbucket

Jira

Argo CD

Job description

Nasze wymagania:

• Minimum 3 lata doświadczenia zawodowego na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość języka Python w obszarze przetwarzania danych i automatyzacji.
• Praktyczne doświadczenie w pracy w środowisku Linux oraz dobra znajomość Bash.
• Doświadczenie w pracy z relacyjnymi bazami danych, w szczególności PostgreSQL i MS SQL Server.
• Znajomość narzędzi i praktyk Infrastructure as Code, w tym Terraform.
• Doświadczenie w pracy z chmurą Microsoft Azure.
• Umiejętność efektywnej pracy z narzędziami wspierającymi rozwój oprogramowania, takimi jak Bitbucket i Jira.
• Samodzielność, odpowiedzialność oraz umiejętność skutecznej współpracy z zespołami technicznymi i interesariuszami biznesowymi.

Mile widziane:

• Doświadczenie w obszarze Data Science, analizy danych lub uczenia maszynowego (m.in. pandas, scikit-learn).
• Praktyczna znajomość GitOps oraz narzędzia Argo CD.
• Doświadczenie w zarządzaniu schematami baz danych i migracjami z wykorzystaniem Atlas (ariga.io).
• Praktyczna znajomość technologii konteneryzacji i orkiestracji, takich jak Docker i Kubernetes.
• Doświadczenie z narzędziami monitoringu, observability oraz zarządzania wydajnością środowisk produkcyjnych.
• Znajomość usług lokalizacyjnych i mapowych opartych o HERE API.

O projekcie:

Do zespołu Data Science poszukujemy osoby na stanowisko Data Engineer. Infrastrukturą platformy, siecią oraz bezpieczeństwem zajmuje się dedykowany zespół DevOps, dlatego nie poszukujemy osoby pełniącej rolę administratora baz danych ani samodzielnie odpowiadającej za cały obszar DevOps. Szukamy osoby, która potrafi samodzielnie przygotować i wdrożyć rozwiązania związane z przetwarzaniem danych na funkcjonującej już infrastrukturze. W praktyce zakres obowiązków obejmuje około 70% pracy z danymi i 30% działań związanych z infrastrukturą działu.

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie pipeline’ów danych oraz procesów ETL/ELT
• Administracja, rozwój i optymalizacja relacyjnych baz danych (PostgreSQL, MS SQL Server)
• Zarządzanie schematami baz danych oraz procesami migracji w podejściu schema-as-code (Atlas)
• Automatyzacja procesów operacyjnych i deweloperskich z wykorzystaniem Pythona oraz Bash.
• Integracja systemów z usługami i aplikacjami zewnętrznymi,
• Współpraca z zespołem Data Science oraz zespołami deweloperskimi, analitycznymi i biznesowymi w celu dostarczania niezawodnych rozwiązań,
• Budowa i utrzymanie infrastruktury w chmurze Microsoft Azure z wykorzystaniem podejścia Infrastructure as Code (Terraform),
• Zarządzanie procesami wdrożeniowymi zgodnie z praktykami GitOps przy wykorzystaniu Argo CD,
• Dbanie o wysoką jakość, bezpieczeństwo oraz stabilność wdrażanych systemów i procesów.

Oferujemy:

• Praca w 100% zdalna z możliwością korzystania z biura w Warszawie.
• Praca przy rozwijanych i działających systemach, z perspektywą udziału również w nowych projektach typu greenfield.
• Możliwość korzystania z narzędzi AI jako wsparcia codziennej pracy.
• Współpraca w zespole nastawionym na komunikację, wymianę wiedzy i odpowiedzialność.
• Elastyczne podejście do organizacji pracy.
• Możliwość rozwoju technologicznego i zdobywania doświadczenia przy różnorodnych projektach.
• Pakiet benefitów obejmujący m.in. prywatną opiekę medyczną, kartę sportową oraz dodatkowe ubezpieczenie.