Senior Data Engineer

co.brick; Gliwice; On-site; PLN 180,000 - 260,000; Full time

Job summary

co.brick talents — powered by AI, powered by people. Senior Data Engineer poszukuje doświadczonego specjalisty do rozwoju platformy danych generującej inteligentne sugestie wspierające pracę przedstawicieli farmaceutycznych.

Kandidat będzie projektować i utrzymywać moduły w Pythonie, budować ETL w AWS oraz współpracować w środowisku Agile, pracując nad migracją do nowego CRM w międzynarodowym zespole. Wymagane jest dogłębne zrozumienie AWS (Glue, Athena, DynamoDB, Step Functions, Lambda),

Qualifications

• Minimum 5–10 lat doświadczenia w Data Engineering, preferowane projekty globalne lub regionalne.
• Dobra znajomość Pythona: pandas, OOP, design patterns i nowoczesne praktyki developmentu.
• Praktyczne doświadczenie z AWS (Glue, Athena, DynamoDB, Step Functions, Lambda) oraz architekturą chmurową.

Responsibilities

• Rozwój i utrzymanie platformy danych generującej inteligentne sugestie.
• Projektowanie modułów skalowalnych i reużywalnych w Pythonie.
• Praca z pipeline'ami ETL w AWS i migracja do nowego systemu CRM.
• Debugowanie w środowisku AWS oraz zapewnienie jakości kodu i testów.
• Współpraca w zespole Agile.

Skills

Python

Pandas

OOP

Design patterns

AWS

DynamoDB

AWS Glue

Amazon Athena

AWS Step Functions

AWS Lambda

Azure DevOps

CI/CD

Git

Agile

Pharma domain

Tools

Azure DevOps

Git

CI/CD tooling

Job description

co.brick talents — powered by AI, powered by people. Senior Data Engineer

Dołącz do międzynarodowego projektu z obszaru Data Engineering, którego celem jest rozwój platformy generującej inteligentne sugestie wspierające pracę przedstawicieli farmaceutycznych.

Poszukujemy Senior Data Engineera, który będzie odpowiedzialny za rozwój i utrzymanie skalowalnej platformy danych oraz budowanie reużywalnych rozwiązań, które mogą być wdrażane w różnych krajach i środowiskach biznesowych.

Zakres obowiązków

• Rozwój i utrzymanie platformy Data Engineering odpowiedzialnej za generowanie inteligentnych sugestii.
• Projektowanie i implementacja skalowalnych, reużywalnych modułów z wykorzystaniem nowoczesnych praktyk programistycznych w Pythonie.
• Tworzenie utrzymywalnych i skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem OOP i design patterns.
• Praca z danymi oraz rozwój procesów ETL w środowisku AWS.
• Udział w migracji platformy generowania sugestii do nowego systemu CRM, w tym:
  • aktualizacji pipeline'ów dla poszczególnych use case'ów,
  • przeprowadzaniu testów end-to-end,
  • walidacji generowanych sugestii,
  • realizacji zadań migracyjnych.
• Analizowanie problemów w istniejących pipeline'ach danych i procesach generowania sugestii oraz identyfikowanie ich root cause.
• Debugowanie i rozwiązywanie problemów w środowisku AWS Step Functions, Glue, Athena oraz Lambda.
• Dbanie o jakość kodu, testowanie oraz efektywny proces developmentu i deploymentu.
• Współpraca z zespołem w środowisku Agile.

Wymagania

• 5–10 lat doświadczenia w Data Engineering, najlepiej w projektach globalnych lub regionalnych.
• Bardzo dobra znajomość Pythona, w szczególności:
  • pandas do manipulacji i analizy danych,
  • programowania obiektowego (OOP),
  • design patterns,
  • nowoczesnych narzędzi i praktyk Python development.
• Praktyczne doświadczenie z AWS, w szczególności:
  • AWS Glue – procesy ETL,
  • Amazon Athena – zapytania i analiza danych,
  • DynamoDB – NoSQL,
  • AWS Step Functions – orkiestracja workflow,
  • AWS Lambda.
• Dobre zrozumienie architektury rozwiązań chmurowych, szczególnie AWS.
• Doświadczenie w pracy w metodykach Agile.
• Znajomość narzędzi projektowych, np. Azure DevOps.
• Umiejętność samodzielnego debugowania problemów w złożonych pipeline'ach danych.

Mile widziane

• Podstawowa znajomość platform Veeva.
• Doświadczenie z CI/CD, Git/version control oraz automated testing.
• Doświadczenie w branży pharma, healthcare lub praca z danymi medycznymi/farmaceutycznymi.

Dlaczego warto?

• Praca przy globalnym projekcie Data Engineering dla sektora farmaceutycznego.
• Rozwój i utrzymanie platformy wykorzystywanej w różnych krajach i środowiskach biznesowych.
• Praca z nowoczesnym stackiem Python + AWS.
• Możliwość zdobycia doświadczenia przy migracji dużej platformy do nowego systemu CRM.
• Praca nad rozwiązaniem, które bezpośrednio wspiera procesy biznesowe przedstawicieli farmaceutycznych.
• Międzynarodowe, zwinne środowisko pracy.