Databricks Data Engineer

DEVAPO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ; Warszawa; Hybrid; PLN 138,000 - 193,000; Full time

Benefits offered by this job

Co-finansowanie szkoleń i certyfikacji

Prywatna opieka medyczna

Karta Multisport

Zajęcia językowe (angielski)

Elastyczny czas pracy

Spotkania integracyjne i imprezy firm

Program poleceń pracowniczych z premią

Indywidualnie dopasowana ścieżka rozwo

Job summary

DEVAPO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ poszukuje doświadczonego Data Engineera odpowiedzialnego za planowanie, rozwijanie i utrzymanie środowisk chmurowych dla naszych klientów.

Doświadczenie w projektowaniu i optymalizacji potoków danych w Azure i Databricks, znajomość SQL i programowania w Pythonie/Scala/Java oraz umiejętność pracy z Delta Lake będą kluczowe dla sukcesu w tej roli.

Qualifications

• Minimum 3 years of experience in a Data Engineer role or similar position
• Dobra znajomość usług danych Azure (Azure Data Factory, Azure Synapse Analytics, Azure Data Lake)
• Rozbudowane doświadczenie z Databricks i Apache Spark
• Znajomość SQL i doświadczenie z bazami relacyjnymi
• Doświadczenie w tworzeniu i optymalizacji potoków danych (ETL/ELT) w środowiskach chmurowych
• Silne umiejętności programowania w Pythonie, Scali lub Javie
• Doświadczenie z architekturą Delta Lake i technikami optymalizacji
• Znajomość modelowania danych i projektowania schematów

Responsibilities

• Projektowanie, implementacja i utrzymanie skalowalnych i wydajnych potoków danych w Azure i Databricks
• Rozwój i optymalizacja procesów ETL z użyciem Azure Data Factory i Databricks
• Budowa rozwiązań Big Data dopasowanych do potrzeb biznesowych
• Współpraca z Data Science, BI i zespołami developerskimi w celu zapewnienia wysokiej jakości danych
• Monitorowanie wydajności systemów przetwarzania danych i implementacja usprawnień
• Wdrażanie standardów i praktyk bezpieczeństwa danych
• Badanie i ocena nowych technologii w dziedzinie data engineering

Skills

Data Engineer experience

Azure Data Factory

Azure Synapse

Azure Databricks

Apache Spark

SQL

ETL/ELT

Python

Scala

Java

Delta Lake

Data modeling

Tools

Databricks

Delta Lake

Azure Data Factory

Job description

Nasze wymagania:

• Minimum 3 years of experience in a Data Engineer role or similar position
• Strong knowledge of Azure data services (Azure Data Factory, Azure Synapse Analytics, Azure Data Lake)
• Extensive experience with Databricks and Apache Spark
• Proficiency in SQL and experience with relational databases
• Experience in creating and optimizing data pipelines (ETL/ELT) in cloud environments
• Strong programming skills in Python, Scala, or Java
• Experience with Delta Lake architecture and optimization techniques
• Knowledge of data modeling and schema design

Mile widziane:

• Experience with Azure DevOps and CI/CD pipelines for data solutions
• Knowledge of Databricks Delta Live Tables and Databricks workflows
• Experience with real-time data processing using Azure Event Hubs or Kafka
• Familiarity with Azure Purview or other data governance tools
• Databricks or Azure certifications

O projekcie:

We are looking for an experienced Data Engineer responsible for planning, developing, and maintaining cloud environments for our clients.

Zakres obowiązków:

• Design, implement, and maintain scalable and efficient data pipelines in Azure and Databricks
• Develop and optimize ETL processes using Azure Data Factory and Databricks
• Build Big Data solutions aligned with business requirements
• Collaborate with Data Science, BI, and development teams to ensure high-quality data
• Monitor performance of data processing systems and implement improvements
• Implement data security standards and practices
• Research and evaluate new technologies in the data engineering space

Oferujemy:

• Salary: 100 - 140 zł/h+ VAT (B2B contract)
• Co-financing for training and certifications, as well as guaranteed time for learning during working hours
• Private medical care and a Multisport card
• Language classes (English)
• Flexible working hours
• Team integration meetings and company events
• Employee referral program with a bonus
• An individually tailored career development path