Big Data Engineer: Spark, Kafka & Infra Automation

Algoteque; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Poszukujemy Big Data Developera do wsparcia rozwoju i utrzymania platformy Big Data, automatyzacji infrastruktury oraz monitoring procesów przetwarzania danych.

Zakres projektu obejmuje Automatyzację w środowiskach DEV/TEST/PREPROD/PROD, monitorowanie ETL opartych na Spark i przetwarzanie strumieniowe Kafka, analizę logów i metryk, wsparcie Kubernetes oraz

Qualifications

• Doświadczenie z Infrastructure as Code, Ansible i CI/CD.
• Dobra znajomość Linux, Git oraz skryptowania w Bashu lub Pythonie.
• Podstawowa znajomość Kubernetes.
• Operacyjna znajomość Spark i Kafka oraz umiejętność analizy logów i rozwiązywania problemów.

Responsibilities

• Rozwój i utrzymanie automatyzacji infrastruktury z wykorzystaniem Ansible oraz CI/CD.
• Automatyzacja wdrożeń i konfiguracji w środowiskach DEV, TEST, PREPROD i PROD.
• Monitorowanie i diagnozowanie procesów ETL opartych na Spark oraz przetwarzania strumieniowego Kafka.
• Analiza logów i metryk, reagowanie na incydenty oraz wznawianie przerwanych procesów.
• Wsparcie rozwoju środowisk Kubernetes i migracji do Snowflake.
• Tworzenie dokumentacji technicznej i runbooków.

Skills

Ansible

CI/CD

Infrastructure as Code

Linux

Git

Bash scripting

Python

Kubernetes

Spark

Kafka

Log analysis

Terraform

TeamCity

Snowflake

Databricks

Prometheus

Grafana

ELK

Job description

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Poszukujemy Big Data Developera do wsparcia rozwoju i utrzymania platformy Big Data, automatyzacji infrastruktury oraz monitoring procesów przetwarzania danych.

Zakres projektu obejmuje Automatyzację w środowiskach DEV/TEST/PREPROD/PROD, monitorowanie ETL opartych na Spark i przetwarzanie strumieniowe Kafka, analizę logów i metryk, wsparcie Kubernetes oraz