BigData Developer - B2B

Algoteque; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Poszukujemy Big Data Developera do wsparcia rozwoju i utrzymania platformy Big Data, automatyzacji infrastruktury oraz monitoring procesów przetwarzania danych.

Zakres projektu obejmuje Automatyzację w środowiskach DEV/TEST/PREPROD/PROD, monitorowanie ETL opartych na Spark i przetwarzanie strumieniowe Kafka, analizę logów i metryk, wsparcie Kubernetes oraz

Qualifications

• Doświadczenie z Infrastructure as Code, Ansible i CI/CD.
• Dobra znajomość Linux, Git oraz skryptowania w Bashu lub Pythonie.
• Podstawowa znajomość Kubernetes.
• Operacyjna znajomość Spark i Kafka oraz umiejętność analizy logów i rozwiązywania problemów.

Responsibilities

• Rozwój i utrzymanie automatyzacji infrastruktury z wykorzystaniem Ansible oraz CI/CD.
• Automatyzacja wdrożeń i konfiguracji w środowiskach DEV, TEST, PREPROD i PROD.
• Monitorowanie i diagnozowanie procesów ETL opartych na Spark oraz przetwarzania strumieniowego Kafka.
• Analiza logów i metryk, reagowanie na incydenty oraz wznawianie przerwanych procesów.
• Wsparcie rozwoju środowisk Kubernetes i migracji do Snowflake.
• Tworzenie dokumentacji technicznej i runbooków.

Skills

Ansible

CI/CD

Infrastructure as Code

Linux

Git

Bash scripting

Python

Kubernetes

Spark

Kafka

Log analysis

Terraform

TeamCity

Snowflake

Databricks

Prometheus

Grafana

ELK

Job description

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Le poste :

Poszukujemy Big Data Developera, który wesprze rozwój i utrzymanie platformy Big Data, automatyzację infrastruktury oraz monitoring procesów przetwarzania danych.

Zakres projektu:

• Rozwój i utrzymanie automatyzacji infrastruktury z wykorzystaniem Ansible oraz CI/CD.
• Automatyzacja wdrożeń i konfiguracji w środowiskach DEV, TEST, PREPROD i PROD.
• Monitorowanie i diagnozowanie procesów ETL opartych na Spark oraz przetwarzania strumieniowego Kafka.
• Analiza logów i metryk, reagowanie na incydenty oraz wznawianie przerwanych procesów.
• Wsparcie rozwoju środowisk Kubernetes i migracji do Snowflake.
• Tworzenie dokumentacji technicznej i runbooków.

Profil recherché :

• Doświadczenie z Infrastructure as Code, Ansible i CI/CD.
• Dobra znajomość Linux, Git oraz skryptowania w Bashu lub Pythonie.
• Podstawowa znajomość Kubernetes.
• Operacyjna znajomość Spark i Kafka oraz umiejętność analizy logów i rozwiązywania problemów.

Mile widziane: Terraform, TeamCity, ekosystem Cloudera/Hadoop, Snowflake lub Databricks, Prometheus/Grafana/ELK oraz doświadczenie w środowisku enterprise.