Senior Big Data Developer - Infra Automation + Spark/Kafka

ALGOTEQUE SERVICES; Województwo mazowieckie; Presencial; PLN 201.000 - 335.000; Jornada completa

Descripción de la vacante

ALGOTEQUE SERVICES poszukuje Big Data Developera do zespołu IT wspierającego projekty od etapu koncepcyjnego po wdrożenie. Zadania obejmują rozwój i utrzymanie platformy Big Data, automatyzację infrastruktury oraz monitorowanie procesów przetwarzania danych.

Wymagania obejmują pracę z Ansible, CI/CD, Linux, Git, Bash/Python, Kubernetes, Spark i Kafka. Mile widziane są Terraform, Snowflake i Databricks oraz doświadczenie w środowisku enterprise.

Formación

• Doświadczenie z Infrastructure as Code, Ansible i CI/CD.
• Dobra znajomość Linux, Git oraz skryptowania w Bashu lub Pythonie.
• Podstawowa znajomość Kubernetes.
• Operacyjna znajomość Spark i Kafka oraz umiejętność analizy logów i rozwiązywania problemów.
• Mile widziane: Terraform, TeamCity, ekosystem Cloudera/Hadoop, Snowflake lub Databricks, Prometheus/Grafana/ELK oraz doświadczenie w środowisku enterprise.

Responsabilidades

• Rozwój i utrzymanie automatyzacji infrastruktury z Ansible oraz CI/CD.
• Automatyzacja wdrożeń i konfiguracji w środowiskach DEV, TEST, PREPROD i PROD.
• Monitorowanie i diagnozowanie procesów ETL opartych na Spark oraz przetwarzania strumieniowego Kafka.
• Analiza logów i metryk, reagowanie na incydenty oraz wznawianie przerwanych procesów.
• Wsparcie rozwoju środowisk Kubernetes i migracji do Snowflake.
• Tworzenie dokumentacji technicznej i runbooków.

Conocimientos

Infrastructure as Code

Ansible

CI/CD

Linux

Git

Scripting Bash/Python

Herramientas

Terraform

TeamCity

Cloudera/Hadoop

Snowflake

Databricks

Prometheus/Grafana/ELK

Descripción del empleo

ALGOTEQUE SERVICES poszukuje Big Data Developera do zespołu IT wspierającego projekty od etapu koncepcyjnego po wdrożenie. Zadania obejmują rozwój i utrzymanie platformy Big Data, automatyzację infrastruktury oraz monitorowanie procesów przetwarzania danych.

Wymagania obejmują pracę z Ansible, CI/CD, Linux, Git, Bash/Python, Kubernetes, Spark i Kafka. Mile widziane są Terraform, Snowflake i Databricks oraz doświadczenie w środowisku enterprise.