Scala / Big Data Engineer - remoto

Dacomat srl; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

Dacomat srl cerca un Scala / Big Data Engineer per sviluppare e gestire soluzioni Big Data distribuite. La risorsa progetterà e implementerà applicazioni e pipeline su grandi volumi di dati utilizzando Scala, Apache Spark e l’ecosistema Hadoop.

Si richiede esperienza concreta con Spark Core, Spark SQL, DataFrames e Datasets, oltre a conoscenza di Hadoop, HDFS e YARN. Buona padronanza di SQL e modellazione dati, autonomia operativa su ambienti Linux/Unix e Inglese fluente (B2+). Lavoro in remoto.

Qualifications

• Proficienza in Scala e Spark, con esperienza in pipeline Big Data distribuite.

Responsibilities

• Progettare e implementare componenti in Scala per pipeline Big Data.

Skills

Scala programming

Apache Spark

Spark Core

Spark SQL

DataFrames

Datasets

Hadoop

HDFS

YARN

SQL

Data modelling

Linux/Unix

English (B2+)

Analytical skills

Problem solving

Tools

Linux/Unix environments

Job description

Scala / Big Data Engineer - remoto

Dacomat ricerca un/una Scala / Big Data Engineer da inserire all’interno di un progetto dedicato allo sviluppo e alla gestione di soluzioni Big Data distribuite.

La risorsa contribuirà alla progettazione e implementazione di applicazioni e pipeline dati scalabili, operando su grandi volumi di informazioni attraverso Scala, Apache Spark e tecnologie dell’ecosistema Hadoop.

Principali attività:

• sviluppo di componenti e applicazioni in Scala;
• progettazione e manutenzione di processi distribuiti con Apache Spark;
• utilizzo di Spark Core, Spark SQL, DataFrames e Datasets;
• elaborazione e gestione di grandi volumi di dati;
• utilizzo dell’ecosistema Hadoop, in particolare HDFS e YARN;
• sviluppo e ottimizzazione di query SQL;
• progettazione e manutenzione dei modelli dati;
• troubleshooting e ottimizzazione delle prestazioni;
• gestione delle applicazioni in ambienti Linux/Unix;
• collaborazione con team tecnici impegnati su architetture Big Data distribuite.

Competenze richieste:

• solida esperienza di programmazione in Scala;
• esperienza concreta con Apache Spark;
• conoscenza di Spark Core, Spark SQL, DataFrames e Datasets;
• esperienza con Hadoop, HDFS e YARN;
• conoscenza dei sistemi distribuiti e dei principali concetti Big Data;
• buona conoscenza di SQL e data modelling;
• capacità di operare in ambienti Linux o Unix;
• autonomia operativa, capacità analitiche e problem solving.
• Inglese fluente B2+