Data Engineer

it's prodigy; United States; Remote; Confidential; Full time

Job summary

Azienda innovativa nel settore tecnologico cerca un Data Engineer esperto per progettare e gestire infrastrutture dati. Il candidato ideale avrà esperienza con AWS, SQL e Python, contribuendo alla crescita tecnologica dei clienti. Offriamo un ambiente di lavoro flessibile e opportunità di crescita professionale.

Benefits

Ambiente di lavoro flessibile

Opportunità di crescita

Qualifications

• Minimo 3 anni di esperienza come Data Engineer.
• Forte esperienza con AWS, SQL e Python.
• Competenze in gestione di database NoSQL come MongoDB.

Responsibilities

• Progettare e implementare pipeline dati scalabili.
• Gestire basi di dati relazionali e non relazionali.
• Utilizzare Apache Kafka per integrazione dati in tempo reale.

Skills

AWS

SQL

Python

MongoDB

Kafka

Apache Spark

Data Engineering

Data Governance

Tools

Databricks

Apache Airflow

Docker

Kubernetes

Git

Job description

It's Prodigy è una startup innovativa, operante nel campo dell'innovazione tecnologica, che si pone l'obiettivo di creare soluzioni e prodotti di nuova generazione per piccole, medie e grandi imprese.

Di cosa ci occupiamo?

Innovazione: ci proponiamo come consulenti e sviluppatori di soluzioni in ambito industria 4.0 (Big data, intelligenza artificiale, iot...);

Consulenza Tecnologica: ci occupiamo sia di consulenza in modalità outsourcing che di sviluppo custom di progetti;

Marketing: operiamo in ambito pubblica amministrazione e corporate, offrendo servizi di digital marketing, social marketing, brand awareness e altri servizi di marketing specializzato;

Digital PMI: architettiamo soluzioni digitali per le pmi: e-commerce, app mobile, realizzazione di loghi, marketing (semplice), sviluppo di idee...

Compiti

Stiamo cercando un Data Engineer con esperienza nelle principali tecnologie di gestione e trasformazione dei dati, inclusi AWS, Data Bricks, SQL, Python, MongoDB, Kafka e Apache Spark. In questo ruolo, avrai l'opportunità di progettare, implementare e gestire infrastrutture dati all'avanguardia, supportando processi decisionali strategici e contribuendo alla crescita tecnologica di un’importante azienda cliente.

Le principali responsabilità della risorsa saranno:

• Progettare e implementare pipeline di dati scalabili utilizzando AWS e Databricks.
• Gestire e ottimizzare basi di dati relazionali e non relazionali, come SQL e MongoDB.
• Utilizzare Apache Kafka per lo streaming e l'integrazione di dati in tempo reale.
• Sviluppare e ottimizzare processi ETL complessi utilizzando Python e Apache Spark.
• Creare soluzioni sicure e ad alte prestazioni per l’archiviazione e l’elaborazione dei dati su larga scala.
• Collaborare con Data Scientists, Data Analysts e altri stakeholder per comprendere e soddisfare le esigenze aziendali.
• Implementare strategie di data governance per garantire la qualità e l'integrità dei dati.
• Monitorare e risolvere problemi legati alle pipeline di dati e migliorare le performance delle query.

Requisiti

• Esperienza professionale: Minimo di 3 di esperienza nel ruolo di Data Engineer.
• Esperienza avanzata con AWS (Redshift, S3, Lambda, EC2, RDS).
• Conoscenza di Databricks per la gestione e l'elaborazione dei dati.
• Forte esperienza con SQL per la gestione e l'ottimizzazione di database relazionali.
• Competenze in Python per l'automazione dei processi e lo sviluppo di soluzioni dati.
• Esperienza con database NoSQL, in particolare MongoDB.
• Conoscenza di Apache Kafka per la gestione di flussi di dati in tempo reale.
• Esperienza con Apache Spark per l'elaborazione distribuita e l'analisi di grandi volumi di dati.
• Conoscenza di strumenti di orchestrazione di pipeline come Apache Airflow.
• Esperienza con infrastrutture containerizzate (Docker, Kubernetes).
• Familiarità con la sicurezza dei dati e le normative sulla privacy (es. GDPR).
• Esperienza con strumenti di versionamento del codice come Git.

Vantaggi

Cosa offriamo?

Retribuzione: per questa opportunità siamo aperti a valutare risorse freelance in partita iva.

Ambiente di lavoro flessibile e inclusivo.

Opportunità di crescita in un ambiente giovane e dinamico.

La selezione è rivolta a candidati ambosessi (L. 903/77). I dati personali verranno trattati secondo il Regolamento Ue 2016/679, noto come GDPR - General Data Protection Regulation.