Data Engineer - Big Data, 100% En remoto

Akkodis; Madrid; A distancia; EUR 40.000 - 60.000; Jornada completa

Descripción de la vacante

Una empresa tecnológica en Madrid busca dos Data Engineers especializados en Big Data para trabajar 100% teletrabajo. Los candidatos deben tener experiencia en Databricks y tener habilidades en Apache Spark, Scala y Kafka. Ambos perfiles jugarán un papel crucial en los proyectos de procesamiento de datos, incluyendo migraciones y optimizaciones. Se valorará experiencia en entornos ágiles y capacidad para resolver problemas de manera efectiva.

Formación

• Mínimo 2 años de experiencia en ingeniería de datos.
• Capacidad para trabajar en entornos ágiles.
• Dominio de herramientas de procesamiento de datos.
• Experiencia con CI/CD.

Responsabilidades

• Migrar jobs y workflows de Cloudera a Databricks.
• Construir arquitecturas escalables para grandes volúmenes de datos.
• Colaborar con responsables de iniciativas para comprender necesidades.
• Revisar y refactorizar scripts de procesamiento de datos.

Conocimientos

Ingeniería de datos

Optimización de procesos

Comunicación efectiva

Resolución de problemas

Databricks

Apache Spark

Scala

Java

Kafka

Herramientas

Git

Cloudera

Confluent Kafka

Descripción del empleo

Data Engineer - Big Data

En AKKODIS buscamos dos Data Engineers especializados en Big Data para unirse a nuestro equipo. Ambos perfiles trabajarán en un entorno de teletrabajo 100 y estarán involucrados en la migración y optimización de soluciones de procesamiento de datos.

La incorporación es inmediata y el periodo de cobertura del servicio será de alrededor de 6 meses, por lo que si eres autónomo / freelance y buscas un nuevo proyecto, esta es tu oportunidad!!

Requisitos Generales para Ambos Perfiles

• Experiencia mínima de 2 años en ingeniería de datos.
• Capacidad para trabajar de manera efectiva en entornos ágiles, con un enfoque en entregas continuas y rápidas.
• Habilidades de comunicación efectiva para interactuar con stakeholders técnicos y no técnicos.
• Capacidad de resolución de problemas y optimización de procesos en entornos distribuidos.
• Dominio de herramientas y frameworks relacionados con el procesamiento de datos.
• Experiencia con herramientas de integración continua (CI / CD) y manejo de versiones (Git).
• Disponibilidad para trabajar de lunes a viernes, 8 horas diarias.

Perfil 1: Data Engineer - Big Data (Migración a Databricks)

Responsabilidades

• Migración de jobs y workflows de Cloudera a Databricks, asegurando su funcionalidad, rendimiento y eficiencia.
• Análisis y optimización de procesos de datos existentes.
• Colaboración con los responsables de las distintas iniciativas a migrar para comprender el estado actual (As Is) y las necesidades del futuro (To Be).
• Revisión, refactorización y reestructuración de scripts de procesamiento de datos, si fuera necesario.

Requisitos Específicos

• Experiencia demostrable en Databricks, especialmente en optimización de procesos.
• Conocimiento avanzado de Apache Spark y Scala sobre Databricks.
• Experiencia previa en la migración de jobs de Cloudera a plataformas basadas en Spark, preferiblemente a Databricks.

Perfil 2: Data Engineer - Big Data (Procesamiento en Tiempo Real)

Responsabilidades

• Construcción de arquitecturas escalables y robustas que gestionen grandes volúmenes de datos a través de flujos de eventos y plataformas de procesamiento en tiempo real.

Requisitos Específicos

• Mínimo 2 años de experiencia en ingeniería de datos, con un fuerte enfoque en Java y soluciones de procesamiento de eventos.
• Profunda experiencia trabajando con Confluent Kafka, idealmente en entornos productivos a gran escala.
• Conocimiento profundo de arquitecturas de microservicios y patrones de integración con Kafka.
• Experiencia en el desarrollo de pipelines de datos (streaming y batch processing).
• Buen entendimiento de las mejores prácticas de diseño, pruebas y optimización de código en Java.

Ambos perfiles son fundamentales para el éxito de nuestras iniciativas de Big Data y se espera que contribuyan de manera significativa al desarrollo y optimización de nuestras soluciones de procesamiento de datos.

Databricks, Spark, Scala