Big Data jobs in Spain

Data Engineer - Big Data En AKKODIS buscamos dos Data Engineers especializados en Big Data para unirse a nuestro equipo. Ambos perfiles trabajarán en un entorno de teletrabajo 100 y estarán involucrados en la migración y optimización de soluciones de procesamiento de datos. La incorporación es inmediata y el periodo de cobertura del servicio será de alrededor de 6 meses, por lo que si eres autónomo / freelance y buscas un nuevo proyecto, esta es tu oportunidad!! Requisitos Generales para Ambos Perfiles : -Experiencia mínima de 2 años en ingeniería de datos. -Capacidad para trabajar de manera efectiva en entornos ágiles, con un enfoque en entregas continuas y rápidas. -Habilidades de comunicación efectiva para interactuar con stakeholders técnicos y no técnicos. -Capacidad de resolución de problemas y optimización de procesos en entornos distribuidos. -Dominio de herramientas y frameworks relacionados con el procesamiento de datos. -Experiencia con herramientas de integración continua (CI / CD) y manejo de versiones (Git). -Disponibilidad para trabajar de lunes a viernes, 8 horas diarias. Perfil 1 : Data Engineer - Big Data (Migración a Databricks) Responsabilidades : Migración de jobs y workflows de Cloudera a Databricks, asegurando su funcionalidad, rendimiento y eficiencia. -Análisis y optimización de procesos de datos existentes. Colaboración con los responsables de las distintas iniciativas a migrar para comprender el estado actual (As Is) y las necesidades del futuro (To Be). -Revisión, refactorización y reestructuración de scripts de procesamiento de datos, si fuera necesario. Requisitos Específicos : -Experiencia demostrable en Databricks, especialmente en optimización de procesos. -Conocimiento avanzado de Apache Spark y Scala sobre Databricks. -Experiencia previa en la migración de jobs de Cloudera a plataformas basadas en Spark, preferiblemente a Databricks. Perfil 2 : Data Engineer - Big Data (Procesamiento en Tiempo Real) Responsabilidades : -Construcción de arquitecturas escalables y robustas que gestionen grandes volúmenes de datos a través de flujos de eventos y plataformas de procesamiento en tiempo real. Requisitos Específicos : -Mínimo 2 años de experiencia en ingeniería de datos, con un fuerte enfoque en Java y soluciones de procesamiento de eventos. -Profunda experiencia trabajando con Confluent Kafka, idealmente en entornos productivos a gran escala. -Conocimiento profundo de arquitecturas de microservicios y patrones de integración con Kafka. -Experiencia en el desarrollo de pipelines de datos (streaming y batch processing). -Buen entendimiento de las mejores prácticas de diseño, pruebas y optimización de código en Java. Ambos perfiles son fundamentales para el éxito de nuestras iniciativas de Big Data y se espera que contribuyan de manera significativa al desarrollo y optimización de nuestras soluciones de procesamiento de datos. Databricks, Spark, Scala