Data Engineer Cloudera Cdp

Ayesa Digital; Valencia; Híbrido; EUR 55.000 - 75.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Seguro médico

Ticket Restaurant

Guardería y Transporte

Plan Bienestar

Descripción de la vacante

Ayesa Digital busca un/a Data Engineer Cloudera CDP para diseñar, construir y operar soluciones de ingeniería de datos sobre CDP. Trabajarás en proyectos de procesamiento de datos a gran escala y arquitecturas distribuidas, con modalidad de teletrabajo híbrido desde cualquiera de nuestras oficinas en España.

Se valorará certificación Cloudera Data Engineer y experiencia sólida en CDP, Spark, Hive/Impala, Airflow, Kafka y APIs.

Formación

• Titulación universitaria o formación equivalente en Ingeniería Informática, Telecomunicaciones, Matemáticas, Estadística o disciplinas relacionadas.
• Experiencia mínima de 3 a 5 años en proyectos de ingeniería del dato con 2 a 3 años trabajando con tecnologías Cloudera en entornos productivos.
• Certificación oficial Cloudera Data Engineer (imprescindible).
• Experiencia sólida en CDP, Spark y PySpark, Hive e Impala, Airflow y DAGs, Kafka, HDFS y almacenamiento distribuido, procesamiento batch y streaming, CDC, optimización de consultas y rendimiento, integraciones via REST/JDBC.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre CDP.
• Desarrollar procesos distribuidos con Spark, PySpark y Spark SQL.
• Ingesta, transformación e movimiento de datos con Apache NiFi.
• Soluciones de procesamiento en tiempo real con Apache Kafka u otras tecnologías.
• Gestión de esquemas, particionado y rendimiento en entornos distribuidos.
• Analizar planes de ejecución y cuellos de botella para optimizar rendimiento.
• Garantizar la calidad de datos mediante validaciones e integridad.
• Integrar Cloudera con bases de datos, APIs y plataformas cloud.

Conocimientos

Cloudera CDP

Apache Spark

PySpark

Apache Kafka

Airflow

Educación

Ingeniería Informática

Herramientas

Cloudera Data Platform

Hive

Impala

HDFS

SQL

Descripción del empleo

Data Engineer Cloudera CDP Ayesa Digital valència, comunidad valenciana, Spain

Descripción del trabajo

Buscamos ampliar nuestro equipo con un/a Data Engineer Cloudera CDP, para participar en el diseño, construcción, evolución y operación de soluciones de ingeniería del dato sobre entornos Cloudera Data Platform, trabajando en proyectos de procesamiento de datos a gran escala y arquitecturas distribuidas. La persona seleccionada trabajará en modalidad de teletrabajo híbrido desde cualquiera de nuestras oficinas en España.

¿Qué vas a hacer?

• Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform (CDP).
• Desarrollar procesos distribuidos utilizando Apache Spark, PySpark, Spark SQL y SQL.
• Implementar procesos de ingesta, transformación, integración y movimiento de datos mediante Apache NiFi.
• Desarrollar soluciones de procesamiento en tiempo real con Apache Kafka o tecnologías equivalentes.
• Gestionar la evolución de esquemas de datos, particionamiento, distribución y compactación en entornos distribuidos.
• Analizar planes de ejecución, tiempos de procesamiento, consumo de recursos y cuellos de botella para optimizar el rendimiento de las soluciones.
• Garantizar la calidad del dato mediante reglas de validación, controles de integridad, reconciliación y gestión de incidencias.
• Integrar plataformas Cloudera con bases de datos, APIs, sistemas de ficheros, plataformas cloud y sistemas con equipos multidisciplinares para asegurar la correcta explotación y disponibilidad de los otras funciones propias del puesto.

¿Qué buscamos?

• Titulación universitaria o formación equivalente en Ingeniería Informática, Telecomunicaciones, Matemáticas, Estadística o disciplinas relacionadas.
• Experiencia mínima de 3 a 5 años en proyectos de ingeniería del dato de 2 a 3 años trabajando con tecnologías Cloudera en entornos productivos.
• Certificación oficial Cloudera Data Engineer (imprescindible).
• Experiencia sólida en Cloudera Data Platform (CDP), Apache Spark y PySpark, Apache Hive e Impala, Apache Airflow y desarrollo de DAGs, Apache Kafka, HDFS y almacenamiento distribuido, procesamiento batch y streaming, procesos incrementales y captura de cambios (CDC), optimización de consultas y rendimiento, integraciones mediante APIs REST, JDBC y otros conectores, capacidad para desenvolverse en entornos de datos complejos y arquitecturas distribuidas, orientación a la calidad, el rendimiento y la mejora continua.

Te Ofrecemos

• Seguro médico
• Ticket Restaurant
• Guardería y Transporte
• Plan Bienestar: descuentos en viajes, tecnología, formación, deporte, belleza y ¡muchos más!
• Flexibilidad horaria, Smart Job y jornada intensiva en verano.
• Participación en proyectos de voluntariado social.
• Concursos y actividades organizados (deporte, escritura, fotografía, etc.).

¡Llega hasta donde tú quieras! ¡Crece con nuestros programas de desarrollo! Te ayudaremos a marcar tu itinerario de futuro anualmente participando en proyectos vanguardistas con los mejores profesionales del sector.

¡Actualízate! apostamos por un aprendizaje continuo, contamos con formación especializada, certificaciones e idiomas.

¡Deja tu huella! Impacta con nuestros proyectos de voluntariado social.

Igualdad y diversidad

Atendiendo a la Ley Orgánica 3/2007, de 22 de marzo, Ayesa Digital se ha marcado como objetivo promover la defensa y aplicación efectiva del principio de igualdad entre hombres y mujeres, evitando cualquier tipo de discriminación laboral por razón de sexo, garantizando así las mismas oportunidades de ingreso.

Asimismo, fomentamos la diversidad, rechazando cualquier tipo de discriminación por razones de raza, sexo, diversidad funcional, religión, orientación sexual, identidad sexual, o cualquier otra condición personal o social, apostando por construir un entorno inclusivo y enriquecedor.