Data Engineer (Spark, Airflow, Iceberg, AWS)

CONVOTIS Iberia; Málaga; Hybrid; EUR 50,000 - 75,000; Full time

Benefits offered by this job

Seguro médico

Retribución flexible

Eventos internos

Formación (inglés y certificaciones)

Vacaciones flexibles

Job summary

CONVOTIS Iberia busca varios Data Engineers para trabajar con grandes volúmenes de datos en AWS, enfocados en medición y análisis de redes a nivel mundial. Se valorará experiencia en pipelines de agregados y en integración de datos de diferentes fuentes, incluyendo componentes geoespaciales.

Ofrecemos un entorno dinámico y oportunidades de desarrollo. El equipo maneja datos de rendimiento, tests de velocidad y calidad de experiencia, con arquitectura en la nube y un enfoque en innovación y

Qualifications

• Experiencia con Spark y Python para grandes volúmenes de datos.
• Conocimientos en AWS y herramientas de orquestación (Airflow).
• Experiencia con Iceberg y almacenamiento de datos en la nube.
• Habilidades en modelado de datos y enfoques Kimball.

Responsibilities

• Construir pipelines de agregados y scoring para datasets masivos.
• Trabajar con datos de redes y colaborar con Data Science.
• Integrar datos de múltiples fuentes y gestionar ubicación geoespacial.

Skills

SQL

Python

Spark

Airflow

Iceberg

AWS

Geospatial

Data modeling

Tools

Athena

Redshift

Job description

Teralco Group nace en 2002 y se convierte en CONVOTIS Iberia en 2024. Desde entonces, hemos estado comprometidos con ayudar a las empresas a mejorar su rendimiento y eficiencia a través del uso de tecnología innovadora. Con nuestros más de 20 años de experiencia, hemos ayudado a numerosas compañías a implementar soluciones tecnológicas.

En CONVOTIS,Tú sumas con tu experiencia y habilidades, Tú importas en nuestra toma de decisiones y Tú eliges el camino para tu desarrollo profesional.

¿Cómo es un día en CONVOTIS Iberia?

Tu jornada laboral tiene flexibilidad así que puedes ajustar tu horario dentro de un margen, que será el que más te convenga. Si haces tiempo de más un día o sales antes por necesidades personales, lo compensas otro día sin problemas. Además, puedes decidir si quieres trabajar desde la oficina o desde casa.

En la oficina encontrarás café, caramelos y un futbolín para relajarte y compartir buenos momentos con tus compañeros. Contamos también con seguro médico y retribución flexible.

Durante el año podrás participar en eventos internos, actividades al aire libre, jornadas lúdicas y partidos de pádel. Queremos que disfrutes tu tiempo y tengas vacaciones cuando las necesites, siempre acompañado de un equipo cercano y colaborativo.

En cuanto a tu desarrollo profesional, te apoyamos en tu crecimiento: tendrás acceso a formaciones, clases de inglés y certificaciones. Valoramos tu aprendizaje y tus aspiraciones.

Todo esto forma parte de nuestra filosofía #CONVOTISLife. Crecemos contigo.

Requisitos

Buscamos varios Data Engineers, con distintos niveles de experiencia, para trabajar con grandes volúmenes de datos en AWS para un proyecto internacional especializada en medición y análisis de redes.

El equipo de datos trabaja con mediciones de rendimiento de redes a escala mundial: tests de velocidad y de calidad de experiencia que hacen los propios usuarios, combinados con mediciones profesionales sobre el terreno (drive test). Con esos datos se elaboran los premios y claims de rendimiento de operadores de telecomunicaciones y los productos de análisis de cobertura. La plataforma funciona en AWS con una arquitectura por capas (de Silver a Gold), mueve terabytes de datos al día y está evolucionando hacia un nuevo modelo de ubicación geoespacial y una nueva infraestructura.

Qué harás, según tu perfil

• Agregados y scoring: construir los pipelines de agregados que llevan los datos de la capa Silver a la Gold y generan los datasets de scoring y premios que alimentan los productos de premios, claims y cobertura. Trabajar en agregación de datos a gran escala y colaborar con el equipo de Data Science. Según tu perfil, trabajar también en agregación geoespacial por teselas sobre el nuevo modelo de ubicación, o en integración de datos de distintas fuentes (mediciones colaborativas y de drive test) y conciliación de modelos de operadores.

• Senior big data: trabajar con grandes volúmenes de datos (terabytes al día) en AWS con Spark, Airflow e Iceberg, y con modelado de datos.

Qué buscamos

Para el perfil de agregados y scoring:

• SQL.

• Python, con 3 años o más de experiencia.

• Spark.

• Athena, Iceberg o Redshift.

• Orquestación de flujos de trabajo con Dagster o Airflow.

• Experiencia en agregación de datos a gran escala.

• Experiencia trabajando con equipos de Data Science.

Para el perfil senior de big data:

• Más de 10 años de experiencia como Data Engineer.

• Python, Spark y Apache Airflow.

• Experiencia con grandes volúmenes de datos (terabytes al día).

• AWS y experiencia con Apache Iceberg.

• Modelado de datos, por ejemplo con la metodología Kimball.

Será un plus (perfil de agregados y scoring)

• Pipelines de agregados de Silver a Gold para datasets de scoring o premios.

• Agregación geoespacial o por teselas con H3, Quadkey o Apache Sedona.

• Integración de datos de distintas fuentes (mediciones colaborativas y drive test) y conciliación de modelos de operadores.

Conócenos en el siguiente vídeo

Igualdad de Oportunidades en el Empleo

En CONVOTIS Iberia, estamos firmemente comprometidos con la igualdad de oportunidades en el empleo, asegurando un entorno inclusivo y respetuoso para todas las personas, sin importar su raza, nacionalidad, etnia, color de piel, religión, sexo, orientación sexual, edad, ciudadanía, estado civil, discapacidad, género, identidad o expresión de género, o su condición de veterano.

Asimismo, en cumplimiento con lo establecido en el Real Decreto 1026/2024 y en nuestro compromiso con los más altos estándares de diversidad e inclusión, establecemos criterios claros y concretos para garantizar un proceso de selección y contratación que priorice la formación y la idoneidad de cada persona para el puesto de trabajo. Ponemos especial atención en la no discriminación por orientación sexual, identidad de género o expresión de género.

En CONVOTIS Iberia, creemos que la diversidad enriquece nuestros equipos y nos impulsa hacia un futuro más justo, equitativo e inclusivo.