Data Lake Engineer

SDG Group; London; On-site; EUR 45,000 - 70,000; Full time

Job summary

Una firma de consultoría global, SDG Group, busca un Data Engineer especializado en soluciones de datos y analytics. El puesto implica trabajar con tecnologías innovadoras y participar en el diseño de arquitecturas complejas, con oportunidades para desarrollar una carrera en Big Data y aprendizaje continuo. Ofrecemos un entorno de trabajo adaptativo y colaborativo, impulsando un buen ambiente laboral.

Benefits

Planes de carrera en consultoría

Cultura de Smart Work

Recursos para aprendizaje continuo

Qualifications

• Experiencia en un rol de Big Data Engineer con al menos 4 años.
• Conocimiento en herramientas core del entorno de procesamiento.
• Capacidad para trabajar en equipos multidisciplinares.

Responsibilities

• Proporcionar opinión técnica sobre arquitecturas en fases de diseño.
• Realizar tareas de desarrollo con tecnologías Spark y SQL.
• Colaborar en la creación y optimización de motores de búsqueda.

Skills

Big Data

Apache Spark

HDFS

SQL

Data Lake

DataOps

Education

Ingeniería Informática o de Telecomunicaciones

Tools

Apache Airflow

AWS

Azure

GCP

Databricks

Elastic Search

Job description

Requisitos mínimos:

1. Estar graduado en Ingeniería Informática o de Telecomunicaciones.
2. Tener al menos 4 años de experiencia en un rol de Big Data Engineer, implementando y productivizando soluciones de captación, ingesta y transformación de datos con herramientas de procesamiento distribuido y/o procesamiento en streaming.
3. Experiencia en arquitectura de datos (formato, estructura, particionado, modelado, capas y ciclo de vida) en ambientes Data Lake, Data Lakehouse, Kafka Topics & Partitioning, Schema Registry, etc.
4. Experiencia en herramientas core del entorno de procesamiento en entornos Big Data, especialmente Apache Spark y conocimientos sólidos de HDFS.
5. Conocimiento de plataformas de datos como Databricks, AWS EMR, AWS Glue, Elastic Search, GCP Dataflow & Dataproc, entre otras.
6. Conocimiento en herramientas de orquestación como Apache Airflow, Azure Data Factory, Databricks workflows, etc.
7. Experiencia en sistemas de control de versiones, principalmente Git.
8. Experiencia en al menos una de las principales nubes (AWS, Azure, GCP), especialmente en servicios relacionados con procesamiento y disposición de datos.

Requisitos valorables:

• Interés en aprender nuevas tecnologías y en la evolución continua.
• Trabajo en equipo y capacidad para impulsar un buen ambiente laboral.
• Conocimiento de lenguajes relevantes en el mundo data como Rust o Elixir.
• Capacidad de comunicación en inglés.
• Conocimiento en DataOps, Observabilidad, patrones de diseño low-code/no-code, etc.

Acerca del puesto:

SDG Group es una firma de consultoría global especializada en soluciones de data & analytics, abarcando toda la cadena de valor del dato. Ofrecemos planes de carrera en consultoría y especialización, y promovemos una cultura de Smart Work que permite definir el modelo de trabajo más adecuado para cada individuo.

Como Data Engineer en el área de Data Technologies, formarás parte de equipos multidisciplinares ayudando a clientes a abordar iniciativas de datos en entornos complejos. Tendrás la oportunidad de trabajar con tecnologías innovadoras para construir soluciones de gestión de datos en diversos paradigmas de procesamiento y modelado, aplicando principios adecuados en desarrollo y arquitectura.

Además, podrás crecer como ingeniero o arquitecto Big Data, con recursos para tu aprendizaje continuo y participación en retos que maximizan el valor de los datos para SDG Group y sus clientes.

Responsabilidades:

• Proporcionar opinión técnica sobre procesos y arquitecturas en fases de diseño, priorizando estrategias basadas en metadatos y DataOps.
• Participar en la definición de requerimientos para arquitecturas y pipelines de datos.
• Realizar tareas de desarrollo con tecnologías diversas, principalmente Spark para batch y streaming, y explorar datos con SQL.
• Trabajar en entornos variados (AWS, Azure, GCP, on-premises), adaptándose a cambios frecuentes.
• Colaborar en la creación y optimización de motores de búsqueda, como Solr o Elastic.
• Participar en pruebas de concepto y en la exploración de nuevas tecnologías y servicios cloud.