Spark Data Engineer

SDG Group

United States

Remote

USD 120,000 - 180,000

Full time

11 days ago

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Remote/hybrid option
Professional training

Job summary

SDG Group busca ampliar su equipo de Data Technologies para diseñar y entregar soluciones end-to-end que gestionen grandes volúmenes de datos. Integrarás pipelines ETL/ELT escalables, trabajando con Spark, Python, Scala y Airflow en entornos cloud (AWS/Azure/GCP) para generar insights y valor real para clientes.

Buscamos perfiles con 6+ años en Big Data y experiencia en Data Lakehouse/Data Mesh. Ofrecemos flexibilidad remota o híbrida, desarrollo profesional y proyectos con tecnologías líderes

Qualifications

  • Formación en Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.
  • Experiencia en Big Data: 6+ años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos.
  • Conocimiento de lenguajes como Python o Scala, frameworks como Apache Spark y plataformas como Airflow, Databricks o Snowflake.
  • Conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Hudi.
  • Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad y versionado de datos.
  • Mentalidad de innovación y disposición a experimentar y proponer mejoras continuas.
  • Capacidad de comunicación en inglés para trabajar en entornos globales.

Responsibilities

  • Diseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hasta pipelines ETL/ELT escalables y optimizados.
  • Trabajarás con tecnologías como Spark, Python, Scala y orquestación con Airflow o Databricks Workflows, generando insights.
  • Procesarás y almacenarás datos utilizando Parquet/Delta Lake/Iceberg en entornos cloud (AWS, Azure, GCP).
  • Definirás arquitecturas como Data Lakehouse y Data Mesh para mejorar la gestión de datos y su aprovechamiento.
  • Colaborarás con equipos multidisciplinares y stakeholders para convertir requerimientos complejos en soluciones técnicas eficientes.

Skills

Python
Scala
Apache Spark
Airflow
Databricks
Snowflake
DataOps
CI/CD
Data Governance
English

Education

Ingeniería Informática

Tools

Git
MLflow
SageMaker
Vertex AI
Kubeflow

Job description

En SDG Group somos líderes globales en Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde 1994 hemos acompañado a la mitad del IBEX-35 y a algunas de las compañías más destacadas a nivel internacional en su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestras alianzas estratégicas con Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado. Nuestro equipo de Data Technologies es el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinando innovación, expertise y autonomía real. Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto. Aquí no solo presentarás proyectos, desarrollarás casos de uso innovadores, colaborarás con expertos de primer nivel y posicionarás a SDG como referente.

¿Cómo será tu día a día?
  • Diseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hasta pipelines ETL/ELT escalables y optimizados.
  • Trabajarás con tecnologías como Apache Spark, Python, Scala, Apache Beam y orquestación con Airflow o Databricks Workflows, generando insights.
  • Procesarás y almacenarás datos utilizando formatos como Parquet, Delta Lake y Apache Iceberg, garantizando eficiencia y escalabilidad en entornos cloud (AWS, Azure, GCP).
  • Definirás arquitecturas avanzadas como Data Lakehouse, Data Mesh y data warehousesmejorando la gestión y el aprovechamiento de los datos.
  • Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones técnicas eficientes.
  • Explorarás y evaluarás tecnologías emergentes, como Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake… contribuyendo a mantener nuestros proyectos a la vanguardia del ecosistema Big Data.
  • Impulsarás la calidad y observabilidad de los datos aplicando DataOps, Data Quality y CI/CD, asegurando pipelines confiables y seguros.
¿Qué te hará triunfar en esta posición?
  • Formaciónen Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.
  • Experiencia en Big Data:a partir de 6 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala, frameworks como Apache Spark, y plataformas como Airflow, Databricks o Snowflake; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Hudi.
  • Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos.
  • Mentalidad de innovación: Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas.
  • Que puedas comunicarte en ingléspara trabajar en entornos globales y colaborar con equipos internacionales.
Valoramos también:
  • Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming.
  • Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.
  • Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.
¿Qué nos hace diferentes?

Aquí no somos una empresa más... ¡somos un equipo que va a por todas!

  • Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.
  • Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.
  • Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.
  • Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final.
Y, por si fuera poco…
  • Posición estable y con gran proyección profesional, formando parte de un equipo que está creciendo progresivamente.
  • Flexibilidad total. Contamos con un modelo de trabajo adaptable, con opción 100% remota o híbrida, orientado a facilitar el equilibrio entre la vida profesional y personal.
  • Jornada intensiva en julio y agosto, además de los viernes.
  • Salariosegún tu formación y experiencia, con revisiones basadas en resultados.
  • Apoyo económico para el teletrabajo.
  • Acceso a formaciones, certificaciones oficiales, conferencias y cursos.

Si buscas crecer profesionalmente en el ámbito de datos, trabajar con tecnologías de vanguardia y formar parte de un equipo orientado al desarrollo y la excelencia, esta es tu oportunidad.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Modern Data Engineer
Modern Data Engineer

SDG Group • United States

Remote
USD 120,000 - 180,000
Remoto o híbrido
Apoyo económico para teletrabajo
Formación y certificaciones oficiales
Senior Data Engineer
Senior Data Engineer

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 104,000
Formación profesional
Trabajo híbrido
Data Engineer- MS Fabric (Remoto en Colombia)
Data Engineer- MS Fabric (Remoto en Colombia)

Derevo • United States

Remote
USD 120,000 - 160,000
WELLNESS
LET´S RELEASE YOUR POWER
WE CREATE NEW THINGS
+1
Data Engineer
Data Engineer

Creai • United States

Remote
USD 140,000 - 190,000
PTO ilimitado
Presupuesto para desarrollo
Cobertura médica privada
+2
Data Engineer Senior – Data & AI
Data Engineer Senior – Data & AI

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 99,000
Data Engineer Senior
Data Engineer Senior

Arkano • United States

Hybrid
USD 120,000 - 180,000
Hybrid schedule
Microsoft certifications
Referral bonus
+2
Senior Machine Learning Engineer
Senior Machine Learning Engineer

SDG Group • United States

Remote
USD 180,000 - 260,000
Formación y certificaciones oficiales
Apoyo económico para teletrabajo
Plan de carrera meritocrático
+1
Data Engineer
Data Engineer

We Are TIMS • United States

Remote
USD 83,000 - 165,000
Data & AI Product Engineer
Data & AI Product Engineer

AMS Solutions • United States

Remote
USD 110,000 - 150,000
Seguro médico
Ticket restaurante
Transporte
+2
Data Architect
Data Architect

SDG Group • United States

Hybrid
USD 120,000 - 180,000
Remote or hybrid work model
Training and certification plan