Big Data Engineer

SDG Group

United States

Hybrid

USD 120,000 - 180,000

Full time

12 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Remote/hybrid option
Flexible remote work policy
Professional development and courses

Job summary

SDG Group, líder global en Big Data y Analytics, busca perfiles senior de Data Technologies para diseñar y construir soluciones end-to-end que procesen grandes volúmenes de datos utilizando Spark, Python y Scala. Colaborarás con equipos transversales y aplicarás DataOps y CI/CD en entornos cloud (AWS, Azure, GCP).

Se valorará experiencia en Data Lakehouse/Data Mesh, con familiaridad en formatos Parquet/Delta Lake, y conocimientos de Databricks/Snowflake.

Qualifications

  • Experiencia en Big Data: 5–6 años con procesamiento distribuido y pipelines ETL/ELT en entornos complejos.
  • Conocimiento de arquitecturas de datos (Data Lakehouse, Data Mesh, data warehouses) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Hudi.
  • Buenas prácticas de código: Git, CI/CD, DataOps, monitorización de pipelines y calidad de datos.

Responsibilities

  • Diseñarás y desarrollarás soluciones end-to-end para procesamiento de grandes volúmenes de datos y pipelines escalables.
  • Trabajarás con Apache Spark, Python, Scala y orquestación con Airflow o Databricks Workflows.
  • Definirás arquitecturas como Data Lakehouse y Data Mesh para mejorar gestión y aprovechamiento de datos.
  • Colaborarás con equipos multidisciplinares y convertirás requerimientos en soluciones técnicas eficientes.

Skills

Python
Scala
Apache Spark
Airflow
Databricks Workflows
Snowflake
English

Education

Ingeniería Informática
Telecomunicaciones
Matemáticas / Física

Tools

Apache Beam
Delta Lake
Parquet
Iceberg
Cloud Platforms (AWS/Azure/GCP)

Job description

En SDG Group somos líderes globales en Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde 1994 hemos acompañado a la mitad del IBEX-35 y a algunas de las compañías más destacadas a nivel internacional en su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestras alianzas estratégicas con Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado. Nuestro equipo de Data Technologies es el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinando innovación, expertise y autonomía real. Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto. Aquí no solo presentarás proyectos, desarrollarás casos de uso innovadores, colaborarás con expertos de primer nivel y posicionarás a SDG como referente.

¿Cómo será tu día a día?
  • Diseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hasta pipelines ETL/ELT escalables y optimizados.
  • Trabajarás con tecnologías como Apache Spark, Python, Scala, Apache Beam y orquestación con Airflow o Databricks Workflows, generando insights.
  • Procesarás y almacenarás datos utilizando formatos como Parquet, Delta Lake y Apache Iceberg, garantizando eficiencia y escalabilidad en entornos cloud (AWS, Azure, GCP).
  • Definirás arquitecturas avanzadas como Data Lakehouse, Data Mesh y data warehousesmejorando la gestión y el aprovechamiento de los datos.
  • Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones técnicas eficientes.
  • Explorarás y evaluarás tecnologías emergentes, como Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake… contribuyendo a mantener nuestros proyectos a la vanguardia del ecosistema Big Data.
  • Impulsarás la calidad y observabilidad de los datos aplicando DataOps, Data Quality y CI/CD, asegurando pipelines confiables y seguros.
¿Qué te hará triunfar en esta posición?
  • Formaciónen Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.
  • Experiencia en Big Data:a partir de 5-6 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala, frameworks como Apache Spark, y plataformas como Airflow, Databricks o Snowflake; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Hudi.
  • Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos.
  • Mentalidad de innovación: Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas.
  • Que puedas comunicarte en ingléspara trabajar en entornos globales y colaborar con equipos internacionales.
Valoramos también:
  • Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming.
  • Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.
  • Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.
¿Qué nos hace diferentes?
  • Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.
  • Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.
  • Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.
  • Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final.
Y, por si fuera poco…
  • Posición estable y con gran proyección profesional, formando parte de un equipo que está creciendo progresivamente.
  • Flexibilidad total. Contamos con un modelo de trabajo adaptable, con opción 100% remota o híbrida, orientado a facilitar el equilibrio entre la vida profesional y personal.
  • Jornada intensiva en julio y agosto, además de los viernes.
  • Salariosegún tu formación y experiencia, con revisiones basadas en resultados.
  • Apoyo económico para el teletrabajo.
  • Acceso a formaciones, certificaciones oficiales, conferencias y cursos.

Si te apasionan los datos, quieres trabajar con tecnología de última generación, y buscas un lugar donde tu crecimiento no tenga límites... ¡Este es tu momento! Mientras tanto, entérate de más:

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Spark Data Engineer
Spark Data Engineer

SDG Group • United States

Remote
USD 120,000 - 180,000
Remote/hybrid option
Professional training
Modern Data Engineer
Modern Data Engineer

SDG Group • United States

Remote
USD 120,000 - 180,000
Remoto o híbrido
Apoyo económico para teletrabajo
Formación y certificaciones oficiales
Data Engineer- MS Fabric (Remoto en Colombia)
Data Engineer- MS Fabric (Remoto en Colombia)

Derevo • United States

Remote
USD 120,000 - 160,000
WELLNESS
LET´S RELEASE YOUR POWER
WE CREATE NEW THINGS
+1
Senior Data Engineer
Senior Data Engineer

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 104,000
Formación profesional
Trabajo híbrido
Data Engineer
Data Engineer

Creai • United States

Remote
USD 140,000 - 190,000
PTO ilimitado
Presupuesto para desarrollo
Cobertura médica privada
+2
Data Engineer Senior – Data & AI
Data Engineer Senior – Data & AI

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 99,000
Senior Machine Learning Engineer
Senior Machine Learning Engineer

SDG Group • United States

Remote
USD 180,000 - 260,000
Formación y certificaciones oficiales
Apoyo económico para teletrabajo
Plan de carrera meritocrático
+1
Data Engineer Senior
Data Engineer Senior

Arkano • United States

Hybrid
USD 120,000 - 180,000
Hybrid schedule
Microsoft certifications
Referral bonus
+2
Data Systems Engineer (SAS / Power BI)
Data Systems Engineer (SAS / Power BI)

Knowmad Mood • United States

Remote
USD 90,000 - 120,000
Remoto
Formación interna y certificaciones
Retribución flexible: seguro médico, T
+5
Data & AI Product Engineer
Data & AI Product Engineer

AMS Solutions • United States

Remote
USD 110,000 - 150,000
Seguro médico
Ticket restaurante
Transporte
+2