Ingeniero(a) de Datos Senior

CRH Talento en IT; Monterrey; On-site; MXN 700,000 - 1,000,000; Full time

Job summary

CRH Talento en IT busca un Ingeniero de Datos para diseñar, construir y mantener pipelines de datos en producción con Databricks y Delta Lake. Trabajará con capas bronze, silver y gold y asegurará calidad y disponibilidad de datasets para Analytics y Data Science.

Se requiere 4–7 años de experiencia, dominio de PySpark/Apache Spark y experiencia práctica con herramientas de orquestación como Airflow o Prefect. Trabajo en Monterrey, con enfoque en soluciones en la nube.

Qualifications

• Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.
• Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.
• Experiencia trabajando con SQL avanzado.
• Dominio de PySpark y Apache Spark.
• Experiencia práctica con Databricks y Delta Lake.
• Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.
• Experiencia con herramientas de orquestación como Apache Airflow o Prefect.
• Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.
• Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.
• Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.
• Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.
• Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.
• Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.
• Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.
• Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.
• Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.
• Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.
• Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.

Skills

Pensamiento analítico

Resolución de problemas

Calidad

Diagnóstico de incidentes

Comunicación efectiva

Colaboración

Auto-motivación

Liderazgo técnico

Aprendizaje continuo

Education

Licenciatura en Ingeniería o ciencias afines

Tools

Apache Airflow

Prefect

PySpark

Apache Spark

Databricks

Delta Lake

Job description

• Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.
• Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.
• Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.
• Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.
• Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.
• Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.
• Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.
• Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.
• Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.
• Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.
• Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.
• Experiencia trabajando con SQL avanzado.
• Dominio de PySpark y Apache Spark.
• Experiencia práctica con Databricks y Delta Lake.
• Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.
• Experiencia con herramientas de orquestación como Apache Airflow o Prefect.
• Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.
• Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.
• Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.
• Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.
• Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.
• Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.
• Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.
• Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.
• Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.
• Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.
• Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.

Requisitos

• Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.
• Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.
• Experiencia trabajando con SQL avanzado.
• Dominio de PySpark y Apache Spark.
• Experiencia práctica con Databricks y Delta Lake.
• Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.
• Experiencia con herramientas de orquestación como Apache Airflow o Prefect.
• Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.
• Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.
• Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.

Competencias

• Pensamiento analítico y resolución de problemas complejos.
• Orientación a la calidad, eficiencia y mejora continua.
• Capacidad para diagnosticar y resolver incidentes en producción.
• Comunicación efectiva y colaboración con equipos multidisciplinarios.
• Autonomía, iniciativa y aprendizaje continuo.
• Liderazgo técnico y capacidad para compartir conocimientos y promover buenas prácticas.