Ingeniero(A) De Datos Senior

Crh Talento De It; Monterrey; On-site; MXN 600,000 - 1,000,000; Full time

Job summary

Crh Talento De It en Monterrey busca un Ingeniero de Datos para diseñar, desarrollar y mantener pipelines end-to-end con Databricks, implementando arquitecturas Lakehouse en Bronze, Silver y Gold. La posición requiere experiencia en PySpark, SQL avanzado, Delta Lake y herramientas de orquestación como Airflow o Prefect, con foco en calidad, disponibilidad y escalabilidad de datos.

Trabajarás con equipos de Analytics, BI y Data Science para asegurar datasets confiables y cumplir con estándares de

Qualifications

• Licenciatura en ingeniería o carreras afines.
• Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.
• SQL avanzado y experiencia con PySpark.
• Dominio de Apache Spark y Databricks.
• Conocimiento de Delta Lake y arquitecturas Lakehouse (bronze/silver/gold).
• Experiencia con herramientas de orquestación como Airflow o Prefect.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datos end-to-end.
• Implementar y mantener Lakehouse con capas bronze, silver y gold.
• Desarrollar procesos de ingestión, transformación, validación y publicación de datos.
• Monitorear pipelines, detectar errores y activar alertas.
• Optimizar Spark y Databricks para rendimiento y costos en la nube.
• Validar y publicar datasets certificados para Analytics/BI/ML.
• Colaborar con equipos de Data Science, Analytics y BI.

Skills

PySpark

SQL avanzado

Spark

Diseño de pipelines

Colaboración con Data Science

Resolución de problemas

Education

Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines

Tools

Databricks

Delta Lake

Apache Airflow

Prefect

Job description

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.

• Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.

• Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.

• Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.

• Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.

• Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.

• Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.

• Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.

• Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.

Requisitos

• Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.

• Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.

• Experiencia trabajando con SQL avanzado.

• Dominio de PySpark y Apache Spark.

• Experiencia práctica con Databricks y Delta Lake.

• Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.

• Experiencia con herramientas de orquestación como Apache Airflow o Prefect.

• Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.

• Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.

• Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.

Competencias

• Pensamiento analítico y resolución de problemas complejos.

• Orientación a la calidad, eficiencia y mejora continua.

• Capacidad para diagnosticar y resolver incidentes en producción.

• Comunicación efectiva y colaboración con equipos multidisciplinarios.

• Autonomía, iniciativa y aprendizaje continuo.

• Liderazgo técnico y capacidad para compartir conocimientos y promover buenas prácticas.