Ingeniero/a de integración de datos (Databricks / Python / SQL)

Gramian Consulting Group; United States; Remote; USD 67,000 - 89,000; Full time

Job summary

Gramian Consultancy busca un/a ingeniero/a de datos e integración para unirse a un proyecto de transformación impulsada por IA en el sector seguros, trabajando de forma remota desde la UE. El puesto se centra en integrar fuentes de datos, definir contratos de datos y garantizar la calidad de los datos en una plataforma de KYC apoyada por IA.

Trabajarás con Databricks, Delta Lake, Unity Catalog, Python/PySpark y SQL, creando conectores, integrando sistemas heredados y conectando Databricks con

Qualifications

• Experiencia práctica con Databricks, Delta Lake y Unity Catalog.
• Dominio de Python / PySpark.
• Nivel avanzado de SQL.
• Integración con SQL Server y bases de datos heredadas.
• Conocimiento de API REST, enlaces de bases de datos y SFTP.
• Modelado de datos y diseño de contratos de datos.
• Inglés fluido y capacidad de trabajar en remoto desde la UE.

Responsibilities

• Inventariar y mapear todas las fuentes de datos internas y externas.
• Definir contratos de datos y estructuras de datos canónicas para datos de clientes, screening, pruebas, auditoría e informes.
• Crear conectores para proveedores externos de screening, registros públicos y fuentes de datos locales.
• Conectar Databricks con SQL Server, bases de datos heredadas y sistemas empresariales principales.
• Dar soporte a integraciones mediante API, enlaces de bases de datos, procesamiento por lotes, archivos y SFTP.
• Diseñar y mantener modelos de datos para pruebas, auditoría e informes.
• Implementar controles de calidad de datos, pruebas de contratos y reglas de retención.
• Validar flujos de datos entrantes y salientes en producción.
• Ayudar a resolver problemas de integración y en la preparación para producción.
• Contribuir a una plataforma esencial para el negocio, donde la precisión de los datos es fundamental.

Skills

Databricks

Python / PySpark

SQL

Data modeling

Data contracts

APIs

ETL

SFTP

Delta Lake

Unity Catalog

Education

Bachelor's degree

Tools

SQL Server

Delta Lake

Unity Catalog

Job description

Sobre Gramian

Gramian Consultancy es una consultora boutique especializada en servicios profesionales de TI y soluciones de talento en ingeniería. Gracias a nuestra sólida trayectoria en ingeniería de software y liderazgo, ayudamos a las empresas a crear equipos de alto rendimiento poniendo en contacto sus necesidades con profesionales que realmente encajan.

Sobre el puesto

Nuestro cliente es un grupo de consultoría Big4 que trabaja con importantes instituciones financieras en transformación impulsada por IA, automatización, analítica avanzada y prevención de delitos financieros. Está creando una plataforma de KYC / diligencia debida del cliente asistida por IA, preparada para entornos de producción, destinada al sector internacional de seguros.

Buscamos un/a ingeniero/a de datos e integración con experiencia para hacerse cargo de los datos que entran y salen de la plataforma. El puesto se centra en Databricks, Python / PySpark, SQL, modelado de datos, contratos de datos, API, integración de sistemas heredados y calidad de datos, y en sustituir las fuentes simuladas por integraciones de producción fiables.

CONTRATO: contrato B2B o B2C

DEDICACIÓN: Jornada completa, contrato de 3-4 meses con posibilidad de prórroga o de incorporarse a nuevos proyectos

UBICACIÓN: En remoto, candidatos/as residentes en la UE

INCORPORACIÓN: Lo antes posible

PROCESO: Evaluación inicial seguida de entrevistas con el cliente

Responsabilidades

• Inventariar y mapear todas las fuentes de datos internas y externas.
• Definir contratos de datos y estructuras de datos canónicas para los datos de clientes, screening, pruebas, auditoría e informes.
• Crear conectores para proveedores externos de screening, registros públicos y fuentes de datos locales.
• Conectar Databricks con SQL Server, bases de datos heredadas y sistemas empresariales principales.
• Dar soporte a integraciones mediante API, enlaces de bases de datos, procesamiento por lotes, archivos y SFTP.
• Diseñar y mantener modelos de datos que permitan gestionar pruebas, registros de auditoría e informes.
• Implementar controles de calidad de datos, pruebas de contratos y reglas de retención.
• Validar los flujos de datos entrantes y salientes en los servicios de producción.
• Ayudar a resolver problemas de integración y en las actividades de preparación para producción.
• Contribuir a una plataforma esencial para el negocio, en la que la precisión y la fiabilidad de los datos son fundamentales.

Requisitos

• Sólida experiencia práctica con Databricks, incluidos Delta Lake y Unity Catalog.
• Sólida experiencia con Python / PySpark.
• Nivel avanzado de SQL.
• Experiencia en integración con SQL Server y bases de datos heredadas.
• Sólida experiencia con API REST, enlaces de bases de datos, procesamiento por lotes, archivos e integraciones SFTP.
• Experiencia en modelado de datos y diseño de contratos de datos.
• Experiencia en la implementación de validaciones de calidad de datos y pruebas de integración.
• Dominio del inglés y capacidad para trabajar en remoto desde la UE.

Formación: Grado universitario

Experiencia: Nivel intermedio-avanzado