Databricks Data Integration Engineer (Remote EU)

Gramian Consulting Group; United States; Remote; USD 67,000 - 89,000; Full time

Job summary

Gramian Consultancy busca un/a ingeniero/a de datos e integración para unirse a un proyecto de transformación impulsada por IA en el sector seguros, trabajando de forma remota desde la UE. El puesto se centra en integrar fuentes de datos, definir contratos de datos y garantizar la calidad de los datos en una plataforma de KYC apoyada por IA.

Trabajarás con Databricks, Delta Lake, Unity Catalog, Python/PySpark y SQL, creando conectores, integrando sistemas heredados y conectando Databricks con

Qualifications

• Experiencia práctica con Databricks, Delta Lake y Unity Catalog.
• Dominio de Python / PySpark.
• Nivel avanzado de SQL.
• Integración con SQL Server y bases de datos heredadas.
• Conocimiento de API REST, enlaces de bases de datos y SFTP.
• Modelado de datos y diseño de contratos de datos.
• Inglés fluido y capacidad de trabajar en remoto desde la UE.

Responsibilities

• Inventariar y mapear todas las fuentes de datos internas y externas.
• Definir contratos de datos y estructuras de datos canónicas para datos de clientes, screening, pruebas, auditoría e informes.
• Crear conectores para proveedores externos de screening, registros públicos y fuentes de datos locales.
• Conectar Databricks con SQL Server, bases de datos heredadas y sistemas empresariales principales.
• Dar soporte a integraciones mediante API, enlaces de bases de datos, procesamiento por lotes, archivos y SFTP.
• Diseñar y mantener modelos de datos para pruebas, auditoría e informes.
• Implementar controles de calidad de datos, pruebas de contratos y reglas de retención.
• Validar flujos de datos entrantes y salientes en producción.
• Ayudar a resolver problemas de integración y en la preparación para producción.
• Contribuir a una plataforma esencial para el negocio, donde la precisión de los datos es fundamental.

Skills

Databricks

Python / PySpark

SQL

Data modeling

Data contracts

APIs

ETL

SFTP

Delta Lake

Unity Catalog

Education

Bachelor's degree

Tools

SQL Server

Delta Lake

Unity Catalog

Job description

Gramian Consultancy busca un/a ingeniero/a de datos e integración para unirse a un proyecto de transformación impulsada por IA en el sector seguros, trabajando de forma remota desde la UE. El puesto se centra en integrar fuentes de datos, definir contratos de datos y garantizar la calidad de los datos en una plataforma de KYC apoyada por IA.

Trabajarás con Databricks, Delta Lake, Unity Catalog, Python/PySpark y SQL, creando conectores, integrando sistemas heredados y conectando Databricks con