Data Integration Engineer (Databricks / Python / SQL)

Gramian Consulting Group; United States; Remote; USD 90,000 - 130,000; Full time

Job summary

Gramian Consultancy ищет опытного Data / Integration Engineer для управления данными в производственной AI-поддерживаемой платформе KYC/Customer Due Diligence для международной страховой среды. Ваша задача — обеспечить надежную передачу данных между Databricks, SQL Server и внешними системами.

Кандидат будет строить коннекторы к провайдерам скрининга, моделировать данные и внедрять качество данных и тесты интеграции. Работа удаленная для ЕС; ASAP.

Qualifications

• Опыт работы с Databricks, включая Delta Lake и Unity Catalog.
• Опыт работы с Python / PySpark.
• Продвинутые навыки SQL.
• Опыт интеграции с SQL Server и устаревшими базами данных.
• Опыт работы с REST API, DB links, пакетной обработкой, файлами и SFTP- интеграциями.
• Опыт моделирования данных и проектирования контрактов данных.
• Опыт реализации проверки качества данных и интеграционных тестов.
• Свободный английский и возможность удаленной работы в пределах ЕС.

Responsibilities

• Идентифицировать и сопоставлять источники данных внутри компании и за её пределами.
• Определить контракты данных и канонические структуры для клиентских данных, скрининга, аудита и отчетности.
• Разрабатывать коннекторы к внешним провайдерам скрининга, открытым реестрам и локальным источникам данных.
• Соединять Databricks с SQL Server, устаревшими базами данных и основными корпоративными системами.
• Поддерживать API, соединения по DB links, пакетную обработку, файлы и SFTP-интеграции.
• Проектировать и поддерживать модели данных, обеспечивающие доказательства, аудит и отчетность.
• Внедрять проверки качества данных, тесты контрактов и правила хранения.
• Проверять входящие и исходящие потоки данных в продукционных сервисах.
• Оказывать поддержку в устранении неполадок интеграций и подготовке к РР.

Tools

Databricks

Delta Lake

Unity Catalog

Python

PySpark

SQL

REST APIs

DB links

Batch processing

SFTP

SQL Server

Data modelling

Data contracts

Data quality

Integration testing

Job description

Описание:

Gramian Consultancy is a boutique consultancy specializing in IT professional services and engineering talent solutions. With a strong background in software engineering and leadership, we help companies build high-performing teams by matching them with professionals who truly fit their needs. Our client is a Big4 Consultancy group that works with leading financial institutions on AI-driven transformation, automation, advanced analytics, and financial crime prevention. Their are building a production-grade AI-assisted KYC / Customer Due Diligence platform for an international insurance environment. We are looking for an experienced Data / Integration Engineer to own the data flowing into and out of the platform. The role focuses on Databricks, Python / PySpark, SQL, data modelling, data contracts, APIs, legacy-system integration, and data quality, replacing mocked sources with reliable production integrations.

CONTRACT: B2B or B2C contract COMMITMENT: Full-time, 3-4 months contract with possibility of extension or getting on new projects LOCATIONS: Remote, EU-based candidates START: ASAP PROCESS: Initial qualification followed by client interviews

Задачи:

• Inventory and map all internal and external data sources.


• Define data contracts and canonical data structures for client, screening, evidence, audit, and reporting data.


• Build connectors to external screening providers, public registers, and local data sources.


• Connect Databricks with SQL Server, legacy databases, and core enterprise systems.


• Support API, database-link, batch, file, and SFTP-based integrations.


• Design and maintain data models supporting evidence, audit trails, and reporting.


• Implement data quality checks, contract tests, and retention rules.


• Validate incoming and outgoing data flows across production services.


• Support integration troubleshooting and production-readiness activities.


• Contribute to a business-critical platform where data accuracy and reliability are essential.

Требования:

• Strong hands-on experience with Databricks, including Delta Lake and Unity Catalog.


• Strong experience with Python / PySpark.


• Advanced SQL skills.


• Experience integrating with SQL Server and legacy databases.


• Strong experience with REST APIs, DB links, batch processing, files, and SFTP integrations.


• Experience with data modelling and data-contract design.


• Experience implementing data-quality validation and integration testing.


• Fluent English and ability to work remotely within the EU.