data engineer for an AWS-native integration layer

Infolet; United States; À distance; USD 120 000 - 170 000; Temps partiel

Résumé du poste

Infolet ищет старшего инженера по интеграции данных, чтобы модернизировать существующую платформу ODS. Вы будете разрабатывать решения на AWS с архитектурой, ориентированной на события, строить API и потоки данных, а также участвовать в миграции интеграций на AWS.

Кандидат должен иметь 6+ лет опыта в интеграции, глубокие знания AWS и REST/JSON, а также навыки тестирования и поддержки развёртываний. Условия — контрактное участие с возможностью удалённой/гибридной работы.

Qualifications

• 6+ лет опыта в интеграции приложений/данных.
• Опыт разработки на AWS, Python.
• Знание REST API, JSON, SQL и архитектуры событий.

Responsabilités

• Проектирование и разработка интеграционных решений на AWS и в архитектуре, основанной на событиях.
• Создание API и потоков данных с использованием REST/JSON.
• Работа с EventBridge, SQS, SNS, Lambda, API Gateway, S3, CloudWatch.
• Реализация контрактов данных, валидации схем, версионирования и трансформаций.
• Разработка механизмов повторной попытки, DLQ, идемпотентности, обработки ошибок и воспроизведения событий.
• Интеграция данных из Oracle, SQL Server, PostgreSQL, Salesforce и ServiceNow.
• Поддержка миграции существующих интеграций в AWS.

Connaissances

AWS

Python

REST APIs

JSON

Event-driven

SQS/SNS

Lambda

API Gateway

S3

CloudWatch

IAM/KMS

CI/CD

Git

Outils

EventBridge

SQS

SNS

Lambda

API Gateway

S3

CloudWatch

IAM/KMS

Description du poste

Описание:

The project is modernizing an existing ODS platform by migrating batch-based and Heroku-based integrations to an AWS-native, near-real-time, event-driven architecture. It aims to build a scalable and reliable integration layer supporting multiple data sources and downstream systems.

Задачи:

• Design and develop integration solutions based on AWS and event-driven architecture
• Build APIs and data flows using REST/JSON
• Work with EventBridge, SQS, SNS, Lambda, API Gateway, S3, and CloudWatch
• Implement data contracts, schema validation, versioning, and data transformations
• Build mechanisms for retry, DLQ, idempotency, error handling, and replay
• Integrate data from Oracle, SQL Server, PostgreSQL, Salesforce, and ServiceNow
• Support migration of existing integrations from ODI, MuleSoft, and Heroku to AWS
• Develop unit and integration tests and support performance testing
• Participate in deployments, production cutovers, troubleshooting, and post-production support
• Collaborate with the Principal Architect and other teams to define reusable enterprise integration patterns

Требования:

• 6+ Years of experience in software/data integration engineering
• Hands-on experience with AWS Development experience in Python
• Strong knowledge of REST APIs, JSON, SQL, and event-driven architecture
• Experience with AWS services including EventBridge, SQS/SNS, Lambda, API Gateway, S3, CloudWatch, and IAM/KMS
• Experience with relational databases and enterprise data integration
• Hands-on experience with open table formats such as Apache Iceberg or Apache Hudi
• Knowledge of CI/CD and Git
• Strong analytical and troubleshooting skills
• Будет плюсом: Kafka/Amazon MSK, Terraform/CloudFormation, DynamoDB/DocumentDB, Redshift, Data Lake architecture, CDC technologies, ODI, MuleSoft or Heroku experience, experience modernizing legacy integration platforms to AWS, experience with high-volume or near-real-time processing, understanding of reliability, scalability, security, and production readiness principles

Условия:

Contractor engagement