Data Platform Engineer — Autonomous Vehicles (Flexible)

Grid Dynamics; Warszawa; On-site; PLN 200,000 - 360,000; Full time

Benefits offered by this job

Medical insurance

Flexible schedule

Corporate events

Well-equipped office

Job summary

Grid Dynamics приглашает инженера платформы данных для работы над основой данных и MLOps для систем безопасности автономной техники. Ваша задача — спроектировать и владеть многоуровневой AWS-платформой данных, которая питает обучение моделей и сбор телеметрии на масштабируемой инфраструктуре.

Вы реализуете medallion-архитектуру на AWS, адаптеры источников, реестр метаданных и схемы валидации. Участвуете в пилотном проекте и масштабировании для дальнейших автономных задач.

Qualifications

• 5+ лет опыта в построении производственных конвейеров данных и платформ.
• Глубокие знания S3, EventBridge, Step Functions, FSx for Lustre, CloudWatch и IAM; IaC и GitOps.
• Опыт Ray или Spark и Python для ETL/ELT на масштабе.
• Знание Parquet/HDF5; практический опыт версионирования наборов данных и lineage.
• Опыт MLflow или аналогичного реестра артефактов и трекинга экспериментов.
• Плюсом: автономные системы данные, ROS, LiDAR, камера и пр.

Responsibilities

• Спроектировать medallion-архитектуру данных на AWS S3 и внедрить правила продвижения между уровнями с IAM.
• Создать адаптерный слой для приведения источников к каноническому формату с сохранением временной метаданных и контекста датчиков.
• Развернуть централизованный реестр метаданных, версионирование наборов и развязку по уровням.
• Установить схемы валидации данных, концевые выключатели и дашборды для индикации ingestion/rejection и latency.
• Доказать полную цепочку инструментов от сбора данных до обучения моделей на пилотном кейсе (wheel-loader).

Skills

Data pipelines

AWS data platform

Python

SQL/ETL

IaC / GitOps

Event-driven arch

Data governance

MLflow / artifact tracking

Ray / Spark

Tools

S3

EventBridge

Step Functions

FSx for Lustre

CloudWatch

IAM

Job description

Grid Dynamics приглашает инженера платформы данных для работы над основой данных и MLOps для систем безопасности автономной техники. Ваша задача — спроектировать и владеть многоуровневой AWS-платформой данных, которая питает обучение моделей и сбор телеметрии на масштабируемой инфраструктуре.

Вы реализуете medallion-архитектуру на AWS, адаптеры источников, реестр метаданных и схемы валидации. Участвуете в пилотном проекте и масштабировании для дальнейших автономных задач.