observability engineer for AI cloud infrastructure

Verda; United States; Remote; USD 140,000 - 190,000; Full time

Benefits offered by this job

Cash and equity

Remote in EU

Job summary

Verda ищет инженера по наблюдаемости для разработки и поддержки инфраструктурных телеметрических сервисов в глобальной среде. Вы будете работать с Kubernetes, OpenTelemetry и настройкой CI/CD, а также развёртывать и поддерживать системы мониторинга и логирования.

Задачи включают сбор показателей, создание дашбордов и оповещений, участие в инцидент-менеджменте, сотрудничество с командами и внедрение стандартов для телеметрии на платформах Go, Node.js и Python.

Qualifications

• Сильный практический опыт Grafana и телеметрии, включая VictoriaMetrics/ VictoriaLogs или аналоги.
• Сильные навыки Linux и Kubernetes, опыт мониторинга распределённых систем.
• Практический опыт OpenTelemetry: инструментирование, метрики, трассировки, логирование, Collector.
• Опыт декларативных развёртываний, CI/CD и управления конфигурацией (Argo CD, GitLab/GitHub CI/CD, Ansible, SaltStack).
• Опыт расследования инцидентов и поддержки тревог в командах инженеров.

Responsibilities

• Проектирование, масштабирование и эксплуатация общих метрик, логов и телеметрических сервисов для инфраструктуры и workloads.
• Управление декларативными развёртываниями Kubernetes через Argo CD и CI/CD; автоматизация конфигураций хоста/VM через Ansible и SaltStack.
• Улучшение мониторинга аппаратного и сетевого окружения; интеграция телеметрии через IPMI/Redfish, SNMP, gNMI, NetFlow/sFlow.
• Построение конвейеров телеметрии и дашбордов для GPU-кластеров и AI workloads.
• Определение стандартов для OpenTelemetry и поддержка внедрения в Go/Node.js/Python сервисы и APIs.
• Создание и улучшение дашбордов/оповещений, оптимизация PagerDuty и участие в дежурствах.
• Работа с другими командами для снижения шума тревог и ускорения диагностики инцидентов.
• Документация стандартов и содействие внедрению подходов с применением AI к мониторингу и расследованию инцидентов.

Skills

Grafana

OpenTelemetry

Kubernetes

Linux fundamentals

CI/CD

Tools

Argo CD

GitLab CI/CD

GitHub CI/CD

Ansible

SaltStack

Job description

Описание:

Verda is building a full-stack AI cloud spanning data centers, hardware, and its own cloud platform, which leading AI teams use for AI work. The company operates globally and is headquartered in Helsinki.

Задачи:

• Design, scale, and operate shared metrics, logs, and tracing services for infrastructure health and workload behavior
• Manage declarative Kubernetes deployments using Argo CD and GitLab and GitHub CI/CD; automate host and VM configuration using Ansible and SaltStack
• Improve monitoring for bare-metal hardware, Linux, physical and overlay networks, and Kubernetes; integrate telemetry from IPMI/Redfish, PDUs, SNMP, gNMI, and NetFlow/sFlow
• Build telemetry pipelines and dashboards for GPU clusters, AI training runs, and inference services
• Help define shared standards for OpenTelemetry instrumentation, context propagation, and Collector pipelines; support teams instrumenting Go, Node.js, and Python services and APIs
• Build dashboards and alerts, improve PagerDuty notification workflows, and participate in on-call rotations
• Work with other teams to reduce alert noise and shorten incident diagnosis and recovery
• Document standards, help teams adopt them, and evaluate and develop AI-assisted approaches to monitoring and incident investigation

Требования:

• Strong hands-on experience with Grafana and production telemetry systems, including VictoriaMetrics and VictoriaLogs or comparable metrics and logging backends
• Strong Linux fundamentals, production Kubernetes experience, and experience monitoring cloud-native applications and distributed systems
• Practical experience with OpenTelemetry instrumentation, metrics, traces, structured logs, trace context propagation, and Collector pipelines
• Experience with declarative deployments, CI/CD, and configuration management using tools such as Argo CD, GitLab CI/CD, Ansible, and SaltStack
• Experience investigating production incidents, maintaining alerts, and sharing operational responsibilities within an engineering team
• Ability to explain technical decisions, guide teams, and support adoption of shared observability practices
• Будет плюсом: experience building and operating large-scale observability systems across multiple data centers; experience monitoring GPU clusters and AI/ML workloads, including NVIDIA DCGM and training or inference performance metrics; deeper experience with hardware and network telemetry, such as IPMI/Redfish, NetFlow/sFlow, SNMP, gNMI, or eBPF; experience operating across bare-metal, VM, and Kubernetes environments; experience applying LLMs, ML, or agent-based systems to automation and incident investigation; exposure to security monitoring and collaboration with SecOps teams

Условия:

• Cash and equity compensation along with local benefits
• Location options: London (UK), Helsinki (Finland), or remote in EU