Datenplattform-Engineer

ClickHouse

United States

Remote

USD 140,000 - 210,000

Full time

5 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Flexibles Arbeitsumfeld
Gesundheitsversorgung
Unternehmensanteile
Urlaub
Homeoffice USD 500
Globale Offsites

Job summary

ClickHouse sucht einen Senior Data Engineer zur Weiterentwicklung der DWH-Plattform. Sie arbeiten an der Optimierung von Transformations-Pipelines, entwickeln modulare Airflow-Komponenten, dbt-Makros und robuste Datenmodelle für unternehmensweite Data Marts.

Sie bringen exzellente SQL-Kenntnisse, Erfahrung mit Airflow, dbt und Python sowie Erfahrung im Aufbau skalierbarer Pipelines mit hohem Durchsatz mit. Vorteilhaft ist ClickHouse-Know-how und Cloud-Experience.

Qualifications

  • Ausgezeichnete SQL-Kenntnisse sind zwingend erforderlich.
  • Umfassende praktische Erfahrung mit Airflow, dbt und Python.
  • Nachweisliche Erfolge beim Aufbau und der Optimierung von Pipelines im großen Maßstab.
  • Grundlagenwissen Data Warehousing: ETL/ELT, dimensionale Modellierung und Datenqualität.
  • Abschluss in Informatik oder einem verwandten Fachgebiet.

Responsibilities

  • Entwicklung der DWH-Plattform, inkl. Airflow-Komponenten und dbt-Makros.
  • Code-Reviews und technische Führung im Team übernehmen.
  • Datenmodelle gemäß Standards entwickeln und Data Marts leiten.
  • Verbesserung der Entwicklungs- und CI/CD-Prozesse, inklusive Automatisierung.

Skills

SQL
Airflow
dbt
Python
Data Modeling

Education

Bachelorabschluss in Informatik oder verwandtem Fach

Tools

ClickHouse

Job description

Über die Position

Bei ClickHouse sind wir überzeugt, dass Produktentscheidungen auf Daten und nicht auf Bauchgefühl beruhen sollten. Dafür haben wir ein umfassendes internes Data Warehouse aufgebaut. Mehr darüber erfährst du in unserem Blog. Es ermöglicht Analytics, Forecasting und Entscheidungen in allen Teams des Unternehmens.

Im Zentrum unseres Stacks steht ClickHouse als zentrale Speicher- und Verarbeitungs-Engine, ergänzt durch dbt, Airflow, S3, AWS, Superset und GitHub Actions. Wir nehmen Daten aus 30+ verschiedenen externen Quellen auf, verarbeiten über 2,5 PB an Daten und stellen den Geschäftsanwendern die meisten Data Marts mit einer End-to-End-Latenz von 1 Stunde bereit. Dieser Standard erfordert hochgradig optimierte und äußerst zuverlässige Transformations-Pipelines.

Wir suchen einen Senior Data Engineer, der die DWH-Plattform weiterentwickelt, ihre technischen Grenzen erweitert und zuverlässige, leistungsstarke Datenmodelle für die Geschäftsanwender im gesamten Unternehmen bereitstellt.

Hauptaufgaben
  1. Entwicklung der DWH-Plattform

    • Entwurf und Entwicklung wiederverwendbarer Airflow-Komponenten, darunter Operatoren, Konnektoren und Hooks, sowie maßgeschneiderter Integrationen, die auf unsere Datenarchitektur zugeschnitten sind.

    • Entwicklung wiederverwendbarer dbt-Makros und Abstraktionen: inkrementelle Strategien, ETL-Bausteine und generische Datentests zur Qualitätssicherung, alle optimiert für das spezifische Verhalten von ClickHouse und unsere Datenmuster.

    • Entwicklung von DataOps-Tools, darunter CI-Pipelines, Frameworks für Datenmigrationen und Sicherheitskontrollen, mit besonderem Augenmerk auf Zuverlässigkeit, einfache Self-Service-Nutzung und Skalierbarkeit.

  2. Beiträge zum Team

    • Gründliche Code-Reviews für Teammitglieder und andere Mitwirkende im Team durchführen.

    • Aktiv an technischen und architektonischen Designgesprächen teilnehmen.

    • In bestimmten Bereichen unseres Stacks die technische Führung übernehmen.

    • Die Entwicklungsumgebung des Teams kontinuierlich verbessern, mit besonderem Augenmerk auf Automatisierung, einschließlich KI-gestützter Workflows.

    • Durch proaktive Fehlerbehebung und zeitnahe Lösung von Vorfällen zur Stabilität der Plattform beitragen.

  3. Datenmodellierung

    • Geschäftliche Datenmodelle gemäß unseren Modellierungsstandards und den Best Practices für ClickHouse entwickeln, überarbeiten und optimieren.

    • Mitwirkende durch Code-Reviews und technische Anleitung betreuen und unterstützen.

    • Den Entwurf und die Implementierung der technisch anspruchsvollsten Data Marts leiten, insbesondere solcher mit hoher Datengeschwindigkeit, großen Datenmengen oder komplexer Geschäftslogik.

Qualifikationen

Erforderlich:

  • Hervorragende SQL-Kenntnisse. Diese sind unabdingbar.

  • Umfassende praktische Erfahrung mit Airflow, dbt und Python.

  • Nachweisliche Erfolge beim Aufbau und bei der Optimierung von Daten-Pipelines im großen Maßstab mit hohem Durchsatz.

  • Solides Verständnis der Grundlagen von Data Warehousing: ETL/ELT, dimensionale Modellierung und Datenqualität.

  • Bachelorabschluss in Informatik oder einem verwandten Fachgebiet.

  • Freude daran, in einem schnelllebigen Start-up-Umfeld erfolgreich zu arbeiten. Es ist spannend und dynamisch, aber manchmal auch wunderbar chaotisch.

Von Vorteil:

  • Praktische Erfahrung mit ClickHouse. Das ist ein deutlicher Vorteil.

  • Vertrautheit mit AWS oder anderen Cloud-Plattformen.

  • Erfahrung mit der Entwicklung von CI/CD, insbesondere mit GitHub Actions.

Vorteile
  • Flexibles Arbeitsumfeld: ClickHouse ist ein global verteiltes und remote-freundliches Unternehmen. Wir sind derzeit in mehr als 25 Ländern tätig.

  • Gesundheitsversorgung: Arbeitgeberbeiträge zu deiner Gesundheitsversorgung.

  • Unternehmensanteile: Jedes neue berechtigte Teammitglied, das zu unserem Unternehmen kommt, erhält Unternehmensanteile.

  • Freizeit: Flexible Freizeitregelung in den USA und großzügiger Urlaubsanspruch in anderen Ländern.

  • Einrichtung des Homeoffice im Wert von USD$500, wenn du remote arbeitest.

  • Globale Zusammenkünfte: Wir glauben an die Bedeutung persönlicher Begegnungen und bieten Gelegenheiten, bei unternehmensweiten Offsites Kolleginnen und Kollegen zu treffen.

Kultur: Wir gestalten sie gemeinsam

Als Teil eines schnell wachsenden Start-ups wirst du unsere Kultur maßgeblich mitgestalten.

Möchtest du mehr über unsere Kultur erfahren? Lies hier mehr über unsere Werte. Sieh dir unsere Blogbeiträge an oder folge uns auf LinkedIn, um mehr darüber zu erfahren, was bei ClickHouse passiert.

Chancengleichheit und Datenschutz

ClickHouse bietet allen Mitarbeitenden und Bewerbenden gleiche Beschäftigungschancen und verbietet Diskriminierung und Belästigung jeglicher Art aufgrund von Faktoren wie ethnischer Herkunft, Hautfarbe, Religion, Alter, Geschlecht, nationaler Herkunft, Behinderungsstatus, genetischen Merkmalen, dem Status als geschützte Veteranin oder geschützter Veteran, sexueller Orientierung, Geschlechtsidentität oder Geschlechtsausdruck sowie aufgrund anderer durch Bundes-, Landes- oder Kommunalgesetze geschützter Merkmale.

Unsere Datenschutzerklärung findest du hier.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Cloud-Datenbank-Infrastruktur-Ingenieur (EMEA, remote)
Cloud-Datenbank-Infrastruktur-Ingenieur (EMEA, remote)

ClickHouse • United States

Remote
USD 150,000 - 210,000
Flexible Arbeitsumfeld
Gesundheitsversorgung
Unternehmensanteile
+2
Manager für Dokumentationsengineering
Manager für Dokumentationsengineering

ClickHouse • United States

Remote
USD 180,000 - 240,000
Flexibles Arbeitsumfeld
Gesundheitsversorgung
Unternehmensanteile
+2
Technische:r Entwickler:in für technische Lerninhalte, Plattform, EMEA
Technische:r Entwickler:in für technische Lerninhalte, Plattform, EMEA

ClickHouse • United States

Remote
USD 120,000 - 180,000
Flexibles Arbeitsumfeld
Gesundheitsversorgung
Unternehmensbeteiligung
+3
Rechtsberater:in für Wirtschaftsrecht (EMEA)
Rechtsberater:in für Wirtschaftsrecht (EMEA)

ClickHouse • United States

Remote
USD 140,000 - 220,000
Flexibles Arbeitsumfeld
Gesundheitsversorgung
Anteile am Unternehmen
+3
Spezialist:in für Schulungsbetrieb, EMEA
Spezialist:in für Schulungsbetrieb, EMEA

ClickHouse • United States

Remote
USD 70,000 - 90,000
Remote-friendly
Health benefits
Equity
+3
Senior Counsel, Commercial (Pipeline-Stelle für EMEA)
Senior Counsel, Commercial (Pipeline-Stelle für EMEA)

ClickHouse • United States

Remote
USD 180,000 - 260,000
Flexibles Arbeitsumfeld
Gesundheitsversorgung
Unternehmensbeteiligung
+3
Principal Product Manager für Partnerintegrationen
Principal Product Manager für Partnerintegrationen

ClickHouse • United States

Remote
USD 240,000 - 310,000
Flexibles Arbeitsumfeld
Gesundheitsversorgung
Unternehmensanteile
+3
Ingeniero/a de plataformas de datos
Ingeniero/a de plataformas de datos

ClickHouse • United States

Remote
USD 140,000 - 210,000
Trabajo remoto disponible
Trabajo en entidad global
Participación en la empresa
Data Platform Engineer
Data Platform Engineer

ClickHouse • United States

Remote
USD 150,000 - 230,000
Flexible work environment
Healthcare contributions
Equity in the company
+2
Product Manager - Core Engineering (Security Features)
Product Manager - Core Engineering (Security Features)

ClickHouse • San Francisco (CA)

Remote
USD 120,000 - 180,000
Flexible work environment - remote
Healthcare
Equity in the company
+3