GCP Data Engineer: BigQuery, Dataflow & Airflow (Remote)

NETCONOMY; Graz; Hybrid; EUR 65.000 - 95.000; Vollzeit

Benefits dieser Stelle

Flexible Arbeitszeiten

Home Office

Mobility Support

Notebook zur Privatnutzung

Weiterbildung/Mentoring

Firmenevents

Zusammenfassung

NETCONOMY sucht einen Data Engineer, der moderne, skalierbare Datenlösungen auf Google Cloud Platform gestaltet und implementiert. Sie arbeiten im Data & AI Team an Architekturen, die Kunden helfen, das volle Potenzial ihrer Daten zu nutzen.

Zu den Aufgaben gehören Aufbau von ETL/ELT-Prozessen, Real-Time-Processing, SQL-Transformations-Werkzeuge, sowie Governance und Optimierung von Pipelines. Gute Englischkenntnisse und Teamfähigkeit sind Voraussetzung.

Qualifikationen

• Mehr als 3 Jahre praktische Data-Engineering-Erfahrung mit GCP.
• Starke Kenntnisse in BigQuery (SQL, Partitionierung, Cluster, Optimierung) und Dataflow.
• Programmieren in Python mit PySpark/Pandas.
• Experten-Niveau in SQL für komplexe Transformationen und Analysen.
• Erfahrung mit Dataform für modulare SQL-basierte Transformationen.
• Verständnis von Data Warehousing, ETL/ELT, Dimensional Modeling und Data Governance.
• Erfahrung mit API-Integrationen und Streaming-Systemen (Pub/Sub).
• Cloud Composer (Airflow) für Workflow-Orchestrierung.
• Gute Englischkenntnisse (B2) und Teamfähigkeit.

Aufgaben

• Aufbau skalierbarer ETL/ELT-Prozesse zu BigQuery und Cloud Storage.
• Datenaufnahme und Echtzeitverarbeitung mit Dataflow und Pub/Sub.
• Daten-Transformationen mit Dataform, inklusive Versionierung, Tests und Scheduling.
• Effiziente, kostenoptimierte Abfragen in BigQuery (Partitioning, Clustering).
• Orchestrieren komplexer Workflows mit Cloud Composer und Cloud Functions.
• Daten-Governance und Metadaten-Management mit Dataplex.
• Überwachung/Performance-Optimierung von Pipelines via Cloud Monitoring und Logging.
• Zusammenarbeit mit Data Scientists/Analysten zur Bereitstellung von Insights.
• Auf dem neuesten Stand bleiben bei GCP-Daten-Services und Best Practices.

Kenntnisse

GCP & Data Engineering

BigQuery

Dataflow

Python

SQL

Dataform

Airflow / Cloud Composer

Pub/Sub

Pandas / PySpark

Looker / BI-Tools

Terraform

Englische Kommunikation (B2)

Agiles Arbeiten

Tools

BigQuery

Python

Dataflow

Dataform

Airflow

Looker/Looker Studio/Power BI

Pub/Sub

Pub/Sub

Terraform

Vertex AI

Pyspark

Jobbeschreibung

NETCONOMY sucht einen Data Engineer, der moderne, skalierbare Datenlösungen auf Google Cloud Platform gestaltet und implementiert. Sie arbeiten im Data & AI Team an Architekturen, die Kunden helfen, das volle Potenzial ihrer Daten zu nutzen.

Zu den Aufgaben gehören Aufbau von ETL/ELT-Prozessen, Real-Time-Processing, SQL-Transformations-Werkzeuge, sowie Governance und Optimierung von Pipelines. Gute Englischkenntnisse und Teamfähigkeit sind Voraussetzung.