Data Engineer Kapitaalmarkten

werkenbijdeafm; Amsterdam; On-site; EUR 64,000 - 106,000; Full time

Benefits offered by this job

Laptop en smartphone

Uitgebreide trainings- en opleidingsmO

Volledige vergoeding OV

Thuiswerkvergoeding

Fiets- en deviceregeling

Job summary

AFM zoekt een allround Data Engineer voor de afdeling Datagedreven Kapitaalmarkten (DAK). Je ontwerpt, bouwt en beheert datapipelines en datasets in Azure/Databricks en levert data aan analisten, toezichthouders en andere gebruikers.

Je draagt bij aan ontwikkel- en deploymentprocessen met CI/CD, Git en Azure DevOps, en werkt met tussen miljoenen tot miljarden records in Databricks, SQL-databases en Azure Storage. Ruime ervaring met Databricks, PySpark en SQL is vereist.

Qualifications

• WO-niveau en minstens drie jaar relevante ervaring als Data Engineer in Azure-omgeving.
• Ruime ervaring met Databricks, PySpark en SQL voor schaalbare data pipelines.
• Ervaring met Azure Data Factory, Azure Storage en relevante Azure-diensten.
• Kennis van CI/CD en geautomatiseerd testen en deployen van dataoplossingen.

Responsibilities

• Ontwerpen en beheren van data-ingestie, transformatie en verwerking in Azure/Databricks.
• Inrichten van CI/CD en geautomatiseerde tests en deployment.
• Deployen van Databricks-code en resources met Declarative Automation Bundles.
• Ontwikkelen van datapipelines voor ML/AI toepassingen en MLOps-verbeteringen.
• Toepassen van security, privacy en governance kaders zoals Unity Catalog.

Skills

Databricks

PySpark

SQL

CI/CD

MLOps

Data governance

Azure

Education

WO werk- en denkniveau in data/IT

Tools

Databricks Jobs

Azure Data Factory

Unity Catalog

Declarative Automation Bundles

Azure DevOps

Job description

Als allround Data Engineer binnen de afdeling Datagedreven Kapitaalmarkten (DAK) ontwerp, bouw en beheer je betrouwbare datapipelines en datasets voor het toezicht op de kapitaalmarkten. Daarnaast help je onze ontwikkel- en deploymentprocessen en het gebruik van Databricks verder te professionaliseren. Je ontsluit, structureert en prepareert gegevens voor data-analisten, toezichthouders en andere gebruikers. Binnen onze Azure-cloudomgeving werk je met grote hoeveelheden gestructureerde en ongestructureerde data, variërend van miljoenen tot miljarden records. De gegevens bevinden zich onder meer in Databricks, SQL-databases en Azure Storage. Je ontwikkelt herbruikbare ETL-processen en zorgt dat data vindbaar, controleerbaar en geschikt is voor analyse en toezicht. Je verbetert de ontwikkel- en deploymentprocessen met versiebeheer, geautomatiseerd testen en CI/CD in Azure DevOps. Met Declarative Automation Bundles leg je Databricks-code, configuraties en resources vast en deploy je deze gecontroleerd naar verschillende omgevingen. Hierbij werk je aan herhaalbare en beter beheersbare wijzigingen en deployments. Bij het ontwikkelen van dataoplossingen pas je de geldende kaders voor security, privacy en governance toe. Je draagt bij aan monitoring en kostenbewust gebruik van het Databricks-platform, in samenwerking met de verantwoordelijke platform-, architectuur- en securityspecialisten. Daarnaast ontwikkel je duurzame dataproducten en draag je actief bij aan kennisdeling, innovatie en standaardisatie binnen het team.

Een greep uit je werkzaamheden:

• Ontwikkelen en beheren van processen voor data-ingestie, transformatie en verwerking binnen onze Azure-cloudomgeving en op het Databricks-platform met onder andere Databricks Jobs, Azure Data Factory en PySpark/SQL.
• Inrichten en verbeteren van geautomatiseerde ontwikkel-, test- en deploymentprocessen met CI/CD in Azure DevOps.
• Vastleggen en gecontroleerd deployen van Databricks-code, configuraties en resources met Declarative Automation Bundles.
• Ontwikkelen en beheren van datapipelines en deploymentprocessen voor machinelearningtoepassingen en bijdragen aan de verdere professionalisering van MLOps binnen het Databricks-platform.
• Toepassen van kaders en standaarden voor datakwaliteit, security, privacy en governance, waaronder het gebruik van Unity Catalog.
• Monitoren en verbeteren van de werking en betrouwbaarheid van datapipelines en bijdragen aan kostenbewust gebruik van het Databricks-platform.
• Actief bijdragen aan architectuurvraagstukken rondom schaalbaarheid, security, data governance en cloudinrichting.
• Samenwerken met data-analisten, datamanagementspecialisten en platform engineers om technische en functionele vraagstukken te vertalen naar toekomstbestendige oplossingen.
• Signaleren van verbeterkansen en actief bijdragen aan innovatie, standaardisatie en kennisdeling binnen het team.

Afdeling en team

Je maakt deel uit van de afdeling Datagedreven Kapitaalmarkten (DAK), waar we data inzetten om het toezicht op de kapitaalmarkten te versterken. Je werkt in een multidisciplinair team met onder andere data-analisten, datamanagementspecialisten en een integrator. Samen ontwikkelen we betrouwbare datasets, analyses en informatieproducten voor toezichtsvraagstukken. Je werkt daarnaast nauw samen met experts op het gebied van toezicht, financiële markten en technologie. Binnen de afdeling is er ruimte om je vakinhoudelijk te ontwikkelen, kennis te delen en nieuwe werkwijzen toe te passen. Zo draag je samen met het team bij aan de verdere ontwikkeling van datagedreven toezicht.

Dit vragen we:

WO-werk- en -denkniveau en minimaal drie jaar relevante werkervaring als Data Engineer of in een vergelijkbare functie binnen een Azure-cloudomgeving.

Data Engineering: Ruime ervaring met Databricks, PySpark en SQL en met het ontwikkelen en beheren van schaalbare processen voor data-ingestie, transformatie en verwerking.

Azure: Ervaring met Azure Data Factory, Azure Storage en andere relevante Azure-diensten voor gegevensverwerking.

DevOps en automatisering: Ervaring met Git, Azure DevOps en CI/CD en inzicht in het gecontroleerd, herhaalbaar en geautomatiseerd testen en deployen van dataoplossingen.

Databricks-ontwikkeling: Ervaring met of kennis van Declarative Automation Bundles en Unity Catalog.

MLOps: Ervaring met het ontwikkelen van datapipelines, herbruikbare componenten of deploymentprocessen voor machinelearningtoepassingen, of de motivatie om je hierin verder te ontwikkelen.

Security en governance: Je kunt kaders voor identity and access management, databeveiliging, privacy en governance toepassen bij het ontwikkelen van dataoplossingen.

Monitoring: Ervaring met het monitoren van datapipelines, analyseren van verstoringen en verbeteren van prestaties en betrouwbaarheid.

Datamodellering: Kennis van relationele en dimensionele datamodellering, waaronder normalisatie en de principes van Inmon en Kimball.

Werkwijze: Je werkt iteratief, neemt eigenaarschap en zoekt actief de samenwerking met collega’s en andere disciplines.

Persoonlijke eigenschappen: Je bent analytisch, initiatiefrijk en gericht op het ontwikkelen van duurzame oplossingen.

Pre:

• Relevante certificeringen op het gebied van Databricks, Azure Data Engineering of DevOps.

• Ervaring met ML Engineering of AI Engineering binnen een enterprise-omgeving.

Wat we bieden:

• Je start met een jaarcontract met uitzicht op een vast dienstverband
• Inschaling in schaal G, met een bruto jaarsalaris tussen €64.000 en €106.000 (36 uur, incl. 13e maand en vakantiegeld), afhankelijk van kennis en ervaring
• 36-urige werkweek, werkdagen in overleg (bijv. 4x9)
• 199,5 vakantie-uren per jaar (bovenop je standaard roostervrije dag)
• Een laptop en een smartphone
• Uitgebreide trainings- en opleidingsmogelijkheden
• Volledige vergoeding van OV-reiskosten (2e klas)
• Thuiswerkvergoeding voor thuiswerkdagen
• Bijdrage aan een sportschoolabonnement
• Aantrekkelijke secundaire arbeidsvoorwaarden zoals een fiets- en deviceregeling en vergoeding voor je thuiswerkplek

Meer informatie?

Voor vragen over de vacature neem je contact op met Lauren Loozeman (recruiter) via [e-mail] of

0622781448.