Senior Azure Databricks Platform Engineer

TiTANS Consulting; Oost-Vlaanderen; Sur place; EUR 95 000 - 130 000; Plein temps

Résumé du poste

TiTANS Consulting zoekt een Senior Azure Databricks Engineer / Azure Databricks Platform Architect voor het ontwerpen en uitrollen van een veilige, schaalbare Azure Databricks-omgeving ten behoeve van data scientists.

Je werkt in een Agile omgeving en verzorgt de implementatie via Terraform, integratie met Azure Data Lake Storage Gen2 en CI/CD-pijplades. Vereist zijn 5+ jaren ervaring als Data Engineer, uitstekende Java/Python/Scala-vaardigheden en CEFR-C2 Nederlands.

Qualifications

• Aantoonbare ervaring met opzetten en configureren van Azure Databricks Workspaces.
• Aantoonbaar inzicht in AI/ML en data science platformvereisten.
• Aantoonbare ervaring met uitrollen van Azure Databricks-platformen via Terraform (IaC).
• Kennis van overheid/overheidsstandaarden binnen de organisatie.
• Aantoonbare ervaring als Data Engineer senior (5 jaar).
• Aantoonbare ervaring met programmeertalen zoals Python, Java of Scala voor data streams en ETL.
• In het bezit van een Databricks-certificaat.
• Taalvereiste: Nederlands CEFR-C2.
• Aantoonbare ervaring met ETL-processen.
• Aantoonbare ervaring met databanken.
• Aantoonbare kennis van CI/CD voor Databricks en Terraform via GitHub of Azure DevOps.
• Aantoonbare kennis van Azure Data Lake Storage Gen2.

Responsabilités

• Ontwerpen en uitrollen van een operationele Azure Databricks-omgeving.
• Uitrollen van Databricks-workspaces, policies en workloads via IaC (Terraform).
• Documenteren architectuur, runbooks en deployment-processen.
• Integratie met Azure Data Lake Storage Gen2 en overige Azure-resources.
• Ondersteunen van AI/ML-workloads en leveren technische documentatie.

Connaissances

Azure Databricks

AI/ML platform requirements

Python/Java/Scala

CI/CD (GitHub/Azure DevOps)

Terraform IaC

Data Engineer (5+ jaar)

ETL design

Databricks certificaat

Dutch CEFR C2

Outils

Terraform

GitHub

Azure DevOps

Azure Databricks

Azure Data Lake Storage Gen2

Description du poste

Voor het opleveren van een veilige, schaalbare en beheersbare Databricks omgeving waarin VMM-data scientists kunnen samenwerken aan code, modellen kunnen ontwikkelen en draaien, data kunnen genereren, beheren en opslaan, en AI-functionaliteiten verantwoord kunnen toepassen is de organisatie op zoek naar een profiel Senior Azure Databricks Engineer / Azure Databricks Platform Architect.

De Azure Databricks Engineer staat in voor het ontwerp, de technische uitrol en de initiële inrichting van een nieuwe Azure Databricks omgeving binnen een door het Cloud Infra Team klaargezette Azure-subscriptie. Hij/zij vertaalt de platformnoden van de data scientists naar een robuuste Azure- en Databricks-inrichting en zorgt ervoor dat deze omgeving reproduceerbaar wordt uitgerold via Terraform.

Het profiel combineert diepgaande Azure-kennis met praktische Databricks-ervaring, sterke Infrastructure as Code-competenties en voldoende kennis van AI/ML-platformvereisten om data scientists professioneel te ondersteunen.

Verwachte deliverables:

• Een operationele Azure Databricks omgeving binnen de voorziene Azure-subscriptie.
• Terraform-code en bijhorende documentatie voor reproduceerbare platformuitrol.
• Ingerichte Databricks Workspaces, compute policies, repositories, jobs/workflows en toegangsmodellen.
• Integratie met Azure Data Lake Storage Gen2 en relevante Azure-resources.
• Basisvoorzieningen voor AI/ML-workloads
• Logging, monitoring, auditbaarheid en kostenbeheersingsmaatregelen.
• Technische documentatie, architectuurbeschrijving, runbook en kennisoverdracht aan de organisatie.

Algemeen:

• Er wordt gewerkt binnen een Agile omgeving.
• De prestaties zijn deels te leveren in de lokalen van de organisatie te Aalst tussen 8u30 en 17u (in overleg te bekijken).
• De organisatie voorziet de nodige licenties, software en netwerktoegangen voor het uitvoeren van de opdracht. De organisatie voorziet niet in een office-licentie. De software van Office 365 kan door de organisatie ter beschikking gesteld worden, maar dan zonder licentie. De inschrijver dient zijn eigen bedrijfslicentie te gebruiken. Als alternatief kan LibreOffice ter beschikking gesteld worden.

Je werkt als Azure Databricks Engineer voor de dienst Digitale Oplossingen van de organisatie. De organisatie is een agentschap van de Vlaamse overheid, beleidsdomein Omgeving.

De organisatie is jouw oplossingsgerichte partner voor een klimaatbestendige leefomgeving. Het is de opdracht van de organisatie om voor de huidige en toekomstige generaties in Vlaanderen:

• proper, aantrekkelijk en voldoende water te waarborgen,
• gezonde lucht te bewerkstelligen,
• de klimaatadaptatie mee te sturen.

De organisatie telt ongeveer 750 werknemers en zit verspreid over diverse locaties in Vlaanderen.

Vaardigheden

• Aantoonbare ervaring met het opzetten en configureren van Azure Databricks Workspaces
• Aantoonbaar inzicht in AI/ML en data science platformvereisten
• Aantoonbare ervaring met het uitrollen van Azure Databricks-platformen via Terraform (Infrastructure as Code)
• Kennis van organisatie en ervaring in opdrachten van de overheid of specifiek de organisatie en met de technische standaarden binnen de organisatie
• Aantoonbare ervaring als Data Engineer senior (5 jaar)
• Aantoonbare ervaring met programmeertalen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen
• In het bezit van een Databricks certificaat
• Taalvereiste: Nederlandstalig op Europees CEFR - niveau C2.
• Aantoonbare ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen
• Aantoonbare ervaring met databanken
• Aantoonbare ervaring met CI/CD voor Databricks en Terraform via GitHub of Azure DevOps
• Aantoonbare kennis van Azure Data Lake Storage Gen2