Data Ingestion Engineer

Allaboutwork — Netherlands · Posted ~1 hour ago

Mid

Skills

Python Data engineering API integration FTP Data validation Metadata management Databricks APIs

🔓 Log in to save this job, tailor your resume & track your apply process — 7 days free, no card needed.

Log in to add to target list

Summary ✨ AI‑Generated

A data engineering role focused on developing a scalable data ingestion platform. Responsibilities include building Python-based services, integrating data sources, managing validation and metadata processes, and improving data reliability for analytics and AI use cases.

Highlights

Opportunity to build strategic data platforms, improve data quality and standardization, and contribute to scalable solutions supporting analytics and AI initiatives.

Description

Over de functie ns SRQ165957 Je werkt aan een strategisch data-initiative binnen een organisatie die sterk inzet op datagedreven werken. In deze rol bouw je mee aan een grootschalig data-ingestieplatform waarmee datateams sneller en beter waardevolle data-, informatie- en AI-producten kunnen ontwikkelen. Je bent niet alleen bezig met het ontwikkelen van technische oplossingen, maar ook met het verbeteren van kwaliteit, standaardisatie en beheerbaarheid van het platform. Daarbij sla je de brug tussen software engineering en data engineering en lever je een directe bijdrage aan een toekomstbestendig platform. Wat ga je doen Je ontwikkelt met Python de core services van het data-ingestieplatform.Je bouwt generieke componenten voor patronen zoals API en FTP en implementeert data push-principes, bijvoorbeeld via endpoints voor bronnen.Je zorgt voor logica rondom validatie, versioning en metadata-management.Je draagt bij aan een betrouwbare bron- en zilverlaag in Databricks in plaats van enkel ruwe bestanden.Je werkt met RDBMS, zoals Postgres, voor efficiënte opslag van dataconfiguraties.Je gebruikt containers in Azure Container Apps om pipelines te draaien.Je ontwerpt en bouwt API’s.Je werkt samen in een autonoom scrumteam met developers, een UX-designer, een Scrum Master en een Product Owner.Je denkt actief mee over continue verbetering, eigenaarschap en kennisdeling binnen en buiten het team. Over jou Je bent een technisch sterke professional die software engineering en data engineering goed weet te verbinden.Je werkt graag aan schaalbare, onderhoudbare en productiewaardige platformoplossingen.Je bent kritisch en doortastend en komt met verbetervoorstellen die je samen met collega’s realiseert.Je overziet het grotere geheel en lost problemen het liefst structureel op.Je bent een ambitieuze en collegiale teamspeler.Je bent flexibel en vindt het geen probleem om naast thuiswerken ook regelmatig naar Utrecht of elders in het land te reizen. Eisen Je beschikt over minimaal hbo werk- en denkniveau.Je hebt minimaal 3 jaar ervaring in een soortgelijke rol.Je hebt ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.Je hebt werkervaring bij een soortgelijke organisatie als NS met minimaal 5000 plus werkplekken.Je hebt hands-on ervaring met Azure, waaronder Function Apps, Container Apps en ADLS Gen2, en met schaalbare microservice-architecturen.Je hebt ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.Je hebt ervaring met Databricks of Snowflake en je bent bekend met OTF.Je hebt een uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk. Voordelen voor detacheerders (uitzendovereenkomst) om via All About Work te werken Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.All About Work hanteert geen relatie- of concurrentiebeding.Vanaf dag 1 opbouw pensioen via StippKeuze loon uitbetaling per week of per vier weken.CAO van de opdrachtgever is van toepassing. ns SRQ165957 Wat bieden wij vanuit All About Work Je sollicitatie wordt binnen 24 uur verwerkt en je krijgt een snelle terugkoppeling.Je bouwt pensioen op via StiPP.Goede begeleiding vanuit All About Work.