DontApply.Club
Login Register

Data Engineer

Sqli — Netherlands · Posted ~1 hour ago

Skills

PySpark Azure Data Factory SQL data pipelines Azure data integration Microsoft Fabric Data Lakes APIs

🔓 Log in to save this job, tailor your resume & track your apply process — 7 days free, no card needed.

Log in to add to target list

Summary ✨ AI‑Generated

Join a data engineering team focused on designing and optimizing large-scale cloud data pipelines. You will build processing workflows with PySpark and cloud data integration services, connect diverse data sources, improve performance, and collaborate with analytics and data science stakeholders.

Highlights

Work on strategic data initiatives involving large-scale processing and cloud-based data solutions. The role combines modern data engineering, performance optimization, and collaboration with analysts and data scientists.

Description

Description du posteEn tant qu’Ingénieur Data, vous rejoindrez notre équipe data afin de participer à des projets stratégiques d’analyse de données et de mise en place de solutions de traitement de données à grande échelle. Vous serez responsable de la conception, de l’optimisation et du développement de pipelines de données sur des plateformes cloud, avec un focus sur l’utilisation de PySpark et Azure Data Factory. Vos principales missions seront : Concevoir, développer et maintenir des pipelines de données à grande échelle utilisant PySpark.Mettre en place des flux de données avec Azure Data Factory, en intégrant des sources et destinations de données variées (SQL, Data Lakes, APIs, etc.).Assurer l'intégration de données provenant de systèmes variés dans un environnement cloud (Azure).Optimiser les performances des traitements de données (SQL, PySpark, etc.).Collaborer avec les équipes métier, data analysts et data scientists pour comprendre les besoins et proposer des solutions efficaces et scalables.Participer à la définition de l’architecture des données et de la stratégie de gouvernance.Mettre en place et assurer le monitoring des jobs de traitement de données (gestion des erreurs, gestion des performances).Documenter les solutions mises en place et suivre les bonnes pratiques de développement.Participer à l'amélioration continue des processus et outils existants.