DontApply.Club
Login Register

Expert Data Architect – Databricks

Sqli — Netherlands · Posted ~1 hour ago

Senior

Skills

Data architecture Databricks Azure Databricks Azure Data Lake Data engineering Data pipelines Data transformation Performance optimization Automated testing Scalable architecture

🔓 Log in to save this job, tailor your resume & track your apply process — 7 days free, no card needed.

Log in to add to target list

Summary ✨ AI‑Generated

Lead the architecture and evolution of modern data pipelines on a cloud-based analytics platform. You will design scalable data architectures, optimize processing performance, improve reliability, and establish automated testing for growing data workloads.

Highlights

Take a key role in designing and optimizing scalable data platforms, with strong ownership of architecture, performance, reliability, and data engineering practices.

Description

Description du posteAu sein de la Direction des Technologies, le pôle BI/Data pilote et réalise les projets de Business Intelligence et de Data Engineering, en garantissant la qualité, la performance et la scalabilité des solutions. Vous serez un acteur clé dans la conception, l’optimisation et la supervision de nos pipelines de données. Vous apporterez votre expertise Databricks pour améliorer l’architecture, la performance et la fiabilité de nos flux de données destinés aux clients internes. Missions principales : En tant que référent Databricks, vous serez amené(e) à intervenir sur les principaux sujets de conception, d’optimisation et d’évolution de la plateforme data : Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake. Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données. Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données. Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps. Appliquer les meilleures pratiques de Data Engineering et de software engineering à toutes les étapes du développement. Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes adaptées aux besoins. Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents. Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks. Environnement technique principal : Langages : SQL, PySpark, Python, Scala.Outils & BI : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk.Cloud & Data : Azure Databricks, Azure Data Factory, ADLS Gen2.CI/CD & DevOps : Git, Azure DevOps.