Expert Data Architect – Databricks

Au sein de la Direction des Technologies, le pôle BI/Data pilote et réalise les projets de Business Intelligence et de Data Engineering, en garantissant la qualité, la performance et la scalabilité des solutions.

Vous serez un acteur clé dans la conception, l’optimisation et la supervision de nos pipelines de données. Vous apporterez votre expertise Databricks pour améliorer l’architecture, la performance et la fiabilité de nos flux de données destinés aux clients internes.

Missions principales :

En tant que référent Databricks, vous serez amené(e) à intervenir sur les principaux sujets de conception, d’optimisation et d’évolution de la plateforme data :

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.

• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.

• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données.

• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.

• Appliquer les meilleures pratiques de Data Engineering et de software engineering à toutes les étapes du développement.

• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes adaptées aux besoins.

• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.

• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Environnement technique principal :

• Langages : SQL, PySpark, Python, Scala.
• Outils & BI : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk.
• Cloud & Data : Azure Databricks, Azure Data Factory, ADLS Gen2.
• CI/CD & DevOps : Git, Azure DevOps.