Architecte Tech Lead Data Platforme Databricks H/F - collectivite

Information importante

Type de contrat:

CDI

Salaire :

Salaire selon profil

Localisation :

Lyon, France

Date de démarrage :

Urgent

Mode de travail :

Hybride

Publié le :

18 mai 2026

Le besoin

Contexte: FREELANCE ET CDI

Secteur du nucléaire.
Équipe de 5 à 6 personnes, projet sur du long terme.
Data plateforme en place, maintien et amélioration de la plateforme, intégration de l'IA, sécurité du client à prendre en compte.
Full time (possible démarrage à 3/5ème dans un premier temps).
Démarrage : ASAP.
Présentiel souhaité : 2 à 3 jours sur site à Lyon.

Missions

- Optimisation et mise en place de l'architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité.
- Organisation et structuration des ressources pour l'industrialisation de nouveaux use cases et la livraison en production.
- Montée en compétence de l'équipe Data (mentorat, standards d'architecture, bonnes pratiques CI/CD).
- Implémentation d'une architecture Data Mesh orientée domaines.
- Mise en place des droits d'accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog.
- Gestion centralisée du catalogue de données, data lineage et sécurité.
- Refonte et optimisation de l'architecture Data Platform pour améliorer performance, coûts et maintenabilité.
- Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching).
- Création et orchestration de workflows sur Azure Databricks.
- Développement de notebooks d'intégration et de transformation des données (PySpark / SQL).
- Développement de pipelines Azure Data Factory.
- Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD).
- Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l'adoption métier.
- Utilisation des Shortcuts vers OneLake afin d'éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI.
- Implémentation d'AI Data Agents pour démocratiser l'accès aux données.
- Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d'interagir en langage naturel avec les données.
- Intégration des Data Agents dans Microsoft Teams afin d'améliorer la collaboration et la génération assistée d'insights.

Outils & Environnement

- Azure Databricks
- Databricks Unity Catalog
- Azure Data Factory
- Azure DevOps
- Azure Key Vault
- Azure Data Lake Storage (ADLS Gen2)
- Azure Cosmos DB
- Microsoft Power BI
- OneLake
- PySpark
- Spark SQL
- Delta Lake
- CI/CD
- Data Mesh
- Lakehouse Architecture

Conditions de travail

- Remplacement à faire.
- Architecte, 2/3 jours par semaine, idéalement à Lyon.
- Répartition du temps : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use case métier.
- Anglais requis.

Profil recherché
- 2/5 d'expérience en architecture
- 2/5 d'expérience en lead tech Databricks
- 1/5 d'expérience sur les use cases métier
- Maîtrise de Azure Databricks, Databricks Unity Catalog, Azure Data Factory, Azure DevOps, Azure Key Vault, Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB, Microsoft Power BI, OneLake
- Compétences en PySpark, Spark SQL, Delta Lake, CI/CD, Data Mesh et Lakehouse Architecture
- Capacité à optimiser les performances de traitement (Spark tuning, optimisation Delta, partitioning, caching)
- Expérience en développement de notebooks d'intégration et de transformation des données
- Compétences en orchestration de workflows et pipelines Azure Data Factory
- Expérience en mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD)
- Anglais requis