Data Architect H/F

Le client est à un tournant crucial où l'exploitation des données doit devenir un levier central de transformation et de compétitivité. Cependant, plusieurs défis structurels doivent être adressés pour réussir cette transition vers une organisation véritablement axée sur les données (insuffisance du Data Management existant, dépendances fortes à des systèmes legacy qui ont vocation à être décommissionnés à court et moyen termes, limites structurelles des outils et solutions actuels).
Le projet :
1- doit permettre de valider la capacité de mise en oeuvre d'un projet de data science depuis sa phase exploratoire jusqu'à sa phase d'industrialisation,
2- se concentre sur la phase d'exploration des données liées au reporting réglementaire, avec un périmètre limité aux données critiques, provenant de diverses sources. L'objectif est de garantir un accès optimisé et une gouvernance renforcée pour les Data Quality Analysts (DQA).

RESPONSABILITES
- Conception et implémentation des pipelines de données :
- Conception et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI).
- Optimisation les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus.
- Suivi avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence.
- Industrialisation et automatisation des flux de données et des traitements :
- Mettre en place des processus d'industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production.
- Automatisation de la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies.
- Collaboration étroitement avec les data scientists et MLOps pour assurer une transition des projets de l'exploration à la production, en intégrant les modèles dans des pipelines automatisés.
- Gestion des données et optimisation des performances :
- Optimisation des performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d'architecture de stockage (raw, refined, trusted layers).
- Suivi de la surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l'intégrité des jeux de données.
- Sécurité et gouvernance des données :
- Mettre en oeuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes.
- Travaille en collaboration avec le Data Office pour assurer l'alignement avec les politiques et processus définis.
- Maintien de la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées.

COMPETENCES
- Expérience confirmée en ingénierie des données : Solide expérience dans la conception, la mise en oeuvre et l'optimisation de pipelines de données.
- Maîtrise des technologies de traitement de données : Expertise dans l'utilisation d'outils et technologies tels que ELT, Spark, SQL, Python, Dataiku, et la gestion de data warehouses et data hubs.
- Compétence en sécurité et gouvernance des données : Connaissance des enjeux de sécurité, de conformité réglementaire (GDPR), et de gouvernance des données, avec une capacité à implémenter des solutions adéquates.
- Compétences en automatisation et industrialisation : Capacité à automatiser et industrialiser les flux de données et les traitements afférents, en assurant la transition fluide des projets data science vers la production.
- Maîtrise de l'anglais : La maîtrise de l'anglais est indispensable pour interagir avec des parties prenantes