Consultant Data Engineer Senior - Expert H/F - Collective Works
Les missions du poste
Contexte
Dans le cadre du renforcement de l'équipe Marketing Data au sein du pôle Data Fabric, nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data.
La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.
Description de la mission
Le consultant interviendra notamment sur les activités suivantes :
Concevoir, développer et optimiser des pipelines de données
Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt
Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion
Orchestrer les traitements avec Airflow
Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform
Mettre en oeuvre les contrôles de Data Quality, tests et mécanismes d'observabilité
Participer au RUN, à l'analyse des incidents et au traitement des causes racines
Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog
Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables
Livrables
Les livrables de la prestation pourront comprendre :
Pipelines Data développés, testés et industrialisés
Transformations Spark et modèles dbt
Workflows Airflow
Infrastructure Terraform nécessaire aux traitements
Tests automatisés et contrôles de Data Quality
Monitoring et alerting associés aux traitements
Documentation technique et fonctionnelle
Documentation des modèles et règles métier
Contribution aux Data Contracts, lineage et métadonnées
Analyse et résolution des incidents
Plans de remédiation pour les incidents ou problèmes récurrents
Contribution aux standards et bonnes pratiques Data Engineering de l'équipe
Le profil recherché
Profil recherché
Indispensable
8 années minimum d'expérience en Data Engineering
Maîtrise avancée des architectures Big Data et Lakehouse
Expertise réelle sur Spark, dbt, Iceberg et les services AWS
Maîtrise des services AWS (Glue, EMR, S3...)
Connaissance de Trino/Starburst et Datadog
Forte capacité d'analyse et de compréhension des enjeux métiers
Rigueur, autonomie et culture de l'amélioration continue
Souhaité
Connaissance des enjeux métiers Marketing
Compétences clés obligatoires
Big Data
AWS
Python
Outils de modélisation data
SQL
