Senior Data Engineer Azure DatabricksKafka H/F - Collective Works
Les missions du poste
Nous recherchons un Data Engineer Senior disposant de plus de 8 ans d'expérience en ingénierie des données (Data Engineering).
Le candidat doit impérativement posséder une expérience opérationnelle sur Azure Databricks et Kafka, ainsi qu'une certification Databricks Certified Data Engineer Professional en cours de validité.
La mission est d'une durée de 6 mois, en télétravail (100 % remote), au sein d'un grand groupe international. Le consultant intégrera l'équipe Data Produit du client dès le lancement d'une nouvelle stratégie Data.
Il aura pour mission de développer des pipelines de données dédiés au reporting et à l'analyse, ainsi que de migrer les traitements de données de l'équipe vers la plateforme Data centrale du Groupe, reposant sur une architecture Lakehouse Azure et Databricks.
Nous recherchons un profil capable d'être opérationnel dès la première semaine, de prendre en charge les sujets de bout en bout et de construire des solutions à partir de zéro, sans disposer nécessairement d'un backlog préalablement défini.
Principales responsabilités :
1. Conception et développement de pipelines Data
Concevoir, développer, tester et déployer des pipelines de données prêts pour la production, répondant aux besoins prioritaires en matière de reporting et d'analyse.
Évaluer, refactoriser et stabiliser les pipelines de reporting existants afin d'améliorer leur fiabilité, leurs performances, leur maintenabilité et leur observabilité.
2. Exploitation et fiabilisation des pipelines
Assurer la gestion opérationnelle quotidienne des pipelines existants et nouvellement développés afin de garantir une livraison fiable et régulière des données.
Appliquer les bonnes pratiques SRE (Site Reliability Engineering).
Diagnostiquer les incidents, identifier leurs causes racines et mettre en oeuvre des corrections pérennes.
3. Migration et intégration à la plateforme Data centrale
Migrer et intégrer les traitements de données vers la plateforme Data centrale du Groupe, conformément aux standards d'architecture, de gouvernance, de sécurité et d'ingénierie.
Respecter les standards de la plateforme en matière de modélisation des données, de qualité du code, de tests automatisés, de CI/CD, de documentation et de supervision.
4. Collaboration avec les équipes métiers et techniques
Collaborer avec les Data Analysts, Data Architects, Product Managers et Engineering Managers afin de traduire les besoins de reporting en solutions techniques robustes et adaptées.
Participer à la définition des solutions techniques en cohérence avec les besoins métiers et les contraintes de la plateforme.
5. Documentation et transfert de compétences
Documenter les flux de données, les dépendances, les règles de transformation et les procédures d'exploitation afin de garantir une transition et un transfert de connaissances efficaces.
Partager les bonnes pratiques d'ingénierie avec l'équipe Data interne et contribuer à sa montée en compétences et à son autonomie.
Prérequis obligatoires :
Expérience : minimum 8 ans en Data Engineering.
Azure Databricks : expérience pratique et opérationnelle indispensable.
Apache Kafka : expérience pratique et opérationnelle indispensable.
Certification : Databricks Certified Data Engineer Professional en cours de validité.
Autonomie : capacité à prendre en charge des projets de bout en bout.
Opérationnalité immédiate : capacité à être productif dès la première semaine.
Environnement technique : maîtrise des architectures Data Lakehouse sur Azure et Databricks
Démarrage : Dès que possible (novembre 2026). Les candidats ayant un préavis supérieur à 30 jours ne seront pas retenus.
Durée : 6 mois.
Temps de travail : Temps plein (100 %).
Localisation : Télétravail ou mode hybride, avec des horaires de travail alignés sur le fuseau horaire CET (heure d'Europe centrale).
Présence ponctuelle sur site à Paris lorsque nécessaire.
Langue : Anglais courant, niveau C1 minimum.
Le profil recherché
Senior Data Engineer (Azure Databricks,Kafka)
