Data Engineer - Migration Nifi H/F - DGTL Performance

Un grand groupe du secteur de la distribution vous fait confiance pour piloter un projet stratégique majeur : la migration de plus de 450 flux de données Apache NiFi vers une infrastructure Kubernetes en mode CaaS (Cloud as a Service). Vous intégrerez une équipe pluridisciplinaire en environnement Agile, en étroite collaboration avec les Tech Leads et les équipes DevOps, pour garantir la continuité de service et l'optimisation des coûts d'infrastructure. Vous participerez à un projet d'envergure combinant ingénierie des données, architecture cloud et transformation digitale. Le contexte : moderniser une plateforme existante complexe tout en préservant la fiabilité des flux critiques. Vous travaillerez selon une méthodologie de sprint agile, avec des jalons clairs et une validation continue. Responsabilités : - Réaliser le rétro-engineering détaillé des flux NiFi existants pour valider leur pertinence et leur capacité à migrer, en documentant les dépendances, les transformations métier et les points critiques - Adapter les configurations NiFi en fonction des contraintes du nouvel environnement Kubernetes et des standards d'exploitation définis - Coordonner avec les équipes DevOps et FinOps pour valider l'usage optimal du socle cloud, optimiser les ressources et maitriser les coûts (CPU, mémoire, stockage) - Préparer la stratégie de migration par allotissement : préparation de l'infrastructure, séquençage des flux, création de playbooks opérationnels - Effectuer les validations pré-migration (tests unitaires, performance, continuité) et post-migration (conformité, traçabilité, non-régression) - Assurer le suivi des standards de qualité, sécurité et traçabilité des données tout au long du projet, en collaboration avec le Tech Lead - Documenter les solutions techniques, les procédures et les apprentissages pour favoriser le transfert de compétences Profil : Indispensables : - Expérience confirmée (minimum 4 ans) sur Apache NiFi : conception, administration, gestion des flux complexes et dépannage - Maîtrise avérée des formats de données structurées (JSON, XML, CSV) et des transformations associées - Gestion de code avec GitLab ou GitHub (versioning, workflows, collaboration) - Solides connaissances SQL et capacité à analyser, optimiser et transformer des requêtes sur bases relationnelles - Expérience pratique avec au moins un moteur ou entrepôt de données cloud (BigQuery, BigTable, ou équivalent) - Capacité à communiquer clairement en français à l'écrit et l'oral avec les équipes métier et techniques - Autonomie et rigueur : respecter les délais tout en maintenant des standards de qualité élevés - Esprit collaboratif et aptitude au travail en équipe agile, avec partage de connaissances Fortement appréciés : - Expérience en migration de flux Informatica vers NiFi ou équivalent - Maîtrise de Groovy pour scripts d'automatisation et traitements complexes - Familiarité avec orchestration et déploiement Kubernetes (manifests, CaaS, monitoring) - Expérience opérationnelle sur Oracle, SQL Server ou PostgreSQL - Connaissance des bonnes pratiques FinOps et optimisation de coûts cloud - Expérience avec des projets de transformation d'infrastructure ou modernisation de plateformes - Sensibilité aux enjeux de sécurité, conformité et traçabilité des données en environnement d'entreprise - Capacité à documenter des solutions techniques de manière claire et exhaustive