Expert Kafka - Confluent - Socle d'Échange de Données H/F - Cherrypick
Les missions du poste
Le besoin
Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d'entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l'intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l'équipe projet pour concevoir, construire et industrialiser ce socle.
La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s'il est très autonome et peut se déplacer régulièrement sur site.
Missions
Concevoir l'architecture Kafka / Confluent et la faire évoluer d'un socle pilote vers une plateforme cible capacitive et multi-cas d'usage
Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi)
Mettre en oeuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l'initialisation des données et l'évolution des schémas
Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka
Sécuriser les échanges et intégrer la gestion des habilitations à l'écosystème SI existant
Tuner et optimiser les performances de la plateforme
Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD
Mettre en place l'exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d'arrêt et de relance, traitement des incidents, demandes et changements
Rédiger les dossiers d'architecture, d'administration et d'exploitation, ainsi que les normes et bonnes pratiques
Former les équipes et assurer le transfert de compétences
Le profil recherché
Profil recherché
Must-have
5 ans minimum d'expérience sur Kafka, avec un vécu d'administration de socles en production : incidents complexes, tuning, performance
Expertise Confluent Platform : brokers et KRaft, Schema Registry, Kafka Connect et ses connecteurs (JDBC, Debezium, HDFS)
Expérience de conception d'architecture Kafka, pas seulement d'exploitation
Linux RedHat, Kubernetes et Ansible au niveau expert
Scripting Shell et Python, maîtrise du JSON
Apprécié
Strimzi
Connecteurs propriétaires (Datastage)
Écosystème data : PostgreSQL, Hadoop Cloudera, Teradata, CDC
Soft skills
Posture de référent capable de former
Rigueur rédactionnelle
Autonomie complète
