Kafka Architect H/F - Huxley

Je recherche actuellement pour mon client un(e)

Senior Kafka Engineer - Kafka Architect (H/F)Contexte

Mon client est une entreprise leader dans le domaine des transactions électroniques et des solutions de paiement. Dans le cadre d'une initiative de transformation stratégique, il met en place un cluster Apache Kafka haute performance destiné à devenir la colonne vertébrale de notre future architecture orientée événements et de streaming de données.

Leurs plateformes sont hébergées sur une infrastructure cloud privée/interne, où la sécurité, la fiabilité et la performance sont essentielles. Nous recherchons un Expert Kafka / Architecte Kafka pour concevoir, déployer et garantir l'excellence opérationnelle de cette infrastructure Kafka - tout en accompagnant les équipes internes par le partage de connaissances.

Description

Vous serez responsable de la mise en oeuvre et de la gestion de bout en bout d'un cluster Kafka adapté aux besoins d'une plateforme transactionnelle critique à haute disponibilité. Vous jouerez également un rôle clé dans le transfert de connaissances et de bonnes pratiques auprès des équipes internes.

Responsabilités principales

- Architecture & Conception

* Concevoir et mettre en oeuvre un cluster Kafka sécurisé, évolutif et hautement disponible
* Définir les stratégies de dimensionnement, de partitionnement et de réplication appropriées
* Intégrer Kafka dans l'environnement cloud privé et notre écosystème interne

- Déploiement & Opérations

* Déployer des clusters Kafka dans un environnement de production basé sur Red Hat Linux
* Mettre en place une stack complète d'observabilité (métriques, logs, traçabilité - Prometheus, Grafana, etc.)
* Implémenter des mécanismes d'alerte, de vérification de l'état de santé et de reprise après sinistre

- Performance & Stabilité

* Optimiser les composants Kafka pour un débit élevé et une faible latence
* Gérer et ajuster les producteurs/consommateurs, brokers et zookeeper/KRaft
* Diagnostiquer et résoudre de manière proactive les goulets d'étranglement ou les problèmes opérationnels

- Sécurité & Conformité

* Configurer l'authentification (SSL/SASL), l'autorisation (ACLs) et le chiffrement
* Veiller à ce que les données et l'infrastructure soient conformes aux réglementations internes et sectorielles

- Partage de connaissances

* Former et accompagner les équipes internes DEVOPS et applicatives
* Fournir de la documentation, des guides opérationnels et les meilleures pratiques Kafka

Profil recherché

Compétences requises

* Expertise approfondie d'Apache Kafka (plus de 3 ans d'expérience pratique)
* Expérience poussée dans :

* Les composants internes de Kafka (brokers, partitions, zookeeper/KRaft)
* Kafka Connect, Kafka Streams, ksqlDB
* La surveillance des performances Kafka (Prometheus, Grafana, Confluent Control Center, etc.)

* Expérience dans l'exploitation de clusters Kafka en environnement de production, avec des contraintes de haute disponibilité et de débit élevé
* Bonne connaissance des systèmes distribués et de l'architecture orientée événements
* Maîtrise du scripting ou de la programmation (Python, Bash, Java, etc.)
* À l'aise dans un environnement Linux (basé sur Red Hat)

Compétences appréciées

* Expérience avec l'écosystème client :

* Red Hat Linux
* Puppet, Ansible (industrialisation, automatisation)
* GitLab (pipelines CI/CD)
* PostgreSQL (bases de données)

* Familiarité avec Kafka dans des environnements cloud privés ou Kubernetes
* Expérience dans le secteur des paiements ou avec des systèmes critiques et réglementés
* Connaissance de la plateforme Confluent ou d'autres solutions Kafka d'entreprise

Compétences comportementales

* Autonomie et proactivité dans la gestion de solutions de bout en bout
* Excellentes compétences en communication et en documentation (Confluence, Jira, etc.)
* Capacité à former, guider et collaborer avec des équipes pluridisciplinaires
* Maîtrise de l'anglais (écrit et oral) ; capacité à évoluer dans un environnement international