Data Engineer - Data Ops H/F - Groupement interministériel de contrôle (GIC)

La sous-direction technique du GIC fournit les systèmes d'information métier nécessaires à l'accomplissement des missions du GIC. Au sein de cette sous-direction, vous rejoindrez une équipe polyvalente au centre de la conception et du développement des systèmes techniques du GIC. Intégré au sein d'une équipe de programme résolument tournée vers les technologies de pointe du traitement Big Data et en pleine expansion, vous serez ainsi chargé de réaliser les piles applicatives orchestrant la validation des demandes interministérielles ou encore la mise en oeuvre des techniques de renseignement.Mission et activités:

C'est au sein d'un SI en forte mutation technologique que vous participerez aux activités de développement, de déploiement, d'optimisation et d'exploitation des clusters de traitement. Dans un contexte opérationnel fort, proche des agents des services de renseignement, vous apporterez votre touche d'innovation pour accroitre l'efficience et la productivité des mises en production et des plateformes du GIC.

Vos missions consisteront notamment à:

· Implémenter, optimiser et maintenir des algorithmes de traitement de données,

· Participer à l'évolution de l'architecture, en intégrant de nouveaux composants (frameworks, bibliothèques, ...) permettant de mieux répondre aux besoins,

· Assurer le déploiement et le maintien des plateformes Big Data,

· Assurer le recueil d'indicateurs de bonne santé ainsi que la mise en place de métriques,

· Interagir avec l'équipe DevOps pour améliorer la fiabilité des architectures et l'automatisation des déploiements,

· Assurer une veille technologique constante pour rester au plus haut niveau et garantir une adéquation des clusters existants avec l'état de l'art du domaine.

Vous pourrez également être amené à participer aux travaux de définition des conventions de l'organisme comme le design des architectures, la création de processus qualité, l'élaboration des bonnes pratiques, l'organisation du cycle de vie logiciel ou l'amélioration des méthodes agiles.

Formation et expérience:

Diplômé d'un master ou d'une école d'ingénieur avec une spécialisation en informatique.

Expérience ou appétence marquée développement, architectures et le traitement Big Data. Expérience en lien avec les philosophies DataOps et/ou DevOps.

Savoir-faire:

Le poste requiert des connaissances générales avancées, en analyse et traitement de la donnée, en management des outils de la big data, et de son écosystème ainsi que l'architecture des environnements.

En pratique, vous serez amené à assurer le déploiement et le maintien des plateformes Big Data du GIC en s'appuyant très fortement sur l'automatisation. Vous devrez garantir la vision globale du périmètre couvert par les plateformes dont vous aurez la charge. Il vous faudra assurer le recueil d'indicateurs de bonne santé ainsi que de métriques ainsi que rendre possible des mesures de performances des dites plateformes.

Cela nécessite de maitriser, a minima, l'écosystème de développement nécessaire pour effectuer ces tâches (python, pandas, jupyter, ...) et de faire preuve d'esprit critique, de recul et de pragmatisme, quant aux solutions que vous proposerez.

Enfin, le déploiement des modèles ainsi imaginés au sein d'un écosystème Big Data représente un défi pour lequel il est également attendu que vous développiez des compétences (kafka, spark, hadoop, ...) afin d'aider et d'accompagner quotidiennement les équipes à mettre en place et maintenir les solutions existantes. Cela nécessitera également de respecter des pratiques de développement et organisationnelles partagées (git, code review, méthode agile, ...).

Une connaissance de la culture DevOps et des outils associé sera apprécié.

Aptitudes recherchées:

· Esprit rigoureux et passionné capable d'investiguer, ou d'imaginer si besoin, des pistes d'analyse viables

· Capacité d'analyse

· Esprit d'équipe

· Sens du contact et de la communication

· Discrétion dans le traitement de sujets sensibles

Environnement technique:

- Environnement principalement Open source

- Langages : Python, PySpark (optionnel: Scala)

- Big data : Hadoop, Spark, ElasticSearch

- Bases de données et stockage : Maitrise du SQL, NoSQL

- Architecture: Kafka, conteneurs, CI/CD

- Gestion des configurations : Ansible, Puppet, Chef

- Script : Python, Bash

- Intégration continue: Git