Ingénieur·e Llm - MLOps H/F - Ministère de la justice - liberté, égalité, fraternité

Vos activités principales

Vous participerez, dès votre arrivée, à la mise en production de modèles LLM internes dans un contexte sensible et souverain. Vous contribuerez à définir l'architecture technique d'une plateforme IA nationale et à faire évoluer nos outils vers une approche DEVOPS/MLOPS structurée, réutilisable par l'ensemble des directions métiers.

·Mettre en place et maintenir des orchestrateurs de workflows IA (Airflow, n8n), ainsi que des serveurs d'inférence performants (vLLM, Ray Serve)

·Industrialiser des chaînes de traitement basées sur des architectures RAG, avec intégration de bases vectorielles (OpenSearch, Qdrant...) et de modèles LLM open source ou entraînés en interne

·Monitoring et maintenance des modèles : Surveiller les performances et la dérive des modèles en production, gestion des erreurs LLM, optimisation de temps de réponse de modèles

·Garantir la reproductibilité des expériences via le versioning des modèles et des jeux de données (DVC, MLflow)

·Contribuer, avec les équipes techniques, à la mise en place et l'optimisation de l'infrastructure IA souveraine hébergée sur un Cloud sécurisé supportant les modèles de langages : : load-balancing, auto-scaling

·Assurer la résilience et la continuité des services Ops en collaboration étroite avec le DEVOPS en suivant ces sujets pour garantir la stabilité, la performance et la sécurité des infrastructures supportant les modèles IA

Votre hiérarchie

La Direction de programme est composée d'un.e directeur.ice (N+2), et d'un adjoint.e (N+1).

Vos interlocuteurs métiers

Agents et prestataires des directions métier du Ministère de la Justice (DSJ, DAP, DACS, DACG, DPJJ, SG) et avec la direction du numérique

Vos principales compétences à mettre en oeuvre

·Architecture logicielle avec expérience spécifique dans le déploiement de LLMs à grande échelle

·Expertise en optimisation des performances d'inférence de LLMs (quantization, distillation, etc.)

·Maîtrise des workflows RAG et des frameworks LLMOps (LangChain, LlamaIndex, Haystack)

·Expérience avec les serveurs d'inférence (TGI, vLLM, Triton) pour optimiser les temps de réponse

·Connaissance approfondie des techniques de traçabilité et d'auditabilité des modèles (logs, métadonnées, versioning complet)
Afficher la suite
·Sensibilité DevSecOps : chiffrement, authentification, cloisonnement des accès aux données sensibles

Connaissances

Connaissance des outils de CI/CD (Jenkins, GitLab CI, CircleCI).
Connaissance des conteneurs et des orchestrateurs (Docker, Kubernetes)
Frameworks Big Data (Cloudera, Kafka, Hive...)
Stack LLMOps : LCEL, LangChain
Maîtrise des librairies Pandas, Pytorch, Tensorflow etc.
Bases vectorielles (OpenSearch, Weaviate, Pinecone)

Savoir-faire

Automatisation des processus de déploiement et de gestion des infrastructures
Outils de monitoring et de traçabilité de modèles : MLflow, Prometheus, Grafana
Règles de sécurité informatique
Veille technique
Orchestration de workflows IA : Airflow, n8n

Serveurs d'inférence : vLLM, Triton
Gestion des environnements sensibles et sécurité des modèles

Savoir-être
Travailler en méthode agile
Sensibilité pour l'approche produit et l'utilisateur au centre

Expériences professionnelles antérieures souhaitées

Diplômé(e) d'une école d'ingénieurs ou d'un master en informatique, avec une spécialisation en Ops, Machine Learing, IA, cloud computing ou un domaine similaire. Expérience professionnelle significative dans un rôle d'ingénieur.e MLOPS, de préférence dans un environnement gouvernemental ou réglementé. Une expérience dans le déploiement à l'échelle de modèles LLM (internes ou open source) dans un cadre contraint ou réglementé est un atout majeur. Une appétence pour la construction de plateformes mutualisées ou de briques IA génériques utilisées dans différents produits métiers sera valorisée.