Stagiaire Assistant IA - Data - Fiabilité Llm H/F - Crédit Mutuel ARKEA

Le Crédit Mutuel Arkéa est un groupe bancaire coopératif, territorial et collaboratif de 10 500 collaborateurs.
Depuis toujours, le Crédit Mutuel Arkéa innove pour répondre aux défis croissants d'un secteur bancaire en pleine mutation. C'est un modèle original aux performances reconnues.
C'est aujourd'hui un groupe puissant et diversifié, avec une trentaine d'entités et une centaine de métiers différents, principalement dans des fonctions commerciales, mais aussi dans l'IT, les risques, la comptabilité, le contrôle/audit, le marketing, le digital ou encore la finance... Toute une palette de métiers, de compétences, de savoir-être pour lesquels le Crédit Mutuel Arkéa accompagne ses collaborateurs pour les faire évoluer et révéler de nouveaux talents

Le Groupe Crédit Mutuel Arkéa s'engage en faveur de l'inclusion, afin de garantir un cadre de travail respectueux de la diversité de chacun. Nous formons et sensibilisons l'ensemble des acteurs de l'entreprise par le biais d'une stratégie inclusion groupe dédiée et nous nous appuyons sur une communauté de salariés engagés, les ambassadeurs inclusion, pour faire vivre et rayonner cette dynamique au sein du groupe.Stage de 6 mois à pourvoir sur Brest à partir du 02/03/2026.

- État de l'art : Effectuer une revue de la littérature sur les techniques d'estimation de l'incertitude (uncertainty quantification) dans les LLM, en se concentrant sur les méthodes basées sur les probabilités.



- Implémentation : Mettre en oeuvre plusieurs approches (supervisées et non supervisées) pour calculer un score de fiabilité à partir des logits ou des probabilités des tokens générés.



- Expérimentation :

- Définir un protocole d'évaluation robuste sur des benchmarks académiques (ex: questions avec réponses correctes/incorrectes connues).
- Comparer les performances des méthodes développées par rapport à des baselines (ex: "LLM-as-a-Judge").



- Analyse : Analyser l'efficacité des différentes méthodes, leur coût computationnel, et leur capacité à détecter différents types d'erreurs (hallucinations, erreurs factuelles).



- Synthèse : Rédiger un rapport technique détaillant les méthodes, les résultats et les recommandations pour une mise en production.

- Étudiant(e) en Master 2 ou dernière année d'École d'Ingénieur en Informatique, Data Science, ou Intelligence Artificielle.
- Solides compétences en Python et dans un framework de Deep Learning (PyTorch ou TensorFlow).
- Bonnes connaissances théoriques en Machine Learning et Deep Learning.
- Qualités : Rigueur scientifique, curiosité, autonomie et esprit critique