Data Scientist - Évaluation & Sécurisation des Llms Secteur Financier H/F - collectivite

Information importanteType de contrat: FreelanceTaux journalier : 650Localisation : Paris, FranceDate de démarrage :2 à 4 semainesMode de travail : HybridePublié le : 10 juillet 2026Le besoinType de mission : Freelance Secteur : Banque / Services financiers Localisation : Montreuil - 50% télétravail Démarrage : Dès que possible Durée : 3 ansContexte de la missionDans le cadre du déploiement de l'Intelligence Artificielle générative au sein d'un grand groupe bancaire, nous recherchons un Data Scientist spécialisé dans l'évaluation des modèles de langage (LLM). La mission vise à structurer et mettre en oeuvre un cadre rigoureux d'évaluation, de benchmark et de sécurisation des LLM utilisés ou envisagés pour des cas d'usage métiers : assistance aux collaborateurs, analyse documentaire, génération de contenus, aide à la décision et automatisation de processus.Missions principalesÉvaluation des LLM Définir les protocoles et métriques d'évaluation adaptés aux cas d'usage bancaires (exactitude, pertinence, factualité, robustesse, conformité). Mettre en place des jeux de tests représentatifs, documenter les résultats et formuler des recommandations.Benchmark comparatif Concevoir et conduire des benchmarks entre plusieurs modèles LLM (propriétaires, open source, internes). Comparer les modèles selon des critères de performance, coût, latence, sécurité et conformité. Produire des rapports exploitables par les équipes métiers, IT, sécurité et conformité.Red teaming et sécurité Définir et exécuter des scénarios de red teaming adaptés aux risques de l'IA générative : prompt injection, jailbreak, hallucination, data leakage, biais, toxicité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation en collaboration avec les équipes sécurité, risques et conformité.Industrialisation Mettre en place des pipelines d'évaluation automatisée, construire des datasets internes anonymisés, définir des référentiels de métriques et contribuer à l'intégration des résultats dans les outils de gouvernance IA.Profil recherchéExpérience : 5 ans minimum en Data Science, dont au moins 2 ans sur des sujets d'IA générative et d'évaluation de LLM.Compétences techniques attenduesMaîtrise des grands modèles de langage : GPT, Claude, Mistral, LLaMA et équivalentsExpérience en évaluation de modèles NLP : métriques automatiques et évaluation humaineConnaissance des frameworks d'évaluation : RAGAS, DeepEval, Giskard, LangChain, LlamaIndexPratique du red teaming appliqué à l'IA générativeMaîtrise de Python, des notebooks et des pipelines de donnéesConnaissance des architectures RAG, du fine-tuning et des techniques de quantizationCompétences transversesCapacité à travailler avec des équipes pluridisciplinaires (métiers, sécurité, conformité, risques)Rigueur méthodologique et capacité à documenter et restituer des résultats complexes à des interlocuteurs non techniquesSensibilité aux enjeux réglementaires du secteur bancaire, appréciéeLivrables attendusCadre méthodologique d'évaluation des LLM, protocoles de test, jeux de données documentés, corpus de prompts adversariaux, rapports de benchmark et d'évaluation, analyses de risques, recommandations de mitigation, tableaux de bord de suivi, scripts et pipelines d'évaluation automatisée.Cette mission s'adresse à un profil senior, à l'aise dans un environnement exigeant, capable d'autonomie et de conseil auprès des parties prenantes.