Stage - Data Scientist monitoring LLM F/H - ST GREGOIRE
- Stage
- Bretagne ( 00 )
Descriptif du poste

Envie d'embarquer pour une nouvelle aventure professionnelle ? C'est par ici !
BPCE Assurances conçoit et propose des solutions d'assurances pour les clients particuliers et professionnels des réseaux bancaires du Groupe BPCE, au premier rang desquels les Banques Populaires et les Caisses d'Epargne. Groupe coopératif de banque universelle, le Groupe BPCE est le deuxième acteur bancaire en France. Avec 100 000 collaborateurs, le Groupe BPCE est au service de 36 millions de clients.
BPCE Assurances est organisé autour de deux grands métiers :
Le métier Assurances de personnes : assurance vie, épargne, retraite, prévoyance individuelle, assurance des emprunteurs
Le métier Assurances non-vie : assurance automobile, multirisques habitation, complémentaire santé, garantie des accidents de la vie, assurance des équipements média, protection juridique, assurance parabancaire, assurance des professionnels
Intégrer BPCE Assurances, c'est :
Rejoindre une entreprise engagée, notamment dans la transition énergétique ; contribuer, dans le cadre du plan stratégique BPCE 2024, au développement des métiers de l'assurance (assurances de personnes, assurance non vie) porté par le professionnalisme de nos équipes s'ouvrir de nouveaux horizons professionnels au sein d'un Groupe qui offre de multiples opportunités de carrière et accompagne ses collaborateurs dans une démarche apprenante.
Notre ambition ? Offrir à nos équipes et nos clients le meilleur de la relation humaine et digitale dans un esprit exigeant, bienveillant et collaboratif.
Ça vous tente ? Rejoignez-nous !
Poste et missions
BPCE Vie conçoit des solutions d'assurances de personnes (assurance vie, épargne, retraite, prévoyance individuelle, assurance des emprunteurs) pour les clients des réseaux bancaires du Groupe BPCE, notamment les Banques Populaires et les Caisses d'Epargne. BPCE Vie est une compagnie de BPCE Assurances, le pôle assurances du Groupe BPCE. Groupe coopératif de banque universelle, il est le deuxième acteur bancaire en France. Avec 100 000 collaborateurs, le Groupe BPCE est au service de 36 millions de clients.
Au sein de la Direction Intelligence de la donnée de BPCE Vie, le pôle d'expertise Data Science et Intelligence artificielle (DS&IA) conçoit et pilote des modèles d'IA au service des métiers de BPCE Vie.
Face à l'avancée rapide de l'intelligence artificielle, les Large Language Models (LLMs) jouent désormais un rôle central dans une multitude d'applications. Néanmoins, ces modèles sont fréquemment considérés comme des "boîtes noires" dont le fonctionnement est peu transparent et qui ne sont accessibles que par le biais d'API. Cette situation complique considérablement l''explication et l'évaluation de leurs réponses.
Au sein du pôle Data Science & Intelligence Artificielle (DS&IA), nous intégrons des LLMs dans plusieurs de nos projets, rendant crucial le besoin d'identifier non seulement les réponses moins pertinentes, mais également celles qui pourraient poser des enjeux éthiques. Dans ce cadre, vous serez chargé de concevoir une solution de monitoring qui assurera une surveillance efficace des LLMs que nous employons, garantissant ainsi une utilisation éthique et responsable de ces technologies.
En collaboration avec votre tuteur qui vous accompagnera tout au long de vos missions, vous :
- Etablissez un état de l'art sur les méthodes de monitoring des LLMs : qualité et niveau de confiance sur les résultats, identification des problématiques d'éthique et de sûreté ;
- Dressez un état de l'art sur les méthodes d'explicabilité des LLMs ;
- Développez un package en Python pour le monitoring des LLMs ;
- Présentez les résultats de l'étude et des méthodes employées à l'équipe DS&IA, ainsi qu'aux instances Data Science du groupe BPCE.
Stack technique : VS Code sur PC de développeur, GCP.
Profil recherché
Vous préparez un niveau d'étude en Master d'une école d'ingénieur ou d'informatique.
Pour réussir votre mission, vous :
- Avez une bonne connaissance de Python ;
- Possédez une solide compréhension des LLMs ainsi que des algorithmes de traitement du langage naturel en général ;
- Etes à l'aise pour communiquer sur des sujets techniques ;
- Manifestez un intérêt pour la recherche, avec la capacité à lire et analyser des articles scientifiques ;
- Êtes capable de proposer des idées novatrices.
Vous êtes passionné par les problématiques actuelles de l'intelligence artificielle ?
Saurez-vous relever le challenge ? N'attendez plus, rejoignez-nous !