Data Scientist NIP - PyTorch / Python (H/F) - Covéa

Dans un contexte d'accélération de l'usage de l'intelligence artificielle pour améliorer l'expérience client et l'efficacité opérationnelle, Covéa développe des modèles de compréhension du langage naturel spécialisés dans des cas d'applications au domaine de l'assurance. Les progrès récents en intelligence artificielle ont montré l'importance des modèles fondation. Cependant ces modèles sont consommateurs en ressources de calcul spécialisées, qui sont à la fois énergivores et dont l'accès est sous tension. De plus, les nouveaux usages envisagés requièrent des temps de réponse plus courts. C'est pourquoi Covéa étudie les méthodes visant à améliorer la performance et l'efficacité de l'usage de la mémoire dans les phases d'entrainement et d'inférence, et cherche à construire des modèles économes ayant des performances similaires aux modèles déjà développés.

Mots clés : IA, Machine Learning, NLP, LLM, Transfer learning, IA frugale

Votre mission ?

Dans cette perspective, la Direction Data, Digital et IA en cotutelle de la Direction Scientifique de l'Intelligence Artificielle de Covéa propose un stage de 6 mois.

Vos objectifs seront de :

· Formaliser une méthode d'évaluation pour comparer les méthodes en tenant compte de multiples critères de performance en termes de précision, de temps de calcul et autres critères jugés pertinents à la fois lors de l'entraînement et de l'inférence.
· Implémenter au moins une méthode améliorant la performance en temps de calcul sans dégrader la précision pour l'inférence de modèles de compréhension du langage naturel sur un projet de classification d'intentions de nos sociétaires.

Et concrètement ?

Dans le cadre de votre mission :

· Vous devrez appréhender et comprendre les modèles spécialisés de compréhension du langage naturel déjà construits par Covéa.
· Vous détaillerez avec les experts data-scientists et data-ingénieurs les critères d'évaluation des méthodes que vous proposerez.
· Vous dresserez un état de l'art des méthodes de réduction de la consommation mémoire lors des phases de fine-tuning et à l'inférence (par ex : Low Rank Adaptation [1] et Quantized LoRA [2])
· Vous implémenterez au moins une solution à l'état de l'art et proposerez des ajustements adaptés à l'environnement de nos projets.
· Vous proposerez une manière pédagogique de restituer visuellement les résultats.
· En lien avec les acteurs opérationnels, vous évaluerez les impacts d'une éventuelle mise en œuvre des solutions proposées.

Et si c'était vous ?

· Vous êtes curieux et appètent à comprendre les métiers de l'assurance,
· Vous pensez que, demain, l'expérience client doit être améliorée par l'usage de la technologie,
· Vous savez qu'une exploitation intelligente des ressources de calcul passe par le mélange de créativité et d'expertise en mathématiques et informatique,
· Vous connaissez Python et ses packages scientifiques, et notamment pytorch,
· Vous avez une expérience de la librairie transformers.

Références :

[1] [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models (arxiv.org)

[2] [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs (arxiv.org)