↓ Aller au contenu

Séminaires d’équipe

Adaptation des modèles Transformer aux langues peu dotées par proximité linguistique, et à des domaines spécifiques

Intervenant·e
Miguel López Otal (Universidad de Zaragoza, GETALP)
Date
Lieu
Salle 306, bâtiment IMAG

Résumé traduit de l’anglais.

Les modèles fondés sur les Transformers connaissent une popularité croissante dans la société, dans le monde académique et dans l’industrie, avec une adoption toujours plus large. Les modèles actuels sont cependant limités par leur faible prise en charge des langues peu dotées, qui correspondent en gros aux langues minoritaires sur le plan linguistique. Faute de corpus textuels, ces langues ont été exclues du pré-entraînement des modèles, ou n’y ont eu qu’un impact négligeable. Dans ma thèse, j’étudie comment des langues peu dotées typologiquement proches d’autres langues bien dotées, largement prises en charge par les LLM, peuvent servir d’échafaudage pour améliorer la compréhension du langage naturel dans ces modèles. Ma thèse porte plus précisément sur l’aragonais, une langue romane extrêmement proche de l’espagnol, avec une syntaxe presque identique et une morphologie voisine, mais dont les racines lexicales la rapprochent du catalan et du français.

J’aborde d’abord mes travaux d’interprétabilité linguistique (la « rétro-ingénierie » des capacités linguistiques des LLM), première tentative pour identifier des mécanismes des LLM modifiables en vue d’interventions linguistiques précises, puis des expériences d’injection de connaissances linguistiques structurées et d’entraînement continu précis et soigneusement équilibré des modèles avec de petites quantités de texte. Je présente aussi mes efforts pour rapprocher l’aragonais du monde numérique, par la création de bancs d’évaluation pour cette langue, ainsi que ma participation au projet CLASiK, auquel participe le GETALP et qui oriente mon séjour de recherche à Grenoble, à travers l’étude de méthodes d’adaptation de modèles à un domaine qui pourraient aussi bénéficier à l’adaptation à une langue.