5-9 juin 2023 PARIS (France)
Tri-apprentissage génératif : génération de données pour de la reconnaissance d'entitées nommées semi-supervisé
Hugo Boulanger  1@  , Thomas Lavergne  1, *@  , Sophie Rosset  1, *@  
1 : Laboratoire Interdisciplinaire des Sciences du Numérique
Université Paris-Saclay, Centre National de la Recherche Scientifique
* : Auteur correspondant

Le développement de solutions de traitement automatique de la langue pour de nouvelles tâches nécessite des données, dont l'obtention est coûteuses. L'accès aux données peut être limité en raison de la nature sensible des données. La plupart des travaux récents ont exploité de grands modèles pré-entraînés pour initialiser des versions spécialisées de ceux-ci. La spécialisation d'un tel modèle nécessite toujours une quantité élevée de données étiquetées spécifiques à la tâche cible. Nous utilisons l'apprentissage semi-supervisé pour entraîner des modèles dans un contexte où le nombre d'exemples étiquetés est limité et le nombre de données non étiquetées est nul. Nous étudions plusieurs méthodes pour générer le corpus non étiqueté nécessaire à l'utilisation de l'apprentissage semi-supervisé. Nous introduisons les méthodes de génération entre les épisodes d'entraînement et utilisons les modèles entraînés pour filtrer les exemples générés. Nous testons cette génération avec le tri-apprentissage et l'auto-apprentissage sur des corpus Anglais et Français.


Personnes connectées : 1 Vie privée
Chargement...