5-9 juin 2023 PARIS (France)
Quelles évolutions sur cette loi ? Entre abstraction et hallucination dans le domaine du résumé de textes juridiques
Nihed Bendahman  1, 2, *@  , Karen Pinel-Sauvagnat  1, *@  , Gilles Hubert  1, *@  , Mokhtar Boumedyen Billami  2@  
1 : IRIT
Université de Toulouse Paul Sabatier
2 : Berger-Levrault
Berger-Levrault
* : Auteur correspondant

Résumer automatiquement des textes juridiques permettrait aux chargés de veille d'éviter une surcharge informationnelle et de gagner du temps sur une activité particulièrement chronophage. Dans cet article, nous présentons un corpus de textes juridiques en français associés à des résumés de référence produits par des experts, et cherchons à établir quels modèles génératifs de résumé sont les plus intéressants sur ces documents possédant de fortes spécificités métier. Nous étudions quatre modèles de l'état de l'art, que nous commençons à évaluer avec des métriques traditionnelles. Afin de comprendre en détail la capacité des modèles à transcrire les spécificités métiers, nous effectuons une analyse plus fine sur les entités d'intérêt. Nous évaluons notamment la couverture des résumés en termes d'entités, mais aussi l'apparition d'informations non présentes dans les documents d'origine, dites hallucinations. Les premiers résultats montrent que le contrôle des hallucinations est crucial dans les domaines de spécialité, particulièrement le juridique.


Personnes connectées : 1 Vie privée
Chargement...