Les modèles de langage peuvent-ils améliorer la création des outils d’évaluation des patients ?
La création d’outils pour recueillir les témoignages des patients repose sur des étapes essentielles où le langage joue un rôle central. Ces outils, conçus pour capturer l’expérience vécue par les individus, nécessitent une attention particulière à chaque mot utilisé. Les chercheurs doivent d’abord définir avec précision les concepts à étudier, puis rédiger des questions claires et adaptées. Chaque question est ensuite affinée grâce à des entretiens avec les patients pour s’assurer qu’elle est comprise comme prévu et qu’elle correspond à leur réalité.
Les modèles de langage avancés, capables de comprendre et de produire du texte de manière sophistiquée, offrent aujourd’hui de nouvelles possibilités pour soutenir ces étapes. Ils ne remplacent pas le jugement humain ou les méthodes traditionnelles de validation, mais ils peuvent faciliter certaines tâches. Par exemple, ils aident à analyser de grandes quantités de données existantes pour identifier ce qui a déjà été bien mesuré et ce qui l’a été de manière incohérente ou insuffisante. Dans un projet récent sur les comportements alimentaires chez les enfants, les chercheurs ont passé en revue plus de 80 outils existants et 1 400 questions. Les modèles de langage auraient pu accélérer cette étape en résumant ces questions, en repérant les chevauchements entre les concepts et en proposant des définitions préliminaires pour examen humain.
Une autre utilisation concrète consiste à générer des questions candidates. Les modèles peuvent proposer des formulations variées, adapter le niveau de langage ou suggérer des exemples contextuels. Dans le même projet sur les comportements alimentaires, les chercheurs ont utilisé ces outils pour combler des lacunes conceptuelles. Par exemple, au lieu de se concentrer sur des détails très spécifiques comme les repas pris à des moments précis de la semaine, les modèles ont aidé à rédiger des questions plus larges. celles-ci portaient sur des habitudes générales, comme la fréquence à laquelle les enfants mangent seuls ou en présence de leurs proches, ou la manière dont les aliments nutritifs sont intégrés dans les routines familiales.
Les modèles de langage sont également utiles pour réviser les questions en fonction des retours des patients. Les entretiens cognitifs révèlent souvent des problèmes de compréhension ou des formulations perçues comme trop vagues, trop larges ou stigmatisantes. Les modèles peuvent alors proposer des alternatives plus claires ou moins chargées émotionnellement. Dans le projet mentionné, le terme sain a été remplacé par nutritif après que des familles aient exprimé que ce dernier était moins jugemental et moins source de culpabilité.
Une autre application intéressante est la vérification de la cohérence sémantique. Les chercheurs peuvent soumettre un ensemble de questions à un modèle sans indiquer à quel concept elles se rapportent, puis demander au modèle de deviner le thème commun. Si le modèle associe par erreur des questions sur l’alimentation émotionnelle à des comportements purement pratiques, cela signale un problème de clarté ou de distinction entre les concepts. Cette méthode ne valide pas la qualité des questions, mais elle permet de détecter des ambiguïtés avant les tests empiriques.
Enfin, ces outils facilitent l’adaptation des questions à différents contextes. Une question sur la reconnaissance de la faim chez un nourrisson ne sera pas formulée de la même manière que pour un adolescent. Les modèles aident à générer des versions adaptées à l’âge, au niveau de lecture ou au contexte culturel, tout en préservant le sens original. Cependant, chaque adaptation doit être soigneusement vérifiée par des experts pour éviter de modifier involontairement le sens ou la portée de la question.
Malgré ces avantages, l’utilisation des modèles de langage comporte des risques. Ils peuvent inventer des concepts, confondre des idées proches ou reproduire des biais présents dans leurs données d’entraînement. Par exemple, une révision générée automatiquement pourrait élargir une question sur les pratiques alimentaires des parents à des comportements parentaux généraux, perdant ainsi en précision. De plus, l’utilisation de données sensibles, comme les récits des patients, soulève des questions de confidentialité et de conformité éthique. Les chercheurs doivent donc veiller à protéger ces informations et à utiliser des environnements sécurisés.
La transparence et la reproductibilité posent également problème. Les résultats produits par ces modèles peuvent varier selon la version utilisée ou le moment de l’interrogation. Pour y remédier, il est conseillé de documenter les versions des modèles, les stratégies de prompt et les décisions prises lors du processus. Une autre solution consiste à utiliser plusieurs modèles différents pour comparer leurs interprétations. Si les résultats divergent, cela peut indiquer un problème de clarté ou de structure sémantique nécessitant une révision humaine.
En pratique, l’intégration de ces outils suit un processus structuré. Les chercheurs commencent par définir les concepts à étudier grâce à une revue de la littérature et des avis d’experts. Les modèles de langage interviennent ensuite pour résumer les outils existants, identifier les chevauchements et proposer des définitions préliminaires. Une fois les concepts clairement définis par les humains, les modèles génèrent des questions candidates ou des formulations alternatives. Ces propositions sont ensuite soumises à des examens approfondis : revue par des experts, tests de lisibilité, entretiens cognitifs avec les patients et vérifications de cohérence sémantique. Ce n’est qu’après ces étapes qualitatives que les questions sont testées de manière quantitative pour évaluer leurs propriétés psychométriques, comme la fiabilité ou la sensibilité.
Dans le projet sur les comportements alimentaires, cette approche a permis d’accélérer certaines étapes sans compromettre la rigueur. Les modèles ont aidé à explorer la structure des concepts, à rédiger des questions pour des domaines peu couverts et à proposer des révisions basées sur les retours des familles. Cependant, ils n’ont jamais servi à valider la pertinence des concepts ou la qualité des questions. Cette validation repose toujours sur des méthodes éprouvées : revue théorique, avis d’experts, entretiens avec les patients et tests empiriques.
L’opportunité offerte par ces outils ne réside donc pas dans leur capacité à remplacer les méthodes traditionnelles, mais à les enrichir. Ils permettent d’explorer plus largement les concepts, de rédiger plus rapidement des propositions et de comparer plus systématiquement les alternatives. Pour un domaine où la traduction de l’expérience vécue en mesures valides est essentielle, cette aide est précieuse. Le défi consiste à l’utiliser de manière à élargir les possibilités méthodologiques sans affaiblir les normes de preuve sur lesquelles repose la qualité de ces outils.
Attributions légales
Citation de l’étude
DOI : https://doi.org/10.1186/s41687-026-01112-2
Titre : Leveraging large language models in patient-reported outcome measure development: practical opportunities, cautions, and a human-in-the-loop roadmap
Revue : Journal of Patient-Reported Outcomes
Éditeur : Springer Science and Business Media LLC
Auteurs : Constance Mara; Tiffany Rybak