Innover pour une IA compréhensible et équitable

En 1597, à l’époque des Lumières, dans son ouvrage intitulé Meditationes Sacrae, le philosophe britannique Francis Bacon a inventé cette maxime: «Le savoir, c’est le pouvoir». Quatre cents ans plus tard, il n’a jamais été aussi important d’avoir les connaissances et les compétences nécessaires pour relever certains des défis majeurs auxquels l’humanité fait face aujourd’hui.

L’éducation est la clé pour acquérir ces connaissances. Alors que nous célébrons la Journée internationale des droits des femmes qui met en avant l’éducation à l’ère numérique, comment pouvons-nous garantir l’égalité en matière d’éducation, sans les préjugés que contiennent les algorithmes d’apprentissage machine qui régissent l’intelligence artificielle?

La doctorante Vinitra Swamy, du Laboratoire d’apprentissage machine pour l’éducation dirigé par la professeure assistante Tanja Käser, étudie les réseaux neuronaux, omniprésents en tant que forme générale des modèles d’intelligence artificielle que l’on voit partout et, par exemple, derrière ChatGPT.

«L’un des principaux objectifs de mes recherches sur l’apprentissage machine est l’égalité pour tous en matière d’éducation. Lorsque vous regardez de plus près ce que ces modèles apprennent, vous constatez que les préjugés humains se reflètent dans les données, ce qui entraîne de fortes inégalités, comme l’homme est voué à être médecin et la femme à être infirmière. Il est essentiel d’atténuer ces préjugés, notamment aux premiers stades de formation, lorsque les étudiantes et étudiants ont l’esprit en développement et que ce type d’impression dure longtemps», explique-t-elle.

Depuis l’essor de l’éducation numérique pendant la pandémie de COVID-19, Vinitra Swamy tente d’augmenter le taux d’achèvement des cours et de résoudre les problèmes de décrochage des élèves qui suivent des cours en ligne ouverts et massifs (MOOC) et qui utilisent des portails éducatifs tels que Moodle, Coursera ou EdX.

Plus précisément, Vinitra Swamy et ses collègues ont entraîné des modèles à prédire la réussite des étudiantes et étudiants dès le début des cours afin de garantir qu’ils reçoivent l’aide la plus efficace, impartiale et personnalisée dont ils ont besoin pour améliorer leurs résultats d’apprentissage.

«Nous regardons les séries chronologiques de clics des élèves qui interagissent avec les portails éducatifs pour faire des prédictions. Les habitudes des étudiantes et étudiants, quand ils mettent en pause ou visionnent une vidéo, quand ils postent une question sur le forum ou quand ils répondent à une question d’un quiz, nous permettent de prévoir comment intervenir auprès des élèves en difficulté pour les remettre sur les rails», déclare Vinitra Swamy.

«Le principal problème lié à l’utilisation des réseaux neuronaux sur des données centrées sur l’être humain, c’est qu’ils n’expliquent pas leurs décisions. Les modèles peuvent déterminer très facilement si une image est un chat ou un chien, mais quand on leur demande d’expliquer pourquoi ils pensent que l’image est un chat ou un chien… cela ne fait pas partie de la conception du modèle. Il est nécessaire d’ajouter des couches d’attention à l’avant du modèle ou d’utiliser des méthodes d’explicabilité post-hoc pour déterminer ce que les modèles identifient comme significatif.»

Étant donné que les prédictions générées par les modèles, ainsi que les interventions ultérieures, sont destinées à aider les étudiantes et étudiants à réussir, il est important de comprendre pourquoi les modèles prédisent la réussite ou l’échec d’un élève – que les facteurs soient complètement arbitraires ou non. Vinitra Swamy a utilisé cinq modèles d’explicabilité de pointe sur les mêmes réseaux neuronaux, pour les mêmes étudiantes et étudiants. Elle a constaté qu’ils étaient tous en désaccord sur l’explication de la réussite ou de l’échec. Selon elle, «c’est très préoccupant. Si les méthodes que vous utilisez pour interpréter le modèle donnent toutes des raisons différentes pour les prédictions d’échec, à laquelle pouvez-vous vous fier?»

«Si nous savons que le modèle fait une prédiction sur la réussite des étudiantes et étudiants selon des attributs démographiques ou socio-économiques, c’est clairement inquiétant. Cependant, si tous les explicateurs sont systématiquement biaisés pour dire ce que les modèles trouvent important, c’est en fait encore plus effrayant, car ce à quoi vous faites confiance pour expliquer ce que fait le modèle est également biaisé. Notre recherche initiale montre qu’il y a un désaccord omniprésent dans ces explicateurs. Notre travail de suivi vise à renforcer la confiance autour de ces explicateurs, en intégrant des experts humains dans la boucle.»

Tous les modèles d’apprentissage machine comportent des sources de biais sous-jacents, qui peuvent intervenir à de nombreuses étapes du processus: biais de sélection des données, biais d’annotation, biais de modélisation et biais humain en aval. Vinitra Swamy estime que pour les informaticiennes et informaticiens, il est essentiel d’avoir conscience de ce problème et de savoir comment l’aborder.

«Lorsque j’étais chez Microsoft AI, notre équipe a vu de nombreux clients et clientes demander des boîtes à outils pour mesurer les biais, choisir d’utiliser des modèles interprétables et comprendre qu’une IA responsable était importante. Dans l’industrie et la recherche, nous avons constaté un regain d’intérêt général pour la responsabilité lorsqu’il s’agit de créer ces modèles, de mesurer et d’atténuer les préjugés», affirme Vinitra Swamy.

Quant aux femmes et aux autres minorités, Vinitra Swamy estime que l’apprentissage machine pour l’éducation peut favoriser l’égalité des chances dans l’éducation, entre les genres et entre les minorités, pour autant que l’on prête attention à tous les cas où la technologie pourrait échouer.

«Le secteur de l’éducation est prêt pour la personnalisation de l’IA, les devoirs individualisés, la notation automatique et les types de techniques que nous voyons déjà apparaître dans le milieu de la recherche. Une fois que ces modèles sont appliqués dans le monde réel avec de vraies conséquences, la question de la partialité devient un million de fois plus importante. C’est un problème permanent.»

Author(s): Tanya Petersen
Importé depuis EPFL Actu