Imaginez-vous en train de flâner dans un marché animé à Dakar, de prendre un pastel à São Paulo, ou de découvrir la street food à Bangkok—et de repérer instantanément une mangue. Ce mouvement d'une fraction de seconde repose sur une carte conceptuelle riche d'objets dans nos esprits. Désormais, l'IA pourrait faire quelque chose de similaire.
Une équipe de scientifiques de Chine continentale a découvert que les grands modèles de langage multimodaux (LLMs) peuvent spontanément développer des représentations conceptuelles des objets semblables à celles des humains. Leurs découvertes, publiées dans Nature Machine Intelligence, ouvrent de nouvelles pistes en IA et en sciences cognitives.
"La capacité à conceptualiser les objets dans la nature a longtemps été considérée comme le cœur de l'intelligence humaine," déclare He Huiguang, chercheur à l'Institut d'Automatisation de l'Académie des sciences de Chine continentale et auteur correspondant de l'étude.
Les humains ne se contentent pas de noter la couleur ou la forme d'un chien poursuivant une balle ou d'une pomme suspendue à un arbre. Nous saisissons également leurs fonctions, leur valeur émotionnelle et leur signification culturelle. Cette conscience multidimensionnelle est au cœur de la cognition humaine.
Pour tester la compréhension de l'IA à ce sujet, des chercheurs de l'Institut d'Automatisation et du Centre d'excellence CAS pour les sciences du cerveau et la technologie de l'intelligence ont combiné modélisation computationnelle, expériences comportementales et imagerie cérébrale. Ils ont créé une carte conceptuelle pour les LLMs et l'ont comparée à l'activité neuronale humaine.
Les résultats étaient saisissants. Soixante-six dimensions extraites des données comportementales des LLMs correspondaient étroitement à l'activité dans les régions du cerveau humain spécialisées dans les catégories d'objets. Les modèles qui mêlent texte et images—les LLMs dits multimodaux—se rapprochaient également davantage des choix humains que les versions basées uniquement sur le texte.
En approfondissant, l'étude a révélé une différence clé: les humains tendent à fusionner les détails visuels avec le sens lors de la prise de décisions, tandis que l'IA s'appuie davantage sur des étiquettes sémantiques et des concepts abstraits. Cette perspective ouvre des opportunités passionnantes pour affiner l'IA en combinant ces forces.
Alors que l'IA continue de façonner tout, de l'éducation au divertissement, comprendre comment les machines construisent des concepts d'objets nous rapproche de technologies qui réfléchissent vraiment davantage comme nous.
Reference(s):
Multimodal LLMs can develop human-like object concepts: study
cgtn.com
