Comment le benchmark AGI de Google mesure l’IA ?

En comparant plusieurs capacités cognitives à une base humaine, pas avec un score unique. Ce benchmark AGI met en évidence les forces, les faiblesses et les angles morts des modèles d’IA, notamment en perception, attention sélective et mémoire de travail.

Pourquoi un score unique trompe t il ?

Un score unique trompe parce qu’il compresse des capacités très différentes dans une moyenne qui masque les faiblesses critiques.

MMLU, pour Massive Multitask Language Understanding, est un benchmark de questions-réponses couvrant de nombreux domaines académiques, proposé par Hendrycks et al. Un modèle peut y obtenir un très bon résultat parce qu’il reconnaît des connaissances scolaires, des formats de questions fréquents ou des régularités présentes dans ses données d’entraînement. Cela ne prouve pas qu’il soit fiable dans une situation sociale inconnue, capable de maintenir un contexte long sur plusieurs pages, ou solide en raisonnement causal.

La moyenne donne une impression de progrès uniforme. En pratique, les modèles d’IA avancent souvent de manière irrégulière selon les tâches. Les chercheurs parlent parfois de jagged frontier, une frontière de capacité irrégulière : le modèle semble très performant sur certains cas, puis étonnamment fragile sur d’autres cas proches en apparence.

Quelques exemples suffisent à voir le problème :

• Un modèle peut résumer correctement un texte juridique, puis oublier une contrainte importante donnée au début d’une consigne longue.
• Un modèle peut réussir une question scientifique standard, puis rater une déduction causale simple du type “Si A provoque B, que se passe-t-il quand A disparaît ?”.
• Un modèle peut répondre avec assurance à une question académique, puis mal interpréter une intention humaine implicite dans un échange social nouveau.

François Chollet a formulé une critique proche avec ARC, pour Abstraction and Reasoning Corpus : un test d’intelligence figé mesure souvent l’adaptation à un ensemble de problèmes connus, pas forcément la capacité générale à apprendre une règle nouvelle avec peu d’exemples. Le même point revient dans les travaux sur l’évaluation des grands modèles de langage, comme HELM de Liang et al., qui insiste sur plusieurs axes d’évaluation, et dans les travaux sur la contamination des benchmarks, notamment Sainz et al. ou Balloccu et al. La contamination signifie qu’un modèle a pu voir tout ou partie des questions de test pendant son entraînement, ce qui gonfle artificiellement son score.

Ce que montre un score unique	Ce qu’il cache
Une performance moyenne facile à comparer.	Des écarts forts selon les tâches, les contextes et les consignes.
Une progression apparente entre deux modèles.	Des faiblesses critiques en contexte long, causalité ou interaction sociale.
Une réussite sur un benchmark donné.	Le risque de contamination, de surapprentissage ou de généralisation limitée.

Quels problèmes posent les benchmarks actuels ?

Les benchmarks actuels posent problème parce qu’ils mesurent souvent des capacités isolées, avec des jeux de tests fixes, parfois déjà vus pendant l’entraînement des modèles. Cela ne les rend pas inutiles. Cela signifie surtout qu’ils donnent une photo partielle, pas une mesure complète de l’intelligence.

Première limite : chaque benchmark regarde un angle précis. MMLU, pour Massive Multitask Language Understanding, teste des connaissances et du raisonnement sur 57 domaines, du droit à la médecine. Pencil Puzzle Benchmark évalue plutôt la résolution de puzzles logiques. ARC-AGI, pour Abstraction and Reasoning Corpus, cherche à mesurer la capacité d’un système à généraliser à partir de très peu d’exemples. Ces tests sont intéressants, mais aucun ne couvre à lui seul l’ensemble du fonctionnement cognitif : comprendre, raisonner, planifier, apprendre, s’adapter, vérifier ses erreurs et agir dans un contexte nouveau.

Deuxième limite : la performance varie fortement selon les domaines. Un modèle peut être excellent sur des questions de culture générale, correct en code, faible en raisonnement visuel, puis très fragile dès qu’une consigne change légèrement. Une moyenne globale masque ces écarts. C’est pratique pour un classement, moins utile pour comprendre ce que le modèle sait réellement faire.

Troisième limite : la contamination des jeux de test peut gonfler artificiellement les résultats. La contamination signifie qu’un modèle peut avoir été entraîné, directement ou indirectement, sur des questions, des réponses ou des formats proches du test utilisé pour l’évaluer. Cela ne veut pas forcément dire qu’il y a triche volontaire. Les données d’entraînement viennent souvent du web, de livres, de forums, de dépôts publics ou de documents agrégés à grande échelle. Mais si le modèle a déjà vu les annales, la mesure devient moins fiable.

C’est le même problème qu’un élève qui connaît les annales par cœur. Il peut obtenir une très bonne note sans maîtriser profondément la matière. Pour évaluer l’AGI, Artificial General Intelligence, ou intelligence artificielle générale, ce n’est pas suffisant. Si l’objectif est de mesurer une capacité générale d’adaptation, un test fixe, connu et optimisable finit par perdre une partie de sa valeur.

Un meilleur benchmark devrait donc vérifier plusieurs points :

• Tâches variées, pour éviter de mesurer une seule compétence étroite.
• Normalisation par rapport à l’humain, pour comparer les performances à des niveaux humains réels.
• Tests résistants à la mémorisation, avec des tâches renouvelées ou générées dynamiquement.
• Analyse par capacité, et pas seulement par moyenne finale.

Que change le cadre cognitif de Google ?

Le cadre cognitif de Google DeepMind remplace la logique du classement unique par un profil de capacités comparées à une performance humaine moyenne. Cette idée, présentée dans l’article “Levels of AGI” de Google DeepMind en 2023, change la question de départ : on ne cherche plus seulement à savoir si une IA est “meilleure”, mais où elle est forte, où elle est fragile, et dans quelles conditions elle tient ses promesses.

Le principe central est simple. Chaque dimension cognitive dispose de sa propre suite de tâches et reçoit un score normalisé. La base humaine moyenne vaut 1.0. Un score supérieur à 1.0 indique une performance au-dessus de cette référence humaine sur la dimension évaluée ; un score inférieur indique une faiblesse relative.

La normalisation consiste à ramener des performances différentes sur une échelle commune pour les comparer proprement. Par exemple, une tâche de raisonnement logique, une tâche de perception visuelle et une tâche de mémoire ne produisent pas naturellement les mêmes mesures. La normalisation évite de mélanger des scores incompatibles. Elle ne dit pas qu’un modèle est globalement intelligent ou non. Elle cartographie ses capacités.

Cette approche devient utile dès qu’on sort des démonstrations. Au lieu de demander “quel modèle est le meilleur ?”, on peut demander “quel modèle est adapté à cette tâche ?”. Un modèle peut être très performant en perception visuelle, c’est-à-dire dans l’analyse d’images ou de vidéos, tout en restant fragile sur l’attention sélective, c’est-à-dire la capacité à isoler l’information pertinente, ou sur la mémoire de travail, c’est-à-dire la capacité à garder temporairement plusieurs éléments en tête pour raisonner.

Pour les usages business, l’intérêt est direct :

• Support client : Choisir un modèle fiable sur la compréhension d’intention et le suivi de contexte.
• Analyse documentaire : Vérifier la robustesse sur l’extraction, la synthèse et les longs documents.
• Automatisation : Évaluer la capacité à suivre des consignes sans dériver.
• Agents IA : Tester la planification, l’usage d’outils et la mémoire de tâche.
• Outils multimodaux : Mesurer séparément le texte, l’image, l’audio ou la vidéo.

Cette lecture réduit les mauvais choix d’outils et les déploiements trop optimistes. Elle force à tester une IA sur le travail réel attendu, pas sur une moyenne flatteuse.

Ancienne approche	Nouvelle approche	Impact pour l’évaluation IA
Classement global des modèles	Profil détaillé par capacité cognitive	Comparaison plus précise et moins trompeuse
Score unique difficile à interpréter	Scores normalisés avec une base humaine à 1.0	Lecture claire des forces et faiblesses
Question centrée sur “le meilleur modèle”	Question centrée sur “le bon modèle pour la bonne tâche”	Meilleurs choix pour les projets IA en entreprise

Quelles dimensions faut il regarder ?

Il faut regarder les dimensions cognitives séparément, car un modèle peut être très bon sur une capacité et beaucoup moins fiable sur une autre. Un score global peut masquer ce détail. Pour évaluer une IA vers l’AGI, c’est-à-dire l’intelligence artificielle générale, le cadre de Google s’appuie sur dix dimensions afin de produire un profil cognitif, avec des sous-tests et une comparaison à une base humaine moyenne. Les dimensions non documentées explicitement ne doivent pas être complétées au doigt mouillé.

Perception. Cette dimension mesure la capacité du modèle à interpréter des informations sensorielles, notamment des images et de l’audio. Les tâches peuvent porter sur la reconnaissance d’objets partiellement masqués, la compréhension de scènes dégradées ou l’analyse d’un signal audio dans un environnement bruité. Les grands modèles multimodaux, capables de traiter plusieurs types de données comme le texte, l’image ou le son, progressent vite sur les images statiques. L’audio reste plus difficile quand le bruit, les voix superposées ou la mauvaise qualité du signal perturbent l’information utile.

Attention sélective. Cette dimension mesure la capacité à ignorer les distracteurs et à rester concentré sur l’information pertinente. Elle compte aussi dans les tâches longues, où le modèle doit garder le bon objectif malgré beaucoup de contexte. L’analogie la plus simple vient des tests de type Stroop, où il faut résister à une information trompeuse, ou de l’Attention Network Test, qui mesure différentes formes d’attention chez l’humain. Les modèles à long contexte progressent, car ils peuvent traiter davantage de texte, souvent découpé en tokens, c’est-à-dire en petits morceaux de mots. Mais la performance peut baisser quand la longueur, le bruit ou la complexité augmentent.

Mémoire de travail. Cette dimension désigne la capacité à retenir et manipuler une information à court terme. Elle est centrale pour le raisonnement complexe, la compréhension du langage et le suivi d’instructions. Par exemple, un modèle doit pouvoir conserver plusieurs contraintes métier pendant qu’il génère un plan d’action : budget limité, délai court, dépendances techniques, priorité commerciale et conformité réglementaire.

Dimension	Ce qui est testé	Exemple de tâche	Risque si la capacité est faible
Perception	Interprétation d’images, de sons ou de scènes dégradées.	Reconnaître un objet partiellement masqué ou comprendre un audio bruité.	Le modèle décrit mal la situation ou rate un signal important.
Attention sélective	Filtrage des distracteurs et maintien du focus.	Suivre une consigne précise dans un long document avec informations inutiles.	Le modèle se laisse distraire et répond à côté.
Mémoire de travail	Rétention et manipulation d’informations à court terme.	Construire un plan en respectant plusieurs contraintes métier.	Le modèle oublie des contraintes et produit une réponse incohérente.

Comment utiliser ce benchmark en pratique ?

Il faut utiliser ce benchmark comme un outil de diagnostic, pas comme un podium pour choisir automatiquement le “meilleur” modèle. Un score global peut rassurer, mais il masque souvent l’essentiel : Un modèle peut très bien raisonner, mais mal tenir une consigne longue, ou bien comprendre une image, mais échouer dès que le contexte devient ambigu.

La méthode la plus utile tient en quatre étapes. D’abord, définir le cas d’usage réel : Support client, analyse documentaire, vision par ordinateur, agent autonome, aide à la décision. Ensuite, identifier les capacités cognitives critiques, c’est-à-dire les aptitudes mentales que le modèle doit mobiliser : Attention, mémoire de travail, perception, planification, robustesse. Puis, comparer les profils des modèles plutôt que leur seul score moyen. Enfin, tester en conditions proches du terrain, avec vos données, vos contraintes, vos utilisateurs et vos risques.

Cas business	Capacités à regarder en priorité
Chatbot de support	Attention sélective, mémoire de travail, robustesse au contexte long, capacité à ne pas inventer une réponse.
Analyse d’images	Perception, reconnaissance visuelle, compréhension des détails, résistance aux images bruitées ou ambiguës.
Agent IA qui exécute des workflows	Maintien des consignes, gestion des étapes, planification, détection des erreurs cumulées.

Les scores normalisés aident à comparer des modèles sur une base commune. Cela signifie que les résultats sont ramenés sur une même échelle pour faciliter la lecture. Mais ils ne remplacent pas une évaluation interne. Ils servent surtout à poser de meilleures questions avant un déploiement : Quelles tâches échouent ? Dans quelles conditions ? Avec quel niveau de risque métier, juridique ou opérationnel ?

Une équipe data, produit ou automatisation devrait garder cette liste sous la main avant de retenir un modèle :

• Tester sur des données réelles, représentatives des documents, conversations, images ou processus utilisés en production.
• Construire des jeux de tests non publics, pour éviter de mesurer seulement ce que les modèles ont déjà vu pendant leur entraînement.
• Inclure des cas limites, comme des demandes ambiguës, des données incomplètes, des consignes contradictoires ou des entrées très longues.
• Suivre les erreurs, avec une classification claire : Hallucination, oubli de consigne, mauvais raisonnement, erreur de format, action dangereuse.
• Comparer plusieurs modèles, y compris des modèles plus petits, parfois suffisants, moins chers et plus rapides.
• Documenter les décisions, avec les raisons du choix, les risques acceptés, les garde-fous et les critères de réévaluation.

Mesurer l’IA par profil cognitif rend l’évaluation moins spectaculaire, mais beaucoup plus utile pour décider.

Alors, quel modèle mérite vraiment votre confiance ?

Un benchmark AGI utile ne doit pas seulement dire qu’un modèle est premier ou dernier. Il doit montrer ce qu’il sait faire, ce qu’il fait mal et dans quelles conditions il devient fragile. L’approche cognitive de Google DeepMind va dans ce sens : comparer plusieurs dimensions à une base humaine, plutôt que réduire l’intelligence à une moyenne. Pour choisir un modèle, je retiens une règle simple : partir du cas d’usage, regarder les capacités critiques, puis tester sur vos propres données. Le bénéfice est concret : moins de décisions basées sur le buzz, plus de choix IA fiables pour votre business.

FAQ

• Qu’est-ce qu’un benchmark AGI ?
  Un benchmark AGI est un dispositif d’évaluation conçu pour mesurer des capacités liées à l’intelligence artificielle générale, ou Artificial General Intelligence. L’objectif n’est pas seulement de tester une tâche précise, mais de comprendre comment un modèle se comporte sur plusieurs formes de cognition : perception, attention, mémoire, raisonnement ou adaptation.
• Pourquoi un score unique ne suffit-il pas pour évaluer une IA ?
  Un score unique masque les écarts de performance. Un modèle peut obtenir un excellent résultat moyen tout en échouant sur des tâches critiques : suivre un long contexte, ignorer des informations parasites, raisonner causalement ou comprendre une situation inconnue. Pour choisir un modèle, le profil de capacités est souvent plus utile que le classement global.
• Que signifie une base humaine à 1.0 ?
  La base humaine à 1.0 signifie que la performance du modèle est comparée à une performance humaine moyenne sur une dimension donnée. Au-dessus de 1.0, le modèle dépasse cette référence sur le test concerné. En dessous, il reste inférieur. Cette normalisation permet de comparer des capacités différentes sur une échelle plus lisible.
• Quelles capacités sont importantes pour un usage business ?
  Cela dépend du cas d’usage. Pour un assistant de support, la mémoire de travail, l’attention sélective et le suivi du contexte sont essentiels. Pour l’analyse d’images, la perception est prioritaire. Pour un agent IA qui exécute des workflows, il faut surtout tester la robustesse, le maintien des consignes et la gestion des étapes.
• Ce type de benchmark permet-il de savoir si une IA est vraiment générale ?
  Il ne prouve pas à lui seul qu’une IA est générale. Il donne plutôt une cartographie plus précise de ses capacités et de ses limites. C’est déjà beaucoup plus utile qu’un score agrégé, car cela aide à distinguer les progrès réels des performances gonflées par des tests trop étroits ou contaminés.

 

 

A propos de l’auteur

Je suis Franck Scandolera, responsable de l’agence webAnalyste et de l’organisme Formations Analytics. J’accompagne les entreprises sur le tracking avancé server-side, l’Analytics Engineering, l’automatisation No/Low Code avec n8n, l’intégration de l’IA, le SEO et le GEO. J’ai travaillé pour des organisations comme Logis Hôtel, Yelloh Village, BazarChic, la Fédération Française de Football ou Texdecor. Si vous voulez évaluer, automatiser ou déployer l’IA sérieusement dans votre entreprise, contactez-moi.