AI Safety Index : Google et Anthropic en tête, xAI recalé - ce que vaut vraiment le premier bulletin de notes de la sécurité IA
Le AI Safety Index, publié fin juin 2025 par une équipe de chercheurs affiliés à plusieurs universités et think tanks (SaferAI, MIT, Université de Toronto, entre autres), attribue une note globale de sécurité à douze fournisseurs de modèles de fondation. Méthodologie déclarée : 70 indicateurs regroupés en sept catégories — gouvernance interne, transparence, gestion des risques, tests adversariaux, engagement normatif, sécurité technique, et responsabilité post-déploiement. Chaque catégorie notée sur 100, puis agrégée en une lettre de A à F.
Le classement a été compilé à partir de documents publics, d'engagements pris lors de sommets internationaux (Seoul, Bletchley Park), de publications techniques et de politiques d'usage accessibles en ligne. Aucun audit interne, aucun accès privilégié aux systèmes. Les auteurs le reconnaissent eux-mêmes dans le papier : l'indice mesure ce que les entreprises montrent, pas ce qu'elles font.
Le tableau
Le score de xAI — 8 sur 100 — a concentré l'essentiel de l'attention médiatique. Le chiffre est spectaculaire. Son explication l'est moins : xAI n'a, au moment de l'évaluation, publié quasiment aucun document de gouvernance, aucun rapport de sécurité structuré, aucun engagement formel dans les cadres multilatéraux existants. Le F ne dit pas que Grok est dangereux. Il dit que xAI ne documente rien — ou presque — sur la façon dont elle gère le risque. La nuance est importante, et les auteurs de l'indice la formulent eux-mêmes dans une note de bas de page, section 4.2 du rapport : « L'absence de documentation publique ne prouve pas l'absence de pratiques internes, mais elle empêche toute évaluation externe. »
Elon Musk n'a pas commenté directement le rapport. Sur X, plusieurs comptes proches de xAI ont qualifié l'exercice de « biaisé en faveur de la bureaucratie de la sécurité IA ». Le terme « safety washing » a été utilisé. Il y a dix-huit mois, Musk cosignait pourtant la lettre ouverte du Future of Life Institute demandant un moratoire de six mois sur les entraînements de modèles au-delà de GPT-4. xAI a lancé Grok-1.5 quatre mois plus tard.
Ce que l'indice ne mesure pas
Yoshua Bengio, cité par le rapport comme conseiller scientifique informel du cadre méthodologique, a déclaré lors d'une conférence à Montréal en mai 2025 que « tout indice de sécurité fondé uniquement sur de la documentation publique reste un exercice de surface ». Il a néanmoins qualifié l'initiative d'« utile comme outil de pression, à défaut d'être un outil de mesure ».
Kevin Bankston, ancien directeur de l'Open Technology Institute, a noté sur Bluesky que l'indice récompense mécaniquement les entreprises qui publient beaucoup — ce qui avantage celles qui ont des équipes de policy et de communication structurées. Google emploie plus de 200 personnes dans ses équipes « Responsible AI ». xAI comptait, selon ses propres offres d'emploi visibles sur LinkedIn en avril 2025, zéro poste dédié à la sécurité ou à la gouvernance IA.
Le rapport ne couvre pas les incidents concrets. Aucune mention du bug de Gemini sur la génération d'images de février 2024, aucune référence aux fuites de données de ChatGPT de mars 2023, aucun retour sur les jailbreaks documentés de Grok par des chercheurs de Adversa AI en janvier 2025. Un indice qui note la gouvernance déclarative sans la confronter à l'historique opérationnel réel produit un classement de bonnes intentions.
SaferAI
L'organisation qui pilote l'indice, SaferAI, a été fondée en 2023 par des chercheurs issus du mouvement « AI safety » proche de la communauté Effective Altruism. Son financement provient en partie d'Open Philanthropy, la fondation de Dustin Moskovitz (cofondateur de Facebook). Open Philanthropy est aussi l'un des principaux bailleurs de fonds d'Anthropic à ses débuts. Le lien n'invalide pas le travail. Mais il colore la lecture du classement, dans lequel Anthropic arrive en tête.
Le rapport a été publié sous licence Creative Commons. Il totalise 87 pages, dont 22 d'annexes méthodologiques. Les données brutes ne sont pas disponibles en téléchargement — les auteurs indiquent qu'elles seront publiées « dans une version ultérieure ». La date n'est pas précisée.
Pour les DSI
Un DSI qui cherche à évaluer le risque fournisseur IA trouvera dans l'indice une grille de lecture, pas un verdict. Les 70 indicateurs constituent un bon point de départ pour structurer un questionnaire de due diligence. Mais la note agrégée écrase des réalités très différentes : un fournisseur peut obtenir un B en publiant beaucoup de documentation tout en ayant des pratiques de red-teaming médiocres. Un autre peut obtenir un C en étant transparent sur ses limites sans avoir formalisé sa gouvernance.
Le AI Act européen, dont les premières obligations de transparence pour les modèles à usage général entreront en vigueur en août 2025, imposera un niveau de documentation que l'indice préfigure partiellement. Mais le cadre réglementaire européen exige des informations techniques précises — consommation énergétique de l'entraînement, jeux de données utilisés, résultats de benchmarks standardisés — que l'indice SaferAI ne couvre pas.
Le rapport a été présenté lors d'un événement organisé dans les locaux du Centre for AI Safety à San Francisco, un mardi après-midi. Trente-deux personnes dans la salle, dont aucun représentant de xAI, Meta ou Mistral.
Dario Amodei, CEO d'Anthropic, a retweeté le rapport sans commentaire.
TL;DR
Le premier indice comparatif de sécurité IA note les grands fournisseurs de A à F — Anthropic et Google en tête, xAI dernier avec 8/100 — mais l'exercice mesure la documentation publiée, pas les pratiques réelles.
- L'AI Safety Index évalue 12 fournisseurs sur 70 indicateurs déclaratifs : gouvernance, transparence, gestion des risques. xAI obtient un F faute de documentation publique, pas nécessairement faute de pratiques.
- La méthodologie repose exclusivement sur des sources publiques, sans audit interne ni prise en compte des incidents passés — ce qui avantage structurellement les entreprises dotées d'équipes policy étoffées.
- Pour les DSI, la grille des 70 indicateurs est un outil de due diligence utile, mais la note agrégée masque des disparités critiques entre catégories. Le cadre ne remplace pas les exigences spécifiques du AI Act européen.
Questions fréquentes
Le score F de xAI signifie-t-il que Grok est un modèle dangereux ?
Non. Le F reflète l'absence quasi totale de documentation publique sur les pratiques de sécurité de xAI. L'indice ne teste pas les modèles eux-mêmes et ne mesure pas leur dangerosité opérationnelle. Un score bas signifie que l'évaluation externe est impossible, pas que le risque est avéré.
Un DSI peut-il utiliser cet indice pour ses décisions d'achat ou de sourcing IA ?
Comme point de départ, oui. Les 70 indicateurs offrent une structure de questionnement pertinente pour challenger un fournisseur. Mais la note globale ne suffit pas : elle agrège des réalités trop différentes. Il faut descendre au niveau des catégories et croiser avec les exigences réglementaires applicables, notamment le AI Act à partir d'août 2025.
Qui finance et produit cet indice, et cela affecte-t-il sa crédibilité ?
L'indice est piloté par SaferAI, une organisation issue du mouvement AI safety, financée en partie par Open Philanthropy — un bailleur historique d'Anthropic, qui arrive en tête du classement. Les auteurs sont des chercheurs universitaires reconnus. Le lien financier ne disqualifie pas le travail mais doit être connu du lecteur qui interprète les résultats.