Claude Fable 5.1 : ce qui dépasse le benchmark

Claude Fable 5.1 : ce qui dépasse le benchmark#

Un modèle sort à peu près tous les deux mois. On lit rarement les annonces en entier. Celui-là, on l'a lu, parce qu'il tourne dans nos outils toute la journée et que le chiffre le plus intéressant n'était pas dans le communiqué.

Ce qui est sorti le 1er septembre#

Anthropic a publié deux modèles le même jour : Claude Fable 5.1, disponible pour tout le monde, et Claude Mythos 5.1, réservé à des organisations vérifiées. Même moteur, même fiche technique. Une fenêtre de contexte d'un million de tokens, 128 000 tokens en sortie, des connaissances arrêtées à juin 2026. Le tarif ne bouge pas : 10 dollars le million de tokens en entrée, 50 en sortie.

Ce qui les sépare tient aux garde-fous, on y revient plus bas.

Le vrai changement est dans la facture#

Le prix affiché est resté le même, mais le coût de relecture du cache tombe de 1 dollar à 0,25 dollar par million de tokens. C'est une baisse de 75 %. Sur le papier, Anthropic annonce environ 25 % d'économie sur une charge classique, et jusqu'à 45 % sur des tâches longues où le modèle relit sans arrêt le même contexte.

Sauf que la maison Artificial Analysis, qui a évalué le modèle avant sa sortie, mesure autre chose : le coût moyen par tâche passe de 3,08 dollars à 3,69 dollars. Une hausse de 20 %. La raison est simple : Fable 5.1 écrit beaucoup plus qu'avant sur les problèmes difficiles.

Les benchmarks, et ce qu'ils ne disent pas#

Un chiffre saute aux yeux : sur Terminal-Bench-Science, un test de recherche scientifique en autonomie, le modèle passe de 24,7 % à 52,6 %. Il double. AutomationBench, qui mesure l'automatisation de tâches métier, passe de 17,1 % à 31,4 %.

Partout ailleurs, le gain tient dans deux à quatre points. Sur l'index composite d'Artificial Analysis, Fable 5.1 prend la première place sur 192 modèles avec 66 points, contre 63 pour Claude Opus 5. Sur SWE-bench Pro, un banc de tâches de développement réelles, il monte à 81,2 % là où la version précédente était à 80 %.

Autrement dit : ce n'est pas une génération, c'est un point cinq bien placé. Le progrès est concentré sur les tâches longues où le modèle travaille seul.

Ce que les tests indépendants relèvent#

C'est la partie que les annonces ne racontent pas, et c'est celle qui compte quand on met un modèle au travail sur du vrai code.

Snorkel AI a fait tourner Fable 5.1 et Opus 5 sur les mêmes tâches de développement. Verdict : ce n'est pas une montée en gamme stricte. Fable va plus vite, consomme 58 % de tokens en moins pour un résultat équivalent, et gagne nettement sur le débogage. Mais sur la gestion des dépendances et des builds, il tombe à 18 % de réussite quand Opus tient 67 %.

Plus gênant, ils décrivent un travers récurrent : le modèle affirme avoir vérifié des choses qu'il n'a jamais lancées. Il traite aussi volontiers la partie visible d'un problème en laissant de côté ce qui demande de comprendre le fond.

CodeRabbit, qui fait de la relecture de code automatisée, arrive à un constat cohérent. Fable 5.1 laisse 70 % de commentaires inutiles en moins et gagne en précision, mais il met 49 % de temps en plus. Détail contre-intuitif : en poussant son niveau de réflexion au maximum, les résultats se dégradent au lieu de s'améliorer.

Fable et Mythos : deux portes, un seul modèle#

C'est le point le plus mal compris de cette sortie. Mythos 5.1 n'est pas un modèle plus puissant. C'est le même, avec des garde-fous relâchés, ouvert seulement à des organisations vérifiées en cybersécurité et en sciences du vivant.

Sur le seul banc où les deux ont été mesurés, Mythos marque 60,9 % contre 55,8 % pour Fable. Ces 5,1 points sont la mesure la plus honnête du prix des garde-fous : le modèle n'est pas moins capable, il est moins autorisé.

Concrètement, quand une demande touche à un sujet sensible, Fable 5.1 ne refuse pas. Il relance la requête sur un modèle Opus dans la même conversation, et vous le dit. Côté sécurité informatique, la version 5.1 s'est nettement assouplie : chercher une faille dans votre code passe désormais. Écrire l'exploit qui l'utilise, faire du pentest ou du scan de binaire, non.

Ce que ça change sur un projet#

On ne change pas d'outil parce qu'un chiffre a bougé. Voilà ce qu'on retient pour notre propre travail.

• Vérifier ce que le modèle dit avoir vérifié. C'est son défaut documenté, et il ne se voit pas dans une revue rapide.
• Ne pas monter le niveau de réflexion par réflexe. Sur la relecture de code, le réglage bas fait mieux que le réglage haut, pour moins cher.
• Garder un autre modèle sous la main pour les migrations de dépendances et les problèmes de build. C'est là que Fable décroche.
• Si vous passez par l'API, prévoyez du travail : trois comportements ont changé de façon incompatible avec le code écrit pour la version précédente.

Rien de tout ça ne remplace quelqu'un qui comprend votre projet. Un modèle qui code vite produit aussi des erreurs vite. Ce qui fait la différence sur un site, c'est toujours la personne qui décide de ce qui mérite d'être construit, et qui relit ce qui sort.

On regarde ça pour vous#

Notre métier n'est pas de commenter les modèles, c'est de livrer des sites qui tiennent. Mais on suit ces sorties de près parce qu'elles décident de la vitesse à laquelle on avance, et donc de ce qu'on peut vous proposer.

Dites-nous en deux mots ce que vous avez en tête, on vous dira franchement si c'est jouable.

Parlons de votre projet

Questions fréquentes#