Claude Sonnet 4 : SWE-bench 79,6%, fenêtre 200K tokens, API

Claude Sonnet 4 : positionnement et performances

Anthropic a publié Claude Sonnet 4 (claude-sonnet-4-6 en identifiant API) dans le cadre de sa mise à jour de gamme fin 2025. Le modèle se positionne entre Claude Haiku 3 (inférence rapide, faibles coûts) et Claude Opus 4 (performances maximales) et vise le marché des applications professionnelles à fort débit de tokens.

Benchmarks de référence

SWE-bench Verified est le benchmark le plus pertinent pour évaluer un LLM sur des tâches d'ingénierie logicielle réelles : le modèle reçoit des issues GitHub et doit produire des correctifs fonctionnels. Claude Sonnet 4 atteint 79,6% sur SWE-bench Verified — second derrière Claude Opus 4 (80,8%) et devant GPT-4o (75,2%) et Grok 3 (non publié sur ce benchmark à date).

Sur HumanEval (génération de code Python à partir de docstrings) : ~90%.

Sur MMLU (Massive Multitask Language Understanding, 57 disciplines académiques) : environ 88,7%, dans la moyenne haute des modèles de sa génération.

Sur GPQA Diamond : 78,4%, légèrement derrière les scores revendiqués par Grok 3 (~84%).

Fenêtre de contexte

Claude Sonnet 4 supporte 200K tokens de contexte, soit 150K tokens de plus que GPT-4o (128K) et 800K tokens de moins que Gemini 1.5 Pro (1M). En pratique, 200K tokens permettent d'ingérer des codebases entiers de taille moyenne ou des documents juridiques volumineux en une seule requête.

La précision de récupération dans la fenêtre (needle-in-a-haystack tests) est excellente à 200K : Anthropic publie des scores >99% sur les tests de récupération de passages enfouis.

Architecture et alignement

Claude Sonnet 4 repose sur une architecture Transformer avec RLHF et Constitutional AI. Constitutional AI (IA Constitutionnelle) est une méthode propriétaire d'Anthropic qui encode des principes comportementaux directement dans la procédure d'entraînement via un modèle critique auto-évaluateur, réduisant la dépendance aux annotations humaines pour l'alignement. Cette approche se traduit par des taux de refus plus cohérents et moins de faux positifs comparés aux filtres de contenu externes.

La taille du modèle en paramètres n'est pas publiée. L'architecture interne reste propriétaire.

API : tarification et latence

L'API Anthropic expose claude-sonnet-4-6 avec les paramètres suivants (tarifs mars 2026) :

Tokens en entrée : $3 / million

Tokens en sortie : $15 / million

Caching de prompt : $0,30 / million (écriture) + $0,03 / million (lecture)

La fonctionnalité de prompt caching est particulièrement utile pour les applications qui répètent un contexte système long (RAG, agents multi-tours). Le cache permet de stocker jusqu'à 200K tokens pour éviter de les retokeniser à chaque requête.

Latence time-to-first-token : environ 600–900ms selon la charge des serveurs Anthropic. Throughput en régime soutenu : autour de 90 tokens/seconde.

Capacités agent et outil

Claude Sonnet 4 supporte le function calling (appel de fonctions) avec un format JSON structuré, compatible avec les frameworks d'orchestration courants (LangChain, LlamaIndex, AutoGen). Il est optimisé pour les workflows agentics multi-tours où le modèle alterne raisonnement, appel d'outils et synthèse.

Le mode extended thinking (raisonnement étendu), disponible sur Opus 4, n'est pas natif sur Sonnet 4 mais peut être simulé via des prompts CoT structurés.

Comparaison directe des modèles de milieu de gamme

Face à GPT-4o : Claude Sonnet 4 surpasse sur SWE-bench (+4 points), propose une fenêtre de contexte plus large (200K vs 128K), mais coûte légèrement plus cher en sortie ($15 vs $10/M tokens).

Face à Gemini 1.5 Pro : Claude Sonnet 4 gagne sur le code, perd sur la fenêtre de contexte (200K vs 1M). Pour les tâches de lecture documentaire à très long contexte, Gemini 1.5 Pro reste plus adapté.

Face à Grok 3 : Grok 3 affiche de meilleurs scores sur GPQA et MATH-500 selon xAI, mais Claude Sonnet 4 dispose d'un technical report publié, d'une meilleure cohérence d'alignement documentée et d'une intégration mature dans les écosystèmes de développement.