Comprendre la fenêtre de contexte

La “fenêtre de contexte” fait référence à l’intégralité de la quantité de texte qu’un modèle de langage peut consulter et référencer lors de la génération de nouveau texte, plus le nouveau texte qu’il génère. Ceci est différent du large corpus de données sur lequel le modèle de langage a été entraîné, et représente plutôt une “mémoire de travail” pour le modèle. Une fenêtre de contexte plus large permet au modèle de comprendre et de répondre à des invites plus complexes et plus longues, tandis qu’une fenêtre de contexte plus petite peut limiter la capacité du modèle à gérer des invites plus longues ou à maintenir la cohérence lors de conversations étendues.

Le diagramme ci-dessous illustre le comportement standard de la fenêtre de contexte pour les requêtes API1 :

1Pour les interfaces de chat, telles que pour claude.ai, les fenêtres de contexte peuvent également être configurées sur un système rotatif “premier entré, premier sorti”.

  • Accumulation progressive des jetons : Au fur et à mesure que la conversation progresse à travers les tours, chaque message utilisateur et réponse de l’assistant s’accumule dans la fenêtre de contexte. Les tours précédents sont préservés complètement.
  • Modèle de croissance linéaire : L’utilisation du contexte croît linéairement à chaque tour, avec les tours précédents préservés complètement.
  • Capacité de 200K jetons : La fenêtre de contexte totale disponible (200 000 jetons) représente la capacité maximale pour stocker l’historique de conversation et générer une nouvelle sortie de Claude.
  • Flux entrée-sortie : Chaque tour consiste en :
    • Phase d’entrée : Contient tout l’historique de conversation précédent plus le message utilisateur actuel
    • Phase de sortie : Génère une réponse textuelle qui devient partie d’une entrée future

La fenêtre de contexte avec la pensée étendue

Lors de l’utilisation de la pensée étendue, tous les jetons d’entrée et de sortie, y compris les jetons utilisés pour la réflexion, comptent vers la limite de la fenêtre de contexte, avec quelques nuances dans les situations multi-tours.

Les jetons du budget de réflexion sont un sous-ensemble de votre paramètre max_tokens, sont facturés comme jetons de sortie, et comptent vers les limites de taux.

Cependant, les blocs de réflexion précédents sont automatiquement supprimés du calcul de la fenêtre de contexte par l’API Anthropic et ne font pas partie de l’historique de conversation que le modèle “voit” pour les tours suivants, préservant la capacité de jetons pour le contenu de conversation réel.

Le diagramme ci-dessous démontre la gestion spécialisée des jetons lorsque la pensée étendue est activée :

  • Suppression de la pensée étendue : Les blocs de pensée étendue (montrés en gris foncé) sont générés pendant la phase de sortie de chaque tour, mais ne sont pas reportés comme jetons d’entrée pour les tours suivants. Vous n’avez pas besoin de supprimer les blocs de réflexion vous-même. L’API Anthropic fait cela automatiquement pour vous si vous les renvoyez.
  • Détails d’implémentation technique :
    • L’API exclut automatiquement les blocs de réflexion des tours précédents lorsque vous les renvoyez dans le cadre de l’historique de conversation.
    • Les jetons de pensée étendue sont facturés comme jetons de sortie une seule fois, lors de leur génération.
    • Le calcul effectif de la fenêtre de contexte devient : context_window = (input_tokens - previous_thinking_tokens) + current_turn_tokens.
    • Les jetons de réflexion incluent à la fois les blocs thinking et redacted_thinking.

Cette architecture est efficace en jetons et permet un raisonnement extensif sans gaspillage de jetons, car les blocs de réflexion peuvent être substantiels en longueur.

Vous pouvez en lire plus sur la fenêtre de contexte et la pensée étendue dans notre guide de pensée étendue.

La fenêtre de contexte avec la pensée étendue et l’utilisation d’outils

Le diagramme ci-dessous illustre la gestion des jetons de la fenêtre de contexte lors de la combinaison de la pensée étendue avec l’utilisation d’outils :

1

Architecture du premier tour

  • Composants d’entrée : Configuration des outils et message utilisateur
  • Composants de sortie : Pensée étendue + réponse textuelle + demande d’utilisation d’outil
  • Calcul des jetons : Tous les composants d’entrée et de sortie comptent vers la fenêtre de contexte, et tous les composants de sortie sont facturés comme jetons de sortie.
2

Gestion du résultat d'outil (tour 2)

  • Composants d’entrée : Chaque bloc du premier tour ainsi que le tool_result. Le bloc de pensée étendue doit être retourné avec les résultats d’outils correspondants. C’est le seul cas où vous devez retourner les blocs de réflexion.
  • Composants de sortie : Après que les résultats d’outils ont été renvoyés à Claude, Claude répondra avec seulement du texte (pas de pensée étendue supplémentaire jusqu’au prochain message user).
  • Calcul des jetons : Tous les composants d’entrée et de sortie comptent vers la fenêtre de contexte, et tous les composants de sortie sont facturés comme jetons de sortie.
3

Troisième étape

  • Composants d’entrée : Toutes les entrées et la sortie du tour précédent sont reportées à l’exception du bloc de réflexion, qui peut maintenant être supprimé maintenant que Claude a terminé tout le cycle d’utilisation d’outil. L’API supprimera automatiquement le bloc de réflexion pour vous si vous le renvoyez, ou vous pouvez vous sentir libre de le supprimer vous-même à cette étape. C’est aussi là où vous ajouteriez le prochain tour User.
  • Composants de sortie : Puisqu’il y a un nouveau tour User en dehors du cycle d’utilisation d’outil, Claude générera un nouveau bloc de pensée étendue et continuera à partir de là.
  • Calcul des jetons : Les jetons de réflexion précédents sont automatiquement supprimés des calculs de la fenêtre de contexte. Tous les autres blocs précédents comptent encore comme partie de la fenêtre de jetons, et le bloc de réflexion dans le tour Assistant actuel compte comme partie de la fenêtre de contexte.
  • Considérations pour l’utilisation d’outils avec la pensée étendue :
    • Lors de la publication des résultats d’outils, le bloc de réflexion entier non modifié qui accompagne cette demande d’outil spécifique (y compris les portions de signature/expurgées) doit être inclus.
    • Le calcul effectif de la fenêtre de contexte pour la pensée étendue avec l’utilisation d’outils devient : context_window = input_tokens + current_turn_tokens.
    • Le système utilise des signatures cryptographiques pour vérifier l’authenticité du bloc de réflexion. Échouer à préserver les blocs de réflexion pendant l’utilisation d’outils peut briser la continuité de raisonnement de Claude. Ainsi, si vous modifiez les blocs de réflexion, l’API retournera une erreur.

Les modèles Claude 4 supportent la pensée entrelacée, qui permet à Claude de réfléchir entre les appels d’outils et de faire un raisonnement plus sophistiqué après avoir reçu les résultats d’outils.

Claude Sonnet 3.7 ne supporte pas la pensée entrelacée, donc il n’y a pas d’entrelacement de pensée étendue et d’appels d’outils sans un tour utilisateur non-tool_result entre les deux.

Pour plus d’informations sur l’utilisation d’outils avec la pensée étendue, voir notre guide de pensée étendue.

Fenêtre de contexte de 1M jetons

Claude Sonnet 4 supporte une fenêtre de contexte d’un million de jetons. Cette fenêtre de contexte étendue vous permet de traiter des documents beaucoup plus volumineux, de maintenir des conversations plus longues, et de travailler avec des bases de code plus étendues.

La fenêtre de contexte de 1M jetons est actuellement en bêta pour les organisations dans le niveau d’utilisation 4 et les organisations avec des limites de taux personnalisées. La fenêtre de contexte de 1M jetons n’est disponible que pour Claude Sonnet 4.

Pour utiliser la fenêtre de contexte de 1M jetons, incluez l’en-tête bêta context-1m-2025-08-07 dans vos requêtes API :

from anthropic import Anthropic

client = Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Traiter ce document volumineux..."}
    ],
    betas=["context-1m-2025-08-07"]
)

Considérations importantes :

  • Statut bêta : Il s’agit d’une fonctionnalité bêta sujette à changement. Les fonctionnalités et la tarification peuvent être modifiées ou supprimées dans les versions futures.
  • Exigence de niveau d’utilisation : La fenêtre de contexte de 1M jetons est disponible pour les organisations dans le niveau d’utilisation 4 et les organisations avec des limites de taux personnalisées. Les organisations de niveau inférieur doivent avancer au niveau d’utilisation 4 pour accéder à cette fonctionnalité.
  • Disponibilité : La fenêtre de contexte de 1M jetons est actuellement disponible sur l’API Anthropic et Amazon Bedrock. Le support pour Google Vertex AI suivra.
  • Tarification : Les requêtes dépassant 200K jetons sont automatiquement facturées aux tarifs premium (2x entrée, 1,5x sortie). Voir la documentation de tarification pour les détails.
  • Limites de taux : Les requêtes de contexte long ont des limites de taux dédiées. Voir la documentation des limites de taux pour les détails.
  • Considérations multimodales : Lors du traitement d’un grand nombre d’images ou de PDF, soyez conscient que les fichiers peuvent varier dans l’utilisation de jetons. Lors de l’association d’une invite volumineuse avec un grand nombre d’images, vous pourriez atteindre les limites de taille de requête.

Gestion de la fenêtre de contexte avec les modèles Claude plus récents

Dans les modèles Claude plus récents (à partir de Claude Sonnet 3.7), si la somme des jetons d’invite et des jetons de sortie dépasse la fenêtre de contexte du modèle, le système retournera une erreur de validation plutôt que de tronquer silencieusement le contexte. Ce changement fournit un comportement plus prévisible mais nécessite une gestion plus prudente des jetons.

Pour planifier votre utilisation de jetons et vous assurer de rester dans les limites de la fenêtre de contexte, vous pouvez utiliser l’API de comptage de jetons pour estimer combien de jetons vos messages utiliseront avant de les envoyer à Claude.

Voir notre tableau de comparaison de modèles pour une liste des tailles de fenêtre de contexte par modèle.

Prochaines étapes