Réduire la latence

​

Comprendre la latence

La latence, dans le contexte des LLM comme Claude, fait référence au temps nécessaire au modèle pour traiter votre entrée (le prompt) et générer une sortie (la réponse, également appelée “complétion”). La latence peut être influencée par divers facteurs, tels que la taille du modèle, la complexité du prompt et l’infrastructure sous-jacente qui prend en charge le modèle et le point d’interaction.

Il est toujours préférable de concevoir d’abord un prompt qui fonctionne bien sans contraintes de modèle ou de prompt, puis d’essayer ensuite des stratégies de réduction de la latence. Essayer de réduire prématurément la latence pourrait vous empêcher de découvrir à quoi ressemble une performance optimale.

​

Mesurer la latence

Lorsque vous parlez de latence, vous pouvez rencontrer plusieurs termes et mesures :

• Latence de base : Il s’agit du temps nécessaire au modèle pour traiter le prompt et générer la réponse, sans tenir compte des tokens d’entrée et de sortie par seconde. Elle donne une idée générale de la vitesse du modèle.
• Temps jusqu’au premier token (TTFT) : Cette métrique mesure le temps nécessaire au modèle pour générer le premier token de la réponse, à partir du moment où le prompt a été envoyé. C’est particulièrement pertinent lorsque vous utilisez le streaming (nous y reviendrons plus tard) et que vous souhaitez offrir une expérience réactive à vos utilisateurs.

Pour une compréhension plus approfondie de ces termes, consultez notre glossaire.

​

Stratégies pour réduire la latence

Maintenant que vous avez une meilleure compréhension de la latence, plongeons dans trois stratégies efficaces pour vous aider à la minimiser et à rendre vos applications alimentées par Claude plus rapides que jamais.

​

1. Choisir le bon modèle

L’une des façons les plus simples de réduire la latence est de sélectionner le modèle approprié pour votre cas d’utilisation. Anthropic propose une gamme de modèles avec des capacités et des caractéristiques de performance différentes :

• Claude 3 Haiku : En tant que notre modèle le plus rapide, Haiku est idéal pour les applications qui nécessitent des réponses rapides et peuvent tolérer une taille de modèle légèrement plus petite.
• Claude 3 Sonnet : Établissant un équilibre entre vitesse et taille de modèle, Sonnet offre de meilleures performances que Haiku tout en maintenant une latence relativement rapide.
• Claude 3 Opus : En tant que notre modèle le plus grand et le plus puissant, Opus est parfait pour les tâches complexes qui exigent la plus haute qualité de sortie. Cependant, il peut avoir une latence plus élevée par rapport à Haiku et Sonnet.

Considérez vos besoins spécifiques et choisissez le modèle qui correspond le mieux à vos besoins en termes de vitesse et de qualité de sortie. Pour plus de détails sur les métriques des modèles, consultez notre page aperçu des modèles.

​

2. Optimiser la longueur du prompt et de la sortie

Une autre façon efficace de réduire la latence est de minimiser le nombre de tokens à la fois dans votre prompt d’entrée et dans la sortie attendue. Moins le modèle a de tokens à traiter et à générer, plus la réponse sera rapide.

Voici quelques conseils pour vous aider à optimiser vos prompts et vos sorties :

• Soyez clair mais concis : Visez à transmettre votre intention de manière claire et concise dans le prompt. Évitez les détails inutiles ou les informations redondantes, tout en gardant à l’esprit que Claude manque de contexte sur votre cas d’utilisation et peut ne pas faire les sauts de logique prévus si les instructions ne sont pas claires.
• Demandez des réponses plus courtes : Demandez directement à Claude d’être concis. La famille de modèles Claude 3 a amélioré la dirigeabilité par rapport aux générations précédentes. Si Claude produit une longueur non désirée, demandez à Claude de freiner son bavardage.

  Remarque : En raison de la façon dont les LLM comptent les tokens au lieu des mots, demander un nombre exact de mots ou une limite de nombre de mots n’est pas une stratégie aussi efficace que de demander des limites de nombre de paragraphes ou de phrases.

• Définissez des limites de sortie appropriées : Utilisez le paramètre max_tokens pour définir une limite stricte sur la longueur maximale de la réponse générée. Cela empêche Claude de générer des sorties trop longues.

  Remarque : Lorsque la réponse atteint max_tokens tokens, la réponse sera coupée, peut-être au milieu d’une phrase ou d’un mot, donc c’est une technique brutale qui peut nécessiter un post-traitement et est généralement plus appropriée pour les réponses à choix multiples ou les réponses courtes où la réponse arrive dès le début.

• Expérimentez avec la température : Le paramètre temperature contrôle le caractère aléatoire de la sortie. Des valeurs plus faibles (par exemple, 0,2) peuvent parfois conduire à des réponses plus ciblées et plus courtes, tandis que des valeurs plus élevées (par exemple, 0,8) peuvent entraîner des sorties plus diverses mais potentiellement plus longues.

Trouver le bon équilibre entre la clarté du prompt, la qualité de la sortie et le nombre de tokens peut nécessiter une certaine expérimentation, mais cela en vaut la peine si la réalisation d’une latence optimale est importante pour votre cas d’utilisation.

Pour plus d’informations sur les paramètres, consultez notre documentation de l’API.

​

3. Tirer parti du streaming

Le streaming est une fonctionnalité qui permet au modèle de commencer à renvoyer sa réponse avant que la sortie complète ne soit terminée. Cela peut améliorer considérablement la réactivité perçue de votre application, car les utilisateurs peuvent voir la sortie du modèle en temps réel.

Avec le streaming activé, vous pouvez traiter la sortie du modèle au fur et à mesure qu’elle arrive, en mettant à jour votre interface utilisateur ou en effectuant d’autres tâches en parallèle. Cela peut grandement améliorer l’expérience utilisateur et rendre votre application plus interactive et réactive.

Visitez Messages en streaming pour apprendre comment vous pouvez implémenter le streaming pour votre cas d’utilisation.

​

En conclusion

La réduction de la latence peut être cruciale pour la construction d’applications réactives et engageantes avec Claude, en fonction de votre cas d’utilisation. En choisissant le bon modèle, en optimisant vos prompts et vos sorties, et en tirant parti du streaming, vous pouvez améliorer considérablement la vitesse et les performances globales de vos projets alimentés par Claude. Trouver l’équilibre parfait peut nécessiter quelques essais et erreurs, mais les résultats en valent la peine.

Si vous avez d’autres questions ou avez besoin de conseils supplémentaires, n’hésitez pas à contacter notre communauté sur notre serveur Discord ou notre équipe d’assistance client. Nous sommes toujours là pour vous aider et vous soutenir dans votre parcours avec Claude.

Bon codage ! Que vos applications soient aussi rapides que puissantes !