Concept LLM & agents
Fenêtre de contexte / Context window
Que veut dire « Fenêtre de contexte / Context window » dans le jargon de l’IA ?
La quantité de texte que le modèle peut avoir « sous les yeux » en une fois (en tokens). Au-delà, il oublie le début. Central pour les longs documents et les conversations.
Autres formes : context window, fenêtre de contexte, Contexte.
La fenêtre de contexte borne tout ce qu'un modèle peut prendre en compte dans une requête : prompt système, historique, documents injectés et sortie attendue s'y disputent la même capacité. La dépasser force soit une compaction, soit une perte d'information.
Exemple d’usage : Lors de la relecture d'un article de vulgarisation sur les LLM, une clarification a porté sur la fenêtre de contexte, distinguée de l'entraînement, du traitement du prompt et de la génération token par token, avec la mention d'une mémoire externe possible en complément.
Laisser un commentaire