Concept LLM & agents
Gate / porte
Que veut dire « Gate / porte » dans le jargon de l’IA ?
Mécanisme qui contrôle le flux d'informations à l'intérieur d'un modèle. Dans une architecture Mixture of Experts, la gate décide quels experts activer pour chaque token — d'où un modèle plus gros mais moins coûteux à l'usage.
Autres formes : Gate, porte.
Laisser un commentaire