Concept LLM & agents
Garde-fou / Guardrail
Que veut dire « Garde-fou / Guardrail » dans le jargon de l’IA ?
Contrôle qui borne ou refuse une action d’agent si une condition de sûreté ou de portée échoue.
Autres formes : garde-fou, guardrail.
Un garde-fou borne une action d'agent avant qu'elle ne s'exécute : il la refuse si une condition de sûreté ou de périmètre n'est pas remplie, indépendamment de ce que l'agent « pense » être une bonne idée.
Exemple d’usage : Le terme a servi à désigner un contrôle de qualité sur les sorties d'un pipeline (rejeter les descriptions trop faibles générées par un modèle de captioning d'images), mais aussi des garde-fous appliqués en revue de code, par exemple pour que toutes les actions asynchrones d'un store passent par un point de contrôle commun.
Laisser un commentaire