Quantization / quantification

Que veut dire « Quantization / quantification » dans le jargon de l’IA ?

Compresser les poids d'un modèle (ex. 4 bits, Q4_K_M) pour réduire sa taille et sa mémoire, au prix d'une légère perte de qualité. Rend les gros modèles utilisables en local.

Autres formes : Quantization, quantification.