Co je kvantizace a o kolik se tím zhorší výsledek?

Kvantizace je zmenšení modelu tím, že se jeho vnitřní čísla uloží v menší přesnosti. Model s třiceti miliardami parametrů zabere v plné přesnosti zhruba šedesát gigabajtů, ve čtyřbitové kvantizaci necelých dvacet, takže se vejde na jednu grafickou kartu. Ztráta kvality je u čtyř bitů obvykle malá, u agresivnějších úrovní znatelná. Přesné číslo pro vaši úlohu se nedá odhadnout, dá se jen změřit na testovací sadě, a to je součást naší práce.