#1 三元量化有望大幅度提高大模型的可用性
发表于 : 2024年 2月 29日 18:27
三元量化,就是每个网络参数只用-1, 0, 和1三个数来表示。每个参数只占1.58比特。效果一样好,速度更快。
https://arxiv.org/abs/2402.17764
这样以前因为VRAM太小不能跑的大模型,现在可以在便宜机器上跑了。
https://arxiv.org/abs/2402.17764
这样以前因为VRAM太小不能跑的大模型,现在可以在便宜机器上跑了。