分页: 1 / 1

#1 三元量化有望大幅度提高大模型的可用性

发表于 : 2024年 2月 29日 18:27
hci
三元量化,就是每个网络参数只用-1, 0, 和1三个数来表示。每个参数只占1.58比特。效果一样好,速度更快。

https://arxiv.org/abs/2402.17764

这样以前因为VRAM太小不能跑的大模型,现在可以在便宜机器上跑了。

#2 Re: 三元量化有望大幅度提高大模型的可用性

发表于 : 2024年 3月 8日 08:06
minquan
我知道你说的这个,理论上e进制效率最高,而3显然比2更接近e
但是三进制计算机不是苏修早就不做了吗?