新未名空间

不要尾数，误差会不会很大？

Caravel 写了： 2025年 9月 5日 14:09

不要尾数，误差会不会很大？

尾数各个bit贡献递减，不如把省下的存储和计算力用于增加神经单元数或者连接数。

ue8m0 做推理不会有问题的

做训练够不够，是 deepseek 需要做的事，
可能已经论证过了 。

Caravel 写了： 2025年 9月 5日 14:09

不要尾数，误差会不会很大？

因为党妈的显卡只用来推理，所以8位就可以了

而美帝N记的显卡还用来数值运算，所以仍然需要32位

jiml 写了： 2025年 9月 5日 14:17

ue8m0 做推理不会有问题的

做训练够不够，是 deepseek 需要做的事，
可能已经论证过了 。

会损失性能吧

感觉这就是邪路

老是想小米加步枪跟人家飞机大炮对决

Caravel 写了： 2025年 9月 5日 14:28

会损失性能吧

感觉这就是邪路

老是想小米加步枪跟人家飞机大炮对决

性能，或者说算力，ue8m0 更好些.

因为，ue8m0 的 gate count 小，同等面积的 chip die，可以塞进更多的ue8m0 计算单元。

jiml 写了： 2025年 9月 5日 14:35

性能，或者说算力，ue8m0 更好些.

因为，ue8m0 的 gate count 小，同等面积的 chip die，可以塞进更多的ue8m0 计算单元。

速度快，不准也没有用

Caravel 写了： 2025年 9月 5日 14:09

不要尾数，误差会不会很大？

把数值表达到正确的数量级上，误差随着数值大小指数比例变化，应该正好。

只要数值稳定怕个屁

就是一人工弱智。为什么有人认为能“work”。

Caravel 写了： 2025年 9月 5日 15:35

速度快，不准也没有用

不见得，有些人体感觉也是 用对数测度的
比如
音量（分贝dB）使用对数尺度衡量的单位

UE8M0，这个符号似乎有点误导。实际上它就是一个整数，你可以说它就是uint8，也可以说它是int8，就是一个8位的小整数，可以是unsigned，也可以说是signed，因为它还有一个bias，一般固定为-127，这实际上就是signed int。它表示的就是，2的多少次幂可以把一个tensor scale到一个数值大小合适的区间。

TheMatrix 写了： 2025年 9月 8日 11:01

UE8M0，这个符号似乎有点误导。实际上它就是一个整数，你可以说它就是uint8，也可以说它是int8，就是一个8位的小整数，可以是unsigned，也可以说是signed，因为它还有一个bias，一般固定为-127，这实际上就是signed int。它表示的就是，2的多少次幂可以把一个tensor scale到一个数值大小合适的区间。

你理解错了

2的幂，正数

ue8m0 的零，是指定的特殊情况

净他妈不懂装懂扯JB蛋。N显卡支持多种FP精度，从FP8到FP64都支持。FP8支持两种制式。

弃婴千枝 写了： 2025年 9月 5日 14:22

因为党妈的显卡只用来推理，所以8位就可以了

而美帝N记的显卡还用来数值运算，所以仍然需要32位

U表示unsigned,不能表示负数。Bias是对指数的bias.比如如果bias是-127，如果是0的话就是2^-127. 全是1的话就是2¹²⁸.任何两个2的指数之间就近似到其中一个。比如76就近似到64. 0.2就近似到0.25.

TheMatrix 写了： 2025年 9月 8日 11:01

UE8M0，这个符号似乎有点误导。实际上它就是一个整数，你可以说它就是uint8，也可以说它是int8，就是一个8位的小整数，可以是unsigned，也可以说是signed，因为它还有一个bias，一般固定为-127，这实际上就是signed int。它表示的就是，2的多少次幂可以把一个tensor scale到一个数值大小合适的区间。

windy 写了： 2025年 9月 8日 17:50

净他妈不懂装懂扯JB蛋。N显卡支持多种FP精度，从FP8到FP64都支持。FP8支持两种制式。

你并没比弃婴懂得更多

你仔细看看去，普通 N 卡，比如 5070， 是否真正地支持 fp64？

其实这也是一个研究方向。现在的E4M3, E5M2，还有这个UE8M0都有自己的问题,以前的IEEE754就更不用说了，太古老的东西。我这次参加学术会议，一个老头就搞这个研究的。他提出了一个标准，似乎比这几个都强。就是不知道有没有硬件公司能用。

我说的是Nvidia H100之类机器学习用的高级显卡。5070当然支持FP64,也支持FP8,甚至支持FP4, 虽然是在Tensor core里

jiml 写了： 2025年 9月 8日 17:59

你并没比弃婴懂得更多

你仔细看看去，普通 N 卡，比如 5070， 是否真正地支持 fp64？