#22 Re: 浮点数,不可能再简单了
.
.
结合律不是数学公理?这个就是结合律在浮点运算里失效的例子啊。
这个学问说大不大,说小也不算小。搞科学计算这个是实实在在需要解决的问题。
你有大学问,你是大学问家,开森了?
多个浮点数相加,如果量级差得多,是要先排序然后再加的。
heteroclinic 写了: 2025年 9月 8日 21:22“并行归约次序不同:浮点加法不满足结合律”
记错了
https://chatgpt.com/share/68ae2206-feb8 ... 6cea56d985
浮点数是基于人有五个手指头的。强行让机器算十进制浮点肯定是有很多inefficiency。
加减乘除本身也是人比较随意规定的一些运算规则。用机器的话也是不efficient。
所有的运算应该基于与非门优化,可以用人工智能优化。不要加入认为的规则,才可以有最优的底层运算逻辑。
486dx是这样集成了,486sx还不带
浮點數沒有標準,尤其是GPU處理FP16、FP8、FP6、FP4沒有標準,我敢保證不修改代碼,同樣的運算在不同廠家的GPU上結果會不一樣,而且千奇百怪。浮點數不是整數,GPU不是CPU。CUDA至今也沒有開源。
jiml 写了: 2025年 9月 8日 22:21你别整一些高大上名词好不好啊,显得很有学问似的
小数乘加,积或和,做normalization,尾数多出来的部分做四舍五入
多组小数做乘加,不同配对,会导致不同的四舍五入结果
小学生学小数运算的时候,已经教过了嘛,对吧?
这里面,根本没啥学问嘛
你用手算,拨算盘,用whatever工具,小数运算里的四舍五入问题一直就有的,和电脑啊,ai啊,协处理器啊,每一丁点狗屁关系嘛。
你說這話顯然是外行,前幾天還想教育我?兩個庫浮點數結果對不上的bug一大堆,難道你只用CUDA?你做過跨GPU移植嗎?
你恐怕是沒有做過哪怕一點GPU實際的浮點數BLAS吧?如果BLAS不開源,鬼知道裡面是怎麼處理邊緣問題的。現在還沒有公司敢宣傳自己100%兼容CUDA,就是這個原因。