大语言模型和量子计算都卡在纠错能力上了

STEM版,合并数学,物理,化学,科学,工程,机械。不包括生物、医学相关,和计算机相关内容。

版主: verdeliteTheMatrix

回复
Caravel楼主
论坛元老
论坛元老
Caravel 的博客
帖子互动: 680
帖子: 27136
注册时间: 2022年 7月 24日 17:21

#1 大语言模型和量子计算都卡在纠错能力上了

帖子 Caravel楼主 »

量子计算现在的关键点是error correction,否则每一步的准确率99.9%,算几十步就不行了。

LLM也是一样,就以推公式做例子

如果推公式每步都是以概率计算,99%好了,推十几步就会错的离谱。但是人牛逼的地方在于可以纠错,人可以通过多次演算,查资料,和他人比对,乃至做实验,让推公式的准确率远高于99%。

从这个例子可以看到,人类的智能有非常强的纠错能力,可以通过一些确凿的事实出发,得到非常可靠的结果,有些时候通过多人协作,查资料。而LLM没有这个能力,所有的训练资料都一股脑进来,不知道哪个是真的。
头像
pseudo(small man)
论坛点评
论坛点评
pseudo 的博客
帖子互动: 150
帖子: 2715
注册时间: 2022年 7月 28日 10:04

#2 Re: 大语言模型和量子计算都卡在纠错能力上了

帖子 pseudo(small man) »

Caravel 写了: 2023年 12月 19日 16:22 量子计算现在的关键点是error correction,否则每一步的准确率99.9%,算几十步就不行了。

LLM也是一样,就以推公式做例子

如果推公式每步都是以概率计算,99%好了,推十几步就会错的离谱。但是人牛逼的地方在于可以纠错,人可以通过多次演算,查资料,和他人比对,乃至做实验,让推公式的准确率远高于99%。

从这个例子可以看到,人类的智能有非常强的纠错能力,可以通过一些确凿的事实出发,得到非常可靠的结果,有些时候通过多人协作,查资料。而LLM没有这个能力,所有的训练资料都一股脑进来,不知道哪个是真的。
LLM可以推公式吗?感觉LLM只能做语言级别的模式匹配,根本不会推公式。
回复

回到 “STEM”