量子计算现在的关键点是error correction,否则每一步的准确率99.9%,算几十步就不行了。
LLM也是一样,就以推公式做例子
如果推公式每步都是以概率计算,99%好了,推十几步就会错的离谱。但是人牛逼的地方在于可以纠错,人可以通过多次演算,查资料,和他人比对,乃至做实验,让推公式的准确率远高于99%。
从这个例子可以看到,人类的智能有非常强的纠错能力,可以通过一些确凿的事实出发,得到非常可靠的结果,有些时候通过多人协作,查资料。而LLM没有这个能力,所有的训练资料都一股脑进来,不知道哪个是真的。
大语言模型和量子计算都卡在纠错能力上了
版主: verdelite, TheMatrix
-
- 论坛点评
pseudo 的博客 - 帖子互动: 150
- 帖子: 2715
- 注册时间: 2022年 7月 28日 10:04
#2 Re: 大语言模型和量子计算都卡在纠错能力上了
LLM可以推公式吗?感觉LLM只能做语言级别的模式匹配,根本不会推公式。Caravel 写了: 2023年 12月 19日 16:22 量子计算现在的关键点是error correction,否则每一步的准确率99.9%,算几十步就不行了。
LLM也是一样,就以推公式做例子
如果推公式每步都是以概率计算,99%好了,推十几步就会错的离谱。但是人牛逼的地方在于可以纠错,人可以通过多次演算,查资料,和他人比对,乃至做实验,让推公式的准确率远高于99%。
从这个例子可以看到,人类的智能有非常强的纠错能力,可以通过一些确凿的事实出发,得到非常可靠的结果,有些时候通过多人协作,查资料。而LLM没有这个能力,所有的训练资料都一股脑进来,不知道哪个是真的。