叔给你们讲一下为什么ChatGPT认为9.8<9.11

[xiaoju]

LLM处理的不是字符和数字，而是一个个高维空间的词向量，即token

自然语言到token的映射并非人类设计，是用统计方法从大数据里学到的。11因为出现频率高，所以也被当成一个token

所以在LLM看来，9.11只是比9.8更大的，小数点后只有一位的数，按照计算法则是大于9.8的

[Dashabi01]

感觉gpt有时候挺聪明
有时候又特别蠢

[邢慧强]

9.12呢？

[xiaoju]

GPT有极大的知识储量，超强的直觉，但不存在任何推理能力

问GPT1+1等于几或者黎曼猜想，生成答案的速度是一样的，这是transformer的基本结构所致

感觉gpt有时候挺聪明
有时候又特别蠢

[xiaoju]

如果你怕模型丢脸，专门训练一遍这类问题，它就能给出正确答案

但这是背下来的不是算出来的

你让它自己算，还是算不对

9.12呢？

[Westin]

LLM处理的不是字符和数字，而是一个高维空间的词向量，即token

自然语言到token的映射并非人类设计，是用统计方法从大数据里学到的。11因为出现频率高，所以也被当成一个token

所以在LLM看来，9.11只是比9.8更大的，小数点后只有一位的数，按照计算法则是大于9.8的

我看你不太懂，就虚心多读点书，少发点宏论吧
现在chatgpt之所以认为9.11比9.8大，是因为语义训练材料里大量的代码内容。软件版本控制中，9.11比9.8大，这种关系用在数学环境中，才导致这样的错误。
这种缺陷不是不可以克服的。llm的数学和逻辑推理能力都在快速提高。新近推出的gpt o1基于rl, 推理能力基于新的范式，已经到了一个新的高度

[heteroclinic]

两小儿便日
这就是时代的车轮么？

[heteroclinic]

书真不想说啥难听话
各位洗睡吧

[粪土如今万户侯]

5000年考文章，四书五经通读，也不会产生几何原本。

一个道理。

[datada]

试了下，真是。

[xiaoju]

白痴，拿百度搜到的东西来打滚？

这个就是token的原因，而且很容易验证：把9.11和9.8拆成有分隔符的token输入进去，让LLM自己合成一个数字比较大小，这时候就能出正确答案了

而且o1也是一样，顶多是rl生成提示词，计价还是基于token的。transformer这个架构从原理上就不能推理，必须看上下文

我看你不太懂，就虚心多读点书，少发点宏论吧
现在chatgpt之所以认为9.11比9.8大，是因为语义训练材料里大量的代码内容。软件版本控制中，9.11比9.8大，这种关系用在数学环境中，才导致这样的错误。
这种缺陷不是不可以克服的。llm的数学和逻辑推理能力都在快速提高。新近推出的gpt o1基于rl, 推理能力基于新的范式，已经到了一个新的高度

[redot]

9.8 is greater than 9.15. This is because 0.15 is greater than 0.08, so when added to 9, 9.15 becomes larger. Think of it like comparing 8 cents to 15 cents—15 cents will always be more!

When you're listing subtitles or anything with decimal points, you'll compare them digit by digit from left to right. So, 3.15 comes first because 1 is less than 8, even though 15 is a larger number than 8. Imagine it like a countdown: 3.1, 3.2, 3.3... until you reach 3.8. Makes sense?

呵呵呵，聪明！

[kreisler]

LLM处理的不是字符和数字，而是一个个高维空间的词向量，即token

自然语言到token的映射并非人类设计，是用统计方法从大数据里学到的。11因为出现频率高，所以也被当成一个token

所以在LLM看来，9.11只是比9.8更大的，小数点后只有一位的数，按照计算法则是大于9.8的

自然语言到token 的映射当然是人类的设计 就是个字典 跟大数据没有关系 权重才是统计的结果

[xiaoju]

1. 这个字典，是通过机器学习的方法得到的
2. 这个字典的训练和LLM的训练是独立的
3. transfomer的基本原理告诉我们，不管有多少层，每层多少个attention头，token的数目从头到尾保持不变

所以只要一开始的token不正确，所有的结果都会被带偏

自然语言到token 的映射当然是人类的设计 就是个字典 跟大数据没有关系 权重才是统计的结果

[xiaoju]

这就是典型的硬加进去的内容

等你发现9.8大于9.15了，模型又会开始认为圣经的9.8节在9.15节之后了

9.8 is greater than 9.15. This is because 0.15 is greater than 0.08, so when added to 9, 9.15 becomes larger. Think of it like comparing 8 cents to 15 cents—15 cents will always be more!

When you're listing subtitles or anything with decimal points, you'll compare them digit by digit from left to right. So, 3.15 comes first because 1 is less than 8, even though 15 is a larger number than 8. Imagine it like a countdown: 3.1, 3.2, 3.3... until you reach 3.8. Makes sense?

呵呵呵，聪明！