其实我觉得现在LLM推理和人类推理，在第一性原理很多方面是一样的，特别是在抽象概念的推理上。都是从过去学习到的知识的条件概率分布来进行推理。
人类的推理并不显式的依赖文本，人没有纸笔的时候，也可以在心里推理，有时候需要喃喃自语，总之语言文字对人是一个nice to have, 但是并非必须。但是这并不能说人不是生成式的，也许只是有一个内空间的语言，完了最后可以翻译成token也可以不翻译。
LLM通过预训练大量文本学习到知识的条件概率，人类的条件概率只有一部分来自文本。上下左右冷热这些东西小孩早就会了。这些东西LLM是不具备的，它们都只是完全来自文本，所以预训练的数据量要求非常大，好比要给一个既看不见也听不见的人描述整个世界。也许机器人和具身智能未来可以填上这个GAP。
学习文本到过程是很类似的，第一步就是要尽可能的重复文本本身的概率。所谓书读百遍其义自现，佛教里面有小和尚念经念很多年最后有一天顿悟的说法。然后再是做习题，相当于是RLVR, 把条件概率串起来。
不同的是人类是通过多轮学习练习来完成，相当于多轮预训练后训练。目前LLM轮次很少，但是也有复杂化的趋势，我觉得今后大概率是走向多轮化，复杂化。以前因为不懂原理，所以互联网文本是一股脑填进去，以后估计是精准投送，第一波就是学习空间，基础常识这些，恐怕就不要那么多数据可以简化。
目前就这些观察。LLM还是有很大的优化空间，但是就目前的能力也很惊人了，主要是他的知识广度远远超过人类，在很多task上都可以轻松战胜哪怕最聪明的大脑。
人的直觉不是太阳围着地球转吗？
LLM有啥推理，最多就是总结，关联
归纳吧，离推理差的还远
他早就学过了，不存在自己推导出来
按照目前的架势，AI 能推导出类似相对论或薛定谔方程来吗？
能，一定能，而且我一点都不会感到意外。但这都不是科学。
人类最早做AI，就是根据自己思考的经验，模仿自己
后来出现的神经网络，还有现在的LLM，都是挂羊头卖狗肉
准确不准确在于经验，一个数学不行的去做数学题会准确么？
人的直觉是准确的
所以早期的AI是真正的模仿人脑
不过因为人类算法水平太差，还有很多人脑复杂的细节不知道，没法作出人脑那样的结果
现在的LLM，和人脑思维方式，一毛钱关系都没有
鸟飞行和飞机飞行也是有相同的地方。
在搞清楚之前，比较一下是有好处的
人类技术水平太差，不按照人脑的方向做，肯定不行
飞机比鸟的技术差远了，能耗高，灵活性差，如果是生物，早就灭绝了
不过鸟设计不是载人的，而飞行的原理比较简单，飞机不能和鸟类类比，因为是完全不一样的目的
AI想弄智能就复杂多了，而且是要和人直接类比的
人是怎么思考的根本无所谓。 飞机飞行的原理给鸟儿也不一样。 alphago和柯洁的思维也不同。
现在没没碰到边界就根据自己设想的范式去担忧边界，是很无所谓的一件事。
模式匹配可以有几个相近的，这不是概率
人脑选择是通过思考的，就是规则和经验
不是概率为什么出来三个点
人类不行啊 吧所有东西事情都搞成数学模型 计算机就好理解了 现在太抽象
这种是显然的人脑模式匹配，也不能算概率
也是概率，围棋高手一看局面，心理就三个选点
人的推理靠规则和经验
就是最早AI的方法
问题是你们人类算法水平太差，明明一开始直觉告诉你什么是正确的，但是因为算法水平太差，做不出来
现在的方法完全不对，人根本不是用概率思考的，这个每个人心里明白