北京时间13:30
世界杯快打完了
这个理论的数学基础是之前贴的那个视频，就是N维embedding空间只有N个正交基，但是如果放宽到几乎正交，则基的数量可以随维度指数增长，也就是智能存储的基础，打比方1万的维度，就可以存储几百万上千万的近乎独立方向。...
其实我觉得现在LLM推理和人类推理，在第一性原理很多方面是一样的，特别是在抽象概念的推理上。都是从过去学习到的知识的条件概率分布来进行推理。 人类的推理并不显式的依赖文本，人没有纸笔的时候，也可以在心里推理，有时候需要喃喃自语，总之语言文字对人是一个nice...
三个娃都没有发展出来
核聚变，量子计算机都是诈骗集团骗钱 超弦理论也是伪科学 他的问题总是抓住一个学科30%的问题不放 一个学科如果所有问题都解决了 这个学科也就没有发展必要了 能获得他认可的发展都是非常保守的技术 比如 “小型核裂變反應器”
大语言模型就是一个高维条件概率分布 人脑虽然具体实现机理不一样 但是结果是一样的 也是条件概率 所谓学习，就是对齐条件概率 看到书上一个推导看不懂 说明你的条件概率根据条件得到了A，或者B，书上却是C 这时候很痛苦...
哪里踩到一龙了？
人类以及动物的意识是怎么产生的？有很多理论，各人都有各的看法，没有统一的观点。从物理学的角度看，喜欢有操作性的定义。从可操作性出发，我认为一个合适的意识的定义就是区分自身和环境以及他人的能力。 生物是通过严苛的生存竞争来逐渐获得的意识。最早的单细胞生物，多细胞生物的意识如果有也是很弱的，只有简单的条件发射性的程序性的功能来获取食物，和躲避危险。渐渐的动物有了更多的知觉，乃至有了视觉，能力逐渐增强。对区分自我和环境和，区分什么是食物，什么是捕食者的认识逐渐丰满立体起来。不仅有触觉的，也有视觉的，还能感知重力和气味。...
Lecun的世界模型JEPA和李飞飞的空间智能指的其实是一回事 就是生物学的智能体不可能是靠自然语言train出来的 李飞飞的演讲里面说动物的视觉是在一个很短的时间里面突然出现的（寒武纪大爆炸？）“ 此后很快就成为了动物界dominant的一个感官。...
我认为答案其实很简单 意识其实就是一段程序，满足几个条件 1. 在一段时间内continuously run，有自己的clock也就是内部时间。这个很好实现。 2. 第二个有一些sensor是能sense外部世界 3. 他内部有一个内部潜在空间，他的神经网络可以把sense...
这段时间LLM用的越多，它的弊端就越明显。 首先就是LLM已经出现了分化的趋势，推理模型需要的思考时间很长，短的几十秒，长的几百秒。普通模型则反应时间很快。有时候我会犹豫一下到底要不要点deep think。 同时像wdong说的，有的模型数学coding很好指令跟随不行，这样的模型作为交互模型则不好用。另外，对于一些特定的任务，小模型可以取得和大模型同样的效果，当然cost更低。...