新未名空间

现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

很明显呀，目前的LLM的功能就是一个纯函数，输入映射到输出，并没有自己的状态，还不如马尔可夫链。

所以在我老鼓吹agent几年后，业界终于跟上趟了，都在搞agent。也就是要有自己的状态，最好是单个用户专有的状态。各大公司也在组建团队开始搞这些了。我找工的时候遇到一些这样的职位，当然我签了NDA，不能透露是哪些公司。其实这些东西我的公司早就已经做出来了，没人鸟，也没办法。

做预言家没有什么好处，给人类做贡献，就是行善，积累功德，争取早日修成正果。

Caravel 写了： 2025年 7月 10日 16:28 现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

这个感觉是insight啊，我感觉最近已经进步很多了，就是没测试过大型问题。

Caravel 写了： 2025年 7月 10日 16:28 现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

就像人类无法有效context switch，inference stack处理大量不同的任务时kv cache老被刷掉，当然效率低

hci 写了： 2025年 7月 10日 19:22 很明显呀，目前的LLM的功能就是一个纯函数，输入映射到输出，并没有自己的状态，还不如马尔可夫链。

所以在我老鼓吹agent几年后，业界终于跟上趟了，都在搞agent。也就是要有自己的状态，最好是单个用户专有的状态。各大公司也在组建团队开始搞这些了。我找工的时候遇到一些这样的职位，当然我签了NDA，不能透露是哪些公司。其实这些东西我的公司早就已经做出来了，没人鸟，也没办法。

做预言家没有什么好处，给人类做贡献，就是行善，积累功德，争取早日修成正果。

无厘头

编程工具已经不只是llm，已经是agents，有context/memory，有tools，还有越来越多的mcp

Caravel 写了： 2025年 7月 10日 16:28 现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

需要多少显存呢？现在对每一个问问题的对话，用了多少显存？有1TB没有？

？使用大量内存和算力的（无）状态机？WTF

用户端不需要显卡

正是如此，有意思吧。

这个问题出现在我的一轮ML面试中：＂what is the computational nature of a transformer model?” 回答：＂it is a stateless function，mapping one sequence to another”… ＂what does attention mechanism do? How does it work”，回答如我在这儿解释Q，K，V一样。还有些其它问题，都用我在这儿发表的言论回答。

顺利进入下一轮。

如果你扯什么涌现，模拟大脑，AGI啥的，应该过不了这种面试，哈哈哈。

Terminus 写了： 2025年 7月 12日 15:59 ？使用大量内存和算力的（无）状态机？WTF

wass 写了： 2025年 7月 12日 18:01 用户端不需要显卡

服务器端用多少？

bihai 写了： 2025年 7月 13日 02:04 服务器端用多少？

肯定增加呀，看看nvda的股票

wass 写了： 2025年 7月 13日 03:24 肯定增加呀，看看nvda的股票

每个人每个对话上下文多大显存够用啊？128G？1TB？

但是，要时分复用吗？那么大显存不能只给一个人用吧？那会很贵的吧。但是时分复用就得花时间存取。

bihai 写了： 2025年 7月 13日 14:10 每个人每个对话上下文多大显存够用啊？128G？1TB？

但是，要时分复用吗？那么大显存不能只给一个人用吧？那会很贵的吧。但是时分复用就得花时间存取。

具体要看太多细节了

wass 写了： 2025年 7月 13日 15:06 具体要看太多细节了

所以我觉得难点是不是就在这里？除非很多人需要的同样的上下文，那可以通用。比如在一个team里加入一个AI员工，这个team的内容是一样的，那么这个AI员工就可以在同样的代码库里阅读所有的信息，可以参与不同的功能实现。

或者像大夫，每个病人都是类似的病症，那么具体的上下文不太需要存在显存里，反正都差不多。每个病人需要的具体的上下文也不多，就跟病例一样写下来即可。