此帖转自 wass 在 STEM 的帖子：十年后的算力
算力：2年一代，快10倍
10年后，算力是现在的10万倍。
现在马斯克的10万卡，就需要一卡
数据增加为1.5？
什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实
（转载）十年后的算力
版主： hci
-
TheMatrix
- 论坛支柱
2024年度优秀版主
TheMatrix 的博客 - 帖子互动： 268
- 帖子： 13456
- 注册时间： 2022年 7月 26日 00:35
-
TheMatrix
- 论坛支柱
2024年度优秀版主
TheMatrix 的博客 - 帖子互动： 268
- 帖子： 13456
- 注册时间： 2022年 7月 26日 00:35
#9 Re: （转载）十年后的算力
不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。
一个指数增长的东西，不靠算法的改进是无法穿透的。
LLM的瓶颈是架构的问题，架构就是算法。
但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。
#10 Re: （转载）十年后的算力
我在卖一个AI agent的公司，有感兴趣的，赶紧联系我。现在已经有三家在看了。过了这个村，就没这个店了。哈哈。
TheMatrix 写了： 2024年 11月 17日 21:05 不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。
一个指数增长的东西，不靠算法的改进是无法穿透的。
LLM的瓶颈是架构的问题，架构就是算法。
但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。
#11 Re: （转载）十年后的算力
电力肯定不是问题，10年后，一卡用一样的电有现在10万卡的算力，一两个月就可以跑一遍所有数据，用现在的attention算法TheMatrix 写了： 2024年 11月 17日 21:05 不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。
一个指数增长的东西，不靠算法的改进是无法穿透的。
LLM的瓶颈是架构的问题，架构就是算法。
但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。
-
VladPutin（清风不识字何故乱翻书）
- 论坛支柱
VladPutin 的博客 - 帖子互动： 1588
- 帖子： 13820
- 注册时间： 2022年 7月 24日 11:12
#14 Re: （转载）十年后的算力
算力只是最简单的部分，神经网络结构的任何改变都可能带来AI能力量级提升。非线性科学的机会来了。
蒙古国有愚豕浮阳外越，便结不通，频下清个痢虚之气。虽屡试开赛露之剂，终无寸效。遂引诣兽医师诊之。医者摩其腹良久，谓主人曰："咄！此蠢物腹中空若悬磬，纵投万斛通肠开赛之剂，犹决涸泽而求鲋也，岂有济哉？"
