给你们讲讲深度学习真正的牛逼之处

[PPTT123]

游戏里虚拟人不快乐的 忙活吗？

概念是虚拟世界，比电脑的软件虚拟世界高级多了

是从宇宙物理定律就是专门设计，从头开始搭建的虚拟世界宇宙

缺乏想象力的地球人，想象不出这样的虚拟世界，只能想象matrix这样的

高维度宇宙导致量子纠缠快于三维宇宙的光速

咱们这些三维纸片人就算知道它的存在也无法想象出它的原理

[keyrock]

高维度宇宙导致量子纠缠快于三维宇宙的光速

咱们这些三维纸片人就算知道它的存在也无法想象出它的原理

反正知道是虚拟世界，很多事情就能推导出来

首先时间旅行是不可能的，设计虚拟世界的，能让你时间旅行，把虚拟世界搞乱吗？显然不允许，物理定律就没设计这些

宇宙大量暗物质，暗能量存在也合理了，游戏人物看电脑内存也是暗物质，根本看不到

[xiaoju]

还是SGD，无非是步子大点小点，要不要助跑之类的

那么训练和微调的方法有了什么革命进步？

[far]

算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构

现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法

历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者

蛇头听着你的胡言乱语，一巴掌把你扇的口吐白沫

盹盹盹

[xiaoju]

还有一个原因是2002年也没有imagenet

训练CNN都不需要CUDA核这么复杂的东西，矿机水平的电路就够了

2002年估计集群都拿去给“更重要”的计算了 神经网络看图片这种事情 估计申请机时不容易 而且要传很多数据上去也麻烦 这就是为啥gpu计算这么重要 并不是非有它不可 但是这种廉价的并行计算democratized 高性能计算

[xiaoju]

当时的主要错误在于花时间寻找原理，但原理实际是不存在的

爱因斯坦的大脑和你的大脑原理是一样的，都是由已知人类基因构成的，并且出生后什么都不会

说明还是不懂原理，只想找一个更方便的公式硬套而已

[PPTT123]

反正知道是虚拟世界，很多事情就能推导出来

首先时间旅行是不可能的，设计虚拟世界的，能让你时间旅行，把虚拟世界搞乱吗？显然不允许，物理定律就没设计这些

宇宙大量暗物质，暗能量存在也合理了，游戏人物看电脑内存也是暗物质，根本看不到

宇宙最终结局就是被归零重启，所有的游戏人物都跳不出这个宇宙的轮回

推背图和三体都预测到了

[PPTT123]

当时的主要错误在于花时间寻找原理，但原理实际是不存在的

爱因斯坦的大脑和你的大脑原理是一样的，都是由已知人类基因构成的，并且出生后什么都不会

主要咱们是低维度生物，高维度生物设计的原理咱们无法理解

[keyrock]

宇宙最终结局就是被归零重启，所有的游戏人物都跳不出这个宇宙的轮回

推背图和三体都预测到了

你的思维都在灵魂里，灵界才是世界的主宰，我们宇宙不过是它们创造的多个宇宙之一

所以从古到今都有人能看到鬼，当然不是所有人

肉体不过是虚拟世界的游戏载体，生出来你的前世记忆和能力全部被肉体里的开关压制，每次从头开始，这样游戏公平

有人半中间因为某些意外，破坏了肉体压制机制，唤醒了前世记忆，这样的事情挺多的，网上都能搜得到

这些完全都有合理解释，因为我们就是在虚拟世界，不过比matrix这样的高级太多了

[wanmeishijie]

还是SGD，无非是步子大点小点，要不要助跑之类的

那这就不算什么啊

[PPTT123]

你的思维都在灵魂里，灵界才是世界的主宰，我们宇宙不过是它们创造的多个宇宙之一

所以从古到今都有人能看到鬼，当然不是所有人

肉体不过是虚拟世界的游戏载体，生出来你的前世记忆和能力全部被肉体里的开关压制，每次从头开始，这样游戏公平

有人半中间因为某些意外，破坏了肉体压制机制，唤醒了前世记忆，这样的事情挺多的，网上都能搜得到

这些完全都有合理解释，因为我们就是在虚拟世界，不过比matrix这样的高级太多了

Bug例子是不少

比如有些小孩没学过历史就知道古代发生的事情，压制记忆的软件出了问题而已

[minren]

哈佛 Boaz Barak 教授早在2022年就指出：对深度学习更恰当的评价是，它使用统计学术语来描述完全不同的概念。
https://windowsontheory.org/2022/06/20/ ... tatistics/

有些人用自己的思维定势, 把 “深度学习” 低级庸俗化。与普通机器学习不同，深度学习已不再简单是数据拟合，实际上它的大模型训练更像教学生。拿自监督学习举例，深度学习不是去近似拟合一个函数，而是学习可用于各种下游的任务的表示，如用在LLM中。而且多多益善：在自监督学习中，表示的质量随着数据量的增加而提高，不会因为混合了几个来源的数据而变糟。事实上，数据越多样化越好。另外，随着资源（数据、计算、模型大小）规模投入的增加，深度学习模型也在改进。

在物理学中，一旦scale 发生几个数量级的变化，几乎都需要一个完全不同的理论，在深度度学习中也是如此。Barak指出，世人很可能还没有获得正确的视角来看Deep Learning。

[huangchong]

当时的主要错误在于花时间寻找原理，但原理实际是不存在的

爱因斯坦的大脑和你的大脑原理是一样的，都是由已知人类基因构成的，并且出生后什么都不会

这也不能说叫错误 不知道什么可以work之前当然得不断摸索 不然怎么能摸索到

最近两天你说 hinton 这也试那也试 所以不够格 我看恰好相反 没有他这种愿意在冷门领域不断探索的人 就不会有突然的爆发

[ccmath]

神经网络如果没有Kaiming和Alex这些人，哪里有后来的图灵奖？整个领域本质上就是靠中俄科技民工从低谷搞起来的

Hinton主要是在画大饼，真正检验的是手下的学术民工

这也不能说叫错误 不知道什么可以work之前当然得不断摸索 不然怎么能摸索到

最近两天你说 hinton 这也试那也试 所以不够格 我看恰好相反 没有他这种愿意在冷门领域不断探索的人 就不会有突然的爆发

[xiaoju]

物理学家寻找以太，生物学家寻找灵魂，算不算错误呢？

不存在就是不存在，怎么找都找不到

这也不能说叫错误 不知道什么可以work之前当然得不断摸索 不然怎么能摸索到

最近两天你说 hinton 这也试那也试 所以不够格 我看恰好相反 没有他这种愿意在冷门领域不断探索的人 就不会有突然的爆发

[xiaoju]

Hinton对卷积神经网络大杀四方是很不服的，得了图灵奖后还开了好几个脑洞试图另辟蹊径，可惜仍然没卵用

神经网络如果没有Kaiming和Alex这些人，哪里有后来的图灵奖？整个领域本质上就是靠中俄科技民工从低谷搞起来的

Hinton主要是在画大饼，真正检验的是手下的学术民工

[Mouseinhouse]

你的思维都在灵魂里，灵界才是世界的主宰，我们宇宙不过是它们创造的多个宇宙之一

所以从古到今都有人能看到鬼，当然不是所有人

肉体不过是虚拟世界的游戏载体，生出来你的前世记忆和能力全部被肉体里的开关压制，每次从头开始，这样游戏公平

有人半中间因为某些意外，破坏了肉体压制机制，唤醒了前世记忆，这样的事情挺多的，网上都能搜得到

这些完全都有合理解释，因为我们就是在虚拟世界，不过比matrix这样的高级太多了

那你还呆在这个低维度空间干什么？

[keyrock]

那你还呆在这个低维度空间干什么？

没人能活着跑出我们的宇宙

就像游戏人物，没人能跳出电脑软件，跑到我们的世界一样

物理定律不一样，从宇宙一开始的设计就是如此

否则我们宇宙那里来的这么多暗物质，暗能量

就算知道存在，但是人类使出浑身解数也找不到

[keyrock]

这些东西知道对你也没用，该怎么样，还怎么样

唯一的好处就是对这个世界不那么困惑

为啥世界上有人能看见鬼，有人有前世记忆，还有什么濒死体验，灵魂出窍之类

[Mouseinhouse]

没人能活着跑出我们的宇宙

就像游戏人物，没人能跳出电脑软件，跑到我们的世界一样

物理定律不一样，从宇宙一开始的设计就是如此

否则我们宇宙那里来的这么多暗物质，暗能量

就算知道存在，但是人类使出浑身解数也找不到

噗嗤，我们这种低维度的生与死，在高维度空间连个屁都不是。who cares 跳不跳啊？