浅说深度学习

[japamer]

在信息大爆炸的时代，出现很多新名词；光听名词就能把一些不了解或者没有时间去深究的人唬住。

据说 AI 的关键在机器学习，而机器学习的关键在深度学习；那么理解 AI 的关键就在于理解深度学习。

简单来说，深度学习是通过大量的类似 y=f（x）的训练来找到未知的 f 函数或者关系。这样一来：

1） 首先的一个问题是 f 真的存在吗？如果那是一个随机问题（当然我们并不知道是随机），那么 f 就不应该存在。但深度学习会找到一个 f，那么这个结果就是错的。

2） 其次，假设 f 真的存在，那么怎么描述 x？由于 f 是未知的，我们不一定知道要输入多少个，什么样的 x？ 如果这一步没有做好，后面的工作就会大大折扣。设想一下，如果那是一个 N 维问题，由于我们不清楚，结果输入了小于 N 维的数据，那么这个深度学习就可能永远找不到一个合适的 f 。

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

总的来说，1）和 2）的问题最大，而这正是人们研究未知问题的关键。3）的问题不太大，但这种情况的问题一般是人已知的，不需要再研究的问题，机器只是一个辅助，相当于电脑可以存储比人脑存储多得多的记忆。

[HouseMD]

这轮ai热的原因你没看出来。本质不是f 和 x，而是有ai幻觉。
比如你不懂量子力学，用chatgpt找一个量子物理的问题答案，chatgpt给你个乱七八糟的结果，你会以为是正确的结果。
那这时候，f是不是真的存在根本不重要，用户觉得是对的就可以了，那openai就能赚钱了。

[mmking]

然，就是暴力算力解决，目前的AI模式不变，女大就可以一直吃

这轮ai热的原因你没看出来。本质不是f 和 x，而是有ai幻觉。
比如你不懂量子力学，用chatgpt找一个量子物理的问题答案，chatgpt给你个乱七八糟的结果，你会以为是正确的结果。
那这时候，f是不是真的存在根本不重要，用户觉得是对的就可以了，那openai就能赚钱了。

[minren]

深度学习是通过大量的类似 y=f（x）的训练来找到未知的 f 函数或者关系。这样一来：

1） 首先的一个问题是 f 真的存在吗？如果那是一个随机问题（当然我们并不知道是随机），那么 f 就不应该存在。但深度学习会找到一个 f，那么这个结果就是错的。

2） 其次，假设 f 真的存在，那么怎么描述 x？由于 f 是未知的，我们不一定知道要输入多少个，什么样的 x？ 如果这一步没有做好，后面的工作就会大大折扣。设想一下，如果那是一个 N 维问题，由于我们不清楚，结果输入了小于 N 维的数据，那么这个深度学习就可能永远找不到一个合适的 f 。

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

我们容易用自己的思维定势, 把 “深度学习” 庸俗化。与普通机器学习不同，深度学习已不再简单是数据拟合。我过去也以为它主要是模型拟合数据，但实际上它的大模型训练更像教学生。虽然深度学习用了数理统计的术语，但实际概念已经转移。Boaz Barak 教授指出：对深度学习更恰当的评价是：它使用统计学术语来描述完全不同的概念。

拿自监督学习举例，深度学习不是去近似拟合一个函数，而是学习可用于各种下游的任务的表示，如用在LLM中。而且多多益善：在自监督学习中，表示的质量随着数据量的增加而提高，不会因为混合了几个来源的数据而变糟。事实上，数据越多样化越好。另外，随着资源（数据、计算、模型大小）规模投入的增加，深度学习模型也在改进。

在物理学中，一旦scale 发生几个数量级的变化，几乎都需要一个完全不同的理论，在深度度学习中也是如此。世人也许还没有获得正确的视角来看Deep Learning。

[japamer]

我们不能被大数据砸晕，以为数据越多就能出神迹。
一维数据无穷多，也不能解决二维问题。

[macarthur]

根本没那么神奇。。。 目前基于LLM的各种模型本质上都是“力大飞砖” -- 靠训练数据堆砌来训练出一种条件反射式的“输入-输出”对应。因为训练数据足够大，所以才能感觉“哇~ 好神奇，怎么问什么它都知道”。不要神秘化LLM，对现实世界和统治这个世界的基本规则它没有任何了解，它只是在机械地背诵/复述“1+1=2”，它不会自发地推导出“1x2=2”，除非你告诉它。

实际上楼主的问题很有意义：如果一个问题根本不存在y=f(x)怎么办？或者如果问题是y=f(x1,x2,x3)，但LLM只是按x1/x2去训练的，又如何能得到正确答案？适合当字典查阅以往经验；作为探索工具么，得看你怎么用 -- 即便是AlpaFold，也是在人类define好的框架下狂飙一气，本质上跟那个只会下围棋的AlpaGo没有区别，还是“力大飞砖”，一力降十会。。。

你把棋盘掰掉一个角它就虾米了。。。

我们容易用自己的思维定势, 把 “深度学习” 庸俗化。与普通机器学习不同，深度学习已不再简单是数据拟合。我过去也以为它主要是模型拟合数据，但实际上它的大模型训练更像教学生。虽然深度学习用了数理统计的术语，但实际概念已经转移。Boaz Barak 教授指出：对深度学习更恰当的评价是：它使用统计学术语来描述完全不同的概念。

拿自监督学习举例，深度学习不是去近似拟合一个函数，而是学习可用于各种下游的任务的表示，如用在LLM中。而且多多益善：在自监督学习中，表示的质量随着数据量的增加而提高，不会因为混合了几个来源的数据而变糟。事实上，数据越多样化越好。另外，随着资源（数据、计算、模型大小）规模投入的增加，深度学习模型也在改进。

在物理学中，一旦scale 发生几个数量级的变化，几乎都需要一个完全不同的理论，在深度度学习中也是如此。世人也许还没有获得正确的视角来看Deep Learning。

[mingliu]

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

[macarthur]

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

问题3）倒未必是个问题，因为人类的思维也就这样，大家都是从已知推导未知，只有两个点的情况下只能照直线拟合 -- 总不能上来就先拐俩弯吧。。。

[macarthur]

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

所有的人都在这么想！花街每年花大价钱雇的那一大帮“矿工”，你以为是干什么的？

现实就是：没有哪一个能真正做到稳赚不赔 --- 所以只能推导出：股市是个馄饨摊子，真随机。。。

[Caravel]

在信息大爆炸的时代，出现很多新名词；光听名词就能把一些不了解或者没有时间去深究的人唬住。

据说 AI 的关键在机器学习，而机器学习的关键在深度学习；那么理解 AI 的关键就在于理解深度学习。

简单来说，深度学习是通过大量的类似 y=f（x）的训练来找到未知的 f 函数或者关系。这样一来：

1） 首先的一个问题是 f 真的存在吗？如果那是一个随机问题（当然我们并不知道是随机），那么 f 就不应该存在。但深度学习会找到一个 f，那么这个结果就是错的。

2） 其次，假设 f 真的存在，那么怎么描述 x？由于 f 是未知的，我们不一定知道要输入多少个，什么样的 x？ 如果这一步没有做好，后面的工作就会大大折扣。设想一下，如果那是一个 N 维问题，由于我们不清楚，结果输入了小于 N 维的数据，那么这个深度学习就可能永远找不到一个合适的 f 。

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

总的来说，1）和 2）的问题最大，而这正是人们研究未知问题的关键。3）的问题不太大，但这种情况的问题一般是人已知的，不需要再研究的问题，机器只是一个辅助，相当于电脑可以存储比人脑存储多得多的记忆。

f作为一个映射当然存在，因为自然界就有这样的东西，大脑，LLM和图像识别的任务，人都可以做。变量x基本也就是这些，图像语言，人脑和电脑得到的输入差不多。

而且dl没说f唯一的，最好的，只要达到一定程度都是可以接受的。

[caudillo]

上数字信号处理课程的时候，老师总是说可以做一个滤波器，预测股市

股市肯定不是完全随机的，深度学习肯定可以有所作为啊

华尔街有用深度学习成功从股市赚钱的例子了吗

当你说服主要的机构都用同一个模型时，大概就可以预测了

[forecasting]

在信息大爆炸的时代，出现很多新名词；光听名词就能把一些不了解或者没有时间去深究的人唬住。

据说 AI 的关键在机器学习，而机器学习的关键在深度学习；那么理解 AI 的关键就在于理解深度学习。

简单来说，深度学习是通过大量的类似 y=f（x）的训练来找到未知的 f 函数或者关系。这样一来：

1） 首先的一个问题是 f 真的存在吗？如果那是一个随机问题（当然我们并不知道是随机），那么 f 就不应该存在。但深度学习会找到一个 f，那么这个结果就是错的。

2） 其次，假设 f 真的存在，那么怎么描述 x？由于 f 是未知的，我们不一定知道要输入多少个，什么样的 x？ 如果这一步没有做好，后面的工作就会大大折扣。设想一下，如果那是一个 N 维问题，由于我们不清楚，结果输入了小于 N 维的数据，那么这个深度学习就可能永远找不到一个合适的 f 。

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

总的来说，1）和 2）的问题最大，而这正是人们研究未知问题的关键。3）的问题不太大，但这种情况的问题一般是人已知的，不需要再研究的问题，机器只是一个辅助，相当于电脑可以存储比人脑存储多得多的记忆。

物理和经典或传统数学都没给出随机的定义，你的问题得先给出随机的定义。于是你发现你用Turing Machine来解决随机的问题，根本就是缘木求鱼。

2，3都没有多少理论，大家就是训练。知道训练DNN的那些办法比较容易找到答案。但是仅仅限于可计算函数或者以可计算函数近似的那些函数。

总之，还是去弄清楚理论，动手实际做机器学习吧。

Ilya跑Stanford去讲AI，不过也是拿一个框架空说一通，没啥理论价值，他只有工程实现。

[forecasting]

所有的人都在这么想！花街每年花大价钱雇的那一大帮“矿工”，你以为是干什么的？

现实就是：没有哪一个能真正做到稳赚不赔 --- 所以只能推导出：股市是个馄饨摊子，真随机。。。

谁推导出股市价格是真随机？又何以证明股市就是混沌（Chaotic），数学上的Chaos不是随机

[owl]

深度学习不关心x是啥有什么意义的，内部有一堆x就行，你也不是去直接输入样本x的值，而是都隐含在数据里了。

在信息大爆炸的时代，出现很多新名词；光听名词就能把一些不了解或者没有时间去深究的人唬住。

据说 AI 的关键在机器学习，而机器学习的关键在深度学习；那么理解 AI 的关键就在于理解深度学习。

简单来说，深度学习是通过大量的类似 y=f（x）的训练来找到未知的 f 函数或者关系。这样一来：

1） 首先的一个问题是 f 真的存在吗？如果那是一个随机问题（当然我们并不知道是随机），那么 f 就不应该存在。但深度学习会找到一个 f，那么这个结果就是错的。

2） 其次，假设 f 真的存在，那么怎么描述 x？由于 f 是未知的，我们不一定知道要输入多少个，什么样的 x？ 如果这一步没有做好，后面的工作就会大大折扣。设想一下，如果那是一个 N 维问题，由于我们不清楚，结果输入了小于 N 维的数据，那么这个深度学习就可能永远找不到一个合适的 f 。

3）即使 f 真的存在，我们也输入了正确的 x，由于绝大多数情况下的 f 是非线性，那么它可能只给出局部优化，而非全局优化的 f。

总的来说，1）和 2）的问题最大，而这正是人们研究未知问题的关键。3）的问题不太大，但这种情况的问题一般是人已知的，不需要再研究的问题，机器只是一个辅助，相当于电脑可以存储比人脑存储多得多的记忆。

[AnonymityFreedom]

你的问题得先给出随机的定义

随机就是 [1] uniform; [2] 不可预测性。

当然，[2]不好测试但是逻辑上是成立的。

[macarthur]

深度学习不关心x是啥有什么意义的，内部有一堆x就行，你也不是去直接输入样本x的值，而是都隐含在数据里了。

翻译成大白话就是：谁也知不道它咋么弄出来的。。。 你就当它是个黑匣子，闭着眼用吧。。。

[forecasting]

随机就是 [1] uniform; [2] 不可预测性。

当然，[2]不好测试但是逻辑上是成立的。

去看看kolmogorov randomness或者Martin—Lof randomness，哪里有那么简单。好了，我准备跟弃婴这傻女人为量子测量吵嘴了

[FoxMe]

“深度学习已不再简单是数据拟合”：我也以为是函数逼近。

“它使用统计学术语来描述完全不同的概念”：是怎么实现从函数逼近到LLM的呢？这是质变

我们容易用自己的思维定势, 把 “深度学习” 庸俗化。与普通机器学习不同，深度学习已不再简单是数据拟合。我过去也以为它主要是模型拟合数据，但实际上它的大模型训练更像教学生。虽然深度学习用了数理统计的术语，但实际概念已经转移。Boaz Barak 教授指出：对深度学习更恰当的评价是：它使用统计学术语来描述完全不同的概念。

拿自监督学习举例，深度学习不是去近似拟合一个函数，而是学习可用于各种下游的任务的表示，如用在LLM中。而且多多益善：在自监督学习中，表示的质量随着数据量的增加而提高，不会因为混合了几个来源的数据而变糟。事实上，数据越多样化越好。另外，随着资源（数据、计算、模型大小）规模投入的增加，深度学习模型也在改进。

在物理学中，一旦scale 发生几个数量级的变化，几乎都需要一个完全不同的理论，在深度度学习中也是如此。世人也许还没有获得正确的视角来看Deep Learning。

[Dejavu]

说一千道一万，就是在用海量数据来提高，一力降十会。

不过，问题就是如何对付数据不可能有足够数据的情况，以及数据大到不可能处理得过来的情况。

[mingliu]

当你说服主要的机构都用同一个模型时，大概就可以预测了

既然这些机构的买卖行为已经可以影响股市价格了，实际上这个预测就是预测该模型的输出了，这样可比预测股市的输出简单多了

咱们还是假设自己偷偷用这个模型赚些小钱，等同于自己对股市的观察不影响股市的状态，也就是说还没有进入量子力学领域